автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Процедура проектирования нейросетевых алгоритмов цифровой обработки сигналов в радиотехнических устройствах

На правах рукописи

Хахулин Сергей Сергеевич

ООЗОВ8492

ПРОЦЕДУРА ПРОЕКТИРОВАНИЯ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ ЦИФРОВОЙ ОБРАБОТКИ СИГНАЛОВ В РАДИОТЕХНИЧЕСКИХ

УСТРОЙСТВАХ

Специальность: 05.12.04 -«Радиотехника, в том числе системы и устройства телевидения»

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

Рязань 2007

003068492

Работа выполнена в ГОУВПО «Рязанский государственный радиотехнический университет»

Научный руководитель - заслуженный работник высшей школы РФ,

доктор технических наук, профессор Кириллов Сергей Николаевич

Официальныеоппоненты - заслуженный деятель науки РФ,

доктор физико-математических наук, профессор

Лукин Дмитрий Сергеевич

- кандидат технических наук, доцент Зайцев Алексей Анатольевич

Ведущая организация - ОАО «Корпорация Фазотрон-НИИР» - НИИ «Рассвет» (г. Рязань)

Защита состоится « 16 » мая 2007 г. в 11 часов на заседании диссертационного совета Д 212.211.04 в Рязанском госу дарственном радиотехническом университете по адресу 390005, г. Рязань, ул. Гагарина, д. 59/1.

С диссертацией можно ознакомиться в библиотеке ГОУВПО «РГРТУ».

Автореферат разослан « ^ » ¿г; м/х^.(_2007 г.

Ученый секретарь диссертационного совета

кандидат технических наук

А.Г. Борисов

ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИОННОЙ РАБОТЫ

Актуальность темы. Стремительное развитие современной аппаратной базы для реализации алгоритмов цифровой обработки сигналов (ЦОС) позволяет реализовывать все более сложные радиотехнические устройства (РТУ). Одновременно с расширением аппаратных возможностей возрастают требования к РТУ, среди которых увеличение вычислительной мощности и общей интеллектуальности радиотехнических систем (РТС) при сокращении вычислительных затрат.

Одним из наиболее эффективных подходов при реализации интеллектуальных алгоритмов ЦОС в РТУ является использование искусственных нейронных сетей (ИНС). При этом известные алгоритмы и методы, имеющие более простую реализацию, могут рассматриваться как частные случаи реализаций в нейросетевом логическом базисе.

ИНС являются инструментом, позволяющим гибко и быстро решать сложно формализуемые задачи обработки информация в РТУ. К достоинствам ИНС можно отнести нелинейность, обучаемость (адаптивность), обобщение информации, отказоустойчивость (толерантность), масштабируемость, параллельность структуры.

Опыт показывает, что использование ИНС при разработке ряда РТУ позволяет повысить показатели качества, сократить вычислительные затраты, повысить живучесть и производительность РТС в целом. Кроме того, одним из основных требований, предъявляемых к современным РТУ, является высокая интеллектуальность, что также обеспечивается использованием ИНС.

Весомый вклад в теорию ИНС внесли как отечественные ученые, такие как Галушкин А.И., Горбань А.Н., Головко В.А., Борисов В.В. и др. так и зарубежные, а именно: Маккалок В., Пите В., Хебб Д., Уидроу Б., Хофф М., Минский М., Паперт С., Розенблат Ф., Оссовский С. и др.

Однако до сих пор обоснованы лишь отдельные этапы проектирования ИНС в составе РТУ, а в целом разработка нейросетевых алгоритмов обработки информации обычно основывается на эмпирических правилах и опыте разработчиков. Отсутствие данной методики затрудняет обоснованное использование ИНС в алгоритмах ЦОС, используемых в РТС.

Таким образом, актуальной задачей является разработка и обоснование процедуры проектирования алгоритмов ЦОС, реализованных в нейросетевом логическом базисе и используемых в РТУ.

Цель и задачи работы. Основной целью диссертационной работы является разработка и обоснование процедуры проектирования нейросетевых алгоритмов ЦОС в интересах улучшения характеристик РТУ.

Поставленная в работе цель достигается решением следующих основных задач:

- модификации процедуры обучения ИНС с целью повышения скорости обучения и улучшения показателей качества РТУ;

- исследования влияния состава множества обучающих векторов (MOB) на свойства нейросетевых алгоритмов ЦОС в составе РТУ;

- синтеза и обоснования новых, более эффективных форм активационных функций (АФ) с целью повышения показателей качества РТУ;

- разработки и обоснования процедуры проектирования алгоритмов ЦОС в нейросетевом логическом базисе для ряда РТУ.

Методы проведения исследований. В работе использовались методы статистической радиотехники, математической статистики, матричного исчисления, численные методы вычислительной математики. Данные теоретические методы сочетались с экспериментальными исследованиями на основе имитационного моделирования.

Научная новизна. В рамках данной диссертационной работы получены новые научные результаты

1. Обоснованы модификации алгоритма обучения ИНС с обратным распространением ошибки, обеспечивающие более высокую скорость сходимости и более низкие ошибки на тестовой (ТВ) и обучающей (OB) выборках.

2. Предложены методы усиления робастности алгоритмов ЦОС в нейросетевом логическом базисе на основе корректировки состава OB.

3. Предложены два новых вида АФ, обеспечивающих более низкие ошибки обучения и более высокие робастные свойства нейросетевых алгоритмов ЦОС.

4. Разработана процедура проектирования алгоритмов ЦОС в нейросетевом логическом базисе.

Достоверность. Достоверность результатов и выводов, полученных в диссертационной работе, обеспечивается корректностью численных экспериментов, качественным и количественным сопоставлением с известными положениями теории ИНС.

Практическая ценность работы. Представленные в работе алгоритмы обучения, новые виды АФ и методики корректировки MOB при использовании процедуры проектирования ИНС могут быть использованы в различных РТС, в частности в системах передачи информации и телевидения. Реализация результатов исследований позволит повысить робастность устройств формирования и обработки радиосигналов к действию различных мешающих факторов, что обеспечит улучшение показателей качества всей РТС.

Результаты диссертационной работы нашли применение в разработках ФГУП РНИИ «Космического приборостроения», г. Москва, а также в ООО «Деснол Софт Рязань».

Основные положения, выносимые на защиту.

1. Модифицированные процедуры обучения ИНС обеспечивающие увеличение скорости сходимости от 2 до 5 раз и снижение ошибки в 2 - 4 раза на тестовой и обучающей выборках по сравнению с алгоритмом ОРО.

2. Методика формирования состава ОВ, обеспечивающая усиление свойства робастности алгоритмов ЦОС в нейросетевом логическом базисе, что позволяет на примере реализации алгоритма весовой фильтрации снизить УБЛ на 10 дБ.

3. Новые виды АФ, обеспечивающие уменьшение ошибок обучения в 4 -8 раз и усиливающие робастные свойства нейросетевых алгоритмов ЦОС.

4. Процедура проектирования алгоритмов ЦОС в нейросетевом логическом базисе, позволяющая повысить характеристики РТУ. Апробация работы. Результаты работы докладывались на следующих

конференциях: одиннадцатая международная НТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2002), восьмая НТК «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2003), двенадцатая МНТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2004), десятая МНТК «Радиоэлектроника, электротехника и энергетика» (Москва, 2004), девятая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2004), седьмая МНТК «Цифровая обработка сигналов и ее применение» (Москва, 2005), десятая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2005), четырнадцатая МНТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2005), пятая МНТК «Идентификация систем и задачи управления (БГСРЯО '06)» (Москва, 2006), восьмая МНТК «Цифровая обработка сигналов и ее применение» (Москва, 2006), одиннадцатая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2006), всероссийская НТК, посвященная 60-летию ФГУП «РНИИ КП» (Москва, 2006).

Публикации. По теме диссертации опубликовано 25 работ, из них -4 статьи в центральной печати, 2 статьи в межвузовских сборниках трудов, 19 тезисов докладов на конференциях и 5 отчетов по НИР.

Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, списка литературы из 148 наименований и 4-х приложений. Диссертация содержит 168 е., в том числе 140 с. основного текста, 30 таблиц и 48 рисунков.

СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

Во введении обоснована актуальность выбранной темы, определены цель и решаемые в работе задачи. Изложены новые научные результаты, полученные в работе, показаны ее практическая ценность и апробация. Сформулированы основные положения, выносимые на защиту.

В первой главе предложены модифицированные алгоритмы обучения ИНС на основе алгоритма обратного распространения ошибки (ОРО), рассмотрены методики усиления свойства робастности нейросетевых алгоритмов ЦОС.

В общем случае значения матриц синаптических связей на очередном шаге алгоритма обучения определялись с помощью функционала

где /1А (•) - функционал, в соответствии с которым определяются матрицы

весовых связей, - пара векторов обучающей выборки (ОВ), р -

номер пары ОВ, выбранный по определенному закону, Етр - ошибка ИНС на

паре обучающих векторов, - значения матриц весовых связей I -го слоя ИНС на предыдущем шаге алгоритма, а Ь - количество слоев. Основными этапами алгоритма ОРО являются выбор пары обучающих векторов и корректировка матриц синаптических связей в соответствии с ними. Обычно обучающие образцы выбираются случайным образом, однако использование определенных правил при их выборе повышает эффективность обучения, как, например, при использовании алгоритма целевого обучения на основе ОРО (ЦООРО), предложенного в работе Скребцова П.В.

Первая предложенная модификация (МОРО) заключается в выборе пары образцов с максимальным квадратом ошибки рт = тах{е„/}. Вторая модификация алгоритма ОРО заключается в целевом выборе обучающих векторов на основе максимальной положительной и минимальной

\рт = тах(ежД > О, отрицательной ошибки (ЦММОРО) ■{ .

Анализ эффективности предложенных алгоритмов проводился на основе реализации алгоритма весовой фильтрации (ВФ) кодовых последовательностей (КП) ФМн-сигналов и нейросетевой реализации алгоритма вейвлет-пакетного разложения (ВПР).

Кодовая последовательность ФМн-сигнала представлялась в виде вектора ={-1,1,-1,...,1} длиной N элементов. Векторы кодовой последовательности, которые поступают на вход весового фильтра с задержкой по времени, обозначим ^, где / = -И, N. Весовой фильтр должен обеспечивать максимальный отклик на сигнал 50 и минимальные отклики на сигналы . С учетом ранееизложенного процедура весовой обработки представлена в виде

(2)

где /„,,, - многомерная функция, обеспечивающая заданное соотношение между сигналом §,, представляющего собой смещенную по времени КП, и откликом на выходе ВФ, который описывается соотношением

1, /=о.

r„ i* 0.

Требования к УБЛ / = задавались в виде неравенства

[rj < RK,, где / - номер отсчета сигнала на выходе ВФ. Таким образом, задача построения нейросетевой реализации ВФ сводится к решению задачи аппроксимации многомерной функции f„F на основе использования ИНС, где

в качестве ОВ {Б?", Щ"'), 1 = \,2И используется набор смещенных по времени КП и соответствующих значений отклика ВФ.

Аппроксимацию многомерной функции целесообразно осуществлять с использованием ИНС, структура которой определяется на основе теоремы А.Н. Колмогорова. Таким образом, структура нейросетевого ВФ для обработки КП длиной N символов представляла собой двухслойный персептрон с числом нейронов Л', = 2N +1 в первом слое и одним нейроном в выходном слое

11 (4)

^ к^Л V л=1 ))

где УУ, = 2 N +1 - число нейронов в скрытом слое, = 1 - в выходном, /(х) -

АФ, а и IV2 - матрицы синаптических связей первого и второго слоев сети соответственно.

Проведены исследования предложенных алгоритмов обучения для КП длиной от 13 до 73 элементов. На рис. 1 показаны типичные зависимости УБЛ на выходе нейросетевого ВФ от числа итераций соответствующих алгоритмов обучения для кода Баркера длиной 13 и минимаксной КП длиной 31 элемент соответственно.

П 1! * к ^»: # 1 ! ^П Показано, что

наиболее эффективным с точки зрения скорости сходимости является использование предложенного алгоритма ЦММОРО. Так, при обучении нейросетевого ВФ уровень боковых лепестков у = -25 дБ ИНС при использовании предложенного алгоритма достигается за 1200 итераций, а алгоритма ОРО приблизительно за 5000 (в 4-4,5 раза

Рис. 1

больше), алгоритма ЦООРО за 2500 (в 2 раза больше) и алгоритма МОРО за 2000 (в 1,5-1,7 раза больше).

Рассмотрена реализация ВПР в нейросетевом логическом базисе входным вектором ИНС являлся вектор сигнала. На выходе формировался вектор, состоящий из отсчетов разложения соответствующих ветвей. Для экспериментальных исследований была выбрана нейросетевая реализация трехуровневого ВПР с использованием фильтра Добеши-1 (Хаара) и одновременной обработкой восьми отсчетов сигнала, простота исследуемого алгоритма обусловлена низкими вычислительными затратами на обучение. В процессе обучения ошибка на ОВ и тестовой выборке (ТВ) нейросетевого ВПР определялась как нормированное к энергии обрабатываемого кадра среднеквадратическое отклонение полученного сигнала на выходе ИНС от расчетных значений ВПР

(5)

¿=1 1 / ¿=1 1=1 где £> = 3 - глубина разложения ВПР, Nв - число отсчетов сигнала в ветви

ВПР, а а* и а^ - / -й отсчет сигнала на выходе (1-й ветви разложения,

определенного с использованием ВПР и на основе применения ИНС соответственно. На рис. 2 представлен характерный участок зависимости ошибки на ОВ от числа итераций алгоритма для рассматриваемых модифицированных алгоритмов обучения.

Из анализа рис. 2 следует, что зависимости для известных алгоритмов ОРО и ЦООРО характеризуются изрезанностью. Это объясняется случайным характером выбора пар обучающих векторов на очередной итерации. Кроме того, следует отметить, что наиболее высокие значения ошибок как на обучающей, так и на тестовой выборках достигаются при использовании известных алгоритмов ОРО и ЦООРО соответственно.

Зависимости для предложенных алгоритмов МОРО и ЦММОРО в силу их особенностей отличаются гладким характером. За счет целевого выбора

образцов ОВ алгоритмы ЦММОРО и МОРО обеспечивают минимальные ошибки. Кроме того, указанные алгоритмы обладают более высокой скоростью сходимости и превосходят по данному критерию известный алгоритм ОРО.

Следует отметить, что алгоритм ЦММОРО позволяет провести обучение ИНС с более низким значением ошибки на ОВ, чем алгоритм МОРО. Так при использовании ЦММОРО при реализации ВПР на основе ИНС на ОВ была достигнута ошибка в 1,2 раза ниже, чем при использовании МОРО.

Одним из важных свойств алгоритмов ЦОС в РТУ является устойчивость к действию мешающих факторов. Рассмотреть методики усиления свойства робастности при реализации алгоритмов ЦОС в нейросетевом логическом базисе, среди которых:

- увеличение объема ОВ за счет определенного количества реализаций, подверженных воздействию мешающего фактора;

- добавление в ОВ реализаций при определенном наиболее эффективном значении интенсивности мешающего фактора;

- увеличение объема ОВ за счет групп реализаций, подверженных воздействию мешающего фактора с интенсивностью, изменяющейся в определенном диапазоне.

Экспериментальный анализ проводился для реализации алгоритма нейросетевого ВФ и ВПР в нейросетевом логическом базисе. При этом для реализации алгоритма нейросетевого ВФ, использовались следующие величины: процентное соотношение искаженных и неискаженных векторов к1мс -Ю0%, количество искаженных символов или интенсивность

влияния мешающих факторов смф - Лгог(./Л7-100%, количество градаций

интенсивности влияния мешающих факторов Ыс ф.

Рассмотрена эффективность каждого из предложенных принципов формирования ОВ с использованием искаженных образцов. На рис. 3 показаны зависимости УБЛ на выходе нейросетевого ВФ от степени влияния мешающих факторов, выраженной в виде процентного соотношения искаженных символов КП еиф минимаксной

последовательности длиной 31 элементов для различных принципов формирования ОВ. Зависимость для случая формирования выборки на основе добавления определенного количества реализаций искаженных векторов при фиксированном значении интенсивности воздействия мешающих факторов обозначена на рис. 4 цифрой 1 (кшс = 100%, еш/1 ов =23%). Зависимость для

случая, когда ОВ формируется на основе добавления в ОВ сигналов, искаженных с наиболее эффективным значением интенсивности мешающих факторов, обозначена цифрой 2 (емф с- =35%=100 %). Зависимость 3

демонстрирует случай, когда к обучающим векторам добавляются группы сигналов искаженных с разной интенсивностью (кшс = 100%,^ =7). При

реализации алгоритма ВПР в нейросетевом логическом базисе характер зависимостей аналогичный.

Показано, что наиболее эффективным с точки зрения проявления робастных свойств является принцип формирования ОВ на основе использования групп искаженных образцов с различной интенсивностью действия мешающих факторов. Данный подход обеспечивает достаточно низкий УБЛ для слабо искаженных КП и демонстрирует наилучшие робастные свойства из всех рассмотренных принципов формирования ОВ с искаженными обучающими образцами.

Во второй главе обоснованы два новых вида активационных функций (АФ), показана эффективность их использования в алгоритмах ЦОС в РТУ. Задача заключается в определении формы АФ, обеспечивающей более высокие показатели качества при реализации алгоритмов ЦОС в нейросетевом логическом базисе по сравнению с использованием известных АФ. Критерием синтеза АФ является минимальный уровень СКО на ТВ, достижение которого может обеспечить использование данной формы.

Пусть АФ обладает свойством симметрии относительно начала координат

где /о (я) - представление функции, определенной в первом квадранте декартовой системы координат. Таким образом, для синтеза формы АФ /(5), определенной на интервале .V е [0,], необходимо решить задачу

где Кинс - критерий качества реализации нейросетевого алгоритма, обладающего Np параметрами, рп - рп .

Определение формы АФ в аналитическом виде затруднено, что приводит к необходимости аппроксимации функции в виде ряда, на основе которого будем осуществлять анализ. Согласно теоремы Вейерштрассе для любой непрерывной функции /0(х), определенной на интервале х&[а,Ь] и любого £ > 0 можно определить такой многочлен Р(х), что \/п(х) - Р(х)\ < £ для В ходе оптимизации целесообразно использовать

ортогональные многочлены, что позволит уточнить форму АФ путем корректировки отдельных коэффициентов разложения. Необходимо провести

(6)

оценку количества членов ряда путем их увеличения до тех пор, пока вклад, вносимый очередным членом, не будет играть существенной роли.

Задача синтеза формы АФ решалась с использованием двухэтапного подхода. На первом этапе при реализации тестового алгоритма в нейросетевом логическом базисе определялись параметры известной формы АФ, обеспечивающей наиболее высокие показатели качества. Полученная форма аппроксимировалась полиномами, которые использовались при синтезе, в этом случае определялось необходимое количество членов разложения. Таким образом, определялась начальная точка синтеза, которая с высокой вероятностью находилась в области глобального оптимума.

На втором этапе на основе использования алгоритма Левенберга-Марквардта осуществлялся синтез формы АФ в виде полиномов, позволяющих наилучшим образом при минимальном количестве параметров аппроксимировать полученную на предыдущем этапе форму АФ.

В процессе оптимизации формы АФ было получено несколько разных форм, обеспечивающих более высокие характеристики, чем при использовании биполярной сигмоидальной АФ.

Практическое использование полученных форм АФ, заданных в виде полинома, при реализации алгоритмов ЦОС в нейросетевом логическом базисе затруднено в связи с большим числом параметров. Полученные характерные формы АФ можно аппроксимировать с использованием других функций, учитывающих выявленные характерные особенности, но обладающих меньшим количеством корректирующих параметров.

Предлагаемая финитная АФ, позволяющая аппроксимировать известные формы АФ и реализовать зону нечувствительности при малых значениях взвешенной суммы нейрона, а также колоколообразную форму определяется следующим выражением:

f(s) = b1-" ■ [(v - \)l(v + // - 2)f • [1 - (v - \)/(y + 2)f x

«^•(à-iV'.liNél-

На рис. 4 показаны возможные формы АФ при различных значениях параметров /у, v и Ъ = 1. Линейная зависимость аппроксимируется при значении параметров /у = 1 и v-2 (1); биполярная сигмоидальная АФ (2) -при // = 1,1 и v = l,6; биполярная бисигмоидаль-ная АФ (3), которая обладает зоной нечувствительности, - при // = 1,5 и

Рис. 4

v = 5. При ц-5 и г =5 реализуется комбинированная колоколообразная форма АФ, обладающая двумя зонами нечувствительности, что обеспечивают параметры ¡и = 5 и v = 5.

В некоторых случаях с целью сокращения параметров, определяющих формы АФ, целесообразно использовать биполярную бисигмоидальную АФ, обладающую одной зоной нечувствительности, для корректировки формы которой используются два параметра а и /? :

f(s) = (1/(1 + exp (-as + А))) - [1 - (1/(1 + exp (-as - /?)))], (9)

где Р - база АФ, a s - взвешенный вход нейрона. Формы данной АФ представлены на рис. 5.

Доказана целесообразность предложенных форм АФ на примере нейросетевой реализации ВПР и алгоритма демодуляции ФМн-сигналов показал эффективность их

использования. Так, при реализации алгоритма ВПР в нейросетевом логическом базисе при использовании финитной функции удалось сократить ошибку

преобразования в 4 раза, а при использовании

биполярной бисигмо-идальной функции - в 2 раза. Причем показано, что использование биполярной бисигмоидальной АФ обеспечивает робастность к действию мешающих факторов в виде белого гауссовского шума. При реализации алгоритма демодуляции ФМн-сигналов на основе ИНС с использованием предложенных форм АФ эффективность их использования подтвердилась.

В третьей главе предложена методика проектирования нейросетевых алгоритмов ЦОС в РТУ и показаны практические аспекты ее использования. Основными этапами проектирования нейросетевых алгоритмов являются следующие:

- постановка задачи в нейросетевом логическом базисе;

- обоснование первичной структуры;

- формирование ОВ и ТВ;

- выбор наиболее эффективного алгоритма обучения;

- определение наиболее эффективной формы АФ;

- определение структуры ИНС;

- исследование свойств синтезированного нейросетевого алгоритма.

Особенностью процедуры является уточнение значений параметров, полученных на предыдущих этапах, при переходе к очередному шагу.

Данная методика использовалась при реализации алгоритма идентификации дикторов на основе ИНС. Система первичных признаков речевых сигналов (РС) определялась на основе использования ВПР. Таким образом, на основе применения процедуры проектирования алгоритмов ЦОС в нейросетевом логическом базисе разработан алгоритм идентификации дикторов, обеспечивающий надежность идентификации 94 %. Показана целесообразность использования финитных АФ с точки зрения надежности идентификации дикторов. Однако показано, что применение биполярных бисигмоидальных АФ обеспечивает более высокую устойчивость к действию акустического шума.

Предложенная методика использовалась также при реализации двухэтапного алгоритма подавления реверберационных помех РС. На первом этапе на основе корреляционных методов оценивались параметры помехи, а на втором этапе использовалась ИНС, обеспечивающая наиболее эффективное подавление реверберационной помехи РС при текущих параметрах.

Показано, что на основе предложенной методики проектирования алгоритмов ЦОС в нейросетевом логическом базисе может быть реализован алгоритм подавления реверберационных помех РС, обеспечивающий в среднем коэффициент подавления Кп =2,84. В частности, при использовании ИНС, обученной для подавления реверберационной помехи с задержкой 100 мс и коэффициентом отражения аРП= 0,5, при изменении задержки на ±50 мс коэффициент подавления помехи ухудшается не более, чем на 16 %, а при изменении аРП от 0,35 до 1 не более чем на 30 %.

Показана возможность аппаратной реализации рассмотренных алгоритмов на основе программируемых логических схемах (ПЛИС) фирмы ХШпх серии \Чйех-4, проведена оценка временных затрат.

В заключении приведены основные результаты диссертационной работы, которые можно сформулировать следующим образом:

1. Предложены модификации алгоритма ОРО, позволяющие увеличить скорость сходимости в 3 и более раз по сравнению с известным алгоритмом.

2. Показана эффективность использования ИНС в задаче весовой фильтрации КП фазоманипулированных сигналов. Так, при использовании согласованной фильтрации для КП длиной 31 элемент УБЛ достигает -20,28 дБ, а при использовании НВФ удается обеспечить УБЛ порядка -35 дБ.

3. Оценено влияние выбора алгоритма обучения на свойство робастиости к мешающим факторам нейросетевых алгоритмов ЦОС. Показано, что наиболее эффективным алгоритмом является алгоритм ЦММОРО, обеспечивающий минимальные ошибки ИНС как на ОВ, так и на ТВ.

4. На примере задач нейросетевой реализации весовой обработки КП и ВПР речевых сигналов доказана возможность усиленга свойства робастности путем формирования ОВ на основе использования нескольких групп искаженных обучающих векторов с различной интенсивностью мешающего фактора.

5. Проведен синтез двух новых форм АФ: финитной и биполярной бисигмоидальной, обеспечивающих более высокие показатели качества нейросетевых алгоритмов ЦОС.

6. Показано, что при реализации ВПР на основе ИНС финитная АФ обеспечивает наибольшую точность преобразования. Так, при использовании биполярной сигмоидальной АФ удалось достичь ошибки преобразования на уровне £нвпр = 1,7 • 10"2, а при использовании финитной АФ енвпр = 3,9 • 10"3.

7. Биполярная бисигмоидальная АФ при реализации алгоритма ВПР обеспечивает более высокую устойчивость к действию мешающих факторов в виде действия белого гауссовского шума по сравнению с финитной АФ. Так, при отношении сигнал-шум 16 дБ использование финитной АФ позволяет достичь ошибки преобразования енйпр = 0,19, а биполярной бисигмоидальной

~ ^НВПР ~ 0,16 .

8. При реализации алгоритма демодуляции ФМн-сигналов использование биполярной бисигмоидальной АФ позволило на два порядка сократить ошибки на ТВ и ОВ по сравнению с использованием биполярной сигмоидальной АФ.

9. Биполярная бисигмоидальная АФ обеспечивает наибольшую устойчивость к действию мешающих факторов в виде действия аддитивного белого гауссовского шума в полосе сигнала при реализации алгоритма демодуляции ФМн-сигналов на основе ИНС.

10. Обоснована методика проектирования алгоритмов ЦОС, реализованных в нейросетевом логическом базисе в составе РТУ.

11. На основе применения методики проектирования алгоритмов ЦОС в нейросетевом логическом базисе разработан алгоритм идентификации дикторов, позволяющий обеспечить надежность идентификации 94 % при использовании финитных АФ.

12. Обосновано применение биполярных бисигмоидальных АФ, обеспечивающих высокую устойчивость к действию акустического шума в алгоритме идентификации дикторов.

13. На основе предложенной методики проектирования алгоритмов ЦОС в нейросетевом логическом базисе реализован алгоритм подавления реверберационных помех РС. Показано, что использование алгоритма подавления реверберационных помех при оптимальных параметрах ИНС обеспечивает коэффициент подавления помехи не менее Кп =2,35 для исследуемого нейромодуля, который обладает устойчивостью к ошибкам определения параметров отраженного сигнала реверберационной помехи.

14. Проанализирована возможность реализации рассмотренных алгоритмов на базе ПЛИС фирмы ХШпх семейства \Чпех-4. При

использовании ПЛИС XC4VSX55 быстродействие нейроускорителя ИНС идентификации дикторов составит 8,8 не при 8 и 16-битной реализации и 17,6 не при 32-битной, а реализации нейроускорителя для подавления реверберационных помех 206,8 не для 8 и 16- битной реализации и 412,5 ис при 32-битной.

Таким образом, достигнута цель работы, заключающаяся в разработке и обосновании процедуры проектирования нейросетевых алгоритмов ЦОС в составе РТУ.

В приложении приведены список аббревиатур и условных обозначений, блок-схема алгоритма обучения с использованием функционала целевой ошибки, исходные тексты программных модулей эмуляции ИНС, рассмотренных алгоритмов обучения и АФ, а также документы, подтверждающие внедрение результатов работы.

СПИСОК ОСНОВНЫХ ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Хахулин С.С., Шустиков O.E. Робастный к темпу произношения генетический алгоритм временного нормирования реализаций в системах распознавания речи // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Матер. 11-й междунар. науч.-техн. конф. Рязань, 2002. С. 193-194.

2. Хахулин С.С. Корреляционно-спектральный анализ на основе нейронных сетей // Новые информационные технологии в научных исследованиях и в образовании: Матер. 8-й всероссийской науч.-техн. конф. Рязань, 2003. С. 68.

3. Кириллов С.Н., Шустиков O.E., Хахулин С.С. Робастный к темпу произношения генетический алгоритм временного нормирования при распознавании речевых сигналов // Методы и устройства обработки сигналов в радиотехнических системах: Межвуз. сб. науч. тр. Вып. 2. Рязан. гос. радиотехн. акад. Рязань, 2003. С. 107-110.

4. Хахулин С.С. Применение нейронных сетей в задачах демодулирования сигналов с фазовой манипуляцией // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Матер. 12-й международной науч.-техн. конф. Рязань, 2004. С. 44.

5. Хахулин С.С. Демодулятор фазоманипулированных колебаний на основе нейронных сетей // Радиоэлектроника, электротехника и энергетика: Матер. 10-й международной науч.-техн. конф. Москва, 2004. Т. 1.С. 63-64.

6. Кириллов С.Н., Зорин C.B., Хахулин С.С. Нейросетевая реализация алгоритма вейвлетно-пакетного разложения речевых сигналов при действии акустических шумов // Вестник РГРТА. Рязань, 2004. Вып. 15. С. 3-6.

7. Зорин C.B., Хахулин С.С. Повышение качества зашумленных речевых сигналов на основе нейросетевых алгоритмов вейвлет-анализа // Новые информационные технологии в научных исследованиях и в образовании: Матер. 9-й всероссийской науч.-техн. конф. Рязань, 2004. С. 63-64.

8. Кириллов С.Н., Хахулин С.С. Робастный алгоритм корреляционно-спектрального анализа случайных процессов на основе искусственных нейронных сетей // Нейрокомпьютеры. Разработка и применение. 2004. №12. С. 16-20.

9. Хахулин С.С. Синтез кодовых последовательностей фазоманипулированных сигналов на основе адаптивного генетического алгоритма // Новые информационные технологии в научных исследованиях и в образовании: Матер. 9-й всероссийской науч.-техн. конф. Рязань, 2004. С. 66.

Ю.Кириллов С.Н., Хахулин С.С. Процедура синтеза кодовых последовательностей фазоманипулированных сигналов с использованием генетического алгоритма с адаптивной вероятностью мутации // Методы и устройства формирования и обработки сигналов в информационных системах: Межвуз. сб. науч. тр. Вып. 3. Рязань, 2004. С. 28-31.

11 .Хахулин С.С. Применение нейронных сетей в задачах демодулирования сигналов с фазовой манипуляцией // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Матер. 12-й международной науч.-техн. конф. Рязань, 2004. С. 44.

12.Хахулин С.С. Демодулятор фазоманипулированных колебаний на основе нейронных сетей // Радиоэлектроника, электротехника и энергетика: Матер. 10-й международной науч.-техн. конф. Москва,

2004. Т. 1.С. 63-64.

13.Круглов A.B., Кириллов С.Н., Хахулин С.С. Ватутин В.М. Алгоритм обработки шумоподобных сигналов спутниковых систем связи на основе искусственных нейронных сетей // Электромагнитные волны и электронные системы. 2005. №10. Т.10. С. 27-32.

М.Кириллов С.Н., Дронов A.A., Корниенко A.B., Хахулин С.С. Реализация быстрых алгоритмов обработки сложных сигналов на основе искусственных нейронных сетей // Цифровая обработка сигналов: Матер, междунар. науч.-техн. конф. Москва, 2005. С. 200201.

15.Хахулин С.С. Особенности реализации операции свертки цифровых сигналов на базе искусственных нейронных сетей // Новые информационные технологии в научных исследованиях и в образовании: Матер. 10-й всероссийской науч.-техн. конф. Рязань,

2005. С. 31.

16.Хахулин С.С. Реализация алгоритма свертки сигналов систем спутниковой связи на базе искусственных нейронных сетей // Сети и

системы связи: Матер, всероссийского науч.-практ. семинара. Рязань,

2005. С. 282.

17.Кириллов С.Н., Хахулин С.С. Весовая обработка бинарных последовательностей на базе искусственных нейронных сетей. // Вестник РГРТА. Рязань. 2005. Вып. 16. С. 10-13.

18.Кириллов С.Н., Хахулин С.С. Исследование нейросетевой весовой обработки фазоманипулированных сигналов с обучением на основе модифицированного алгоритма обратного распространения ошибки // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Матер. 14-й международной науч.-техн. конф. Рязань, 2005. С. 64.

19.Кириллов С.Н., Хахулин С.С. Модифицированный алгоритм обучения нейронных сетей при решении задачи весовой фильтрации кодовых последовательностей фазоманипулированных сигналов // Цифровая обработка сигналов: Матер, междунар. науч.-техн. конф. Москва, 2006. С. 651-654.

20.Кириллов С.Н, Хахулин С.С. Устойчивая к действию мешающих факторов система идентификации дикторов на основе искусственных нейронных сетей // Идентификация систем и задачи управления (БЮРЯО '06): Матер. 5-ой междунар. науч.-техн. конференции. Москва, 2006. С. 300-305.

21.Хахулин С.С., Решетников Д.А. Система идентификации дикторов через телефонное соединение на основе искусственных нейронных сетей. //Хранить традиции. Готовить профессионалов. Растить патриотов: Матер. 31-й межвузовской науч.-практ. конф. Рязань, 2006. С. 146.

22.Хахулин С.С., Мамушев Д.Ю., Сарычев А.Ю. Уменьшение влияния реверберационных помех в речевом сигнале с использованием искусственных нейронных сетей. //Хранить традиции. Готовить профессионалов. Растить патриотов: Матер. 31-й межвузовской науч.-практ. конф. Рязань, 2006. С. 147.

23.Мамушев Д.Ю., Дмитриев В.Т., Хахулин С.С. Эффективные алгоритмы кодирования речевых сигналов в системах передачи информации // Новые информационные технологии в научных исследованиях и в образовании: Матер. 11-й всероссийской науч.-техн. конф. Рязань,

2006. С. 31.

24.Кириллов С.Н., Мамушев Д.Ю., Хахулин С.С. Распознавание и идентификация речевых команд на основе нелинейной модели голоса диктора // Акустика речи. Медицинская и биологическая акустика. Архитектурная и строительная акустика. Шумы и вибрации. Сборник трудов XVIII сессия Российского акустического общества. Москва, 2006. Т.З.С. 55-59.

25.Кириллов С.Н., Хахулин С.С. Обоснование нового вида акивационной функции в алгоритмах цифровой обработки сигналов на основе

искусственных нейронных сетей // Цифровая обработка сигналов: Матер, международной науч.-техн. конф. Москва, 2007 С. 561-563.

Соискатель

/Хахулин С.С./

Хахулин Сергей Сергеевич

Процедура проектирования нейросетевых алгоритмов цифровой обработки сигналов в радиотехнических устройствах

Автореферат диссертации на соискание ученой степени кандидата технических наук

Отпечатано в ГНУ ВНИМС, Рязань, Щорса 38/1 Формат бумаги 60x84 1/16. Печатных листов 1. Заказ № . Тираж 100 экз.

«// » 2007г.

ВВЕДЕНИЕ

1 Модификации алгоритма обратного распространения ошибки для обучения искусственных нейронных сетей.

1.1 Вводные замечания.

1.2 Модифицированные алгоритмы обратного распространения ошибки.

1.2.1 Описание модифицированных алгоритмов обратного распространения ошибки.

1.2.2 Исследование модифицированных алгоритмов обратного распространения ошибки при реализации весового фильтра кодовых последовательностей на основе искусственных нейронных сетей.

1.2.3 Исследование модифицированных алгоритмов обратного распространения ошибки при реализации вейвлетно-пакетного разложения на основе искусственных нейронных сетей.

1.3 Влияние выбора алгоритма обучения на робастные свойства искусственных нейронных сетей.

1.3.1 Робастные свойства алгоритмов цифровой обработки сигналов на основе искусственных нейронных сетей.

1.3.2 Исследование робастных свойств алгоритмов обучения при весовой обработке кодовых последовательностей.

1.3.3 Исследование робастных свойств алгоритмов обучения при реализации вейвлетно-пакетного разложения речевых сигналов.

1.4 Формирование обучающей выборки с целью придания робастных свойств нейросетевым алгоритмам.

1.4.1 Целевая функция обучения.

1.4.2 Анализ влияния состава обучающей выборки на робастные свойства алгоритма нейросетевой обработки кодовых последовательностей.

1.4.3 Анализ влияния состава обучающей выборки на робастные свойства алгоритма нейросетевой обработки сигналов при реализации вейвлет-пакетного разложения.

1.5 Выводы.

2 Синтез и обоснование формы актнвацнонной функции.

2.1 Вводные замечания.

2.2 Синтез активационной функции.

2.2.1 Постановка задачи.

2.2.2 Аппроксимация формы активационных функций ортогональными полиномами.

2.2.3 Оптимизация формы активационной функции.

2.3 Обоснование формы финитной активационной функции.

2.4 Обоснование формы биполярной бисигмоидальной активационной функции.

2.5 Анализ свойств финитной и биполярной бисигмоидальной активационных функций при реализации алгоритма вейвлет-пакетного разложения на основе искусственных нейронных сетей.

2.5.1 Финитная активационная функция.

2.5.2 Биполярная бисигмоидальная активационная функция.

2.6 Анализ свойств финитной и биполярной бисигмоидальной активационных функций при реализации алгоритма демодуляции сигналов с относительной фазовой манипуляцией на основе искусственных нейронных сетей.

2.6.1 Реализация алгоритма демодуляции сигналов с относительной фазовой манипуляцией на основе искусственных нейронных сетей.

2.6.2 Финитная активационная функция.

2.6.3 Биполярная бисигмоидальная активационная функция

2.7 Выводы.

3 Практические аспекты проектирования нейросетевых алгоритмов цифровой обработки сигналов в радиотехнических устройствах.

3.1 Вводные замечания.

3.2 Процедура проектирования алгоритмов цифровой обработки сигналов на основе искусственной нейронной сети.

3.3 Проектирование устойчивой к мешающим факторам системы идентификации дикторов на основе искусственных нейронных сетей.

3.3.1 Постановка задачи.

3.3.2 Определение пространства первичных признаков.

3.3.3 Проектирование алгоритма идентификации дикторов на основе искусственных нейронных сетей.

3.3.4 Выводы.

3.4 Реализация двухэтапного нейросетевого алгоритма подавления реверберационных помех речевых сигналов.

3.4.1 Постановка задачи.

3.4.2 Экспериментальные исследования алгоритма подавления реверберационных помех в нейросетевом логическом базисе.

3.4.3 Выводы.

3.5 Анализ аппаратной реализации нейросетевых алгоритмов цифровой обработки сигналов.

3.5.1 Типы средств реализации.

3.5.2 Аппаратных средства нейроускорителей.

3.5.3 Особенности проектирования алгоритмов цифровой обработки сигналов в нейросетевом логическом базисе на основе программируемых логических интегральных схем.

3.6 Выводы.

Актуальность темы. Стремительное развитие современной аппаратной базы для реализации алгоритмов цифровой обработки сигналов (ЦОС) позволило реализовывать все более сложные радиотехнические устройства (РТУ). Одновременно с расширением аппаратных возможностей возрастают требования к РТУ среди которых увеличение вычислительной мощности и общей интеллектуальности радиотехнических систем (РТС) при сокращении вычислительных затрат [1].

Одним из наиболее эффективных подходов при реализации интеллектуальных алгоритмов ЦОС в РТУ является использование искусственных нейронных сетей (ИНС). При этом известные алгоритмы и методы, имеющие более простую реализацию, могут рассматриваться как частные случаи реализаций в нейросетевом логическом базисе [2. .5].

ИНС являются инструментом, позволяющим гибко и быстро решать сложно формализуемые задачи обработки сигналов в РТУ [6.12]. К достоинствам ИНС можно отнести нелинейность, обучаемость (адаптивность), обобщение информации, отказоустойчивость (толерантность), масштабируемость, параллельность структуры [13,14].

Опыт показывает, что использование ИНС при разработке ряда РТУ позволяет повысить показатели качества, сократить вычислительные затраты, повысить живучесть и производительность РТС в целом [15]. Кроме того, одним из основных требований, предъявляемых к современным РТУ, является высокая интеллектуальность, что также обеспечивается использованием ИНС.

Весомый вклад в теорию ИНС внесли как отечественные ученые, а именно: Галушкин А.И., Горбань А.Н., Головко В.А., Борисов В.В. и др. так и зарубежные, такие как: Маккалок В., Пите В., Хебб Д., Уидроу Б., Хофф М., Минский М., Паперт С., Розенблат Ф., Оссовский С. и др. [1, 15.28].

Однако до сих пор обоснованы лишь отдельные этапы проектирования ИНС в составе РТУ, а в целом разработка нейросетевых алгоритмов 6 обработки информации обычно основывается на эмпирических подходах и опыте разработчиков. Отсутствие данной методики затрудняет обоснованное использование ИНС в алгоритмах ЦОС, используемых в РТС.

Таким образом, актуальной задачей является разработка и обоснование процедуры проектирования алгоритмов ЦОС реализованных в нейросетевом логическом базисе и используемых в РТУ.

Цель и задачи работы. Основной целью работы является разработка и обоснование процедуры проектирования нейросетевых алгоритмов ЦОС в составе РТУ.

Поставленная цель работы достигается решением следующих основных задач:

- модификации процедуры обучения ИНС с целью повышения скорости обучения и улучшения показателей РТУ;

- исследования влияния состава множества обучающих векторов (MOB) на свойства нейросетевых алгоритмов ЦОС в составе РТУ;

- синтеза и обоснования новых, более эффективных форм активационных функций (АФ) с целью повышения показателей качества РТУ;

- разработки и обоснования процедуры проектирования алгоритмов ЦОС в нейросетевом логическом базисе для ряда РТУ.

Методы проведения исследований. В работе использовались методы статистической радиотехники, математической статистики, матричного исчисления, численные методы вычислительной математики. Данные теоретические методы сочетались с экспериментальными исследованиями на основе имитационного моделирования.

Научная новизна. В рамках данной диссертационной работы получены следующие новые научные результаты

1. Обоснованы модификации процедуры обучения ИНС с обратным распространением ошибки, обеспечивающие более высокую скорость сходимости и более низкие ошибки на тестовой (ТВ) и обучающей (ОВ) выборках.

2. Предложены методы усиления робастности алгоритмов ЦОС в нейросетевом логическом базисе на основе корректировки состава ОВ.

3. Предложены два новых вида АФ, обеспечивающих более низкие ошибки обучения и более высокие робастные свойства нейросетевых алгоритмов ЦОС.

4. Разработана процедура проектирования алгоритмов ЦОС в нейросетевом логическом базисе.

Практическая ценность работы. Предложенные в работе алгоритмы обучения, новые виды АФ и методики корректировки MOB при использовании процедуры проектирования ИНС могут быть использованы в различных РТС, в частности в системах передачи информации и телевидения. Реализация результатов исследований позволит повысить робастность устройств формирования и обработки радиосигналов к действию различных мешающих факторов, что обеспечит улучшение показателей качества всей РТС.

Результаты диссертационной работы нашли применение в разработках ФГУП РНИИ «Космического приборостроения», г. Москва, а также в ООО «Деснол Софт Рязань».

Основные положения, выносимые на защиту.

1. Модифицированные процедуры обучения ИНС обеспечивающие увеличение скорости сходимости от 2 до 5 раз и снижение ошибки в 2 -4 раза на тестовой и обучающей выборках по сравнению с алгоритмом ОРО.

2. Методика формирования состава ОВ, обеспечивающая усиление свойства робастности алгоритмов ЦОС в нейросетевом логическом базисе, что позволяет на примере реализации алгоритма весовой фильтрации снизить УБЛ на 10 дБ.

3. Новые виды АФ, обеспечивающие уменьшение ошибок обучения в 4 -8 раз и усиливающие робастные свойства нейросетевых алгоритмов цех:.

4. Процедура проектирования алгоритмов ЦОС в нейросетевом логическом базисе, позволяющая повысить характеристики РТУ.

Апробация работы. Результаты работы докладывались на следующих конференциях:

1. Одиннадцатая международная НТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» Рязань, 2002.

2. Восьмая НТК «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2003.

3. Двенадцатая МНТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». Рязань, 2004.

4. Десятая МНТК «Радиоэлектроника, электротехника и энергетика». Москва, 2004.

5. Девятая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2004.

6. Седьмая МНТК «Цифровая обработка сигналов и ее применение». Москва, 2005.

7. Десятая всероссийская «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2005.

8. Четырнадцатая МНТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». Рязань, 2005.

9. Пятая МНТК «Идентификация систем и задачи управления (SICPRO '06)». Москва, 2006.

Ю.Восьмая МНТК «Цифровая обработка сигналов и ее применение». Москва, 2006.

11 .Одиннадцатая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2006.

12.Всероссийская НТК посвященная 60-летию ФГУП «РНИИ КП». Москва, 2006.

Публикации. По теме диссертации опубликовано 25 работ, из них -4 статьи в центральной печати, 2 статей в межвузовских сборниках трудов, 19 тезисов докладов на конференциях и 5 отчетов по НИР.

Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, списка литературы из 148 наименований и 4-х приложений. Диссертация содержит 166 е., в том числе 140 с. основного текста, 30 таблиц и 46 рисунков.

Основные результаты диссертационной работы можно сформулировать в следующем виде:

1. Предложены модификации алгоритма ОРО, позволяющие увеличить скорость сходимости в три и более раз по сравнению с известным алгоритмом.

2. Показана эффективность использования ИНС в задаче весовой фильтрации КП фазоманипулированных сигналов. Так при использовании согласованной фильтрации для КП длиной 31 элемент УБЛ достигает -20,28 дБ, а при использовании НВФ удается обеспечить у порядка -35 дБ.

3. Оценено влияние выбора алгоритма обучения на свойство робастности к мешающим факторам нейросетевых алгоритмов ЦОС. Показано, что наиболее эффективным алгоритмом является алгоритм ЦММОРО, обеспечивающий минимальные ошибки ИНС как на ОВ, так и на ТВ.

4. На примере задач нейросетевой реализации весовой обработки КП и ВПР речевых сигналов доказана возможность усиления свойства робастности путем формирования ОВ на основе использования нескольких групп искаженных обучающих векторов с различной интенсивностью мешающего фактора.

5. Проведен синтез двух новых форм АФ: финитной и биполярной бисигмоидальной, обеспечивающих более высокие показатели качества нейросетевых алгоритмов ЦОС.

6. При реализации ВПР на основе ИНС финитная АФ обеспечивает наибольшую точность преобразования. Так при использовании биполярной сигмоидальной АФ удалось достичь ошибки преобразования на уровне енвпр = 1,7 • 10"2, а при использовании финитной АФ етпр = 3,9 • 10-3.

7. Биполярная бисигмоидальная АФ при реализации алгоритма ВПР обеспечивает более высокую устойчивость к действию мешающих факторов в виде действия белого гауссовского шума, чем финитная АФ. Так при отношении сигнал-шум 16дБ использование финитной АФ позволяет достичь ошибки преобразования £нвпр = а биполярной бисигмоидальной - £НВПР = 0,16.

8. При реализации алгоритма демодуляции ФМн-сигналов использование биполярной бисигмоидальной АФ позволило на два порядка сократить ошибки на ТВ и ОВ по сравнению с использованием биполярной сигмоидальной АФ.

9. Биполярная бисигмоидальная АФ обеспечивает наибольшую устойчивость к действию мешающих факторов в виде действия аддитивного белого гауссовского шума в полосе сигнала при реализации алгоритма демодуляции ФМн-сигналов на основе ИНС.

10. Обоснована методика проектирования алгоритмов ЦОС реализованных в нейросетевом логическом базисе в составе РТУ.

11. На основе применения методики проектирования алгоритмов ЦОС в нейросетевом логическом базисе разработан алгоритм идентификации дикторов, позволяющий обеспечить надежность идентификации 94% при использовании финитных АФ.

12. Обосновано применение биполярных бисигмоидальных АФ обеспечивающих высокую устойчивость к действию акустического шума в алгоритме идентификации дикторов.

13. На основе предложенной методики проектирования алгоритмов ЦОС в нейросетевом логическом базисе реализован алгоритм подавления реверберационных помех PC. Показано, что использование алгоритма подавления реверберационных помех при оптимальных параметрах ИНС обеспечивает коэффициент подавления помехи не менее Кп= 2,35 для исследуемого нейромодуля, который обладает устойчивостью к ошибкам определения параметров отраженного сигнала реверберационной помехи.

14. Проанализирована возможность реализации рассмотренных алгоритмов на базе ПЛИС фирмы Xilinx семейства Virtex-4. При использовании ПЛИС XC4VSX55 быстродействие нейроускорителя ИНС идентификации дикторов составит 8,8 не при 8 и 16-битной реализации и

17,6 не при 32-битной, а реализации нейроускорителя для подавления реверберационных помех 206,8 не для 8 и 16-битной реализации и 412,5 не при 32-битной.

Таким образом, выполнена цель работы, заключающаяся в разработке и обосновании процедуры проектирования нейросетевых алгоритмов ЦОС в составе РТУ.

ЗАКЛЮЧЕНИЕ

Разработана процедура проектирования нейросетевых алгоритмов ЦОС, которая показала высокую эффективность в различных РТУ. В рамках работы были предложены и исследованы модифицированные алгоритмы обучения на основе алгоритма обратного распространения ошибки, обоснованы методики формирования MOB с целью усиления робастных свойств.

Предложены модификации алгоритма обратного распространения ошибки, обеспечивающие увеличение скорости сходимости алгоритма от 2 до 7 раз, позволяющие до 2 раз уменьшить достижимую ошибку обучения; рассмотрены и исследованы методики усиления свойства робастности нейросетевых алгоритмов ЦОС в составе РТУ на основе корректировки MOB.

Обоснованы две новые формы АФ, обеспечивающие повышение показателей качества нейросетевых алгоритмов ЦОС в составе РТУ, в частности усиления робастных свойств при использовании биполярной бисигмоидальной АФ и уменьшению ошибок на ОВ и ТВ при использовании финитной АФ в 3. .4 раза.

Показана целесообразность применения предложенных модифицированных алгоритмов обучения и новых видов АФ в РТУ весовой обработки КП ФМн-сигналов, нейросетевой реализации ВПР, алгоритмах распознавания дикторов и подавления реверберационных помех; проведен анализ возможности реализации алгоритмов идентификации дикторов и подавления реверберационных помех на основе ИНС с использованием ПЛИС фирмы Xilinx семейства Virtex - 4.

1. Галушкин А.И. Теория нейронных сетей. Кн.1 М.: ИПРЖР. 2000.

2. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344с.

3. Горбань А.Н., Дунин-Барковский B.JL, Кирдин А.Н. и др. Нейроинформатика. Новосибирск: Наука. 1998. 257с.

4. A. Cichocki and R. Unbehauen, Neural Networks for Optimization and Signal Processing, John Wiley & Sons, Inc., New York, NY, 1993.

5. D. Hammerstrom, "Neural Networks at Work," IEEE Spectrum, pp 26-32, June 1993.

6. R. Lippmann, "An Introduction to Computing with Neural Networks," IEEE ASSP Mag., pp 4-22, April 1987.

7. B. Muller and J. Reinhardt, Neural Networks, Spring Verlag, Berlin, 1990.

8. O. Rioul and M. Vetterli, "Wavelets and Signal Processing," IEEE Signal Processing Mag., v8, n4, pp 14-38, Oct. 1991.

9. Ю.Карелов И.Н. Нейросетевой метод определения вида модуляции несущей сигнала. //Нейрокомпьютеры: разработка и применение. №12. 2001. С28-32

10. С. Хайкин Нейронные сети: полный курс, 2-е издание. Пер. с англ. М.: Издательский дом «Вильяме». 2006.1104с.

11. Короткий С. Нейронные сети: основные положения //www\\generation6\cjb.net

12. Галушкин А.И. Синтез многослойных систем распознавания образов. -М.: Энергия. 1974.

13. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. 1996.276с.

14. Головко В.А. Нейронные сети: обучение организация и применение. М. ИПРЖР, 2001.256с.

15. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия телеком. 2002. 382с.

16. Круглов В.В., Дли М.И., Голубов Р.Ю. Нечеткая логика и искусственные нейронные сети. М.: Горячая линия телеком. 2001. 228с.

17. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб. Наука и техника. 2003. 384с.

18. Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев С.А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. X.: Основа. 1997. 112с.

19. McCulloch W., Pitts W. A logical calculus of the ideals immanent in nervous activity // Bulletin of Mathematical Biophysics, 1943, #5, Pp. 115133.

20. Розенблат Ф. Принципы нейродинамики: Персептрон и теория механизмов мозга: Пер. с англ. -М.: Мир, 1965. 278с.

21. Hebb D. Organization of behaviour. N.Y.: J. Wiley. 1949.

22. Widrow В., Hoff M. Adaptive switching circuits // In 1960 IRE WESCON Convention Record. DUNNO. 1960. Pp.96-104.

23. Minsky M., Papert S. Perceptrons: An introduction to Computational Geometry. The MIT Press. 1969.

24. Ф. Уоссерман, Нейрокомпьютерная техника: Теория и практика, М. Мир, 1992.406с.

25. Минский М., Пейперт С. Персептроны. М.: Мир. 1971.261с.

26. Ясницкий JI.H. Введение в искусственный интеллект. М.: Издательский центр «Академия». 2005.176с.

27. F. С. Chen, "Back-Propagation Neural Networks for Nonlinear Self-Tuning Adaptive Control," IEEE Control Systems Magazine, Special Issue on Neural Networks for Control Systems, pp 44-8, April 1990.

28. D. S. Chen and R. C. Jain, "A Robust Back Propagation Learning Algorithm for Function approximation, IEEE Trans, on Neural Networks, v5, n3, pp. 467-79,1994.

29. Rumelhart D. E., Hinton G. E., Williams R. J. Learning representations by back-propagating errors // Nature (London). 1986. N 323. 533—536p.

30. Learning-logic: Casting the cortex of the human brain in silicon, Parker D. В.: Technical Report / Center for Computational Research in Economics and Management Science. TR-47. Cambridge, MA: MIT, 1985. 73p.

31. LeCun, Y. Une procedure d'apprentissage pour reseau a seuil assymetrique // Cognitiva 85.1985. 599—604p.

32. Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral science: Ph.D. Thesis. Harvard University, Cambridge, MA, 1974.120p.

33. Хьюбер П. Робастность в статистике. М.: Мир. 1984. 304с.

34. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния: Пер. с англ. М.: Мир. 1989. 512с.

35. Алдонин Г. М. Робастность в природе и технике: Монография / Г. М. Алдонин. М.: Радио и связь, 2003. 336с.

36. Круглов А.В., Кириллов С.Н., Хахулин С.С. Ватутин В.М. Алгоритм обработки шумоподобных сигналов спутниковых систем связи на основе искусственных нейронных сетей. // Электромагнитные волны и электронные системы. №10. т.Ю. 2005. С27-32.

37. Скребцов П.В. Настройка коэффициентов нейронной сети с использованием функционала целевой ошибки. // Нейрокомпьютеры: разработка и применение. 2004. №4. С41-45.

38. Варакин JI.E. Системы связи с шумоподобными сигналами. М. Радио и связь, 1985. 384с.

39. Поляков. П.Ф. Широкополосные системы связи со сложными сигналами М.: Радио и связь. 1981. 152 с.

40. Тузов Г.И. Статистическая теория приема сложных сигналов. М. 1987. 400с.

41. Радиотехнические системы /Под ред Ю.М. Казаринова. М.: Высшая школа. 1990.496 с.

42. Радиотехнические системы передачи информации /Под ред. И.М.Теплякова. М.: Радио и связь. 1982. 264 с.

43. Пенин П.И. Системы передачи цифровой информации. М.:Сов. Радио. 1976. 364с.

44. Прокис Дж. Цифровая связь. М.: Радио и связь. 2000. 800 с.

45. Вакман Д.Е. Сложные сигналы и принципы неопределенности в радиолокации. М.: Сов. радио, 1965.304с.

46. Кук Ч., Бернфельд М. Радиолокационные сигналы. М.: Сов. радио, 1971.568 с.

47. Вакман Д.Е., Седлецкий P.M. Вопросы синтеза радиолокационных сигналов. М.: Сов. радио, 1973. 312 с.

48. Винокуров В.И., Гантмахер В.Е. Дискретнокодированные последовательности. Ростов-на-Дону: Издательство Ростовского университета, 1990.288с.

49. Свердлик М.Б. Оптимальные дискретные сигналы. М.: Сов. Радио, 1975.200 с.

50. Френкс JI.E. Теория сигналов. М.: Сов. радио, 1974. 334с.

51. Диксон Р.К. Широкополосные системы. М.: Связь, 1979. 304с.

52. Шумоподобные сигналы в системах передачи информации / Под ред. В.В. Пестрякова. М.: Сов. радио, 1973.424 с.

53. Чепруков Ю.В., Соколов М.А. Метод оптимизации весовых фильтров сжатия фазоманипулированных сигналов // Изв. вузов. Радиоэлектроника. 1991. Т.34. № 4. С. 31-37.

54. Теоретические основы радиолокации, /под. ред. Ширмана Я.Д. М.: Советское радио, 1970. 560 с.

55. Тузов Г.И. Статистическая теория приема сложных сигналов. М.: Советское радио. 1977.400с

56. Применение цифровой обработки сигналов. Под ред. Э. Опенгейма. М.: Издательство «Мир». 1980. 552с.бО.Оппенгейм А.В., Шафер Р.В. Цифровая обработка сигналов. М. Связь, 1979.416с.

57. Гольденберг Л.М., Матюшкин Б.Д., Поляк М.Н. Цифровая обработка сигналов. М.: Радио и связь. 1985. 312с.

58. Кириллов С.Н., Хахулин С.С. Весовая обработка бинарных последовательностей на базе искусственных нейронных сетей. // Вестник РГРТА. Вып. 16. Рязань. 2005. С10-13.

59. Колмогоров А.Н. Представление непрерывных функций многих переменных суперпозицией функций одной переменной и сложением // ДАН, 1958, №5,953-956с.

60. Воробъев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования. СПб.: ВУС, 1999.204 с.

61. Дьяконов В.П. Вейвлеты. От теории к практике. М.: COJIOH-P. 2002. 448с.

62. Чуй К. Введение в вейвлеты. М.: «МИР». 2001.412с.

63. R. К. Young, Wavelet Theory and Its Applications, Kluwer Acadamic Publishers, Boston, MA, 1993.

64. Кириллов С.Н., Хахулин С.С. Робастный алгоритм корреляционно-спектрального анализа случайных процессов на основе искусственных нейронных сетей. // Нейрокомпьютеры. Разработка и применение. №12. 2004. С16-20.

65. Володин И. А., Дмитриев В. Г., Макаров С. Б., Сергеев В. И., Сергеева Е. А. Формирование нелинейных сигналов с заданным типом нелинейности. //Нелинейный мир. 2004. т.2. №5-6. С37-42.

66. Широков С.М., Петров А.В. Цифровая обработка сигналов с применением нелинейных ортогональных преобразований в частотной области. // Цифровая обработка сигналов: Материалы международной научн.-техн. конференции. Москва. 2002.

67. Галушкин А.И. Решение задач в нейросетевом логическом базисе. //Нейрокомпьютеры: разработка и применение. 2006. №2. С49-70.

68. Васильев Ф.П. Методы оптимизации. М.: Факториал пресс. 2002. 824с.

69. Васильев Ф.П., Численные методы решения экстремальных задач. М.: Наука. 1998. 552С.

70. Бронштейн И.Н., Семендяев К.А. Справочник по математике для инженеров и учащихся втузов. 13-е изд., исправленное. М.: Наука. 1986. 544с.

71. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Наука. 1974. 832с.

72. Марпл-мл. C.JI. Цифровой спектральный анализ и его приложения. М.:Мир, 1990.584с.

73. Трахтман A.M. Введение в обобщенную спектральную теорию сигналов. М.: Советское радио, 1972. 352с.

74. Гоноровский И.С. Радиотехнические цепи и сигналы. М.: Радио и связь, 1986. 512с.

75. Тихонов В.И. Статистическая радиотехника. М.: Советское радио, 1966. 680с.93.3аездный A.M. Основы расчетов по статистической радиотехнике. М.: Связь, 1969.448с.

76. Левин Б.Р. Теоретические основы статистической радиотехники. Т. 1. М.: Сов. радио, 1974. 376с.

77. Хахулин С.С. Демодулятор фазоманипулированных колебаний на основе нейронных сетей. // Радиоэлектроника, электротехника и энергетика: Материалы 10-й Международной научн.-техн. конф. Москва. Том 1.2004. С63-64.

78. Доленко С.А., Орлов Ю.В., Персианцев И.Г., Шугай Ю.С. Адаптивное построение иерархических нейросетевых классификаторов. //Нейрокомпьютеры: разработка и применение. 2005. №1-2. СЗ-9.

79. Хомич А. В., Жуков JI. А. Метод эволюционной оптимизации и его приложение к задаче синтеза искусственных нейронных сетей. //Нейрокомпьютеры: разработка и применение. 2004. №12. С16-23.

80. Москвич Д.Н. Синтез нейронных сетей при их практическом применении. //Вестник СевКавГТУ Серия «Физико-химическая». №1 (8). 2004. С32-36.

81. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск: Наука. Сибирская издательская фирма РАН. 1998. 210с.

82. Грошев А.В., Панов Ю.В. Реализация нейронных сетей на базе ПЛИС. //Нейрокомпьютеры: разработка и применение. 2003. №10-11. С35-42.

83. Добриков В. А., Сахно И. В. Применение нейропроцессора Л1879ВМ1 для подавления узкополосных помех в системах с шумоподобными сигналами. //Нейрокомпьютеры: разработка и применение. 2005. №10-11. С37-43.

84. Бахолдин B.C., Герасименко И.С., Добриков В. А., Иванов В.Ф., Сахно И. В., Ткачев Е.А. Применение нейропроцессора Л1879ВМ1 для поиска и обнаружения сигналов ГЛОНАС/GPS. //Нейрокомпьютеры: разработка и применение. 2005. №10-11. С43-51.

85. Комарцова Л.Г. Модульный подход к синтезу нейронной сети. // Материалы I Всероссийского семинара «Нейроинформатика и ее приложения» NEU-03. С23-25.

86. Рамишвили Г.С. Автоматическое опознавание говорящего по голосу. М.: Радио и связь, 1981,224 с.

87. R. Eberhart and R. Brandmaier, "Overview of Biomedical Applications of Neural Networks," Applications and Science of Artificial Neural Networks, S. K. Rogers and D. W. Ruck, Eds., roc. SPIE, v2492, part2, pp. 642-50,1995.

88. Кириллов C.H., Шустиков O.E. Об эффективности статических и динамических признаков при распознавании речевых сигналов. // Автоматика и телемеханика, 2001. №3. С. 151-157.

89. Рамишвили Г.С., Чикоидзе Г.В. Криминалистическое исследование фонограмм речи и идентификация личности говорящего. Тбилиси: Мецниереба, 1991. 265 с.

90. Рылов А.С. Практические аспекты и основные компоненты современных систем распознавания речевых образов. // Современные речевые технологии. Сборник трудов IX сессии Российского акустического общества. -М.: ГЕОС, 1999. С. 145-151.

91. Доддинггон Дж.Р. Распознавание дикторов: идентификация людей по голосу. // ТИИЭР. 1985. Т. 73. N0 11. С. 129-146.

92. Атал Б.С. Автоматическое опознавание дикторов по голосам // ТИИЭР. 1976. Т. 64. N0 4. С. 48-66.

93. Сорокин В.Н. Новые концепции в автоматическом распознавании речи. // Современные речевые технологии. Сборник трудов IX сессии Российского акустического общества. -М.: ГЕОС, 1999. С. 50-57.

94. Цвикер Э., Фельдкеллер Р. Ухо как приемник информации. М.: Связь, 1972. 147с.

95. Загоруйко Н.Г. Методы распознавания и их применение. М.: Сов. радио, 1972. 208с.

96. Фланаган Дж. Анализ, синтез и восприятие речи. Пер. с англ./под ред. Пирогова А.А. М.: Связь, 1968, 396 с.

97. Рабинер JI. Р. , Шафер Р.В. Цифровая обработка речевых сигналов. Пер. с англ. М.: Радио и связь, 1981.496с.

98. I. Jouny, M. Kanapathipillai, "Neural Network Adaptive Wavelet Classification of Radar Targets," Proceedings of the 1994 International Geoscience and Remote Sensing Symposium, v4, pp 1889-91,1994.

99. C-C Ku and K. Y. Lee, "System Identification and Control Using Diagonal Recurrent Networks," Proceedings of American Control. Conference, pp 545-49, June 1992.

100. Бабенко JI.K., Макаревич О.Б., Федоров B.M., Юрков П.Ю. Голосовая текстонезависимая система аутентификации/идентификации пользователя. //Нейрокомпьютеры: разработка и применение. №10-11. 2003. С70-73.

101. Рабинер Л. Гоулд Б. Теория и применение цифровой обработки сигналов. Пер. с англ. М.: Мир, 1978. 848с.

102. ГОСТ Р 50840-95 Передача речи по трактам связи. Методы оценки качества, разборчивости, узнаваемости. М.: Госстандарт России.

103. Ван. Нейросимуляция. // Компьютерра. №20. 2000. С23-27.

104. Шахнов В.А., Власов А.И., Кузнецов А.С. Элементная база параллельных вычислений. // Открытые системы. 2001. №5-6. С15-19.127. www.citforum.ru/hardware/neurocomp/neyrocomp01 .shtml

105. Стешенко В. Школа схемотехнического проектирования устройств обработки сигналов. Занятие 1. Алгоритмы, элементная база, способы реализации. http://wvvw.compitech.ru/html.cgi/arhiv/0003/stat72.htm.

106. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 1. Обзор элементной базы. //Chip news, 1999, №8, с.2-7.

107. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 2. Система проектирования MAX+PLUS II ALTERA. //Chip news, 1999, № 9, с.15-19.

108. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 3. Программное обеспечение проектирования на ПЛИС XILINX //Chip news, 1999, № 10 с. 19-23.

109. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 4. Язык описания аппаратуры VHDL //Chip news, 2000, № 1 с.28-32.

110. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 5. Язык описания аппаратуры AHDL. //Chip news, 2000, № 3 c.l 1-16.

111. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 6. Язык описания аппаратуры AHDL (продолжение). //Chip news, 2000, № 4 с.23-28.

112. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 7. Особенности функционирования ПЛИС в составе системы ЦОС //Chip news, 2000, № 5 с.20-25.

113. Антонов А.П. Язык описания цифровых устройств AlteraHDL. Практический курс. М.: Издательское предприятие РадиоСофт. 2002. 224с.

114. Проблемы построения и обучения нейронных сетей / под ред. А.И. Галушкина и В.А. Шахнова. — М.: Машиностроение. Библиотечка журнала «Информационные технологии». 1999. 216с.

115. А.И. Галушкин. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80-е и 90-е годы) // Нейрокомпьютер, 2000, № 1. СЗ-15.

116. Официальный сайт фирмы Analog Devices www.analog-devices.com

117. Официальный сайт фирмы Texas Instruments www.texas-instruments.com

118. Официальный сайт фирмы Модуль www.module.ru

119. Официальный сайт фирмы Analog Devices (Россия). // www.analog.com.ru

120. Официальный сайт фирмы Maxim. // www.maxim.com

121. Материалы сайта ChipDoc. // www.chipdoc.ru

122. ALTERA FLEX 1 OK Digital Library, February 2001.

123. Алюшин M.B. Аппаратная реализация быстродействующих нейросетей на основе программируемой логики фирм AMD, ALTERA, XILINX// Нейроинформатика -99. М.: МИФИ. Часть 2. С. 18-24.148. www.xilinx.com