автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Фильтрация сигналов посредством вейвлет-преобразования в нейросетевых системах классификации образов

На правах рукописи

0050462Ьэ

Болдырев Сергеи Владимирович

ФИЛЬТРАЦИЯ СИГНАЛОВ ПОСРЕДСТВОМ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ В НЕЙРОСЕТЕВЫХ СИСТЕМАХ КЛАССИФИКАЦИИ ОБРАЗОВ

05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

- 4 ИЮЛ 2012

Ставрополь - 2012

005046265

Работа выполнена на кафедре прикладной математики и информатики ФГБОУ ВПО «Ставропольский государственный университет»

Научный руководитель: заслуженный деятель науки и техники РФ,

доктор технических наук, профессор Червяков Николай Иванович

Официальные оппоненты: доктор технических наук, профессор

Копытов Владимир Вячеславович

доктор технических наук, профессор Финько Олег Анатольевич

Ведущая организация: Южный федеральный университет

(ЮФУ) (г. Ростов-на-Дону)

Защита состоится «16» июля 2012 г. в 13 часов 00 минут на заседании совета на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук Д 212.256.08 при ФГБОУ ВПО «Ставропольский государственный университет» по адресу: 355009, Россия, Ставропольский край, г. Ставрополь, ул. Пушкина, д. № 1, корп. 1а, ауд. 416.

С диссертацией можно ознакомиться в научной библиотеке Ставропольского государственного университета.

Автореферат разослан «15 » июня_ 2012 г.

Ученый секретарь совета на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук Д 212.256.08 кандидат физико-математических наук, доцент

Л. Б. Копыткова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. В настоящее время идет интенсивное развитие многих направлений обработки информации. Научное направление, связанное с построением и применением систем распознавания и классификации образов в настоящее время является одним из самых востребованных.

С прикладной точки зрения решение проблемы классификации образов важно прежде всего потому, что оно открывает возможность автоматизировать многие процессы, которые до сих пор связывали лишь с деятельностью живого мозга. Круг задач, которые могут решаться с помощью систем классификации, очень широк. Сюда относятся не только задачи обработки зрительных и слуховых образов, но и задачи распознавания сложных процессов и явлений, возникающих, например, при выборе целесообразных действий руководителем предприятия или выборе оптимального управления технологическими, экономическими, транспортными операциями. В каждой из таких задач анализируются некоторые явления, процессы, состояния внешнего мира.

Существующие подходы к решению задач обработки и классификации сигналов, основанные на использовании вейвлет-анализа и нейросете-вых методов предложенные и развитые в работах Оссовского С., Редько В.Г., Галушкина А.И., Дорогова А.Ю., Дремина И.Л., Анисимовича К.В., Астафьевой Н.М., Маллата (Mallat S.), Червякова Н.И., Терехова В.А., Васильева В.И, Гадзиковского В.И., Горелика А.Л., Дьяконова В.П., Кохена А. (Cohen А.), Видрова Б. (Widrow В.) и других ученых являются эффективными и во многом превосходят существующие методы. Но все же проблема применения этих методов для совершенствования систем классификации сигналов в том числе и в тех случаях когда сигналы являются нестационарными, зашумленными либо информация о них является неполной недостаточно исследована.

Известно, что нейросети по своей природе представляют собой попытку построения системы, которая в какой-то степени моделирует работу биологических нейронов. Важнейшей особенностью нейросетей является возможность параллельной обработки информации, способность к обучению и обобщению накопленных знаний. Характерной особенностью нейросетей является возможность реализации е применением технологии сверхбольшой степени интеграции. Это открывает возможность создания специализированного процессора с однородной структурой, способного перерабатывать разнообразную информацию.

При построении систем классификации мы сталкиваемся с обработкой большого количества данных. Иногда, поступающие для классификации объекты содержат помехи, наводки и шум. Для решения данной проблемы применяются различные методы предварительной обработки и очи-

стки сигнала от шума. Высокие результаты получаются в результате применения методов на основе вейвлет-преобразования. Теория вейвлетов дает более гибкую технику обработки сигналов, чем преобразование Фурье. Оно предоставляет возможность анализа сигнала не только по его частотным составляющим, но и локализует их. В процессе построения нейронных сетей применение предварительной обработки сигналов, входящих как в обучающую выборку так и непосредственно в сами классифицируемые сигналы посредством вейвлет-анализа позволяет повысить скорость и качество обучения нейросети.

При использовании вейвлет-анализа для обработки графической информации целесообразно использование методов кратномасштабного анализа и быстрого алгоритма нахождения вейвлет-коэффициентов. Многомасштабное представление дает возможность рассмотрения сигнала на разных уровнях его разложения. В то время как алгоритм быстрого вейвлет-преобразования позволяет обойти вычисление большого количества интегралов. К тому же существует возможность построения нейросетевой структуры, реализующей алгоритм быстрого вейвлет-преобразования. Данной структурой являются так называемые быстрые нейронные сети.

Таким образом исследования, проведенные в данной работе являются актуальными и практически значимыми. ,

Соответствие темы диссертации требованиям паспорта специальности ВАК (по техническим наукам). Диссертационная работа выполнена в соответствии с пунктами 1, 3, 5 и 8 паспорта специальности 05.13.18 -«Математическое моделирование, численные методы и комплексы программ» (технические науки) ВАК Министерства образования и науки РФ.

Целью диссертационной работы является повышение скорости и точности работы нейросетевых систем классификации образов посредством предварительной обработкой сигналов с помощью вейвлет-анализа.

Объектом исследования в данной диссертационной работе является цифровая фильтрация в системах классификации образов.

Предметом исследования являются методы и алгоритмы предварительной обработки сигналов в системах классификации образов на основе нейросетевых структур.

Научная задача исследования состоит в разработке методов предварительной фильтрации сигналов посредством вейвлет-преобразования применительно к нейросетевым алгоритмам классификации на основе самоорганизующихся гибридных сетей для увеличения скорости и качества классификации.

При этом были решены следующие частные задачи:

1. Систематизация и анализ методов и алгоритмов распознавания и классификации сигналов.

2. Разработка методов выявления классообразующих признаков объекта классификации.

3. Разработка методов предварительной обработки и очистки сигналов от шума посредством дискретного вейвлет-анализа.

4. Построение математической модели нейросетевой структуры, реализующей быстрые алгоритмы нахождения вейвлет-коэффициентов.

5. Разработка метода интерполяции вейвлет-коэффициентов после процедуры децимации в процессе восстановления сигнала.

6. Разработка эффективного нейросетевого алгоритма классификации на основе самоорганизующихся алгоритмов обучения и методов предварительной вейвлет-фильтрации сигналов.

7. Разработка системы компьютерного моделирования в среде разработки С++, моделирующая алгоритм предварительной обработки сигналов.

Методы исследования. Для решения поставленных в работе задач использованы методы теории искусственных нейронных сетей, вейвлег-анапиза, математического моделирования, линейной алгебры, математического анализа, синергетики, системного анализа, дискретной математики, теории автоматического управления, теории вероятностей, численных методов.

Достоверность и обоснованность полученных в диссертационной работе теоретических результатов и формулируемых на их основе выводов обеспечивается строгостью математических выкладок. Достоверность выводов об эффективности предложенных методов обеспечивается проводимым компьютерным моделированием.

Научная новизна работы заключается в следующем:

- обоснование применения к системам автоматической классификации образов вейвлет-преобразования, обладающего частотно-локальными свойствами и возможностью кратномасштабного анализа сигналов;

- предложен метод нтерполяции вейвлет-коэффициентов после процедуры децимации при вейвлет-обработке в процессе восстановления сигнала с помощью интерполяционных многочленов.

- разработан алгоритм нахождения коэффициентов быстрого вейвлет-преобразования на основе применения быстрых (ядерных) нейронных сетей;

- разработана эффективная модель позволяющая повысить качество работы нейросетевых алгоритмов для классификации образов на основе самоорганизующихся нейросетей, сети прямого распространения и быстрой нейросети реализующей предварительную вейвлет-фильтрацию сигналов;

- реализация обоих этапов обработки данных (предварительная обработка и классификация) с помощью аппарата искусственных нейронных сегей.

- разработан комплекс программ в среде разработки С++ для моделирования алгоритма предварительной обработки сигналов посредством вейв-лет-анализа.

Практическая значимость. Практическое использование результатов дает возможность:

- повысить скорость и качество классификации сигналов благодаря разработанной модели гибридной нейросети на основе самоорганизующихся алгоритмов обучения и методов обработки и очистки сигналов от шума;

- обеспечить повышение скорости вейвлет-обработки сигналов благодаря ее реализации с помощью нейросетевых методов;

- производить оба этапа обработки данных (предобработка и классификация) используют одни и те же средства реализации — нейронные сети;

Полученные результаты могут быть использованы в построении эффективных систем обработки сигналов.

На защиту выносятся следующие основные положения:

1. Обоснование эффективности применения методов вейвлет-фильтрации для предварительной обработки сигналов (выявления классо-образующих признаков и очистка от шума) поступающих на входы нейронной сети.

2. Метод интерполяции вейвлет-коэффициентов после процедуры децимации в процессе восстановления сигнала с помощью интерполяционных многочленов.

3. Математическая модель и алгоритм нейросетевой реализации быстрого вейвлет-преобразования на основе применения быстрых (ядерных) нейронных сетей.

4. Применение нейросетевых алгоритмов для реализации обоих этапов обработки данных (предобработки и классификации).

5. Комплекс программ в среде разработки С++ для моделирования алгоритма предварительной обработки сигналов.

Апробация результатов работы. Результаты работы были представлены в журнале «Инфокоммуникационные технологии» (г. Самара 2008), в журнале «Успехи современного естествознания» (г. Москва, 2008), в журнале «Фундаментальные исследования» (Москва, 2008), в журнале-сборнике «Математическое моделирование развития северных территорий Российской Федерации» (г. Якутск, 2008), в журнале "Инфокоммуникационные технологии в науке, производстве и образовании (Инфоком-3)" (г. Кисловодск, 2008), в журнале-сборнике «Информационные технологии в науке, образовании и экономике» (г. Якутск, 2008), в журнале «Актуальные проблемы и инновации в экономике, управлении, образовании, информационных технологиях 2009» (Кисловодск, 2009), в журнале-сборнике «Математическое моделирование развития северных территорий Российской Федерации» (Якутск, 2009), в электронном научном журнале «Вестник Дона» (Ростов-на-Дону, 2012).

Публикации. Основные результаты диссертационного исследования опубликованы в 9 научных работах, в том числе 2 статьи опубликована в научном издании, рекомендованном ВАК РФ для публикации основных результатов диссертаций.

Реализация и внедрение результатов работы. Теоретические и практические результаты диссертационной работы были реализованы в научно-производственном объединении «СайТЭК» для обработки данных химического и микробиологического анализа ингредиентов с помощью

спектрального анализа и вейвлет-преобразования получаемых с приборов графиков для проверки соответствий заданным требованиям и вейвлет-обработки цифровых изображений при съемке световым микроскопом.

Объем и структура работы. Диссертационное исследование состоит из введения, четырех глав, заключения, списка литературы, содержащего 112 наименований и 4-х приложений.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность исследований по разработке нейросетевых алгоритмов с применением предварительной обработки сигналов посредством дискретного вейвлет-преобразования. Была сформулирована цель работы, показана научная новизна и практическая значимость результатов проведённых исследований, указаны основные положения, выносимые на защиту.

В первой главе сформулированы основные проблемные задачи, которые решаются при построении систем классификации. Произведен сравнительный анализ методов выделения классообразующих признаков объектов классификации. Также было показано, что из существующего большого количества методов и алгоритмов классификации и распознавания, методы построенные на основе искусственных нейронных сетей, являются одними из самых эффективных.

Показано, что для классификации одними из самых эффективных являются сети на основе принципов самоорганизации. Их основными достоинствами являются алгоритмы обучения, которые позволяют производить количество необходимых итераций для получения наилучшего результата на порядок меньше чем в традиционных сетях. Также показано, что применение в совокупности самоорганизующейся архитектуры с линейными сетями, которые позволяют производить эффективную аппроксимацию, позволяет получить структуру, называемую гибридной сетью, которая дает возможность уменьшить время обработки сигналов и увеличить эффективность их классификации.

Для решения рассматриваемой задачи фильтрации была рассмотрена задача предварительной обработки сигналов входящих как в обучающую выборку так и непосредственно в сами классифицируемые сигналы нейросети. Эта задача решается с использованием дискретного вейвлег-анализа. Показывается что вейвлеты, в отличие от преобразования Фурье, позволяют локализовать как частотную так временную составляющую сигнала. Использование вейвлет-преобразования практически во всех случаях помогает повысить эффективность обработки сигналов по сравнению с другими методами.

На основе проведенного анализа сформулированы цели и задачи диссертационного исследования.

Во второй главе из математического аппарата теории вейвлет-анализа были выбраны и развиваются методы кратномасштабного анализа как основы быстрого вейвлет-ттреобразования, которые становятся основой для решения задачи предварительной обработки сигналов. Показывается эффективность использования в качестве базисных ортогональных вейвле-тов. Рассматривается применение быстрых (ядерных) нейронных сетей для реализации алгоритма быстрого вейвлет-преобразования.

В работе показано, что когда мы имеем сигнал, в котором частотный состав претерпевает существенные изменения на интервале его задания, то преобразование Фурье дает только усредненные данные частотного состава сигнала с усредненным частотным разрешением.

Вейвлет-преобразование дает семейства спектров масштабных коэффициентов а сжатия-растяжения:

с(а,Ь) = )*(1)\а["2ч,<, Л . (1)

Масштабные коэффициенты действуют во времени, изменяя "ширину" вейвлетов. Каждой частоте соответствует своя длительность временного окна анализа, и наоборот. Многоразмерные временные окна вейвлет-преобразования дают возможность выявлять с достаточной степенью точности и низкочастотные, и высокочастотные характеристики сигнала.

Также показано, что возможен каскадный алгоритм вычислений:

. (4+1)Д/

ст,к=- р(0-р(2т1-к)Шу (2)

Р кЫ

При известных значениях коэффициентов стк предшествующего уровня расчет коэффициентов может выполняться последовательно с учетом изменения нормировочного множителя j в формуле итерации:

(к+\)А1

Сет+и = ЕЛ„СЯ.2*«> <*т+\,к=Т;%пСтЛк^ С0.к = (3)

" " кЫ

где с - аппроксимирующие коэффициенты, с! - детализирующие коэффициенты, /г - соответствующие значения функции <р, g - соответствующие значения функции у/. Схематически данный процесс изображен на рисунке 1.

]

ы га

<і

Рисунок 1 — Схема алгоритма быстрого вейвлет-преобразования.

В итоге мы получаем, что коэффициенты вейвлет-преобразования вскрывают флюктуационную структуру сигнала на разных масштабах и в разных временных точках.

В работе предложен алгоритм реализации вейвлет-преобразования с помощью нейросетей. Т. к. алгоритмы быстрого вейвлет-преобразования имеют выраженную многослойную структуру, подобную структуре многослойных персептронов, поэтому возможно построение нейронных сетей с использованием принципов вейвлет-преобразования. Для этого в операциях преобразования заменяем коэффициенты преобразования перестраиваемыми синаптическими весами и добавляем нелинейные функции активации. Обобщенное спектральное преобразование рассматриваем как нейронную сеть с линейными функциями активации.

Т. к. быстрые нейронные сети представляют собой вариант многослойных сетей, то для их обучения эффективно использовать градиентные методы типа обратного распространения ошибки. Структура быстрой нейронной сети представляется в виде слабосвязанного многослойного графа. Каждая вершина графа является нейронным ядром, и определяет базовую операцию над векторной компонентой. Базовая операция нейронного ядра задается матрицей размерности р, х р, (синаптической картой нейронного ядра). В структуре быстрых нейронных сетей отсутствуют параллельные пути между вершинами графа, что позволяет представить преобразование данных как совокупность преобразований векторных компонент вдоль путей, связывающих вершины терминальных слоев сети. Обозначим через / номер вершины входного слоя и через} номер вершины в выходном слое и поразрядно представим эти числа в позиционной системе счисления:

= ('*-!.'4-2.-.А), 7=(7О>./1>->Л-2), (4)

где «лЛ еО,1,...,(/)Л -1). Для структурной модели быстрых нейронных сетей существует порождающая схема, связывающая номер ядра Iя в слое X с разрядными переменными чисел /,/ Эта порождающая схема имеет следующий вид

'Л = (ЛЛ-Л-14-1г*-2-'"я+1) , (5)

у-> (ч=.)=Е ^ К» ' ) • (6)

Изменяя в (б) значенияот 0 до к-!, строится структурная модель быстрой нейронной сети следуя правилу: вершины смежных слоев соединяются дугой, если в поразрядном представлении номеров вершин общие одноименные разрядные числа имеют совпадающие значения.

В третьей главе на основе методов и алгоритмов предыдущей главы происходит построение алгоритма предварительной обработки сигналов.

Возьмем дискретный сигнал .г = {.?, },./ £ 7.. В соответствии с принципами многомасштабного анализа выделим из данного сигнала его низко-

„я „с

частотную и высокочастотную 5j составляющие.

Исходный сигнал представляет собой сумму составленную из его низкочастотных и высокочастотных компонентов = я" + . Исходя из этого получаем следующие выражения

(7)

¿ег кег

где - коэффициенты низкочастотного фильтра, - коэффициенты высокочастотного фильтра.

Сигнал подается на фильтры декомпозиции низких и высоких частот, после чего с помощью операции децимации 4 2 (уменьшения числа частотных составляющих вдвое в соответствии с теоремой Котельникова-Шеннона) -удаление элементов } и с нечетными номерами, можно получить коэффициенты аппроксимации на выходе фильтра низких частот и детализирующие коэффициенты на выходе фильтра высоких частот.

К сигналу = } применяется низкочастотный фильтр разложения

с децимацией для получения сглаженной составляющей А = {Ак}, затем применяем высокочастотный фильтр разложения Ш О с децимацией для получения детальных коэффициентов £ = {£>4} , которые теряются при сглаживании. Пройдя данный этап получаем коэффициенты аппроксимации А, ={А1к} и детализирующие коэффициенты Ц = {Ц первого уровня разложения.

= А,* = Х&иЛ.М+л. (8)

т т

После чего разложение применяется к набору коэффициентов Ах, и мы получаем коэффициенты второго уровня разложения А2={А2к} и А = {А,* } • После каждого шага, в результате операции децимации, число аппроксимирующих и детализирующих коэффициентов уменьшается в два раза.

Л!,к = ЕМу-1,2*+»> = Е^^чзь™ (9)

т т

Схему данного разложения выглядит следующим образом:

(10)

4-

-> ///_£> ->4- 2 -> ,

где А^ - кэффициенты аппроксимации уровня у+1, - детализирующие коффициенты уровня у+1, ¿о Б - низкочастотный фильтр, Ш О - высокочастотный фильтр.

Ьо_0 = ртк(х) = р-<р{2тх-к), (11)

где (р - скейлинг функция вейвлета, р - коэффициент ортонормирования,

т

который определяется по условию Л<рт к (х)| с!х = 1 и равен р = 2 2 .

Н-й уровень

О -20000 Гц

ЕоВ

4.2

А,

0 - 10000 Гц

2-й уровень І2

г-ЬоВ

О -5000 Гц

1оВ

І2

Ній - І2

Ні О

І2

т_в- і г

5000-КЮСЮ Гц

-»-А

10000 - 20000 Гц ^

Рисунок 2 - Схема работы высокочастотного и низкочастотного фильтра на этапе разложения сигнала.

При прохождении сигнала через высокочастотный фильтр Ні_£> коэффициенты вейвлет-разложения вычисляются как разности значений первой и второй половины интервала т.е.

Г-)ИІ =-^(Л121 (12)

Т.о. коэффициенты получаются следующим образом:

= ^Ьо_В(п- 2к)Л/(п), й,,, = £ Ні _0(п-2к)А1(п).

(13)

После прохождения через фильтры в соответствии с теоремой Ко-тельникова-Шеннона удаляются элементы ЛуЧ, и с нечётными номерами, т.е. проводится децимация сигнала. В итоге мы получим полный набор аппроксимирующих и детализирующих коэффициентов, вплоть до уровня декомпозицииу+1. По этому набору коэффициентов мы можем построить вейвлет-спектрограмму сигнала для оценки его особенностей. Схема работы фильтра на этапе разложения приведена на рисунке 2.

Теперь перейдем к диаграмме быстрой вейвлет-реконструкции. Используя операцию, обратную децимации — интерполяцию (увеличения частотных составляющих в 2 раза), создаются наборы аппроксимирующих и детализирующих коэффициентов. Данная операция осуществляется путем добавления нулевых компонентов к полученным на этане разложения. При

этом для сигнала .ч(к) на выходе имеем л' (&) - для четных к и

^ (к) = 0 для нечетных.

Метод 1. Интерполяция вейвлет-коэффициентов после процедуры децимации в процессе восстановления сигнала с помощью интерполяционных многочленов. Т.к. нам известен определенный набор значений вейв-лет-функции, то остается лишь найти необходимые отсчеты по этим зна-

чениям, т.е. по узлам интерполяции. Оптимизировать этот процесс позволяет построение так называемого интерполяционного вейвлет-базиса, т.е. нахождение многочленов с определенными свойствами.

Интерполяционной функцией называется любая функция ф такая, что V(f-'i)Lz есть базис Рисса порожденного им пространства U¡ и которая удовлетворяет равенству

Пространство UT строиться так, что любая функция этого пространства может быть восстановлена интерполяцией равномерной выборки Т.

Любой сигнал s е U, восстанавливается интерполяцией его отсчетов s(n):

*«=f>(n)íí(í-«) (15)

Любой сигнал seUT может быть записана в виде многочлена

*(/)=|>(«7Ш*-иГ) (16)

ÍI=-«5

Интерполяционная функция <р может восстановить сигнал s по равномерной выборке {s(nT)}ñ^, если s принадлежит определенному подпространству UT пространства L2 (R). Коэффициенты разложения вычисляются по значениям отсчетов сигнала вместо интегралов скалярного произведения. .¡/.-и " интерполяционные вейвпеты, = i//(2'Jt-n), где

i//(t) = ф(И -1). Функция у/ на самом деле не вейвлет, так как она не имеет нулевых моментов, но она играет ту же самую роль, что и вейвлет в таком

разложении. Wj определяется как пространство всех сумм ]Г <An\¡j¡ n. Это

л=-«с

есть неортогональное дополнение Vj в Vr¡. Т. е. для любого /eZ V^V^VjQWj. Если s е Vj_, ,то

í=f>( (17)

И=-00 п=-аЭ

где djnl = ^и + - РУ) +1)j.

Интерполяционное вейвлет-преобразование функции s вычисляется при масштабах 1>2J >N~' =2' по ее отсчетом {s(N~lrí)\i7. При каждом масштабе 2 значения 5 между отсчетами {2Jn\,eZ вычисляются с помощью интерполяции Prs(0 = Yls(2'n^J(,l-2'rí) т.е.

+ = Ъ&кМп-к], (18)

где интерполяционный фильтр А, - неполная выборка автокорреляционно-

го фильтра А в И(п) = £/10[т]^[т-л] = /г0 *Ь„[п] т.е. к[п\ = ф\ 2«+^-| = /г[2« + 1].

Вейвлет-коэффициенты вычисляются с помощью

= (19)

V) Ч I 2 .

Это уточняет интерполяцию с грубой решетки 2п на более точную Т 'п добавлением «подробностей», коэффициенты 4М У которых есть погрешность интерполяции + + Интерполяционный

вейвет-базис пространства Со в смысле равномерной сходимости определяется следующим образом: если / е С0, то

хЛх-^&пЫ^^^а^Л =о. (20)

Формула (20) раскладывает .V на грубую интерполяцию с шагами 2' плюс слои подробностей, которые дают погрешность интерполяции на последовательно более точных двоичных решетках.

Восстановление .«О'"1«) по значениям вейвлет-коэффициентов выполняется рекурсивно восстановлением отчетов и(Т1п) по более грубым отсчетам ь(2!п) с интерполяцией, к которой добавляются Если с1[п\ - конечный фильтр длинны К и если « имеет носитель в [0,1], то алгоритмы разложения и восстановления требуют АТУ умножений и сложений.

Диаграмма понижения уровня коэффициентов аппроксимации выглядит следующим образом:

Л,->Т2-»¿о

1

(+)->4_,- (21)

Кроме подавления шума полученные в результате вейвлет-разложения коэффициенты являются основой для формирования входных данных для нейросети классифицирующей сигналы. Происходит минимизация входного образа нейросети, в результате объем входных данных нейросети в целом существенно увеличивается, но в тоже время не происходит увеличение самого входного образа. Такой подход позволяет достичь большей информативности входов нейросети (рис. 3).

£- " 1

[ Исходный сигнал )-»[ Вейвлет обработка Нейресеть "")-♦( Результат )

^Избыточная информация^)

Рисунок 3 - Система обработки сигнала с применением вейвлет-преобразования для получения входного образа нейросети.

'' V/

А

Б) л. г-л^р______■ г) а2 *М|Цм 1 . . . -

Л Г \ ' V -- У .

Рисунок 4 - а) Исходный сигнал; б) выход нейросети без вейвлет-обработки; в) аппроксимирующие коэффициенты 3-х уровней разложения; г) детализирующие коэффициенты 3-х уровней разложения; д) выход нейросети с вейвлет-обработкой.

На рисунке 4 показан сигнал воспроизведенный нейросетью после обучения. Становится ясно, что нейронная сеть не смогла с достаточной степенью точности обработать входные сигналы. Это связано с достаточно сильными шумами в исходном сигнале. Для примера возьмем 3 уровня вейвлет-декомпозиции сигнала с помощью вейвлета Добеши 4 (рис. 4). Детализирующие коэффициенты первых двух уровней разложения несут в себе информацию о шуме в исходном сигнале. При подаче на вход нейросети они отбросывакггся, берутся в рассмотрение коэффициенты 3-го уровня разложения 4 и Д, которые и несут в себе необходимую для работы нейросети информацию о сигнале. Т.е. мы производим для каждого сигнала вейвлет обработку до 3-го уровня разложения, отбрасывая коэффициенты А1, А2, £),, £>2.

Т. о. обученная нейросеть на полученных коэффициентах дает более высокий результат за счет удаления шума и избыточной информации из сигнала. К тому же нейросеть, при обработке лишь необходимой информации, имеет более простую структуру, т.е. происходит концентрация наиболее важных компонентов сигнала, что и позволяет уменьшать число слоев и нейронов в сети.

В четвертой главе на основе методов и моделей предыдущих глав происходит построение и моделирование нейросетевых алгоритмов предварительной обработки и классификации сигналов.

Алгоритм 1. Нейросетевая модель реализующая алгоритм предварительной обработки сигнала с помощью быстрого вейвлет-преобразования т.е. для нахождения аппроксимирующих А = {Ак} и детализирующих В = {Ок} коэффициентов нужного уровня для их использования при обучении классифицирующей нейросети.

Строим алгоритм быстрого вейвлет-преобразования на временном интервале длиной Л'= /?0,р,,...,р, - произвольные целые числа. Для построения данного алгоритма использован вариант быстрой нейронной сети, описанной во второй главе работы.

В быстрых нейронные сетях обработка данных выполняется последовательно по слоям от начального слоя к конечному. Обозначим через Х1,}'1 входной и выходной векторы слоя).. Алгоритм преобразования з а-пишется следующим образом:

Х'л1 =ГхД = 0,1,...,£-1, (22)

где Х\ УЛ - входной и выходной векторы слоя А, Н1 матрица преобразования в слое к. Матрица ЯА является слабозаполненной и состоит из непересекающихся блоков, каждый из которых содержит синаптическую карту нейронного ядра. Для построения алгоритма делается привязка ядер к переменным и'\У1 слоя X. Глобальные переменные слоя в поразрядной форме представляются в следующем виде:

и" (23)

Однозначные соответствия между локальными и глобальными разрядными числами системы имеют вид:

(¡А1и^)->ик, (¡л,У/-)->У* (24)

Подставляя в (22) глобальные переменные, получим:

У(;\к/)МЯХ (25)

и?

где ¡1 = . Соответствия (23) определяются топологией слабозапол-

ненной матрицы Я-1. Анализируя выше приведенное выражение получаем аналитическую форму для поэлементного представления данной матрицы: /»Я(V1,V1) = ** (I/;,г/щиъ,V*,У„1 жид«.У^Ж^и^У'-т1^-,)

(26)

Построим нейронную сеть для вейвлет-базиса Добеши заданного на интервале длиной 2'. По частотным локализациям функции базиса разбиваются на октавы. При к=Ъ матрица образующих импульсов для каждой октавы и имеет вид:

Базисные функции разбиваются на три октавы, а матрица преобразования факторизуется в произведение трех матриц: //"//'//2. Поразрядное представление строк и столбцов матрицы Н можно записать в виде:

Матрица синаптической карты 0-го, 1-го и 2-го слоя определяется выражениями:

К{и\У°) = ц?<,{и1Х)5{и1У?)5{и°,У°) (28)

(29)

= (30)

где =({/2°{/1°), и>°(С/",1'г") = <р(и",1'"), ¿С) - оператор Кронекера.

Преобразование Добеши от некоторого вектора соответствует умножению его на матрицу:

С, -с,

с, с, с2 с,

с, -с, с, -с„ (31)

с„ с\ с2 с, с3 -с?2 с, -с, С2 с, с0 с,

с, -с„ с3 -с2

Каждая строка матрицы соответствует свертке вектора сигнала с локализованным вейвлет-фильтром. При этом нечетные строки «сглаживают», а соответствующие четные фильтры вычисляют поправки к сглаживанию, обеспечивая обратимость преобразования. Полное вейвлет-преобразование получается путем умножения вектора сигнала на полученную матрицу Добеши, далее нечетные компоненты сигнала (сглаженная версия сигнала) снова умножаются на матрицу Добеши (вдвое меньшей размерности), и так до тех пор, пока не будет получено полностью сглаженное представление, т.е. среднее значение сигнала.

Матрицы послойных преобразований представлены на рисунке 5:

га о о о о

К, О О 1 1 КО 1 0 1

1 1 1 1 00001 1 1100001111

1 1

0 0 11 0 10 1

0 1 1

1 О 1

0 1 1

1 0 1

0 1 1

1 0 1

и, и, </„

0 0 0 ^ с, 0 0 0 0 0 0 с» с, 0 0 0 0 0 0 С„ С, 0 0 0 0 0 0

0 0 1 С, -С, 0 0 0 0 0 0 0 0 с, 0 0 0 0 0 0 0 Со 0 0 0 0 0

0 1 0 0 0 с, С, 0 0 0 0 с, -С, 0 0 0 0 0 0 0 0 0 0 С, 0 0 0

0 1 I 0 0 С, 'С1 0 0 0 0 0 0 0 с. 0 с 0 0 0 0 0 0 0 0 С. 0

1 0 0 0 0 0 0 с. С, 0 0 0 0 0 0 с» С, 0 0 С, -с. 0 0 0 0 0 0

1 0 1 0 0 0 0 с, -О 0 0 0 0 0 0 0 0 С, 0 0 0 0 с. 0 0 0 0

1 1 0 0 0 0 0 0 0 С, С, 0 0 0 0 С, -С, 0 0 0 0 0 0 0 г. 0 0

1 1 1 0 0 0 0 0 0 с, -С, 0 0 0 0 0 0 0 с. 0 0 0 0 0 0 0 с,_

1-й я*, :: .

Рисунок 5 - Матрицы послойных преобразований для вейвлета добеши.

Результирующая матрица преобразования вид:

( С'3 с„2с, С„2С, 0 С2С 0 0 0

С2С С С С 0 3 1 с с с 0 -С с с 0 0 0

С2С С„С3С\ -с;сг 0 0 0 С,С2С0 0

С2 С с32с, -С с с 3 2 0 0 0 0 0

С2 С -с02с2 0 с, С0С2 0 с;с2 0 0

С2С -с,с„с2 0 С3С,С2 0 ~с1с1 0 0

С С1 -С„С3С2 0 ~С0С2 0 0 0 с, с2

1 С, -С2С 0 -С\с22 0 0 0 -С1)

Рисунок 6. Модель в виде графа быстрого вейвлет алгоритма для размерности 23.

Модель нейронной сети реализации преобразования Добеши в виде графа быстрого алгоритма для размерности 25 постоенная на основе матриц послойных преобразований представлена па рисунке 6.

Построим сеть состоящую из двух подсетей. Первая представляет собой самоорганизующуюся сеть. Она обучается по алгоритму нейронного газа Используется конкурирующая функция активации. В процессе поступлении на вход вектора все нейроны сортируются в зависимости от их расстояния до вектора х. После сортировки нейроны размещаются в последовательности, соответствующей увеличению удаленности с1й <с1х <...<</„_, , где <4 = Ц*-и'т( ,1|

обозначает удаленность /-го нейрона, занимающего в результате сортировки т-ю позицию в последовательности, возглавляемой нейроном-победителем, которому сопоставлена удаленность с10. Значение функции соседства для / — го нейрона С(1,х) определяется следующим образом

С(/,*) = ехр(-^}, (33)

в котрой т(1) обозначает очередность, полученную в результате сортировки (т(1)=0,1,2, ...,п-1), а X - параметр уменьшающийся с течением времени. При Х=0 адаптации подвергается только нейрон победитель, при Л * О уточнению подлежат веса многих нейронов, причем уровень уточнения зависит от величины С(1,х).

Второй сетью в данной гибридной сети является персептронная сеть с прямым распространением. При построении и обучении сети используется линейная функция активации и используется 2 слоя нейронов. По заверше-

нии обучения самоорганизующегося слоя веса нейронов замораживаются и проводится анализ их выходных сигналов при подаче на вход сети последовательности сигналов х из обучающего множества. Нейрон с наибольшим значением суммарного сигнала переводится в единичное состояние, а остальным нейронам приписываются состояния из интервала (0, 1). Переход от фактических суммарных сигналов и, этих нейронов к выходным нормализованным

( \

- и,-

сигналам проводится по следующему равенству: у. = ехр —— , где па-

раметр а изменяется по необходимости для улучшения результатов обучения. С учетом полученных результатов обучается методом обратного распространения ошибки персептронная сеть. В результате обучение линейного слоя сводится к незначительной корректировке их значений и мы получаем глобальный минимум функции погрешности.

В общем виде схема системы классификации приведена на рисунке 7.

Быс.риЬяпшЯпйсшшисеп Гийридии «Иронни «п.

-тО^^О-

>

Рисунок 7 - Схема нейросетевого алгоритма классификации.

Погрешность построенной при обучении гибридной сети на основе результатов полученных на выходе быстрой нейросети составила 0,125. После обучения на контрольной выборке проводим проверку результатов обучения.

Таблица 1

Количество ошибочно отклассифицированных сигналов обучающей выборки. = где £>?- вектор выходных значений обучающей

ч

выборки, Уч - вектор выходных значений, полученных в результате работы нейронной сети (значение функции 1 равно 1 если (0,5 - >>,) < е и (уГГ1 + 0,5) > е)

Вид нейросетевод^--^' структ>ьі-©бьем ^выббрки 100 200 400 600 800

Многослойный персеп-трон 21 % 19,90% 19% 18,3% 18%

Сеть Кохонена 14,2% 16,80% 15,50 % 12,9% 12,7%

Гибридная сеть 8,20 % 10,70 % 9,50 % 6,90 % 6,70%

Таблица 2

Классификация сигналов тестовой выборки Рт = —У Р((Б ч -£>.)(У.+, -Г)), где Р=/ если (О,. | - О, )(У; ,, - К,) > О или (£>„,-Ц) = 0 и (К„,-К,) = 0.

Вид н е й р о сете структуры-0бъем ^выббрки 100 200 400 600 800

Многослойный персеп-трон 75,10 % 76,10 % 76,50 % 77,70 % 79%

Сеть Кохонена 82,80 % 80,20 % 81,50 % 83,10% 84,70 %

Гибридная сеть 89,80 % 90,30 % 91,50 % 92,30 % 94,50%

Таблица 3

Качество классификации с предобработкой и без предобработки.

Объе]^^ ^вйборки 100 200 400 600 800

Без предобработки 75,80 % 76,30 % 78,50 % 78,10% 79,30 %

С предварительной обработкой посредством преобразования Фурье 88,80 % 89,30 % 89,50 % 89,60 % 89,75 %

С предварительной обработкой посредством вейвлета Добеши4 92,80 % 91,30% 91,50% 93,20 % 93,50 %

С предварительной обработкой посредством койфлета 92,40 % 92,30 % 93,50 % 94,20 % 94,50 %

С предварительной обработкой посредством симмлета 93,80 % 93,30 % 94,50 % 94,50 % 95,50 %

В приложениях представлен код программы в среде МАТЬАВ для моделирования и оценки разработанных алгоритмов, фрагмент кода программы на С++ для реализации нахождения вейвлет-коэффициентов оцифрованных сигналов. Представлен акт о внедрении результатов диссертационного исследования, свидетельство о регистрации программного модуля С++.

Заключение

В диссертационной работе произведены исследования методов предварительной обработки сигналов посредством вейвлет-анализа в нейросе-тевых алгоритмах классификации образов для повышения их эффективности и точности работы. В итоге получены следующие теоретические и практические результаты:

1. Разработан нейросетевой алгоритм на основе принципов самоорганизации и вейвлет-фильтрации в виде гибридной сети для классификации образов.

2. Для рассматриваемой задачи классификации была показана эффективность применения дискретного вейвлет-анализа.

3. Применены методы кратномасштабного анализа и быстрого вейв-лет-преобразования для разработки алгоритмов предварительной обработки сигналов применительно к задаче классификации образов.

4. Показана целесообразность применения ортогональных вейвлетов и их модификаций в задачах классификации образов.

5. Обоснованно применение быстрых нейронных сетей для реализации алгоритма дискретного быстрого вейвлет-преобразования.

6. Разработан нейросетевой алгоритм для реализации быстрого вейвлет-преобразования.

7. Показана эффективность применения нейросетевых алгоритмов для реализации обоих этапов обработки данных (предобработки и классификации).

8. Произведено моделирование построенных алгоритмов предварительной обработки сигналов посредством быстрого вейвлет-преобразования.

9. Проведено исследование производительности построенной гибридной сети по сравнению с другими нейросетевыми структурами для решения задачи классификации образов.

10. На основании проведенных экспериментов и их анализа сделан вывод об эффективности построенных методов предварительной обработки сигналов применительно к нейросетевым алгоритмам для классификации образов.

В диссертационной работе предложен метод предварительной обработки сигналов с применением быстрого дискретного вейвлет-преобразования, реализованного с помощью нейросетей, позволяющий повысить качество работы нейросетевого алгоритма классификации образов. Построенный алгоритм позволяет повысить скорость и точность классификации по сравнению с другими нейросетевыми методами до 15 %. Количество ошибочно отклассифицированных сигналов как обучающей так и тестовой выборки составляет не более 5 %. Использование быстрой нейронной сети для реализации вейвлет-преобразования позволяет избежать большого количества вычислений и намного ускорить поиск коэффициен-

TOB вейвлет-разложения. Процесс предварительной обработки образа и его классификация происходит с использованием одних и тех же средств, что предоставляет возможность эффективного применения разработанных нейросетевых алгоритмов.

Список публикаций по теме диссертационной работы

В рецензируемых журналах из списка ВАК

1. Болдырев C.B. Применение гибридных самоорганизующихся нейронных сетей и быстрого дискретного вейвлет-преобразования для построения систем классификации сигналов // Инженерный вестник Дона, Ростов-на-Дону 2012. URL:http://www.ivdon.ru/magazine/latest/n2y2012/773 (дата обращения 01.05.2012).

2. Червяков Н.И., Болдырев C.B. Эффективность использования дискретного вейвлет-преобразования для построения систем обработки сигналов // Инфокоммуникационные технологии, г. Самара, Том 6, №2, 2008. С. 23-26.

В других изданиях

3. Болдырев C.B. Использование вейвлет-преобразования в системах обработки и анализа сигналов // Фундаментальные исследования, Москва, №7,2008. С.102-103.

4. Болдырев C.B. Эффективность использования принципов самоорганизации и нейронных сетей для идентификации сигналов // Успехи современного естествознания, Москва, №9, 2008. С. 109.

5. Болдырев C.B. Предварительная обработка дискретных сигналов с помощью вейвлет-анализа // Математическое моделирование развития северных территорий Российской Федерации. Якутск, 2008. С. 80-81.

6. Болдырев C.B. Эффективность применения самоорганизующихся и гибридных нейронных сетей для распознавания образов. Информационные технологии в науке, образовании и экономике. Якутск, 2008. С. 7-9.

7. Червяков Н.И., Болдырев C.B. Использование дискретного вейв-лет- преобразования и нейронных сетей в построении систем обработки сигналов // Инфокоммуникационные технологии в науке, производстве и образовании, Инфоком-3, часть 1-я, 2008. С.149-153.

8. Болдырев C.B. Применение аппарата искусственных нейронных сетей для построения алгоритма реализации дискретного вейвлет-преобразования II Актуальные проблемы и инновации в экономике, управлении, образовании, информационных технологиях 2009. Ставрополь, 2009. С. 27-29.

9. Болдырев C.B. Реализация алгоритма дискреиного вейвлет - преобразования с применением искусственных нейронных сетей И Математическое моделирование развития северных территорий Российской Федерации ч. 2 Якутск, 2009. С. 81-82.

Свидетельство о государственной регистрации программ для ЭВМ 10. Болдырев C.B. Дискретная вейвлет-фильтрация оцифрованных сигналов. Свидетельство о государственной регистрации программы для ЭВМ № 2011612482. Зарегистрировано в Реестре программ для ЭВМ 25 марта 2011 г.

Формат 60x84 1/16 Бумага офсетная

Подписано в печать 14.06.2012

Усл.печ.л. 1,28 _Тираж 100 экз.

Уч.-изд.л. 0,97 Заказ 127

Отпечатано в Ичдательско-полиграфическом комплексе Ставропольского государственного университета. 355009, Ставрополь, ул. Пушкина, 1.

Введение.

Глава 1. Анализ методов и алгоритмов распознавания и классификации образов.

1.1. Анализ задачи распознавания и классификации образов.

1.2. Аналитический обзор методов распознавания и классификации образов.

1.3 Построение математической модели системы классификации образов.

1.4 Основные задачи решаемые в процессе построения систем классификации.

1.5 Задача выявления существенных признаков объекта классификации.

1.5.1 Преобразование Фурье.

1.5.2 Косинусное преобразование.

1.5.3 Вейвлет-преобразование.

1.6. Анализ и сравнение алгоритмов выявления классообразующих признаков.

1.7. Аналитический обзор нейросетевых алгоритмов классификации образов.

1.8. Оценка эффективности работы системы классификации образов.

1.9. Постановка задачи исследования.

Выводы по первой главе.

Глава 2. Применение дискретного вейвлет - преобразования и нейросетей при решении задачи обработки сигналов.

2.1. Эффективность применения дискретного вейвлет-преобразования для задачи распознавания и классификации сигналов.

2.2. Частотно-временная локализация вейвлет-преобразования.

2.3. Принцип применения кратномасштабного анализа.

2.4. Ортогональные вейвлеты с компактным носителем.

2.5. Применение алгоритма быстрого вейвлет-преобразования.

2.6. Нейросетевая структура и ее математическая модель для реализации быстрого вейвлет-преобразования.

2.6.1. Алгоритм построения структуры нейросети для реализации вейвлет-преобразования.

2.6.2. Построение дискретного вейвлет-базиса для быстрой нейронной сети.

Выводы по второй главе.

Глава 3. Построение и применение вейвлет-фильтров.

3.1 Построения метода вейвлет-фильтрации сигнала.

3.2 Метод интерполяции вейвлет-коэффициентов после процедуры децимации в процессе восстановления сигнала с помощью интерполяционных многочленов.

3.2.1 Метод быстрой интерполяции значений сигнала между отсчетами.

3.3 Подбор оптимального набора фильтров.

3.4 Алгоритм очистки и восстановления зашумленного сигнала с помощью вейвлет-фильтра.

Выводы по третьей главе.

Глава 4. Построение эффективных нейросетевых алгоритмов для предварительной обработки и классификации сигналов.

4.1. Реализация математической модели нейросетевого метода быстрого вейвлет-преобразования.

4.2. Разработка эффективного нейросетевого алгоритма для классификации образов с использованием принципов самоорганизации.

4.2.1 Оптимальный подбор метрики и нормализация входных векторов.

4.2.2 Построение структуры нейронной сети для классификации образов.

4.3. Моделирование и исследование производительности алгоритма классификации с использованием дискретного вейвлет-преобразования и гибридной нейронной сети.

Выводы по четвертой главе.

Диссертация посвящена разработке предварительной обработки сигналов посредством дискретного вейвлет-анализа в нейросетевых алгоритмах классификации образов на основе самоорганизующихся сетей и использованию этих методов в системах автоматического распознавания.

Актуальность темы исследования. В настоящее время идет интенсивное развитие многих направлений обработки информации. Научное направление, связанное с построением и применением систем распознавания и классификации образов в настоящее время является одним из самых востребованных.

Решение задачи классификации образов, с прикладной точки зрения, важно, прежде всего потому, что оно дает возможность автоматизировать различные процессы, которые до сих пор ассоциировались только с деятельностью живого мозга. С помощью систем классификации возможно решение широкого круга задач. К ним возможно отнести не только задачи обработки звуковых и зрительных сигналов, но также распознавание сложных явлений и процессов, возникающих, к примеру, при выборе наиболее оптимального управления экономическими, транспортными, технологическими операциями, либо при выборе целесообразных действий руководителем предприятия. В таких задачах происходит анализ некоторых процессов или явлений.

Существующие подходы к решению задач обработки и классификации сигналов, основанные на использовании вейвлет-анализа и нейросетевых методов предложенные и развитые в работах Оссовского С., Редько В.Г., Галушкина А.И., Дорогова А.Ю., Дремина И.Л., Анисимовича К.В., Астафьевой Н.М., Маллата (Mallat S.), Червякова Н.И., Терехова В.А., Васильева В.И, Гадзиковского В.И., Горелика A.JL, Дьяконова В.П., Кохена (Cohen А.), Видрова (Widrow В.) и других ученых являются эффективными и во многом превосходят существующие методы. Но все же проблема применения этих методов для совершенствования систем классификации сигналов, особенно в тех случаях когда сигналы являются нестационарными, зашумленными либо информация о них является неполной недостаточно исследована.

Известно, что нейросети по своей природе представляют собой попытку построения системы, которая в какой-то степени моделирует работу биологических нейронов. Важнейшей особенностью нейросетей является возможность обучения, обобщения накопленных знаний и параллельная обработка поступающей на ее входы информации. Сеть которая была обучена на неполном массиве данных, имеет способность к обобщению полученной информации и способна показать результат на тех данных, которые не использовались в обучении. Характерной особенностью нейросетей является возможность реализации с применением технологии сверхбольшой степени интеграции. Данное обстоятельство дает возможность создания специализированного процессора с однородной структурой, который способен перерабатывать разнообразную информацию.

При построении систем классификации мы сталкиваемся с обработкой большого количества данных. Иногда, поступающие для классификации объекты содержат помехи, наводки и шум. Для решения данной проблемы применяются различные методы предварительной обработки и очистки сигнала от шума. Высокие результаты получаются в результате применения методов на основе вейвлет-преобразования. Теория вейвлетов дает более гибкую технику обработки сигналов, чем преобразование Фурье. Оно предоставляет возможность анализа сигнала не только по его частотным составляющим, но и локализует их. В процессе построения нейронных сетей применение предварительной обработки сигналов, входящих как в обучающую выборку так и непосредственно в сами классифицируемые сигналы посредством вейвлет-анализа позволяет повысить скорость и качество обучения сети.

При использовании вейвлет-анализа для обработки графической информации целесообразно использование методов кратномасштабного анализа и быстрого алгоритма нахождения вейвлет-коэффициентов. Многомасштабное представление дает возможность рассмотрения сигнала на разных уровнях его разложения. В то время как алгоритм быстрого вейвлет-преобразования позволяет обойти вычисление большого количества интегралов. К тому же существует возможность построения нейросетевой структуры, реализующей алгоритм быстрого вейвлет-преобразования. Данной структурой являются так называемые быстрые нейронные сети.

Таким образом исследования, проведенные в данной работе являются актуальными и практически значимыми.

Целью диссертационной работы является повышение скорости и точности работы нейросетевых систем классификации образов с помощью предварительной обработкой сигналов посредством вейвлет-анализа.

Задачи диссертационной работы. Для достижения вышеуказанной цели решаются следующие задачи:

1. Систематизация и анализ методов и алгоритмов распознавания и классификации сигналов.

2. Разработка методов выявления классообразующих признаков объекта классификации.

3. Разработка методов предварительной обработки и очистки сигналов от шума посредством дискретного вейвлет-анализа.

4. Построение математической модели нейросетевой структуры, реализующей быстрые алгоритмы нахождения вейвлет-коэффициентов.

5. Разработка метода интерполяции вейвлет-коэффициентов после процедуры децимации в процессе восстановления сигнала.

6. Разработка эффективного нейросетевого алгоритма классификации на основе самоорганизующихся алгоритмов обучения и методов предварительной вейвлет-фильтрации сигналов.

7. Разработка системы компьютерного моделирования в среде разработки С++, моделирующая алгоритм предварительной обработки сигналов.

Объектом исследования в данной диссертационной работе является цифровая фильтрация в системах классификации образов.

Предметом исследования являются методы и алгоритмы предварительной обработки сигналов в системах классификации образов на основе нейросетевых структур.

Методы исследования. Для решения поставленных в работе задач использованы методы теории искусственных нейронных сетей, вейвлет-анализа, математического моделирования, линейной алгебры, математического анализа, синергетики, системного анализа, дискретной математики, теории автоматического управления, теории вероятностей, численных методов.

Достоверность и обоснованность полученных в диссертационном исследовании теоретических результатов и формулируемых на их основе выводов обеспечивается строгостью математических выкладок. Проводимым компьютерным моделированием обеспечивается достоверность выводов об эффективности предложенных методов и алгоритмов.

Моделирование и вычислительный эксперимент проводились с использованием математического пакета МаШ\¥Огк8 МАТЪАВ у7.4 Ы2007а и языка программирования С++.

Теоретическая значимость работы заключается в следующем:

1. Построены методы обработки и очистки сигнала от шума посредством дискретного вейвлет-анализа и быстрых нейронных сетей.

2. Достигнуто повышение эффективности нейросетевого алгоритма для классификации графических образов с помощью построенных методов вейвлет-фильтрации.

Практическая значимость. Практическое использование результатов дает возможность:

- повысить скорость и качество классификации сигналов благодаря разработанной модели гибридной нейросети на основе самоорганизующихся алгоритмов обучения и методов обработки и очистки сигнала от шума;

- обеспечить повышение скорости вейвлет-обработки сигналов благодаря ее реализации с помощью нейросетевых методов;

- производить оба этапа обработки данных (предобработка и классификация) используют одни и те же средства реализации - нейронные сети;

Полученные результаты могут быть использованы в построении эффективных систем обработки сигналов. Положения выносимые на защиту:

1. Обоснование эффективности применения методов вейвлет-фильтрации для предварительной обработки сигналов (выявления классообразующих признаков и очистка от шума) поступающих на входы нейронной сети.

2. Метод интерполяции вейвлет-коэффициентов после процедуры децимации в процессе восстановления сигнала с помощью интерполяционных многочленов.

3. Математическая модель и алгоритм нейросетевой реализации быстрого вейвлет-преобразования на основе применения быстрых (ядерных) нейронных сетей.

4. Применение нейросетевых алгоритмов для реализации обоих этапов обработки данных (предобработки и классификации).

5. Комплекс программ в среде разработки С++ для моделирования алгоритма предварительной обработки сигналов.

Личный вклад соискателя. Приведенные в работе результаты исследований были получены при непосредственном участии автора. Автору принадлежат: построение и исследование оптимального алгоритма вейвлет-фильтрации на базе ортогональных вейвлетов и быстрых нейросетей; выбор экспериментальных исследований и их проведение; наглядная интерпретация полученных в исследовании результатов; формулировка рассматриваемых научных положений и выводов.

Реализация и внедрение результатов работы. Теоретические и практические результаты диссертационной работы были реализованы в Научно-производственном объединении «СайТЭК» для обработки данных химического и микробиологического анализа ингредиентов с помощью спектрального анализа и вейвлет-преобразования получаемых с приборов графиков для проверки соответствий заданным требованиям и вейвлет-обработки цифровых изображений при съемке световым микроскопом.

Апробация результатов работы. Результаты исследования были представлены в журнале «Инфокоммуникационные технологии» (г. Самара 2008), в журнале «Успехи современного естествознания» (г. Москва, 2008), в журнале «Фундаментальные исследования» (Москва, 2008), в журнале-сборнике «Математическое моделирование развития северных территорий Российской Федерации» (г. Якутск, 2008), в журнале "Инфокоммуникационные технологии в науке, производстве и образовании (Инфоком-3)" (г. Кисловодск, 2008), в журнале-сборнике «Информационные технологии в науке, образовании и экономике» (г. Якутск, 2008), в журнале «Актуальные проблемы и инновации в экономике, управлении, образовании, информационных технологиях 2009» (Ставрополь, 2009), в журнале-сборнике «Математическое моделирование развития северных территорий Российской Федерации» (Якутск, 2009), в электронном журнале «Инженерный вестник Дона» (Ростов-на-Дону, 2012).

Публикации. Основные результаты диссертационного исследования были отражены в 9 публикациях, из них 2 в журнале, одобренном ВАК.

Программы ЭВМ. Дискретная вейвлет-фильтрация оцифрованных сигналов. Свидетельство о государственной регистрации программы для ЭВМ № 2011612482. Зарегистрировано в Реестре программ для ЭВМ 25 марта 2011 г.

Содержание работы. Данное диссертационное исследование состоит из введения, четырех глав, заключения, списка литературы и 4-х приложений. Список литературы содержит 112 источников. В работе принята следующая

Основные результаты четвертой главы:

1. Обосновывается применение быстрых нейронных сетей для реализации алгоритма вейвлет-преобразования.

2. Построен нейросетевой алгоритм для реализации быстрого вейвлет-преобразования .

3. Исходя из поставленных целей, был построен метод вейвлет-фильтрации применительно к нейросетям для классификации образов.

4. Было произведено моделирование построенных алгоритмов предварительной обработки сигналов и нейросетевого алгоритма классификации.

5. На основе проведенных экспериментов и сравнительного анализа делается вывод об эффективности построенных методов предварительной обработки сигнала и структуры гибридной сети для классификации образов.

Заключение

В диссертационной работе произведены исследования методов предварительной обработки сигналов посредством вейвлет-анализа в нейросетевых алгоритмах классификации образов для повышения их эффективности и точности работы. В итоге получены следующие теоретические и практические результаты:

1. Разработан нейросетевой алгоритм на основе принципов самоорганизации и вейвлет-фильтрации в виде гибридной сети для классификации образов.

2. Для рассматриваемой задачи классификации была показана эффективность применения дискретного вейвлет-анализа.

3. Применены методы кратномасштабного анализа и быстрого вейвлет-преобразования для разработки алгоритмов предварительной обработки сигналов применительно к задаче классификации образов.

4. Показана целесообразность применения ортогональных вейвлетов и их модификаций в задачах классификации образов.

5. Обоснованно применение быстрых нейронных сетей для реализации алгоритма дискретного быстрого вейвлет-преобразования.

6. Разработан нейросетевой алгоритм для реализации быстрого вейвлет-преобразования.

7. Показана эффективность применения нейросетевых алгоритмов для реализации обоих этапов обработки данных (предобработки и классификации).

8. Произведено моделирование построенных алгоритмов предварительной обработки сигналов посредством быстрого вейвлет-преобразования.

9. Проведено исследование производительности построенной гибридной сети по сравнению с другими нейросетевыми структурами для решения задачи классификации образов.

10. На основании проведенных экспериментов и их анализа сделан вывод об эффективности построенных методов предварительной обработки сигналов применительно к нейросетевым алгоритмам для классификации образов.

Таким образом, в диссертационной работе предложен нейросетевой метод вейвлет-фильтрации сигналов с применением быстрого дискретного вейвлет-преобразования применительно к алгоритмам классификации образов с использованием принципов самоорганизации. Построенный алгоритм позволяет повысить скорость и точность классификации по сравнению с другими нейросетевыми методами до 15 %. Количество ошибочно отклассифицированных сигналов как обучающей, так и тестовой выборки составляет не более 5 %. Качество классификации с предобработкой с помощью вейвлетов позволило повысить качество распознавания до 95 %. Использование быстрой нейронной сети для реализации вейвлет-преобразования позволяет избежать большого количества вычислений и намного ускорить поиск коэффициентов вейвлет-разложения. Процесс предварительной обработки образа и его классификация происходит с использованием одних и тех же средств, что предоставляет возможность эффективного применения разработанных нейросетевых алгоритмов.

1. Астафьева Н.М. Вейвлет-анализ: Основы теории и примеры применения // Успехи физических наук, 1996, т. 166, №11.

2. Антонью А. Цифровые фильтры: анализ и проектирование//А. Анто-нью. — M.: Радио и связь, 1983. 320 с.

3. Ахмед Н., Pao К. Ортогональные преобразования при обработке цифровых сигналов: Пер. с англ. М.: Связь, 1980. 248 с.

4. Басканова Т.Ф., Ланкин Ю.П. Нейросетевые алгоритмы самостоятельной адаптации // Научная сессия МИФИ-99. Всероссийская научно-техническая конференция "Нейроинформатика-99". Сборник научных трудов. 4.1. М.: МИФИ, 1999. С. 17-24.

5. Бахтурин Ю.А. Основные структуры современной алгебры. М.: Наука. Гл. ред. Физ.-мат. Лит., 1990.

6. Болдырев C.B. Использование вейвлет-преобразования в системах обработки и анализа сигналов // Фундаментальные исследования №7, Москва, 2008. С. 102-103.

7. Болдырев C.B. Эффективность использования принципов самоорганизации и нейронных сетей для идентификации сигналов // Успехи современного естествознания№9, Москва, 2008. С. 109.

8. Болдырев C.B. Предварительная обработка дискретных сигналов с помощью вейвлет-анализа // Математическое моделирование развития северных территорий Российской Федерации». Якутск, 2008. С. 8081.

9. Болдырев C.B. Эффективность применения самоорганизующихся и гибридных нейронных сетей для распознавания образов // Информационные технологии в науке, образовании и экономике». Якутск, 2008. С. 7-9.

10. Болдырев C.B., Реализация алгоритма дискретного вейвлет-преобра-зования с применением искусственных нейронных сетей // Математическое моделирование развития северных территорий Российской Федерации». Якутск, 2009. С. 81-82.

11. Васильев В.И. Проблемы обучения распознаванию образов. Принципы, алгоритмы реализация. Киев. ВШ, 1989.

12. Верхаген К. и др., перевод м английского. Распознавание образов. Состояние и перспективы // М.: Радио и связь, 1985. 104с.15. "Вейвлеты, аппроксимация и статистические приложения" (перевод К.А.Алексеева), Москва, 2001.

13. Василенко Г.И. Теория восстановления сигналов. М.: Сов. радио, 1979.

14. Воробьев В.И., Грибунин В.Г. «Теория и практика вейвлетов». 1999. 202с.

15. Галушкин А.И. Нейрокомпьютеры. М.: ИПРЖ «Радиотехника», 2000.

16. Галушкин А.И. (проф.), Червяков Н.И. ( докт. техн. наук, проф.) «Нейрокомпьютеры в системе остаточных классов»

17. Галушкин А.И., Логовский A.C. Нейроуправление: основные принципы и направления применения нейрокомпьютеров для решения задач управления динамическими объектами. Нейрокомпьютеры: разработка и применение. №1.1999. с.56-66.

18. Гадзиковский В.И. Основы теории и проектирования цифровых фильтров: Учеб. пособие для радиотехнических специальностей вузов.1. М.: Высшая школа, 1996.

19. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996.

20. Горелик А.Л., Скрипкин В.А. Методы распознавания. Учебное пособ. для вузов. М.:ВШ, 1989. 231с.

21. Горелик А.Л., Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания. М.: Радио и связь, 1985. 160с.

22. Гольденберг Л.М. Цифровая обработка сигналов : справочник М.: Радио и связь, 1985.

23. Голд Б., Рейдер Ч. Цифровая обработка сигналов: Пер. с англ. М.: Сов. радио, 1973. 368 с.

24. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей. Сибирский журнал вычислительной математики. Новосибирск: РАН. Сиб. отделение, 1998, №1. С.11-24.

25. Дьяконов В., Абраменкова И. МАТЬАВ. Обработка сигналов и изображений. Специальный справочник. СПб.: Питер, 2002.

26. Дьяконов В.П. Вейвлеты. От теории к практике. М.: Солон Р, 2002.

27. Дремин И.Л. и др. Вейвлеты и их использование. Успехи физических наук, 2001, т.171, № 5.

28. Добеши, И. "Десять лекций по вейвлетам". Москва, РХД, 2001.

29. Дорогов А. Ю. Быстрые нейронные сети: Проектирование, настройка, приложения. Научная Сессия МИФИ 2004. VI всероссийская научно-техническая конференция «Нейроинформатика-2004»: Лекции по нейро-информатике. Часть 1. - М.: МИФИ, 2004. С. 69-133.

30. Дорогов А.Ю. Структурный синтез быстрых нейронных сетей. Нейро-компютер. №1 1999. С.11-24.

31. Дорогов А.Ю., Солодовников А.И Перестраиваемые ортогональные базисы для адаптивных спектральных преобразований. «Методы и средства обработки пространственно-временных сигналов»: Межвуз. Сб.

32. Уральск. Политехи. Ин-т.-Свердловск, 1988. С. 18-26.

33. Жуков Д.М. Эквивалентность одномерного и двумерного преобразования Крестенсона-Леви. Методы цифровой обработки изображений: Сб. науч. тр. МИЭТ. М.: МИЭТ, 1982. С. 65-70.

34. Итоги науки и техники: физические и математические модели нейронных сетей, Т.1М.: ВИНИТИ, 1990.

35. Каппелини В., Константинидис Дж., Эмилиани П. Цифровые фильтры и их применение. М.: Энергоатомиздат, 1983.

36. Куприянов М.С. Цифровая обработка сигналов: процессоры, алгоритмы, средства проектирования. СПб.: Политехника, 1999. 592 с.

37. Кунт М., Икономопулос А., Кошер М. Методы кодирования изображений второго поколения. ТИИЭР, 1985. Т.73. №4. С. 59-86.

38. Медведев B.C., Потемкин В.Г. Нейронные сети. Matlab 6. Диалог МИФИ, 2001.

39. Мастрюков Д. Алгоритмы сжатия информации. Часть 2. Арифметическое кодирование. Монитор, 1994. №1. С. 20-26.

40. Мелихов А.Н., Карелин В.П. Методы распознавания изоморфизма и изоморфного вложения четких и нечетких графов. Изд. ТРТУ. Таганрог, 1995.

41. Нуссбаумер Г. Быстрое преобразование Фурье и алгоритмы вычислениия сверток: Пер. с англ. М.: Радио и связь, 1985. 248 с.

42. Новиков Л.В. Основы вейвлет-анализа сигналов. Учебное пособие. 1999.

43. Осовский С. Нейронные сети для обработки информации. Пер. с польского И.Д. Рудинского. М.: Финансы и статистика, 2004.

44. Орлов В.А. Граф-схемы алгоритмов распознавания. М.: Наука, 1982. 120с.

45. Прэтт У. Цифровая обработка изображений: Пер. с англ. М.: Мир, 1982. Кн.1 312 с.

46. Пеев Е., Боянов К., Белчева О. Методи и средства за компрессия на изображения. Автоматика и информатика. 1994. №3. С. 3-14.

47. Поспелов A.C. Некоторые математические задачи и алгоритмы цифровойобработки информации с использованием дискретных преобразований: Дисс. на соиск. уч. степ, д-ра физ.-мат. наук. М., 1992. 398 с.

48. Редько В.Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики. Изд. 3-е. М.: КомКнига, 2005. (Синергетика от прошлого к будущему).

49. Редько В.Г. Эволюционная кибернетика. М.: Наука, 2001, 156 с.

50. Распознавание. Классификация. Прогноз. В.2 Под. Ред. Журавлева Ю.И. М.: Наука.1989.

51. Смоленцев Н.К. Основы теории вейвлетов. Вейвлеты в MATLAB. М.: ДМК Пресс, 2005.

52. Сергиенко А.Б. Цифровая обработка сигналов. СПб.: Питер, 2002. 608 с.

53. Терехов С.А. Ортогональные компактно-волновые (Wavelet) преобразования и их применения. Препринт ВНИИТФ N 113, Снежинск, 1997.

54. Ту Дж., Гонсалес Р. Принципы распознавания образов. Изд. Мир, М.,1978.411с.

55. Уоссермен Ф., Нейрокомпьютерная техника. М.:Мир, 1992.

56. ХантЭ. Искусственный интеллект. М.: Мир. 1978. Часть 2. Распозн. образов. С. 63-244.

57. Червяков Н.И., Сахнюк П.А. Применение нейроматематики для реалии-зации вычислений в конечных кольцах по произвольному модулю. Сб. докл. VI Всероссийской конференции "Нейрокомпьютеры и их применение". М.: Радио и связь. 2000.

58. Червяков Н.И., Болдырев С.В. Эффективность использования дискретного вейвлет-преобразования для построения систем обработки сигналов // Инфокоммуникационные технологии, г. Самара, Том 6, №2, 2008. С. 23-26.

59. Червяков Н.И., Болдырев С.В., Использование дискретного вейвлет-преобразования и нейронных сетей в построении систем обработки сигналов // Инфокоммуникационные технологии в науке, производстве и образовании, Инфоком-3, часть 1-я, 2008. С.149-153.

60. Червяков Н.И., Болдырев С.В. Использование вейвлет-анализа в системах обработки изображений. // Научно инновационные достижения ФМФ в области физико-математических и технических дисциплин: «Университетская наука региону». Ставрополь, 2007. С. 243-245.

61. Шикин Е.В., Боресков А.В. Компьютерная графика. Динамика, реалистические изображения // ДИАЛОГ-МИФИ, Москва, 1996, С. 161-189.

62. ЭндрюсГ. Применение вычислительных машин для обработки изображений // Пер. с англ. под ред. Б.Ф.Курьянова. М.: Энергия, 1977. 161 с.

63. Ярославский Л.П. Введение в цифровую обработку изображений.М.: Сов. радио, 1979.

64. Ян Д.Е., Анисимович К.В., Шамис А.Л. Новая технология распознавания символов. Теория, практическая реализация, перспективы. М. : Препринт, 1995.

65. Ahmed N., Natarajan Т., Rao K.R. On image processing and a discrete cosine transform. IEEE Trans. Computers, 1974. P. 90-93.

66. Auscher, A., Weiss, G., and Wickerhauser, M. V., Local sine and cosine bases of Coifman and Meyer and the construction of smooth wavelet, Wavelets: A Tutorial in Theory and Applications, (ed. С. K. Chui), Academic Press, SanDiego, 1992. P. 237-256.

67. Anderson J.B., Huang T.S. Piecewise Fourier transformation for picture bandwidth compression // IEEE Trans. Commun. 1972. V. COM-20, №3. P. 488-491.

68. Calderbank A. R., I. Daubechies, W. Sweldens, Wavelet transforms that map integers ti integers. Proceedings of the IEEE Conference on Image Processing. IEEE Press, 1997.

69. Cybenko G., Approximation by superpositions of a sigmoidal function, Mathematics of Control, Signals and Systems, 1989.

70. Cohen, A., Biorthogonal wavelet, Wavelets: A Tutorial in Theory and Applications, (ed. C. K. Chui), Academic Press, San Diego, 1992. P. 123-152.

71. Calderbank, I.Daubechies, W.Sweldens, B.L.Yeo. Wavelet transforms that map integers to integers. Technical report, Department of mathematics, Princeton University, 1996.

72. Chui C K. An introduction to wavelets. N. Y.: Academic Press, 1992.

73. Donoho D., Johnstoune I. Ideal spatial adaptation via wavelet shrinkage // Biometrika, 1994. V81. P. 425-455.

74. Donoho D. L. Nonlinear solution of linear inverse problems by Wavelet-Vagulet Decomposition // App. Comp. Harmonic Anal, 1995. V2. P.101-126.

75. Daubechies, I., Orthonormal bases of compactly supported wavelet II. Variations on a theme, SIAM Journal on Mathematical Analysis, 24, No. 2,1993 P. 499-519.

76. Enomoto H., Shibata K. Orthogonal transform coding system for television Signals. // IEEE Trans. Electromagnetic Compatibility, 1971. Special issue on Walsh functions. P. 11-17.

77. Hopfleld J., Tank D. Neural computations of decisions in optimization problems // Biological Cybernetics, 1985. Vol. 52. P. 141-152.

78. Hopfield J.J. "Neural networks and physical systems with emergent collectivecomputational abilities", in Proceedings of National Academy of Sciences, USA, 1982.

79. Hopfield J.J. "Neurons with graded response have collective computational properties like those of two-state neurons", in Proceedings of National Academy of Sciences, USA, 1984.

80. Hopfield, J.J. and Tank, D.W. "Computing with neural circuits", Sciences 233, 1986.

81. Hubbard, B. Burke The world according to wavelets. Wellesey, MA (USA): A K Peters, 1996.

82. Hung A.C. Image compression: the emerging standard for color images. // IEEE Computing Futures, 1989. Inagural issue. P. 20-29.

83. Huang C. M. et al. Fast full search equivalent encoding algorithms for image compression using vector quantization // IEEE Trans. Image Proc, 1992. V.l. P. 413-416.

84. ISO/IEC JTC1 Committee Draft 10918-1. Digital compression and coding of continuous-tone still images. Part 1. Requirements and guidelines, 1991.

85. Jawerth B., Sweldens W., An overview of wavelet based multiresolution analyses, SIAM Review, 1994, No. 3. P. 377-412.

86. Kamen£., HeckB. Fundamentals of signals and systems using Matlab. N.Y.: Prentice Hall, 1997.

87. Kaiser G. A. Friendly Guide to Wavelets // Boston: Birkhauser, 1994.

88. Kohonen T. Self-organizing maps. Berlin: Springer Verlag, 1995.

89. KohonenT. Self Organization and Associative Memory, 3rd edn, Berlin: Springer-Verlag, 1989.

90. KungS.Y. Digital neural networks. New Jersey: Prentice Hall,Englewood Cliffs, 1993.

91. Mallat S. A. Wavelet Tour of Signal Processing // San Diego: Academic ress, 1998.

92. Mallat S. A theory for multiresolution signal decomposition: The wavelet representation, IEEE Transactions on Pattern Analysis and Machine1.telligence, 11, 1989. P. 674-693.

93. Meyer Y., Wavelets: Algorithms and Applications, Society for Industrial and Applied Mathematics, Philadelphia, 1993.

94. Meyer Y, Coifman R. Wavelets, Calderon ± Zygmund and multilinear operators // Cambridge: Cambridge Univ. Press, 1997.

95. Nasrabadi N.M., King R.A. Image coding using vector quantization: A review // IEEE Trans, on Communication, 1988. V. 36. P. 957-971.

96. Pratt W.K., Chen W.H., Welch L.R. Slant transform image coding // IEEE Trans. Commun, 1974. V. COM-22. P. 1075-1093.

97. Strang G., Nguyen T., Wavelets and Filter Banks, Wellesley Cambridge Press, Wellesley, MA, 1996.

98. ShaoX.-G., Leung A. K.-M., ChauF.-T. Wavelet: A New Trend in Chemistry // Accounts of Chemical Research, 2003. V.36, No. 4. P. 276-283.

99. Sweldens W., Schroder P. Building your own wavelets at home. In Wavelets in Computer Graphics. ACM SIGGRAPH Course Notes, 1996. ., P. 15-87

100. Sweldens W. The lifting scheme: A custom-design construction of biorthogonal wavelets. Journal of Applied and Computational Harmonic Analysis, 3(2), 1996. P. 186-200.

101. Vetterli M., Kovacevic J. Wavelets and sub-band coding // Prentice Hall, 1995.

102. Wallace G.K. Overview of the JPEG (ISO/CCITT) still image compression: image processing algorithms and techniques // Proceedings of the SPIE, 1990. V.1244. P. 220-233.

103. Wavelets: An Elementary Treatment of Theory and Applications (Ed T Koornwinder) // Singapore: World Scientific, 1993.

104. Wavelets in Medicine and Biology (Eds A Aldroubi, M Unser)//Boca1. Raton: CRC Press, 1996.

105. Widrow B., Rumelhart D.E., Lehr M.A., "Neural networks: Application in industry, business and science", Communications of the ACM 37 (3), 1994. P. 93-105

106. Weiss L. G., Wavelets and wideband correlation processing. IEEE Signal Processing Magazine, January, 1994. P. 13-32.