автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Математическое и программное обеспечение обработки многомерных данных нейронными сетями

На правах рукописи

ПРАСОЛОВА Ангелина Евгеньевна

МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ОБРАБОТКИ МНОГОМЕРНЫХ ДАННЫХ НЕЙРОННЫМИ СЕТЯМИ

Специальности 05 13 11 - Математическое и программное обеспечение

вычислительных машин, комплексов и компьютерных сетей 05 13 01 - Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 4 ЯНВ 2000

Воронеж - 2007

003163425

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования Курском государственном университете

Научный руководитель доктор технических наук

Новикова Нелля Михайловна

Официальные оппоненты доктор технических наук,

профессор, Заслуженный деятель науки РФ

Титов Виталий Семенович,

кандидат технических наук, доцент

Ускова Ольга Федоровна

Ведущая организация Московский государственный

технический университет им Н Э Баумана г Москва

Защита состоится 17 января 2008 г в Ю00 часов на заседании диссертационного совета Д 212 037 01 Воронежского государственного технического университета по адресу 394026, г Воронеж, Московский просп , 14.

С диссертацией можно ознакомиться в научной библиотеке Воронежского государственного технического университета

Автореферат разослан "17" декабря 2007 г

Ученый секретарь /У / ^ '

диссертационного совета ^У 'У Питолин В М

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы. Изучение структуры головного мозга и механизмов его работы привело к развитию новых вычислительных моделей, пригодных для решения сложных неформализуемых задач, таких как распознавание образов, обработка многомерных данных, идентификация, управление Этими новыми вычислительными моделями стали нейронные сети Искусственные нейронные сети обладают рядом особенностей параллельность обработки информации, ассоциативность, способность к автоматической классификации, способность к обучению, обобщение, абстрагирование Благодаря этим особенностям они используются для решения тех задач, для которых в силу неопределенности, например из-за недостатка информации, традиционные решения не эффективны, а обычные вычисления трудоемки В то же время большинство существующих технических систем, в том числе систем распознавания изображений и обнаружения сигналов, используют статистические и детерминированные методы обработки многомерных данных В настоящее время исследованию и использованию нейронных сетей посвящено большое количество работ, как в нашей стране (Галушкин А И , Головко В А , Горбань АН и др), так и за рубежом (W McCulloch, W Pitts, F Rosenblatt, D Hebb, J Hopfield, T Kohonen и др ) Однако, несмотря на это, не было проведено сравнения показателей качества нейросетевых и общепринятых методов обработки данных Таким образом, возникает задача проведения исследований о соотношении статистических, детерминированных и нейросетевых методов обработки многомерных данных в технических и медицинских системах Это обуславливает актуальность диссертационного исследования и полученных результатов

Диссертационная работа выполнена в рамках научного направления Курского государственного университета «Программное обеспечение вычислительных машин, комплексов и сетей»

Цель работы и задачи исследования. Целью диссертационной работы является разработка математического и программного обеспечения обработки многомерных данных нейросетевыми методами и осуществить их сравнение с другими методами

Для достижения поставленной цели необходимо решить следующие задачи

1 Исследовать возможности и особенности применения нейронных сетей для обработки многомерных данных

2 Рассмотреть детерминированные, статистические и нейросетевые методы распознавания образов и распознавания изображений

3 Рассмотреть статистические и нейросетевые алгоритмы обнаружения сигналов

4 Разработать программное обеспечение на основе рассмотренных алгоритмов для решения задач распознавания зашумленных изображений и обнаружения сигнала

5 Изучить задачи диагностики с использованием нейронных сетей на

примере диагностики инфаркта миокарда и разработать математическое и программное обеспечение процедуры диагностики

Методы исследования. При решении поставленных задач использовались методы системного анализа, теории обнаружения сигналов, теории распознавания образов, теории нейронных сетей, методы математической статистики, объектно-ориентированного программирования и разработки интеллектуальных систем

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной

- методы распознавания изображений на базе нейронной сети Хемминга, сети на основе радиапьно-базисных функций активации (РБФ сети) и самоорганизующихся карт Кохонена, отличающиеся возможностью классифицировать многомерные данные на основе результатов работы нейронных сетей с учетом показателей качества, полученных экспериментально

- алгоритм обнаружения сигнала на фоне аддитивного шума на базе нейронной сети Хемминга, отличающийся дополнительным фильтрующим слоем нейронов

- процедура постановки или исключения диагноза инфаркта миокарда левого желудочка на базе нейронной сети Хемминга, РБФ сети и самоорганизующихся карт Кохонена, отличающаяся принятием решения о постановке диагноза на основе результатов диагностики реализованных алгоритмов с учетом коэффициентов достоверности каждого

- специальное математическое и программное обеспечение методов обработки многомерных данных, отличающееся возможностью применения, как в технических, так и в медицинских целях

Практическая значимость работы заключается в возможности использования разработанного математического, информационного и программного обеспечения обработки многомерных данных в качестве основы для принятия решений в задачах распознавания изображений, обнаружения сигналов и медицинской диагностики

Практические результаты диссертационной работы положены в основу прикладных программ, зарегистрированных в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (ФГУ ФИПС) "Четырехальтернативное распознавание изображений нейронной сетью Хемминга и методом наименьших расстояний" Per № 2007614588 от 31 10 2007, "Обнаружение сигнала на фоне аддитивного шума нейросетевым и статистическими методами" Per № 2007614586 от 31 10 2007, "Система диагностики инфаркта миокарда на базе нейронной сети Хемминга" Per № 2007614587 от 31 10 2007

Реализация и внедрение результатов работы. Разработанное программное обеспечение для распознавания зашумленных черно-белых изображений и обнаружения сигнала на фоне аддитивного шума на базе

предложенных алгоритмов, может быть использовано в системах радиолокации и радиосвязи для принятия оптимальных решений

Разработанная система диагностики инфаркта миокарда внедрена в клиническую практику кардиологических отделений Муниципального Учреждения Здравоохранения городской больницы скорой медицинской помощи города Курска, Курской областной клинической больницы, городской поликлиники №2 г Старый Оскол

Научные результаты диссертационной работы используются в учебном процессе Курского государственного университета по специальности «Математическое обеспечение и администрирование информационных систем»

Апробация работы Научные результаты и положения диссертационной работы докладывались и обсуждались на следующих конференциях VII Международной научно-технической конференции «Радиолокация, навигация, связь» (Воронеж, 2001), II Международной научно-технической конференции «Кибернетика и технологии XXI века» (Воронеж, 2001), научная конференция посвященная 85-тилетию Воронежского государственного университета (Воронеж, 2003), 8 World Multi-Conference on Systemic, Cybernetics and Informatics (SCI-2004) USA, Международная школа-семинар «Современные проблемы механики и прикладной математики» (Воронеж, 2007), научные семинары Курского государственного университета (Курск, 2004 - 2007), научные семинары Воронежского государственного университета (Воронеж, 2004 - 2007), научные семинары Воронежского государственного технического университета (Воронеж, 2004 - 2007)

Публикации. По материалам диссертации опубликовано 12 научных работ, в том числе 3 - в изданиях, рекомендованных ВАК РФ

Личный вклад автора [1] - синтезирован нейросетевой алгоритм распознавания сложных изображений, проведена оценка различий результатов вычислительных экспериментов для нейросетевого и статистического алгоритмов, [3] - построена система диагностики инфаркта миокарда левого желудочка на основе обучаемой нейронной сети Хемминга, проведена оценка качества диагностики, [4] - синтезирован нейросетевой алгоритм Хемминга распознавания изображений, получены экспериментальные данные, позволяющие оценить его эффективность, [5] - синтезирован нейросетевой алгоритм распознавания изображений, проведен сравнительный анализ результатов распознавания нейросетевым и статистическим алгоритмом, [7] -построена система диагностики инфаркта миокарда на основе обучаемой нейронной сети, проведена оценка качества диагностики, [10-12] - выполнена программная реализация алгоритмов

Структура и объем работы. Диссертация состоит из введения, четырех глав, выводов, списка используемой литературы из 94 наименований Основная часть работы изложена на 140 страницах, содержит 13 таблиц и 22 рисунка

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы, формулируется цель, научная новизна и практическая значимость полученных результатов.

В первой главе проведен анализ проблем распознавания образов и обнаружения сигналов Дана классификация искусственных нейронных сетей с точки зрения топологии, особенностей функционирования и методов обучения Рассмотрены примеры использования нейроподобных структур в различных областях

Показано, что применение нейронных сетей в тех задачах, решение которых невозможно и крайне затруднительно обычными вычислительными методами, дает возможность получить решение в приемлемые сроки Однако представляет интерес сравнительный анализ результатов решения одних и тех же задач статистическими, детерминированными методами и с помощью нейросетевых методик, а также соотношение результатов решения этих задач при различных конфигурациях нейронных сетей

В диссертационной работе рассматривались три класса задач распознавание изображений, обнаружение сигнала и диагностика инфаркта миокарда Все три задачи имеют сходные черты, а именно, входные данные при решении каждой из них представлены в виде многомерного вектора Входной вектор имеет следующую размерность в задаче распознавания изображений -4800 компонент, в задаче обнаружения сигнала - 101 компонента, в задаче диагностики инфаркта миокарда - 6 компонент Решение данных классов задач представляет собой классификацию входных данных

Представлены результаты исследований возможности использования различных конфигураций нейронных сетей (персептроны, многослойные сети) для решения данного класса задач Обосновано применение нейронной сети Хемминга, сети на основе радиально-базисных функций активации (РБФ сети) и самоорганизующихся карт Кохонена для решения поставленных задач, так как эти сети быстро обучаются и дают стабильные, достаточно хорошие результаты

Во второй главе рассматриваются методы распознавания образов и изображений Приведено обоснование методов решения поставленной задачи и выбранных алгоритмов

Постановка задачи имеются изображения объектов, составляющие множество А, и ряд изображений объектов, относящихся к множеству В Объекты множества В имеют определенное количество признаков, идентичных признакам объектов множества А Изображения объектов множества А назовем истинными целями, а множества В - ложными (ловушками) Было использовано три ловушки, которые отличались между собой тем, что имели разную меру сходства с истинной целью Цель является представителем класса изображений Бь а ловушки - класса 32

Различные ловушки имеют разную степень сходства с целью (рис 1 )

Использовались следующие функции сходства

= -*,>') ' О)

= ■ (2)

Для пары изображений "цель - ловушка 2" эти функции имели максимальное значение Ь, =0,0293; Ь2 =0,0017, минимальное значение Ь],0,0248; Ь2 =0,0012 - для изображений "цель - ловушка 1".

Рис.2. Структурные схемы рассмотренных нейронных сетей

Статистические алгоритмы были получены на основе теории статистических решений. В качестве статистически оптимального алгоритма

5

Рассматривались нейросетевые алгоритмы на базе сети Хемминга, сети с радиально-базисными функцииями активации (РБФ сеть), самоорганизующихся карт Кохонена. Структурные схемы рассмотренных сетей представлены на рис. 2.

в) Ловушка 2. г) Ловушка 3.

Рис. 1. Изображен™ для распознавания

входные выходные

нейроны нейроны

б) карты Кохонена

а) Цель

б) Ловушка 1

Вход Юлой 2 слой Выход

а) сеть Хемминга

det Л/, det Мг j

>k, (3)

выбран алгоритм, основанный на оценке логарифма отношении правдоподобия, которая сравнивается с порогом к

/ * \

4 -«.)-(*.-а2)] + Jin

где a, =(l/m,)fV", Л/, = [l/(m, -1 )]£(<> -а,)^" -а,)г

/»2 ^ тг

а2 =(1/т2)£^2), М2=[1/(ш2-1)]£Ц21 - )(*</>-¿2)г (4)

- несмещенные и состоятельные оценки максимального правдоподобия вектора средних и ковариационных матриц

Изображение относится к классу S2, если выполняется неравенство (3) и классу St, если выполняется неравенство, противоположное (3)

Обучение нейронных сетей является важным моментом при их применении В диссертационной работе рассмотрены методы обучения сети Хемминга, сети Кохонена и РБФ сети

Обучение сети Хемминга сводится к расчету весовых коэффициентов нейронов первого слоя В случае наличия незашумленных эталонных изображений весовые коэффициенты принимают следующие значения

«\*=-р, = 0 «-l,k=0 т-\, (5)

где х,к - 1-ый элемент k-ого образца В нашем случае х,к рассчитывались, исходя из обучающей выборки зашумленных эталонов, как выборочные средние Накладываемый шум имел нормальное распределение с математическим ожиданием равным нулю и дисперсией 1 Обучающая выборка состоит из векторов, определяемых на пространстве признаков Объем выборки изменяется от 10 до 60 Каждый элемент вектора признаков обучающей выборки состоит из 4800 компонент Эти компоненты подаются на вход 4-х нейронов сети Хемминга, поэтому для обучения сети требуется расчет 19200 коэффициентов

Сеть Кохонена обучается методом последовательных приближений В процессе последовательной подачи на вход сети обучающих примеров определяется нейрон, у которого скалярное произведение весов и входного вектора минимально Этот нейрон объявляется победителем и является центром при подстройке весов у соседних нейронов по формуле

= 1!>с + а(дг - wc) (6)

Такое правило обучения предполагает "соревновательное" обучение Основной итерационный алгоритм Кохонена последовательно проходит ряд эпох, на каждой из которых обрабатывается один пример из обучающей выборки В процессе обучения каждый нейрон наделялся «чувством справедливости» Если он становился победителем чаще своей законной доли времени (примерно 1 /к, где к - число нейронов Кохонена), он временно

увеличивал свой порог, что уменьшало его шансы на выигрыш, давая тем самым возможность обучаться и другим нейронам При обучении также потребовался расчет 19200 коэффициентов

Ячейки РБФ сети обучаются путем подбора центра и отклонения каждой из них Центры ячеек г, рассчитывались как выборочное среднее Параметр разброса для каждой ячейки о определен как половина расстояния до ближайшего центра ячейки, соответствующей другому классу Выходной слой РБФ сети обучался по методу обратного распространения ошибки Потребовалось настроить 16 весовых коэффициентов нейронов выходного слоя

Совокупное изменение весовых коэффициентов монотонно убывает с каждым шагом обучения и приближается к нулю при объеме обучающей выборки 40 для сети Хемминга и РБФ сети и 8 для карт Кохонена

Среди детерминированных методов были реализованы метод наименьших расстояний и метод потенциальных функций

Классификатор, построенный по принципу минимума расстояния, вычисляет расстояние, отделяющее неклассифицированный образ х от эталона каждого класса, и зачисляет этот образ в класс, оказавшийся ближайшим к нему Другими словами, образ х приписывается к классу 5„ если условие Ц < О/ выполняется при всех г & у Случаи равенства расстояний разрешаются произвольным образом Евклидово расстояние между произвольным вектором образа х и 1-м эталоном определяется следующим выражением

О, =\\ X - г,11= ^(х-2,У(х-2,) (7)

Для выбора центров кластеров используется алгоритма "К - внутригрупповых средних" Центры кластеров :,(к+1) выбираются таким образом, чтобы минимизировать показатель качества

Л = I + J = ]^2> 'К

Центр г,(к+1), обеспечивающий минимизацию показателя качества, определяется как

-",(* +1) = -^- 5> , у = 1,2, ,К,

} , дге5 (к)

J J (9)

где Щ - число выборочных образов, входящих в множество 8,(к)

Классификатор, использующий метод потенциальных функций, осуществляет разделение образов на классы с помощью решающей функции

¿4-1 (х) -=Лк(х) +гк - ,К(х,хк-1), (10)

где к- номер шага итерации, К(х,хи~1) • потенциальная функция Использовались потенциальные функции следующего вида

*(*.*1>=ГЛГ—¥ (11)

Если алгоритм дает правильную классификацию, то коэффициент гк+1=0 Если же алгоритм классифицирует образ неправильно, то коэффициент г^1=+1 или (-1) в зависимости от принадлежности соответствующего образа классу 8) или классу

Я2

В результате работы программы были получены вероятности правильного и ошибочного распознавания Среднее значение вероятности правильного распознавания при различном объеме обучающей выборки и дисперсии шума приведено в таблицах 1 и 2

Таблица 1. Средняя вероятность правильного распознавания для всех пар

изображений при различном объеме обучающей выборки (данные __получены при дисперсии шума а2 - 1)

Алгоритм Объем обучающей выборки Среднее

10 20 30 40 50 60

Статистический 0,667 0,849 0,938 0,968 0,982 0,997 0,9

Нейросетевые алгоритмы

Сеть Хемминга 0,873 0,962 0,997 0,9999 0,9999 0,9999 0,972

Карты Кохонена 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999

РБФ сеть 0,953 0,967 0,978 0,985 0,9999 0,9999 0,9805

Колпективный нейросетевой алгоритм 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999

Таблица 2. Средняя вероятность правильного распознавания для всех пар изображений при различной дисперсии шума (данные получены при __объеме обучающей выборки 40)

Алгоритм Дисперсия шума Среднее

о2 = 1 | а2 = 2,25 | о2 = 4 | а2 =6,25 ] о2 = 9

Детерминированные методы

Метод потенциальных функций 0,9999 0,98 0,95 0,785 0,5 0,843

Метод наименьших расстояний 0,9999 0,9999 0,999 0,866 0,5 0,873

Нейросетевые алгоритмы

Сеть Хемминга 0,9999 0,867 0,683 0,583 0,5 0,7266

Карты Кохонена 0,9999 0,9999 0,978 0,88 0,737 0,919

РБФ сеть 0,985 0,851 0,808 0,674 0,554 0,7744

Коллективный нейросетевой алгоритм 0,9999 0,9999 0,98 0,883 0,781 0,9288

Из приведенных данных видно, что среди нейросетевых алгоритмов в поставленной задаче наиболее высокие показатели качества распознавания обеспечивает алгоритм на основе самоорганизующихся карт Кохонена Данный алгоритм обеспечивает в среднем на 10% более высокое значение вероятности правильного распознавания, чем статистический алгоритм Так же отмечается, что все рассмотренные нейросетевые алгоритмы продемонстрировали более высокое значение вероятности правильного распознавания по сравнению со статистическим алгоритмом

Относительно детерминированных методов наблюдаются следующие

тенденции эти методы обеспечивают более высокую вероятность распознавания по сравнению с нейронной сетью Хемминга и РБФ сетью Однако по сравнению с детерминированными методами самоорганизующиеся карты Кохонена обеспечивают в среднем на 7,14 %, а коллективный нейросетевой алгоритм на 8,31 % более высокое значение вероятности правильного распознавания Полученные различия протестированы с помощью критерия х2 Пирсона и критерия Вилкоксона и являются значимыми в статистическом плане при уровне значимости 0,01

Функциональная схема разработанного программного комплекса распознавания изображений представлена на рис 3 Нейросетевой блок реализует алгоритм на базе рассмотренных нейронных сетей с учетом их коэффициентов достоверности, рассчитанных как средняя вероятность правильного распознавания соответствующего алгоритма Коэффициент достоверности для сети Хемминга составляет 0,727, для карты Кохонена - 0,919, для РБФ сети - 0,774 Таким образом, решение о принадлежности предъявленного изображения одному из классов принимается коллективным нейросетевым алгоритмом_

I Лицо принимают«« решение

□С

:х

Подсистема обучения | ' Подсистема ввода и редактирования изображения | * Подсистем» распознавания

Формирование обучающей выборки

I ~

И

[Обучающая ] | процедура | |

I Ввод изображения 1

г—Е-,

I Оцифровка изображения

I

Распознающая процедура

Выаод о принадлежности изображение к одному т классов

Рис. 3. Схема функционирования программного комплекса по распознаванию изображений

На рис 4 представлена схема принятия окончательного решения о принадлежности предъявленного изображения к классу целей или классу ловушек

Рис.4. Схема принятия решения о принадлежности изображения к одному из классов

Третья глава посвящена исследованию статистических и нейросетевых алгоритмов обнаружения сигналов

Задача обнаружения сигнала состоит в том, чтобы по результатам обработки наблюдаемого случайного процесса, который может быть либо только помехой, либо комбинацией сш нала и помехи, решить содержится ли в нем полезный сигнал или нет

Рассматривались сигналы вида

Б—А ехр[-(Ыо)/2], где А - амплитуда сигнала, ^ - момент появления сигнала, / -текущий момент времени

В общем случае наблюдаемый процесс имел вид Х=Б+% , где £, -реализация аддитивной гауссовской помехи с нулевым математическим ожиданием и единичной дисперсией Момент появления сигнала <0 является случайной величиной, распределенной по равномерному закону на интервале времени [О, Т]

Были рассмотрены параметрические статистические обнаружители байесовский и минимаксный При наличии полной априорной информации о сигнале и помехе используется байесовский обнаружитель Алгоритм обнаружения сводится к сравнению с порогом С отношения правдоподобия = (12) Порог определяется по формуле

С' = р0(Я|0 -/700)/р,(Я01-Ям) (13)

Здесь ||/7у|| (/,_/ = О, 1) - матрица потерь, р\ = (1- р0) - априорная вероятность наличия сигнала, 1Кл(х/Я,) - условная плотность вероятности (функция правдоподобия) выборки х= (*ь Х2, , х„) в предположении, что верна гипотеза Н, Если 1(х)>С,принимается решение о наличии сигнала, иначе об отсутствии

Алгоритм работы минимаксного обнаружителя определяется следующим образом |х*А"'а|>Сл/х*А'х, (14)

причем, а(С)= 1/(1 + С/"1 (15)

Здесь а=(а/, , а„)' - детерминированный вектор столбец, определяющий форму сигала, нормированный по энергии условием а*а=1, А - полностью известная эрмитова нормированная корреляционная матрица помехи

В качестве непараметрических рассматривались знаковый и ранговый обнаружители Знаковый обнаружитель для принятия решения использует следующий алгоритм

S = |>,>C (16)

где А, - функция единичного скачка, S- знаковая статистика

Величина порога С определяется через биномиальное распределение статистики S по заданной вероятности ложной тревоги а

ЧЯгя' (17)

где (") - число сочетаний из п по /

Ранговый обнаружитель выносит решение о наличие сигнала, если

S = I (18)

где R, - ранг положительного элемента в вариационном ряду, Мх) - функция единичного скачка, С - порог, определяемый заданной вероятностью а как корень уравнения

а = 1-Р(5<С|Я„) = Х^(5|Я0), (19)

s=c

где Sma, - максимальное значение статистики

Ранг элемента х, вычисляется через функцию единичного скачка как

R, =!>(*,-У,)+ !>(*,-xk)t + » + (20)

/ =1 k= 1

где т- число элементов выборки шума у и п - число эчементов исследуемой выборки х

В данной работе использовались нейронная сеть Хемминга, РБФ сеть и самоорганизующиеся карты Кохонена Перед тем как подаваться на входы сети Хемминга входной вектор сигнала преобразовывался по следующему принципу

i 1, х > А/3

(21)

при использовании в реализации данных об амплитуде сигнала, и [1, Х,> 0,6

х, < 0,6' (22)

при реализации алгоритма без использования данных об амплитуде сигнала, т е можно сказать, что добавлялся еще один слой нейронов с активационной функцией в виде порога

Обучение нейросетевых алгоритмов проводилось так же, как и при

решении задачи распознавания изображений При обнаружении каждый элемент входного вектора содержит 101 компоненту Эти компоненты подаются на вход 2-х нейронов сети Хемминга, поэтому потребовалось настроить 202 весовых коэффициента В РБФ сети 4 весовых коэффициента нейронов выходного слоя, центры и отклонения 2-х РБФ ячеек В алгоритме на базе карт Кохонена аналогичным образом потребоватось рассчитать 202 весовых коэффициента

В таблице 3 представлены данные о вероятности правильного обнаружения для всех рассмогренных алгоритмов, а также средняя вероятность правильного обнаружения

Таблица 3. Зависимость вероятности правильного обнаружения от

отношения сигнал/шум

Алгоритм Отношение сигнал/шум Средняя

0,0011 0,3 1 0,5 1 0,6 | 0.7 (0,8 | 1 | 1,2 | 1,5 | 2 | 3

Нейросетевые алгоритмы

Сеть Хемминга с параметром 0,5 0,715 0,857 0,9 0,92 0,94 0,965 0,99 0,993 0,999 0,9999 0,889

Сеть Хемминга без параметра 0,5 0,51 0,538 0,611 0 699 0,8 0,91 0,976 0,9995 0,9999 0,9999 0,777

РБФ сеть 0,5 0,759 0,913 0,943 0,966 0 977 0,988 0,993 0,997 0,999 0,9995 0,912

Карты Кохонена 0,504 0,532 0,638 0,68 0,712 0,73 0,745 0,746 0,746 0,748 0,75 0,69

Статистические алгоритмы

Минимаксный 0,5 0,51 0,697)0 815 0,912 0,965 0,9999 0,9999 0,9999 0,9999 0,99991 0,84

Байеса 0.5 0,56 0,8 0,92 0.97 0,99 0,9999 0 9999 0,9999 0,9999 0,9999 0,885

Знаковый 0,5 0,505 0,5250,561 0,6 0,648 0,754 0,878 0,968 0,9995 0,9999 0,722

Ранговый 0,5 0,507 0,567)0,617 0,709 0,801 0,942 0,994 0,9999 0,9999 0,9999| 0,785

Из приведенных данных видно, что карты Кохонена не обеспечивают вероятность правильного обнаружения больше 0,75 Алгоритм Хемминга при реализации с параметром и РБФ сеть обеспечивают большее значение вероятности правильного обнаружения по сравнению с байесовским и минимаксным алгоритмами при малой амплитуде сигнала (отношение сигнал/шум до 0,6) Однако параметрические статистические алгоритмы обеспечивают достаточно высокий процент обнаружения при меньшей амплитуде сигнала

Статистические алгоритмы обеспечивают фиксированное значение вероятности ложного обнаружения (в нашем случае 10^), вероятность ложного обнаружения для сети Хемминга при реализации без параметра составляла менее 10"4, алгоритм Хемминга при реализации с параметром, РБФ сеть и карты Кохонена продемонстрировали недопустимо высокий уровень ложной тревоги (порядка 10"')

Из всего вышесказанного можно заключить, что нейросетевой алгоритм Хемминга в поставленной задаче обеспечивает показатели качества

"обнаружения сравнимые с непараметрическими статистическими алгоритмами 'и не может конкурировать с минимаксным и байесовским обнаружителями Кроме того, включение в алгоритм сведений об амплитуде сигнала приводит к недопустимому увеличению уровня ложного обнаружения Так же РБФ сеть и самоорганизующиеся карты Кохонена, несмотря на высокие значения вероятности правильного обнаружения, не могут быть применены в поставленной задаче из-за недопустимо высоких значений вероятности ложной тревоги

На рис 5 представлена функциональная схема программного комплекса по обнаружению сигналов_

Лицо, принимающее решение

______

Подсистема обучения |

Формирование обучающей выборки

I

11олсисгема ввода и редактирования данных

110ЦСИС1 ема обнаружения

Обучающая процедур»

Выбор алгоритма

Ц

Процедура обнаружения

Ж

Вывод о наличии или сгсуютши полезного сигнала

Рис. 5. Схема функционирования программного комплекса по обнаружению сигналов

Значимость полученных различий в статистическом плане протестирована при помощи критерия согласия х1 Пирсона и критерия Вилкоксона Выдвигалась гипотеза о принадлежности двух выборок одной генеральной совокупности Применение статистических критериев при уровне значимости 0,05 показало, что данная гипотеза верна для пары ранговый алгоритм -алгоритм Хемминга без параметра, т е выборки принадлежат одной генеральной совокупности Таким образом, различия полученных результатов не являются значимыми в статистическом смысле Применение статистических критериев при уровне значимости 0,05 для остальных пар показало, что

выборки принадлежат разным генеральным совокупностям Таким образом, различия полученных результатов являются значимыми в статистическом смысле

В четвертой главе приводится описание нейросетевой системы диагностики инфаркта миокарда Описано применение нейронной сети Хемминга, РБФ сети, самоорганизующихся карт Кохонена в диагностике инфаркта миокарда при использовании лишь данных ЭКГ Рассматривались следующие 6 параметров величина зубца Q, наличие зубца R, положение и наклон интервала ST относительно изолинии, величина интервала QRS, величина и положение зубца Т относительно изолинии (рис 6)

В исследование были включены данные ретроспективного обследования больных кардиологического отделения Курской Областной Клинической Больницы и Больницы Скорой Медицинской Помощи города Курска с клинически подтвержденным инфарктом миокарда левого желудочка различной глубины и локализации (40 чел ) и больных, у которых по данным обследования инфаркт миокарда был исключен (40 чел ) Другими словами,

объем контрольной выборки составил 80 человек л

Использовались данные

стандартной 12-ти канальной электрокардиографии с использованием электрокардиографа SCHILLER

CARDIOVIT АТ-101

Для цифровой обработки использовалась программное

обеспечение, входящее в стандартную комплектацию (Software M), результатом которой явилось получение Рис. 6. Злбцы и интервшы ЭКГ значениЙ требуемых зубцов и

интервалов Полученные значения подавались на вход нейронной сети В результате ставился диагноз наличие или отсутствие инфаркта миокарда левого желудочка

В ходе работы проведено исследование показателей качества диагностики инфаркта миокарда при помощи нейронной сети Хемминга, РБФ сети и самоорганизующихся карт Кохонена Как качественные параметры диагностики рассматривались вероятность правильной диагностики - Р, чувствительность и специфичность алгоритмов Проанализирована зависимость этих параметров от объема обучающей выборки - V Объем контрольной выборки - 80 ЭКГ для всех параметров Результаты эксперимента представлены в таблице 4

Обучение нейросетевых алгоритмов проводилось аналогично обучению в задачах распознавания изображений и обнаружения сигнала В нейронной сети Хемминга потребовалось настроить 12 весовых коэффициентов нейронов

первого слоя В РБФ сети 4 весовых коэффициента нейронов выходного слоя и центры и отклонения 2-х РБФ ячеек В алгоритме на базе карт Кохонена потребовалось рассчитать 12 весовых коэффициентов

Таблица 4. Зависимость вероятности правильного диагностирования от

объема обучающей выборки

Алгоритм Объем обучающей выборки Средняя

8 10 12 16 20

Сеть Хемминга 0,79 0,85 0,861 0,919 0,93 0,87

РБФ сеть 0,9 0,9 0,9 0,9 0,9 0,9

Карты Кохонена 0,83 0 83 0 83 0,83 0,83 0,83

Коллективный нейросетевой алгоритм 0,93 0,93 0,93 0,93 0,93 0,93

В таблице 5 представлены чувствительность и специфичность различных методов диагностики врач - данные статистических исследований, многослойный персептрон - результаты, полученные Уильямом Бакстом, нейронная сеть Хемминга, РБФ сеть, карты Кохонена - наши результаты (объем обучающей выборки 20, контрольной - 80)

Таблица 5. Чувствительность и специфичность методов

Алгоритм Ч)вствительность, % Специфичность, %

Сеть Хемминга 95 91

РБФ сеть 80 100

Карты Кохонена 95 71

Коллективный нейросетевой алгоритм 89 97

Персептрон (результаты Бакста) 92 96

Врач (данные статистики) 88 71

Полученные результаты позволяют отметить множество особенностей в поведении качественных параметров нейросетевых апгоритмов при увеличении объема обучающей выборки Таким образом, искусственная нейронная сеть Хемминга также сталкивается с проблемой специфичности! метода, как и человек Однако сеть при увеличении чувствительности не теряет специфичности РБФ сеть и самоорганизующиеся карты Кохонена при увеличении объема обучающей выборки не изменяют показатели качества диагностики Однако их показатели качества все же выше показателей качества диагностирования болезни врачом Коллективный нейросетевой алгоритм обеспечивает самое высокое значение вероятности правильного диагностирования, однако, он имеет меньшую чувствительность, чем сеть Хемминга и карты Кохонена, но большую специфичность В сравнении с РБФ сетью комбинированный нейросетевой алгоритм обеспечивает большую чувствительность, но меньшую специфичность

Схема окончательной постановки или исключения диагноза инфаркта миокарда левого желудочка по данным электрокардиографии осуществляется коллективным алгоритмом также как и при распознавании изображений (рис 4) Диагностирующий блок реализует алгоритм на базе рассмотренных нейронных сетей с учетом их коэффициентов достоверности (таблица 6),

рассчитанных как средняя вероятность правильного диагностирования. Таким образом, решение о постановке или исключении диагноза инфаркта миокарда левого желудочка принимается коллективным нейросетевым алгоритмом.

Таблица 6. Коэффициенты достоверности нейросетевых алгоритмов

Алгоритм

Сеть Хемминга Карты Кохонена РБФ сеть

Коэффициент достоверности 0,87 0,83 0,9

Функциональная схема программного комплекса диагностики представлена на рис. 7.

1 | Сеть Хемминга^ РБФ сеть | | Карты Кохоксна| |

1 Параметры Параметры Параметры *

. алгоритма алгоритма алгоритма 1

1 Библиотека алгор(ггмов

Рис. 7. Функциональная схема программного комплекса диагностики

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проанализированы проблемы распознавания изображений и обнаружения сигналов, определены основные показатели качества работы алгоритмов обработки многомерных данных. Обосновано применение нейросетевых методик в поставленных задачах.

2. Проведен сравнительный анализ показателей качества обработки многомерных данных в задаче распознавания при помощи нейросетевых, статистических и детерминированных методов. Нейросетевые методы оказались предпочтительнее по сравнению со статистическими и детерминированными методами.

3. Исследована возможность использования нейронных сетей в задаче обнаружения сигналов. Показано, что сеть Хемминга по своим показателям качества сравнима с ранговым обнаружителем, но не является более предпочтительной из-за затрат на ее обучение.

4. На основе проведенного анализа решения задач распознавания,

16

'< обнаружения и диагностики нейросетевыми алгоритмами определены коэффициенты качества работы каждого во всех рассмотренных задачах

5 Разработаны коллективные алгоритмы обработки многомерных данных на основе нейронной сети Хемминга, РБФ сети и самоорганизующихся карт Кохонена, принимающие решение на основе работы нейронных сетей с учетом коэффициентов качества их работы

6 На базе рассмотренных алгоритмов и методов разработано программное обеспечение процессов распознавания изображений и обнаружения сигналов Разработана структура пользовательского интерфейса, который реализован с помощью интегрированной среды программирования Delphi 7, обеспечивая полную интерактивную и диалоговую поддержку программных средств.

7 Автоматизированная система диагностики инфаркта миокарда, построенная на основе нейросетевых алгоритмов обеспечивает высокие показатели качества диагностики и снижает вероятность гипердиагностики

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ В СЛЕДУЮЩИХ РАБОТАХ:

Публикации в изданиях, рекомендованных ВАК РФ

1 Распознавание сложных изображений нейросетевыми и статистически оптимальными алгоритмами/ Новикова Н М, Прасолова \ Е // Нейрокомпьютеры разработка, применение 2004 №4 С 28-33

2 Нейросетевые и параметрические статистические алгоритмы в задаче обнаружения сигналов/ Прасолова А Е // Нейрокомпьютеры разработка, применение 2005 №5 С 53-57

3 Искусственная нейронная сеть Хэмминга в приложении к диагностике инфаркта миокарда/ Прасолова А Е, Прасолов AB// Нейрокомпьютеры разработка, применение 2005 №7 С 41-45

Статьи и материалы конференций

4 Исследование эффективности нейронной сети Хемминга в задачах распознавания изображений/ Новикова Н М , Карпова А Е // Радиолокация, навигация, связь сб материалов VII междунар науч -техн конф Воронеж, 2001 Т 3 С 1484- 1487

5 Сравнительная оценка нейросетевого и статистического алгоритмов распознавания изображений/ Новикова Н М , Карпова А Е // Кибернетика и технологии XXI века сб материалов II междунар науч -техн конф Воронеж, 2001 С 474-481

6 Нейросетевые и непараметрические статистические алгоритмы в задаче обнаружения сигналов/ Прасолова А Е // Ученые записки электронный научный журнал Курского государственного университета http //scientifical-notes ru

7 Use Of Artificial Hamming Neural Network For Myocardial Infarction Diagnostics/ Прасолова A E , Новикова HM// Proceedings of IIIS (SCI-2004) Orlando, Florida, USA P 115 - 120

8 Нейросетевой алгоритм Хемминга в задаче обнаружения сигнала/ Прасолова А Е //Современные проблемы механики и прикладной математики сб тр междунар школы-семинара Воронеж, 2007 С 290-294

9 Распознавание сложных изображений нейросетевым и детерминированным алгоритмами/ Прасолова А Е //Современные проблемы механики и прикладной математики сб тр междунар школы-семинара Воронеж, 2007 С 295-297

10 Программа "Четырехальтернативное распознавание изображений нейронной сетью Хемминга и методом наименьших расстояний"/ А Е Прасолова, Н М Новикова -М ФГУ ФИПС, 2007 Per № 2007614588 от 31 10 2007

11 Программа "Обнаружение сигнала на фоне аддитивного шума нейросетевым и статистическими методами" / А Е Прасолова, Н М Новикова - М ФГУ ФИПС, 2007 Per № 2007614586 от 31 10 2007

12 Программа "Система диагностики инфаркта миокарда на базе нейронной сети Хемминга"/ А Е Прасолова, Н М Новикова - М ФГУ ФИПС, 2007 Per №2007614587 от 31 10 2007

Подписано в печать 14 12 2007 Формат 60x84/16 Бумага для множительных аппаратов Уел печ л 1,0 Тираж ЮОэкз Заказ №

ГОУ ВПО «Воронежский государственный технический университет» 394026 Воронеж, Московский просп , 14

4

ВВЕДЕНИЕ

Глава 1. НЕЙРОННЫЕЕ СЕТИ ДЛЯ ОБРАБОТКИ ИНФОРМАЦИИ

1.1 История развития нейронных сетей.

1.2. Биологический нейрон.

1.3. Классификация искусственных нейронных сетей. \

1.4. Применение искусственных нейронных сетей в задачах обработки информации.

ГЛАВА 2. РАСПОЗНАВАНИЕ ОБРАЗОВ И РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ

2.1. Общая характеристика задач распознавания образов. з

2.2. Распознавание изображений.

2.3. Статистические и нейросетевые методы распознавания изображений.

2.4. Детерминированные и нейросетевые методы распознавания изображений.

Выводы по главе 2.

ГЛАВА 3. СТАТИСТИЧЕСКИЕ И НЕЙРОСЕТЕВЫЕ АЛГОРИТМЫ ОБНАРУЖЕНИЯ СИГНАЛОВ

3.1 Основные теоретические предпосылки для построения статистических алгоритмов обнаружения сигналов.

3.2 Оптимальные статистические и нейросетевые обнаружители.

3.3 Непараметрические и нейросетевые обнаружители сигналов. 105 Выводы по главе 3.

ГЛАВА 4. ДИАГНОСТИКА ИНФАРКТА МИОКАРДА НЕЙРОННОЙ СЕТЬЮ ХЕММИНГА

Актуальность темы. Изучение структуры головного мозга и механизмов его работы привело к развитию новых вычислительных моделей, пригодных для решения сложных неформализуемых задач, таких как распознавание образов, обработка многомерных данных, идентификация, управление. Этими новыми вычислительными моделями стали нейронные сети. Искусственные нейронные сети обладают рядом особенностей: параллельность обработки информации, ассоциативность, способность к автоматической классификации, способность к обучению, обобщение, абстрагирование. Благодаря этим особенностям они используются для решения тех задач, для которых в силу неопределенности, например из-за недостатка информации, традиционные решения не эффективны, а обычные вычисления трудоемки. В то же время большинство существующих технических систем, в том числе систем распознавания изображений и обнаружения сигналов, используют статистические и детерминированные методы обработки многомерных данных. В настоящее время исследованию и использованию нейронных сетей посвящено большое количество работ, как в нашей стране (Галушкин А.И., Головко В.А., Горбань А.Н. и др.), так и за рубежом (W.McCulloch, W.Pitts, F.Rosenblatt, D.Hebb, J.Hopfield, T.Kohonen и др.). Однако, несмотря на это, не было проведено сравнения показателей качества нейросетевых и общепринятых методов обработки данных. Таким образом, возникает задача проведения исследований о соотношении статистических, детерминированных и нейросетевых методов обработки многомерных данных в технических и медицинских системах. Это обуславливает актуальность диссертационного исследования и полученных результатов.

Диссертационная работа выполнена в рамках научного направления Курского государственного университета «Программное обеспечение вычислительных машин, комплексов и сетей».

Цель работы и задачи исследования. Целью диссертационной работы является разработка математического и программного обеспечения обработки многомерных данных нейросетевыми методами и осуществить их сравнение с другими методами.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Исследовать возможности и особенности применения нейронных сетей для обработки многомерных данных.

2. Рассмотреть детерминированные, статистические и нейросетевые методы распознавания образов и распознавания изображений.

3. Рассмотреть статистические и нейросетевые алгоритмы обнаружения сигналов.

4. Разработать программное обеспечение на основе рассмотренных алгоритмов для решения задач распознавания зашумленных изображений и обнаружения сигнала.

5. Изучить задачи диагностики с использованием нейронных сетей на примере диагностики инфаркта миокарда и разработать математическое и программное обеспечение процедуры диагностики.

Методы исследования. При решении поставленных задач использовались методы системного анализа, теории обнаружения сигналов, теории распознавания образов, теории нейронных сетей, методы математической статистики, объектно-ориентированного программирования и разработки интеллектуальных систем.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной:

- методы распознавания изображений на базе нейронной сети Хемминга, сети на основе радиально-базисных функций активации (РБФ сети) и самоорганизующихся карт Кохонена, отличающиеся возможностью классифицировать многомерные данные на основе результатов работы нейронных сетей с учетом показателей качества, полученных экспериментально.

- алгоритм обнаружения сигнала на фоне аддитивного шума на базе нейронной сети Хемминга, отличающийся дополнительным фильтрующим слоем нейронов.

- процедура постановки или исключения диагноза инфаркта миокарда левого желудочка на базе нейронной сети Хемминга, РБФ сети и самоорганизующихся карт Кохонена, отличающаяся принятием решения о постановке диагноза на основе результатов диагностики реализованных алгоритмов с учетом коэффициентов достоверности каждого.

- специальное математическое и программное обеспечение методов обработки многомерных данных, отличающееся возможностью применения, как в технических, так и в медицинских целях.

Практическая значимость работы заключается в возможности использования разработанного математического, информационного и программного обеспечения обработки многомерных данных в качестве основы для принятия решений в задачах распознавания изображений, обнаружения сигналов и медицинской диагностики.

Практические результаты диссертационной работы положены в основу прикладных программ, зарегистрированных в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (ФГУ ФИПС): "Четырехальтернативное распознавание изображений нейронной сетью Хемминга и методом наименьших расстояний" Per. № 2007614588 от 31.10.2007; "Обнаружение сигнала на фоне аддитивного шума нейросетевым и статистическими методами" Per. № 2007614586 от 31.10.2007; "Система диагностики инфаркта миокарда на базе нейронной сети Хемминга" Per. № 2007614587 от 31.10.2007.

Реализация и внедрение результатов работы. Разработанное программное обеспечение для распознавания зашумленных черно-белых изображений и обнаружения сигнала на фоне аддитивного шума на базе предложенных алгоритмов, может быть использовано в системах радиолокации и радиосвязи для принятия оптимальных решений.

Разработанная система диагностики инфаркта миокарда внедрена в клиническую практику кардиологических отделений Муниципального Учреждения Здравоохранения городской больницы скорой медицинской помощи города Курска, Курской областной клинической больницы, городской поликлиники №2 г. Старый Оскол.

Научные результаты диссертационной работы используются в учебном процессе Курского государственного университета по специальности «Математическое обеспечение и администрирование информационных систем».

Апробация работы. Научные результаты и положения диссертационной работы докладывались и обсуждались на следующих конференциях: VII международной научно-технической конференции «Радиолокация, навигация, связь» (Воронеж, 2001); II международной научно-технической конференции «Кибернетика и технологии XXI века» (Воронеж, 2001); научная конференция посвященная 85-тилетию Воронежского Государственного университета (Воронеж, 2003), 8 World Multi-Conference on Systemic, Cybernetics and Informatics (SCI-2004) USA, международная школа-семинар «Современные проблемы механики и прикладной математики» (Воронеж, 2007), научные семинары Курского государственного университета (2004 - 2007), научные семинары Воронежского государственного университета (2004 - 2007), научные семинары Воронежского государственного технического университета (2004 - 2007).

Публикации. По материалам диссертации опубликовано 12 научных работ. В изданиях, рекомендованных ВАК РФ, опубликовано 3 работы. Личный вклад автора: в [1] - синтезирован нейросетевой алгоритм распознавания сложных изображений, проведена оценка различий результатов вычислительных экспериментов для нейросетевого и статистического алгоритмов; в [3] - построена система диагностики 8 инфаркта миокарда левого желудочка на основе обучаемой нейронной сети Хемминга, проведена оценка качества диагностики; в [4] - синтезирован нейросетевой алгоритм Хемминга распознавания. изображений, получены экспериментальные данные, позволяющие оценить его эффективность; в [5] -синтезирован нейросетевой алгоритм распознавания изображений, проведен сравнительный анализ результатов распознавания нейросетевым и статистическим алгоритмом; в [7] - построена система диагностики инфаркта миокарда на основе обучаемой нейронной сети, проведена оценка качества диагностики; в [ 10-12] - выполнена программная реализация алгоритмов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, выводов, списка используемой литературы из 94 наименований. Основная часть работы изложена на 140 страницах,, содержит 13 таблиц и 22 рисунка.

ОСНОВНЫЕ ВЫВОДЫ ПО ДИССЕРТАЦИИ

1. Проанализированы проблемы распознавания изображений и обнаружения сигналов, определены основные показатели качества работы алгоритмов обработки многомерных данных. Обосновано применение нейросетевых методик в поставленных задачах.

2. Проведен сравнительный анализ показателей качества обработки многомерных данных в задаче распознавания при помощи нейросетевых, статистических и детерминированных методов. Нейросетевые методы оказались предпочтительнее по сравнению со статистическими и детерминированными методами.

3. Исследована возможность использования нейронных сетей в задаче обнаружения сигналов. Показано, что сеть Хемминга по своим показателям качества сравнима с ранговым обнаружителем, но не является более предпочтительной из-за затрат на ее обучение.

4. На основе проведенного анализа решения задач распознавания, обнаружения и диагностики нейросетевыми алгоритмами определены коэффициенты качества работы каждого во всех рассмотренных задачах

5. Разработаны коллективные алгоритмы обработки многомерных данных на основе нейронной сети Хемминга, РБФ сети и самоорганизующихся карт Кохонена, принимающие решение на основе работы нейронных сетей с учетом коэффициентов качества их работы.

6. На базе рассмотренных алгоритмов и методов разработано программное обеспечение процессов распознавания изображений и обнаружения сигналов. Разработана структура пользовательского интерфейса, который реализован с помощью интегрированной среды программирования Delphi 7, обеспечивая полную интерактивную и диалоговую поддержку программных средств.

7. Автоматизированная система диагностики инфаркта миокарда, построенная на основе нейросетевых алгоритмов обеспечивает высокие

127 показатели качества диагностики и снижает вероятность гипердиагностики.

1. Акимов П.С. Знаковое и ранговое последовательное обнаружение сигнала на фоне марковской помехи /П.С. Акимов, В.Я. Литновский // Изв. вузов. Радиоэлектроника. 1984. - Т. 27. - № 4. - С. 14-20.

2. Алешкин А. П. Применение вероятностной нейронной сети для идентификации участка звездного неба по' измерениям бортового оптико-электронного пеленгатора / А. П. Алешкин, И. Н. Куприянов // Нейрокомпьютеры: разработка, применение. 2004. - №5-6. - С. 2329.

3. Аляутдинов М.А. Методы распараллелирования и программно-аппаратной реализации нейросетевых алгоритмов обработки изображений / М.А. Аляутдинов, А.И. Галушкин, Л.Е. Назаров // Нейрокомпьютеры: разработка, применение. 2003. - №2. - С. 32-37.

4. Анисимов Б. В. Распознавание и цифровая обработка изображений / Б. В. Анисимов, В. Ф. Курганов, В. К. Злобин. М. : Высш. шк., 1983. -295 с.

5. Беркович Г.М. Двухэтапная процедура моделирования алгоритмов обнаружения с постоянной частотой ложных тревог / Г.М. Беркович // Тез. докл. 6-ой межд. науч.-техн. конф. «Радиолокация, навигация, связь» Воронеж, 25 27 апр. 2000 г. - Т. 1. - С. 73-79.

6. Васильев В.И. Распознающие системы. Справочник / В.И. Васильев -Киев : Наукова думка, 1983. 424 с.

7. Введение в контурный анализ и его приложения к обработке изображений и сигналов / под ред. Я. А. Фурмана. М. : Физматлит, 2002 - 592 с.

8. Галуев Г. А. Автоматическая идентификация номерных знаков автотранспортных средств: методы и перспективы решения. / Г. А.

9. Геппенер В. В. Разработка систем автоматической верификации дикторов с использованием нейронных сетей / В. В. Геппенер, К. К. Симончик // Нейрокомпьютеры: разработка, применение. 2006. - №7. -С. 24-31.

10. Гладков С.А. Программирование в Microsoft Windows: в 2-х кн. / С.А. Гладков, Г.В. Фролов М. : ДИАЛОГ-МИФИ, 1992. - Кн. 2. - 288 с.

11. Головко В.А. Нейроинтеллект: Теория и применения. Книга 1. Организация и обучение нейронных сетей с прямыми и обратными связями / В.А. Головко Брест : БПИ, 1999. - 260с.

12. Головко В.А. Нейроинтеллект: Теория и применения. Книга 2. Самоорганизация, отказоустойчивость и применение нейронных сетей / В.А. Головко Брест : БПИ, 1999. - 228с.

13. Ежов А.А. Нейронные сети в медицине / А.А. Ежов, В.Р. Чечёткин // Открытые системы. 1997. -№4. - С. 34-37.

14. Ермаков С.М. Статистическое моделирование / С.М. Ермаков, Г.А. Михайлов М. : Наука, 1982. - 296 с.

15. Истратов А.Ю. Нейросетевая система анализа данных бортового радиолокатора / А.Ю. Истратов, А.В. Мельник, Ю.М. Глебачев, В.Ф. Грибков // Изв. вузов. Приборостр. 1997. - № 6. - С. 32-38.

16. Истратов А.Ю. Эмпирический нейроалгоритм обработки радиолокационной информации / А.Ю. Истратов, А.В. Мельник, В.Ф. Грибков // V Всерос. конф. «Нейрокомпьютеры и их применение»: сб. докладов. М. : Радио и связь., 1999.

17. Кантор И. Л. Гиперкомплексные числа / И. Л. Кантор, А. С. Солодовников М. : Наука, 1973. - 144 с.

18. Комплекснозначные и гиперкомплексные системы в задачах обработки многомерных сигналов / под ред. Я. А. Фурмана. М. : Физматлит, 2004 - 452 с.

19. Короткий С. Нейронные сети Хопфилда и Хэмминга / С. Короткий // http://lii.newmail.ru/NN/KOROTKY/N4/kornn4.htm.

20. Костюк А. И. Изоморфная идентификация изображений / А. И. Костюк, В. А. Каляев // Нейрокомпьютеры: разработка, применение. 2004. -№10.-С. 21-28.

21. Кузьмина М. Г. Осцилляторная сеть с самоорганизованными динамическими связями для сегментации изображений / М. Г. Кузьмина, Э. А. Маныкин, И. И. Сурина // Нейрокомпьютеры: разработка, применение. 2004. - №4. - С. 31-36.

22. Ларин A.M. Исследование эффективности нейросетевых алгоритмов Хопфилда при распознавании изображений / A.M. Ларин, С.Л. Мазилов, С.М. Огреб, П.М. Юхно // Информационный конфликт в спектре электромагнитных волн. 1999. - № 6. - С. 14-18.

23. Лучин А. А. Оптимизация нейросетевых автоматов при классификации рассеивающих объектов по измерениям двумерных изображений / А.

24. A. Лучин, Е. Ю. Труфанов, Д. С. Чиров // Нейрокомпьютеры: разработка, применение. 2006. - №3. - С. 23-28.

25. Мазаков Е. Б. Применение нейросетей в системах распознавания речи / Е. Б. Мазаков , С.Г. Чекинов // Информационные технологии. 2005. -№3.-С. 21-26.

26. Мак-Каллок У. Логическое исчисление идей, относящихся к нервной активности / У. Мак-Каллок, У. Пите // Автоматы. М.: ИЛ. - 1956. -С.362-3 84.

27. Минский М. Перцептроны / М. Минский, С. Пейперт М. : Мир, 1971 -261 с.

28. Меркушева А. В. Нейросетевые методы обработки сигналов в информационных системах. Элементы структуры, принципы обучения и мера многообразия отображений, реализуемых нейронной сетью / А.

29. B. Меркушева // Информационные технологии 2005. - №3. - С. 9-20.

30. Назаров Л.Е. Применение нейронных сетей Хопфилда для атмосферной коррекции космических изображений Земли в оптическом диапазоне / Л.Е. Назаров // Нейрокомпьютеры: разработка, применение. 2003. - №3-4. - С. 34-39.

31. Назаров Л.Е. Сравнительный анализ нейросетевого и фрактального алгоритмов сжатия изображений Земли из космоса Л.Е. Назаров // Нейрокомпьютеры: разработка, применение. 2003. - №7. - С. 19-24.

32. Обнаружение радиосигналов/ Акимов П.С., Евстратов Ф.Ф., Захаров

33. C.И. и др.; под ред. А.А. Колосова. -М. : Радио и связь. 1989. - 288 с. 35.Павлидис Т. Алгоритмы машинной графики и обработки изображений /

34. Т. Павлидис. М. : Радио и связь, 1986. - 398 с.

35. Патрик Э. Основы теории распознавания образов / Э. Патрик М. : Сов. Радио, 1980.-408 с.

36. Перов А.И. Сравнительный анализ нейросетевых и статистических алгоритмов в задачах обнаружения сигналов / А.И. Перов, Г.Г. Соколов // Цифровая обработка сигналов и ее применение: Докл. III Междунар. конф. 2000. - Т. 3. - С. 28-33.

37. Розенблатт Ф. Принципы нейродинамики: Перцептрон и теория механизмов мозга / Ф. Розенблаттт М.: Мир. - 1965. - 480 с.

38. Рыбкин М. Б. Распознавание печатного текста при помощи однородной структуры / М.Б. Рыбкин // Нейрокомпьютеры: разработка и применение. 2005. - №1-2. - С. 29-35.

39. Садыхов Р.Х. Система распознавания рукописных символов на базе нейронных сетей и структурных методов / Р.Х. Садыхов, О.Г. Маленко, M.JI. Селингер // Нейрокомпьютеры: разработка и применение. 2004. - №1. - С. 32-39.

40. Серебряков В. П. Нейросетевая коррекция измерительных сигналов фотоэлектрического растрового преобразователя / В. П. Серебряков, О. Г. Драгина // Нейрокомпьютеры: разработка и применение. 2004. -№5-6. - С. 34-40.

41. Соболь И.М. Численные методы Монте-Карло / И.М. Соболь М.: Наука, 1973.-312 с.

42. Сосулин Ю.Г. Инвариантное распознавание изображений комбинированной нейронной сетью / Ю.Г. Сосулин, Фам Чунг Зунг // Нейрокомпьютеры: разработка и применение. 2003. - №8-9. - С. 2937.

43. Станкевич JI. А. Распознавание трехмерных объектов с использованием их структурного описания / Л. А. Станкевич, В. В.

44. Тихомиров, Д. В. Троцкий // Нейрокомпьютеры: разработка и применение. 2006. - №6. - С. 70-79.

45. Татузов A. JI. Эффективная организация нейросетевых вычислений.при поиске объектов на изображениях / A.JI. Татузов // Нейрокомпьютеры: разработка и применение. 2004. - №5-6. - С. 22-27.

46. Татузов A.JI. Методы обучения нейронных сетей для решения задач обнаружения целей / A.JI. Татузов // Нейрокомпьютеры: разработка и применение. 2004. - №4. - С. 12-18.

47. Теория обнаружения сигналов / под ред. П.А. Бакута М.: Радио и связь, 1984.-440 с.

48. Тихонов В.И. Статистический анализ и синтез радиотехнических устройств и систем / В.И. Тихонов, В.Н. Харисов -М.: Радио и связь,1991.-608 с.

49. Томашевич Н.С. Система распознавания микробиологических объектов на изображении с помощью нейронных сетей / Н.С. Томашевич, С.В. Коробкова // Нейрокомпьютеры: разработка и применение. 2005. -№1. - С. 56-61.

50. Ту Дж. Принципы распознавания образов / Дж. Ту, Р. Гонсалес М.: Мир, 1978.-411 с.

51. Уоссермен Ф. Нейрокомпьютерная техника / Ф. Уоссермен М.: Мир,1992.- 184 с.

52. Фомин Я.А. Статистическая теория распознавания образов / Я.А. Фомин, Г.Р. Тарловский М.: Радио и связь, 1986. - 264 с.

53. Фу К. Структурные методы в распознавании образов / К. Фу М.: Мир, 1977.-319 с.

54. Фурман Я. А. Распознавание групповых точечных объектов в трехмерном пространстве / Я. А. Фурман, Д. Г. Хафизов // Автометрия. -2003.-Т. 39.-№ 1.-С. 3-18.

55. Фукунага К. Введение в статистическую теорию распознавания образов / К. Фукунага М.: Наука, 1979. - 368 с.

56. Andina D. Application of a Neural Network to Radar Detection / D. Andina, J.L. Sanz-Gonzalez // Proc. Of European Conf. on Circuit Theory and Design, ECCTD'95, Istanbul, Turkey, 1995 (August), pp. 573 - 576.

57. Andina D. Comparison of a Neural Network Detector vs Neyman-Pearson Optimal Detector / / D. Andina, J.L. Sanz-Gonzalez // Proc. Of IEEE Int. Conf. on Acustics, Speech & Signal Processing, ICASSP'96, 1996 (May), — Atlanta, USA. pp. 3574 - 3577.

58. Andina D. A Comparison of Criterion Functions for a Neural Network Applied to Binary Detection / D. Andina, J.L. Sanz-Gonzalez, A. Jimenez-Pajares // Proc. of IEEE Int. Conf. On Neural Networks, ICNN'95, Perth, -Australia, 1995 (November). pp. 329-333.

59. Bas C.F. The Layered Perceptron Versus Neyman-Pearson Optimal Detection / C.F. Bas, R.J. Marks II // Proceedings of the International Joint Conference on Neural Networks, Songapore, 1991 (18-20 Nov), IEE Press, -pp. 1486-1489.

60. Bhattacarya Т.К. Modular Learning Strategy for Signal Detection in a Nonstationary Environment / Т.К. Bhattacarya // IEEE Trans. Signal Process. (USA), 1997 (June), vol. 45. - no 6. -pp. 1619-1637.

61. Bucciarelli T. Neural Networks Based Signal Detection / T. Bucciarelli, G. Fedele, R. Parisi // NAECON 93, Daytona, 1993. pp. 1243-1246.

62. Chang E.I. Figure of Merit Training for Detection and Spotting / // NIPS'1993. vol. 6. - pp. 1019-1027.

63. Chilingarian A. Detection of Weak Signals against Background (Noise) Using Network Classifiers / Chilingarian A. // Pattern Recognition Leters. 1995.-v. 16.-no 4.-pp. 241-250

64. El-Jaroudi. A new error criterion for posteriror probability estimation with neural networks / El-Jaroudi, Amro, J. Makhoul // Proc. of the 1990 Int. J. Conf. on Neural Networks, 1990. pp. 185-192.

65. Fu K. S. Sequential Methods in Pattern Recognition and Machine Learnings / K. S. Fu // New York : Academic Press, 1968. 227 p.

66. Furman Ya. A. Processing of quaternion signals specifying spatially located group point objects / Ya. A. Furman // Pattern Recogn. and Image Analysis. 2002.-12.-N2.-P. 175.

67. Guo C. Temporal Difference Learning Applied to Sequential Detection / C. Guo, A. Kuh // IEEE Trans. Neural Netw. (USA),' 1997 (March). v. 8. - no 2-pp. 278-287.

68. Hampshire II J.B. A Novel Objective Function for Improved Phoneme Recognition Using Time-Delay Neural Networks / J.B. Hampshire, A.H. Waibel // IEEE Trans. Neural Networks, 1990 (June). v. 1. - no 2. - pp. 216-228.

69. Haykin S. Signal Detection in a Nonstationary Environment Reformulated as an Adaptive Pattern Classification Problem / S. Haykin, D.J. Thomson // Proc. IEEE, 1998.-v. 86.-pp. 2325-2344.

70. Jacobsen X. A Comparison between Neural Networks and Decision Trees / X. Jacobsen, U. Zscherpel, P. Perner // Lecture Notes in Artificial Intelligence Machine Learning and Data Mining in Pattern Recognition, 1999.-pp. 144-158.

71. Karakoulas G. Optimizing Classifiers for Imbalansed Training Sets / G. Karakoulas, J.S. Taylor // NIPS'1998. v. 11. - pp. 253-259.

72. Khafizov D. G. Model of a noised quaternion signals / D. G. Khafizov // Pattern Recogn. and Image Analysis. 2003. - NT. - pp. 110-113.

73. Kohonen T. 1988. Self-organization and associative memory / T. Kohonen // Berlin; Heidelberg; New York; Tokyo: Springer Verlag, 1984. -255 p.

74. Kuck M. Constant False Alarm Rate Detection of Radar Signals with Artificial Neural Networks / M. Kuck // MSc Thesis, Dept. of Computer Science, University of Skode, — Sweeden, 1996. pp. 324-330.

75. LeCun Y. A Theoretical Framework for Back Propagation Proc. Of the Connectionist Models Summer Scholl / Y. LeCun, D. Touretzky, G. Hinton, and T. Sejnowsky, eds. // CMU. - Pittsburgh, Pa, 1988. - pp. 21 - 28.

76. Lippmann R.P. Adaptive neural Net Preprocessing For Signal Detection in Non-Gaussian Noise / R.P. Lippmann, P. Beckman // NIPS'1988. v. 1. -pp. 124-132.

77. Paris B.P. Neural Net Receivers in Multiple-Access Communications / B.P. Paris, G. Orsak, M. Varanasi, B. Aazhang // NIPS'1988. v. 1. - pp. 272280.

78. Petrou M. Learning in Pattern Recognition / M. Petrou // Lecture Notes in Artificial Intelligence Machine Learning and Data Mining in Pattern Recognition, 1999.-pp. 1-12.

79. Principe J.C. Target Discrimination in Synthetic Aperture Radar (SAR) Using Artificial Neural Networks / J.C. Principe, M. Kim, J.W. Fisher // IEEE Transactions on Image Processing, August 1998. -No. 8. pp. 11361149.

80. Principe J.C. Transient Signal Detection with Neural Networks. The Search fo the Desired Signal / J.C. Principe, A. Zahalka // NIPS'1992, November 30-December 03 1992. v. 5, pp. 688 - 695.

81. Ranganath S. Face recognition using transform features and neural networks / S. Ranganath, K. Arun // Pattern Recognition 1997. v. 30. - pp. 16151622.

82. Ripley B.D. Pattern Recognition and Neural Networks / B.D. Ripley // Cambridge: Cambridge University Press, 1996. 416 p.

83. Rowley H. A. Neural Network-Based Face Detection / H. A. Rowley, S. Baluja, T. Kanade // IEEE Transactions on Pattern Analysis and Machine Intelligence 1998. v. 20. - pp. 23-37.

84. Rumelhart D. E. Learning internal reprentations by error propagation / D. E. Rumelhart, G. E. Hinton, R. J. Williams // In Parallel distributed processing, Cambridge, MA: MIT Press, 1986. v. 1. - pp. 318-62.

85. Scherf A.V. Target Detection Using Multilayer Feedforward Neural Networks / A.V. Scherf, P.A. Scott // SPIE Proc. Orlando, FL, USA. 1991 (April).-vol. 1469.-pp. 13-19.

86. Tefler B.A. Energy Functions for Minimizing Misclassifications Error with Minimum-Complexity Networks / B.A. Tefler, H.H. Szu // Neural Networks. 1994.-v. 7.-no 5.-pp. 809-817.

87. Tefler B.A. Implementing the Minimum- Misclassification-Error Energy Function for Target Recognition / B.A. Tefler, H.H. Szu // Int. J. Conf. Neural Networks. Baltimore, June 1992. - v. IV. - pp. 214-219.

88. Valentin D. Connectionist models of face processing: a survey / D. Valentin, H. Abdi, A. J. O'Toole, G. W. Cottrell // IN: Pattern Recognition. 1994. -v. 27.-pp. 1209-1230.

89. Wang Chia-Jiu. Neural network for target detection / Wang Chia-Jiu, Wu Chwan-Hwa // IEE Int. Symp. Circuits and Syst, New Orleans, LA, 1990 (may 1-3). -v. З.-рр. 1863 1866.

90. Yoon K. S. Hybrid approaches to frontal view face recognition using the Hidden Markov Model and Neural Network / K. S. Yoon, Y. K. Ham, R.H. Park // Pattern Recognition. 1998. - v. 31. - pp. 283-293.

91. ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ В1. СЛЕДУЮЩИХ РАБОТАХ:

92. Публикации в изданиях, рекомендованных ВАК РФ

93. Новикова Н.М., Прасолова А.Е. Распознавание сложных изображений нейросетевыми и статистически оптимальными алгоритмами, Нейрокомпьютеры: разработка, применение, 2004 г., №4 С.28 - 33.

94. Прасолова А.Е. Нейросетевые и параметрические статистические алгоритмы в задаче обнаружения сигналов, Нейрокомпьютеры: разработка, применение, 2005 г., №5 С. 53 - 57.,

95. Прасолова А.Е., Прасолов А.В. Искусственная нейронная сеть Хэмминга в приложении к диагностике инфаркта миокарда, Нейрокомпьютеры: разработка, применение, 2005 г., №7 С. 41 - 45.

96. Статьи и материалы конференций

97. Новикова Н.М., Карпова А.Е. Сравнительная оценка нейросетевого и статистического алгоритмов распознавания изображений, Сборник материалов II международной научно-технической конференции «Кибернетика и технологии XXI века», Воронеж, 2001 г. С. 474 - 481.

98. Прасолова А.Е. Нейросетевые и непараметрические статистические алгоритмы в задаче обнаружения сигналов, УЧЕНЫЕ ЗАПИСКИ. Электронный научный журнал Курского государственного университета. http://scientiflcal-notes.ru

99. Прасолова А.Е., Новикова Н.М. Use Of Artificial Hamming Neural Network140

100. For Myocardial Infarction Diagnostics, Proceedings of HIS (SCI-2004) -Orlando, Florida, USA. P. 115 - 120.

101. Прасолова A.E. Нейросетевой алгоритм Хемминга в задаче обнаружения сигнала. Сборник трудов международной школы-семинара «Современные проблемы механики и прикладной математики», Воронеж, 2007 г. С. 290 -294.

102. Прасолова А.Е. Распознавание сложных изображений нейросетевым и детерминированным алгоритмами, Сборник трудов международной школы-семинара «Современные проблемы механики и прикладной математики», Воронеж, 2007 г. С. 295 - 297.

103. Программа "Четырехальтернативное распознавание изображений нейронной сетью Хемминга и методом наименьших расстояний"/ А.Е. Прасолова, Н.М. Новикова. М.: ФГУ ФИПС, 2007. Per. № 2007614588 от 31.10.2007.

104. Программа "Обнаружение сигнала на фоне аддитивного шума нейросетевым и статистическими методами" / А.Е. Прасолова, Н.М. Новикова. -М.: ФГУ ФИПС, 2007. Per. № 2007614586 от 31.10.2007.

105. Программа "Система диагностики инфаркта миокарда на базе нейронной сети Хемминга"/ А.Е. Прасолова, Н.М. Новикова. М.: ФГУ ФИПС, 2007. Per. № 2007614587 от 31.10.2007.