автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Применение нейросетевых методов для обработки сигналов в каналах с помехами

На правах рукописи Кузнецов Александр Владимирович

Р Г Б ОД

! - 7 Г

ПРИМЕНЕНИЕ НЕЙРОСЕТЕВЫХ МЕТОДОВ ДЛЯ ОБРАБОТКИ СИГНАЛОВ В КАНАЛАХ С ПОМЕХАМИ

Специальность 05.13.17- "Теоретические основы информатики"

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва - 2000

Работа выполнена в Институте криптографии связи и информатию (ИКСИ, г. Москва).

Научный руководитель: доктор технических наук, академик РАЕН

академик МАИ,

доцент Никонов Владимир Глебович

Официальные оппоненты:

доктор физико-математических наук, профессор, академик МАИ, член-корреспондент Академии криптографии Российской Федерации Грушо Александр Александрович

кандидат технических наук Шурупов Андрей Николаевич

Ведущая организация: ГУП "НПО Астрофизика"

Защита диссертации состоится "17" марта 2000 года в 10 часи 00 мин. на заседании диссертационного совета Д 038.05.01 I Российском научно-исследовательском институте информационны) технологий и систем автоматизированного проектирование (РосНИИ ИТ и АЛ) по адресу: 129090, Москва, ул. Щепкина, д. 22.

С диссертацией можно ознакомиться в научно-технической биб лиотеке института.

Автореферат разослан " января 2000 г.

Ученый секретарь диссертационного совета доктор технических наук, профессор

А.А. Штрик

$968-Ь - 015 с НС, О

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Диссертационная работа посвящена исследованию возможности использования аппарата теории искусственных нейронных сетей применительно к задачам обработки сигналов в каналах с помехами.

Актуальность темы. Развитие интегрированных телекоммуникационных систем, переход к более высокоскоростным информационным потокам, новым методам модуляции и кодирования выдвинули целый ряд задач, успешное решение которых требует новых, нетрадиционных методов обработки информации, которые бы учитывали свойства, законй: и динамику телекоммуникационных сигналов, интеллектуализацию' самих технических устройств, их высокую степень адаптации к реальной помеховой обстановке на канале связи. В частности, возникает необходимость в разработке простых, эффективных и достаточно надежных методов обработки сигналов в каналах с помехами. Важная роль при решении этих задач отводится автоматизированным средствам и комплексам приема и обработки сигналов.

В работах A.A. Харкевича, В.И. Тихонова, Б.Р. Левина, Я.А. Фомина, Дж. Ту, К. Вархагена, К. Фу, A.JI. Горелика, В.А. Скрипкина, Ю.И. Журавлева и др. рассмотрены классические статистические методы обработки сигналов в каналах с помехами. Определены границы работы этих методов в зависимости от помеховой обстановки. Разработаны и определены подходы к выделению полезных, информативных сигналов на фоне помех применительно к эксплуатации систем связи.

Отличительная особенность подавляющего большинства работ в актуальной области проблем классификации сигналов заключается в том, что недостаток априорных сведений о статистических характеристиках классов распознаваемых сигналов является одной из основных причин, затрудняющих решение многих практических задач распознавания и не позволяющих достичь необходимого и достаточного минимума ошибок, который определяется перечнем классов.

Отличаясь стройностью и законченностью теоретических ре-

зультатов, статистические методы обладают рядом неудобств прак тического характера, в частности они требуют обработки большого объема выборок реализаций при эмпирическом определении законов распределения признаков классифицируемых процессов. Зачастую полученные теоретические результаты практически нереали-зуемы.

Господствующий аппарат теории статистической обработки сигналов не исчерпывает потребностей задач распознавания, так как для последних необходимо привлечение более подробной информации, которая не может быть задана априорно во многих практических случаях. Именно это условие диктует необходимость привлечения ней-росетевых методов обработки сигналов, что является специфическим для распознания в отличие от классической теории обнаружения.

Отличительными свойствами нейросетевых классификаторов являются, во-первых, высокая скорость обработки, связанная с массированным параллелизмом вычислений, производимых большим количеством относительно простых, но сильно связанных между собой процессорных элементов или нейронов. Во-вторых, распределенность знаний о решаемой задаче между всеми нейронами сети, чтс обеспечивает высокую степень надежности устройства и его устойчивость к повреждениям. В-третьих, классификаторы на нейронных сетях являются непараметрическими и требования к полноте статистических характеристик распределений, лежащих в основе классифицируемых множеств менее критичны, в отличие от традиционных статистических классификаторов. Следовательно, нейросетевые классификаторы являются более устойчивыми, в тех случаях, когдг распределения порождены нелинейными процессами и являются негауссовыми либо соответствуют обработке сигналов в условиях априорной неопределенности. В-четвертых, нелинейность нейросете-вых классификаторов заложена в форме функции активации каждогс нейрона. Выбор функция активации нейроэлементов базируется нг результатах исследований полученных А.Н. Колмогоровым, - люба; непрерывная функция вещественных переменных может быть представлена линейной функцией многих переменных и непрерывно воз'

растающей нелинейной функцией одного переменного. Отсюда следует полнота нейросетевого базиса в классе непрерывных функций и универсальность нейроклассификатора, способного построить любую сколь угодно сложную разделяющую поверхность.

Основной недостаток разработанных к настоящему времени параметрических и непараметрических методов распознавания заключается в высокой алгоритмической и вычислительной сложности предлагаемых алгоритмов; высокой степени погрешности при измерениях и как результат высокий процент ошибок распознавания.

Вычисления в нейронных сетях существенно отличаются от традиционных, в силу'высокой распараллелености их можно рассматривать как коллективное явление. В нейронной сети нет локальных областей, в которых запоминается конкретная информация. Вся информация запоминается вО-всей сети. Сущность этого подхода заключается в том, что в качестве меры принадлежности сигнала к некоторому классу используется значение функционала от этого сигнала. Основная идея указанного подхода состоит в компактности сигналов каждого класса путем соответствующего выбора вида нелинейного преобразования. Такое контрастирование исходной информации облегчает установление соответствия величины номеру класса, к которому принадлежит анализируемый сигнал.

В последнее время для задач классификации, распознавания, обнаружения, сжатия информации и её декомпрессии появились новые подходы, основанные на теории нейронных сетей. В работах Р. Ро-зенблатта (R. Rosenblatt), П Липпмана (P.P. Lippmann), ДнеХопфил-да (J.J. Hopfield), Р. Хехт-Нильсона (R. Hecht-Nielsen) и др. сформированы основные преимущества нейросетевых методов обработки сигналов над применяемыми ранее статистиками.

В настоящее время формируется математический базис использования - нейроматематика, в основе которой лежат фундаментальные наработки в области пороговой логики (М. Детроузос, C.B. Яблонский, А.И. Галушкин и др.), &-значной пороговой логики (H.H. Айзенберг, В.Г. Никонов и др.), нечеткой логики (JI. Заде, Л. Шуа (L.O. Cliua) и др.). В работах продемонстрирована эффек-

тивность использования искусственных нейронных сетей в задачах распознавания сигналов акустических, речевых, радарных, медицинских электрограмм и изображений, сейсмических и др. Предложен ряд направлений применения искусственных нейронных сетей для решения задач электросвязи, таких как маршрутизация, оптимизация трафика загрузки каналов, кодирования, сжатия информации и декомпрессия, адаптация и др.

Таким образом, разработка эффективных алгоритмов распознавания сигналов и самих классификаторов, входящих в системы автоматизированного приема и обработки сигналов, на основе достижений теории искусственных нейросетей является актуальной проблемой.

Цель исследования. Цель диссертационного исследования состоит в том, чтобы на основе анализа традиционных методов обработки сигналов и существующих парадигм искусственных нейронных сетей разработать методологию применения нейросетевых методов для обработки телекоммуникационных сигналов в каналах с помехами.

Для достижения цели исследований в работе решаются следующие задачи.

1. Анализ состояния основных проблем, возникающих при использовании традиционных статистико-вероятностных методов распознавания применительно к задачам обработки сигналов.

2. Анализ характеристик сигналов применяемых в современных системах передачи информации.

3. Анализ априорной неопределенности возникающей при обработке сигналов аналоговых и цифровых систем передачи информации.

4. Сравнительная характеристика нейронных сетей, обоснование их места и роли при решении задач обработки сигналов. Классификация нейроподобных элементов и искусственных нейронных сетей.

5. Формализация задачи обработки телекоммуникационных сигналов в нейросетевом базисе.

6. Разработка модели процесса идентификации сигналов по видам модуляции на основе искусственной нейронной сети. Синтез нейронной сети для идентификации сигналов по видам модуляции. Синтез аппаратно-программного эмулятора телекоммуникационных сигналов и помеховой обстановки на канале связи.

7. Моделирование и экспериментальные исследования нейросетево-го алгоритма классификации сигналов в условиях априорной неопределенности.

8. Разработка принципов применения нейронных сетей для решения

задач додетекторной обработки сигналов при построении систем

'''51) ' •

автоматического приема и обработки сигналов и рекомендаций по практическому применению. Разработка рекомендаций по практическому применению нейронных сетей при техническом анализе сигналов систем передачи информации.

Методы исследования. Для решения поставленных задач использовались современные понятия дискретной математики, системного анализа, функционального анализа, пороговой логики, теории статистической обработки сигналов, теории распознавания образов, теории алгоритмов, теории автоматов, теории булевых и Аг-значных функций, теории искусственных нейронных сетей. Применялись численные методы, методы математического моделирования, дискретной оптимизации и стандартного целочисленного программирования, что позволило получить ряд новых и улучшить некоторые из уже известных результатов. Положения диссертации получили экспериментальное подтверждение с помощью средств вычислительной техники.

Научная новизна. Научная новизна полученных результатов заключается в теоретической и экспериментальной разработке методологии использования нейросетевых методов для обработки сигналов в каналах с помехами. Предложена методика отображения выбранных

классов задач обработки сигналов в нейррсетерой базис. Построен метод идентификации сигналов с априорно неизвестными параметрами с помощью классификатора на оснобе нейронной сети со случайными порогами. Произведен^ формализация задач технического анализа в нейросетевом базисе. Предложен метод применения нейро-сетевото классификатора со случайными порогами для разделения сигналов на фоне помех. Разработана методика синтеза и принципы применения нейронных сетей для идентификации сигналов по видам модуляций. Предложена и обоснована методика оценки эффективности использования нейросетевых методов обработки'сигналов на фоне помех.

Основные положения, выносимый на заШиту. ^

- модель процесса идентификации телекоммуникационных сигналов на основе нейронной сети;

- модель нейронной сети для идентификации сигналов систем Передачи информации по видам модуляций;

- методика синтеза сигналов с различными практически значимыми типами модуляций и видами работ;

- методика формализации задачи классификации телекоммуникационных сигналов в нейросетевом базисе;

- методика выбора типа нейронной сета в зависимости от рассматриваемого класса задач;

- метода решения задач обработки сигналов с помощью нейронных сетей и рекомендации по их практическому применению;

- методика оценки эффективности использования нейросетевых методов для обработай сигналов.

Достоверность научных положений, вывбдов и рекомендаций диссертационной работы обусловлена строго физико-математической постановкой, корректным применением математических мето-

дов, подтверждена результатами имитационного моделирования с использованием вычислительной техники и современных программных продуктов, а также сравнением результатов моделирования с известными расчетными и экспериментальными данными.

Практическая значимость работы. Разработанные в диссертации методы и алгоритмы могут быть использованы в различных практических задачах, связанных с распознаванием данных. Основной практический результат достигнутый в ходе анализа существующих нейросетевых алгоритмов обучения и работы искусственных нейронных сетей состоит в модификации нейронной сети со случайными порогами. Разработан нейросетевой алгоритм классификации телекоммуникационных сигналов в условиях априорной неопределенности. Создана иерархическая нейронная сеть классификации сигналов систем передачи информации по типам модуляции, Предложенный, непараметрический метод сокращения размерности оцифрованных входных сигналов электросвязи применим для сигналов другого происхождения, что позволяет в свою очередь классифицировать последние по признакам в соответствии с решаемыми задачами. Алгоритмы распознавания, полученные с использованием нейронных сетей, не связаны с ограничениями типа стационарности моделей, поэтому могут непосредственно применяться для исследования объектов с меняющимися в процессе наблюдения характеристиками .

Реализация и внедрение результатов. Результаты научных исследований использованы в НИР проводимых ГНЦ «НПО Астрофизика» и в Институте криптографии, связи и информатики, а также при чтении курса лекций по кафедре "Системы и сети связи" вышеназванного института. Внедрение результатов подтверждено соответствующими актами.

Апробация работы. Основные результаты работы прошли апробацию на международной конференции "Информатизация правоохранительных систем - 97" (г. Москва, 3-8 июня 1997 г.); второй

межведомственной конференции "Научно-техническое и информационное обеспечение деятельности спецслужб" (г. Москва, 4-6 февраля 1998 г.); первой международной конференции "Цифровая обработка сигналов и её применения" - Б5РА'98 (г. Москва, 1998 г.); XXVI международной конференции "Информационные технологии в науке, образовании, телекоммуникации и бизнесе" - ГГ+8Е'99 (2030 мая 1999 г. Гурзуф-Ялта); VII Всероссийском семинаре "Нейро-информатика и ее приложения" (г. Красноярск, 1999 г.); семинарах проводимых на кафедре "Системы и сети связи" в Институте криптографии, связи и информатики и ГНЦ «НПО Астрофизика».

Публикации. По теме диссертации опубликовано 12 печатных работ, в том числе: 3 статьи, 9 тезисов докладов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, приложений. Диссертация содержит 187 страниц, 22 таблицы, 97 рисунков. Список использованных источников включает 168 наименований.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулирована цель диссертации. Представлены краткий обзор научных результатов, данные о научной новизне и практической значимости. Дана характеристика работы по главам.

Первая глава посвящена анализу методов построения систем распознавания и существующих методов обработки сигналов. Рассмотрены основные решаемые радиоэлектронными системами технического анализа задачи такие, как задачи обнаружения, оценивания параметров и классификации (распознавания) объектов наблюдения по поступавшим на вход систем сигналам. Предложена обобщенная структурная схема построения классификатора, которая применима для решения задач идентификации. Формализована схема, отображающая процесс обработки телекоммуникационных сит-налов в каналах с помехами. Предложено построение альтернатив-

ной автоматизированной системы приема и обработки телекоммуникационных сигналов, в состав которой входит устройство классификации.

Проведен анализ тенденций развития систем связи, современного состояния, направлений совершенствования методов и средств технического анализа сигналов систем передачи информации. Показано, что в последнее время постоянно растет доля линий связи, в которых используются цифровые методы передачи информации. Применяются более сложные виды модуляций и формирования сигналов, предусматривающие ' целый комплекс различных преобразований информационной последовательности.

Анализ существующих методов и алгоритмов обработки сигналов в условиях априорной неопределенности подтвердил необходимость разработки новых методов и средств идентификации, основанных на перспективных технологиях, реализующих параллельную распределенную обработку информации, что позволило сделать вывод об актуальности темы диссертационной работы. Эта задача может быть решена на основе синтеза структуры, параметров и алгоритмов работы искусственной нейронной сети.

Вторая глава посвящена исследованию теоретических основ применения нейросетевых методов обработки телекоммуникационных сигналов.

Рассмотрена история развития нейросетевого подхода к построению систем распознавания образов. Проанализированы причины наблюдаемого роста активности в области теории и технической реализации искусственных нейронных сетей на сегодняшнем этапе.

Отмечено, что в современных моделях нейронных сетей основная роль отводится не тщательной имитации свойств нейрона, а структуре связей большого числа достаточно простых нейроподоб-ных элементов. При определенных алгоритмах изменения межнейронных связей в ответ на входные воздействия, которые подаются на такую модель нейронной сети путем активации некоторых подмножеств нейронов, сеть обучается выполнять функции авто- или

гетероассоциативной памяти, классификации, кластеризации, адаптивного управления (D. Hebb, 1949; F. Rosenblatt, 1962; D. Willshaw, 1969; Т. Kohonen, 1984 и др.).

Для эффективного функционирования системы автоматического приема и обработки сигналов в реальной помеховой обстановке необходимо, чтобы создаваемая модель нейросетевого классификатора была адекватна решаемым задачам, в том числе с точки зрения способности работать с зашумленными и/или коррелированными сигналами различной степени структурной сложности.

С этой точки зрения рассмотрены наиболее распространенные в настоящее время модели нейронных сетей такие, как одноуровневый (F. Rosenblatt, 1962; В. Widrow, 1962, и др.) и многоуровневый персеп-троны (D. Rumelhart 1986 и др.), карты признаков Кохонена (Т. Kohonen 1981-1989 и др.), теория адаптивного^ резонанса Гроссберга (S. Grossberg 1986 ; G. Carpenter, S. Grossberg 1987 и др.), сети Хоп-филда (J. Hopfield 1982,1984 и др.), сети Коско (В. Kosko 1985)идр.

Сформулированы основные понятия и определения нейросете-вых технологий решения задач обработки сигналов. Проведена сравнительная характеристика нейронных сетей, обосновано их применение при решении задач технического анализа сигналов систем передачи информации в каналах связи с помехами. Осуществлена классификация нейронных сетей по виду входящих в их состав нейронов, по типам обучения, архитектурам связей, целевым решающим функциям. Проведен сравнительный анализ основных моделей нейронных сетей по типам решаемых задач. Выполнено сравнение нейросетевых и статистических классификаторов.

Проведенный анализ показал, что не существует универсальных нейронных сетей, способных решать задачи обработки телекоммуникационных сигналов. Это, в свою очередь, обусловило синтез нейронных сетей, адекватных решаемым задачам. Проведен выбор и обоснованы направления исследований, конкретизировано содержание задач, решаемых в диссертационной работе. Спрогнозирован ожидаемый выигрыш при реализации основных алгоритмов технического анализа сигналов на основе нейронных сетей.

Третья глава посвящена разработке методик и моделей процессов идентификации сигналов систем передачи информации та основе искусственных нейронных сетей. Предложен системный годход как средство разработки и описания нейронных сетей для идентификации сигналов. Показано, что универсальная методика построения и описания нейронных сетей и нейросетевых алгоритмов решения прикладных задач состоит из таких этапов, как определение атрибутов сети, решение задачи либо моделированием ней-эонных сетей на обычных компьютерах (в этом случае нейронные сети рассматриваются как класс нетрадиционных алгоритмов), либо

-г

решение задачи на нейросетевом вычислителе. В этом случае осуществляется разработка технического устройства - нейрокомпьюте-эа, нейроплаты-акселёратора, что и позволяет реализовать систем-аыи подход к синтезу нейронных сетей для решения специализированных задач, начиная от ее постановки и заканчивая проектными эешениями соответствующего нейросетевого вычислителя.

Формализована задача обработки сигналов систем передачи информации в нейросетевом базисе. Показана адекватность нейросетевого подхода решаемой задаче идентификации телекоммуникационных сигналов. Проведен синтез нейросетевого классификатора сигналов систем передачи информации на основе нейронной сети со случайными порогами.

Разработан нейросетевой алгоритм разделения классов смгна-тов, обеспечивающий одинаковые нижние оценки для вероятностей правильной идентификации сигналов с искажениями. Показано, что предложенный алгоритм обеспечивает восстановление классов сиг-яалов в случае различных начальных отклонений. Проведены исследования сходимости предложенного алгоритма для последовательной и параллельной его реализаций. Решена задача выбора весовых коэффициентов решающей функции нейросети. Определены общие ограничения нейросетевого подхода для решения задач обработки телекоммуникационных сигналов. Предложен оригинальный алгоритм выделения признаков обрабатываемого сигнала и уменьшения

размерности входного вектора.

Создана иерархическая нейронная сеть, имеющая наращива( мую блочную архитектуру, единичный блок которой представляв собой классификатор телекоммуникационных сигналов на ochoi нейронной сети со случайными порогами. Подобная архитектур позволила уменьшить размерность общей задачи технического ан; лиза сигналов за счет распараллеливания и разбиения ее на частей подзадачи, тем самым, повысив производительность и эффекта ность. Разработана модель процесса идентификации сигналов по ti пам модуляции на основе предложенного нейросетевого классиф! катора.

Модель иерархического нейросетевого классификатора peani зована на языке Си-н- в виде пакета прикладных программ в опер: ционной среде MS-DOS и предназначена для работы на однопроце* сорной ПЭВМ. В программном обеспечении заложена возможное! эксплуатации ПЭВМ с встроенной нейросетевой платой-акселератс ром.

Четвертая глава посвящена экспериментальным и< следованиям программно-аппаратной реализации иерархически нейросетевого классификатора сигналов с различными видами м< дуляции и типами работ при различных соотношениях сигнал/шум.

Показана эффективность предложенного нейросетевого кла< сификатора на основе нейронной сети со случайными порогами г сравнению с другими известными классификаторами, применявш] мися ранее для решения подобных задач. Получены оценки по вр мени распознавания, времени обучения и проценту ошибок в зав] симости от размерностей обучающих выборок, размерности npi странства признаков, сложности разделяющих поверхностей.

Проведено имитационное моделирование обработки сигналс систем передачи информации на однопроцессорной вычислительно машине. Исследованы режимы работы алгоритмов идентификац* телекоммуникационных сигналов по видам модуляций на ochoi программно реализованного классификатора. По результатам иссл

дований и проведенных анализов разработаны:

- метод идентификации сигналов с помощью классификатора на основе нейронной сети со случайными порогами;

- методика формализации задач технического анализа сигналов в нейросетевом базисе;

- методика применения нейросетевого классификатора на основе нейронной сети со случайными порогами для разделения сигналов на фоне помех;

- методика синтеза и принципы применения нейронных сетей для идентификации сигналов по видам модуляций;

- методика оценки эффективности использования нейросетевых методов для обработки сигналов.

Определены режимьГработы нейросетевого классификатора, позволяющие оптимизировать процесс классификации априорно неизвестных сигналов в каналах с помехами.

Рассмотрены возможные области применения предложенного нейросетевого классификатора и алгоритмов его работы. Предложенный подход классификации сигналов применим к анализу сигналов различного происхождения (сигналов радиолокационных станций; сигналов электрограмм и изображений в медицине; сейсмических сигналов; акустических и речевых сигналов; сигналов видеоизображений и др.).

Для настройки, тренировки и эффективной эксплуатации создан и интегрирован в общую программную оболочку пакет прикладных программ, позволяющий получать модели телекоммуникационных сигналов с различными параметрами, характеристиками, типами модуляций, видами работ при различных соотношениях сигнал/шум и сигнал/помеха.

Определены временные характеристики работы классификатора. Полученные результаты позволяют сделать вывод о возможности классификации сигналов практически в режиме реального времени. Сделан прогноз аппаратной реализации нейросетевого клас-

сификатора и его работы на основе сигнальных процессоров 1М А100.

В заключении приведены следующие основные резул! таты работы.

1. Предложены рекомендации по практическому применен!« нейронных сетей для обработки телекоммуникационных сигнало! Разработана архитектура иерархического нейросетевого классифи катора для идентификации сигналов систем передачи информацго Создан специализированный комплекс программного обеспечени алгоритмов анализа и обработки телекоммуникационных сигнало на основе нейронной сети. 1

2. Проведено математическое и имитационное моделировани на ПЭВМ процесса обработки телекоммуникационных сигнало! которые подтвердили работоспособность; предложенных методов средств обработки сигналов на основе нейронной сети. Показанс что при сравнительно небольшом увеличении операционных ресур сов, связанных с применением специализированных нейропроцес соров, при неизменной достоверности идентификации сигнало! происходит увеличение оперативности обработки сигналов. Пол> ченный выигрыш по быстродействию процесса классификации те лекоммуникационных сигналов при применении параллельного вы числителя, в качестве которого используется нейронная сеть со сл> чайными порогами, составляет 3,3... 10 раз.

Качество классификации сигналов АМ при количестве ошибо не более 1% в зависимости от параметров сигналов достигнуто пр соотношении сигнал/шум 2,8...3,4 дБ; для сигналов ЧМ 3,8...6,2 дЕ для сигналов ФМ - 2,8...4,1 дБ; КАМ-16 - 7,6 дБ; для сигнало КАМ-32 - 8,2 дБ; ФМ-4 - 3,75...5,1 дБ, ОФМ - 3,9...6,1 дБ. Сре; нее время классификации одной реализации при этом составил 0,074 секунды. Практически реализован режим реального времен классификации сигналов. Улучшены результаты классификаци сигналов для обычных систем на величину до 5,5 дБ, а по сравш нию с системами с обратной связью на величину до 2,5 дБ.

3. Разработана обобщенная методика синтеза телекоммушш ционных сигналов по их математическим моделям и протокола)

связи (ITU-T, МККТТ). Синтезирован и интегрирован в общее программное обеспечение пакет программ, реализующий универсальней генератор сигналов цифровых и аналоговых типов модуляций и видов работ. В этот пакет программ вошли подпрограммы микширования сигналов и Имитации помеховой обстановки На каналах :вязи с заданными соотношениями сигнал/шум, сигнал/помеха для подготовки, настройки и обучения нейросетевого классификатора.

4. Разработана методика идентификации сигналов систем передачи информации на осно$е нейросетевого классификатора. Пред-прженная Методика позволяет при наличии соответствующей элементной базы решать задачи идентификации телекоммуникационных сигналов в режиме реального времени.

5. Разработана методика оценки эффективности классификаторов. Значения критерия количественной оценки эффективности позволяет произвести сравнение разных по топологиям связей, алгоритмам работы и решаемым задачам нейронные сети, Полученная оценка! эффективности для классификатора сигналов на основе нейронной сети со случайными порогами лучше в среднем в 3,48 раза чем оценки известных классификаторов, таких как классификатор на использований потенциальных функций (PFC, в 1,3 рйза); модифицированным нейросетевым классификатором с алгоритмом обучения обратного распространения ошибки (ВРС, в 4,66 раза); нейро-сетевой классификатор, построенным на основе адаптивно-резонансной теории (ART, в 4,24 раза); нейросетевой классификатор, а основе которого лежит парадигма Хопфрлда (Hopfield, в 4,5 раза); Классификатор, реализующий алгоритм обучения flo правилу ближайшего соседа (HNC, в 2,7 раза).

Эффективность классификатора сигналов на основе нейронной сети со случайными порогами подтверждена результатами экспериментальных исследований.

6. Наибольшее быстродействие алгоритма идентификаций сигналов систем передачи информации может быть достигнуто при его эмуляции на вычислительной структуре, максимально адекватной

нейросетевому базису - нейрокомпьютере, основным функциональ ным элементом которого является специализированный процессор реализующий нейронную сеть. Предложена реализация нейросете вого алгоритма классификации сигналов систем передачи информа ции с помощью вычислительной системы (нейроплаты), состояще из одного транспьютера и 16 сигнальных процессоров IMS А100.1 случае реализации нейросетевого алгоритма идентификации сигна лов на сети сигнальных процессоров IMS AI00 быстродействи компьютерного модуля составит от 0,93х10б до 2,3х106 связей в се кунду.

7. Рассмотрены возможные области применения нейросетевог классификатора для идентификации сигналов различного происхс ждения (сигналов PJIC; сигналов электрограмм и изображений в ме дицине; сейсмических сигналов; акустических сигналов; сигнало видеоизображений и др.).

В приложениях представлены материалы полученные результате сравнительных анализов, таблицы, выкладки математи ческого моделирования сигналов систем передачи информацш описания программного комплекса системы автоматизированног приема и обработки сигналов, листинги программ.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Григорьев В.Р., Кузнецов A.B., Цветков С.И. Возможности использования нейросетевых методов в системах связи / Международная конференция "Информатизация правоохранительных систем". М.: Академия управления МВД России. Тезисы докладов, ч.1. 1997. С. 73-75.

2. Григорьев В .Р., Кузнецов А.В. Анализ нелинейных динамических сигналов на основе фрактального подхода / Международна; конференция "Информатизация правоохранительных систем". М.: Академия управления МВД России. Тезисы докладов, ч,2.

1997. С. 99-101.

5. Григорьев В.Р., Кузнецов A.B., Никонов В.Г. Нейросетевой подход к реализации анализатора "Матриц безопасности" / Международная конференция "Информатизация правоохранительных систем". М.: Академия управления МВД России. Тезисы докладов, ч.2.1997. С. 117-119.

Grigorjev V.R., Kuznecov А. V. Neural networks methods application for signal processing in noisy channels / 1-я Международная Конференция "Цифровая обработка сигналов и её применения" DSPA'98. М.: Международный центр научной и технической информации. Сборник докладов в 7-ми томах, т.1,1998. С. 297-300.

5. Кузнецов A.B. Нейросетевой классификатор со случайными связями на основе многозначных нейронов / Журнал "Информационные технологии" №7,1999. С. 10-15.

3. Кузнецов A.B., Никонов В.Г. Разработка нейросетевого элемента основанного на многозначной пороговой функций вращения / Запорожье: Труды школы-семинара "Новые информационные технологии в науке, образовании, телекоммуникации и бизнесе" по материалам докладов XXVI международной конференции IT+SE'99 "New Infomiation tehnology in Science, Education, Telecommunications and Business". Информационные технологии в науке, образовании, телекоммуникации и бизнесе (20-30 мая 1999 г. Гурзуф-Ялта). 1999. С. 103-106.

7. Карелов И.Н., Кузнецов A.B. Оценивание быстродействия идентификации линейных корректирующих кодов на основе нейронной сети / Запорожье: Труды школы-семинара. "Новые информационные технологии в науке, образовании, телекоммуникации и бизнесе" по материалам докладов XXVI международной конференции IT+SE'99 "New Information tehnology in Science, Education, Telecommunications and Business". Информационные технологии в науке, образовании, телекоммуникации и бизнесе (20-30 мая 1999 г. Гурзуф-Ялта) 1999. С. 107-109.

8. Кузнецов A.B. Ыейросетевой алгоритм разделения классов тел* коммуникационных сигналов / Журнал "Информационные те: нологии" №8, 1999. С. 15-21.

9. Карелов И.Н., Кузнецов A.B., Манойлов Д.В. Определение ai риорно неизвестного вида модуляции принимаемого сигнала е основе нейронной сети // Нейроинформатика и ее приложение Тезисы докладов VII Всероссийского семинара / Под ред. A.I Горбаня. КГТУ: Красноярск, 1999, С. 67-68.

СПИСОК СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ.

Введение.

Глава 1. Анализ методов построения систем распознавания и существующих методов обработки сигналов.

1.1. Анализ технических проблем обработки сигналов в системах передачи информации.

1.2. Виды априорной неопределенности при обработке сигналов систем передачи информации.

1.3. Общая постановка задачи обработки сигналов как задачи распознавания образов.

1.4. Концепции и методология построения устройств автоматического приема и обработки сигналов.

1.5. Анализ состояния теории и практики распознавания типов модуляций сигналов.

1.5.1. Корреляционные методы.

1.5.2. Спектральные методы.

1.5.3. Параметрические методы.

1.6. Выводы.

Глава 2. Место и роль нейросетевых технологий в задачах технического анализа сигналов систем передачи информации.

2.1. Классификация нейроподобных элементов и нейронных сетей.

2.1.1. Классификация нейронных сетей по виду входящих в их состав нейронов.

2.1.2. Классификация нейронных сетей по архитектуре.

2.1.3. Классификация нейронных сетей по типам обучения.6В

2.2. Сравнительный анализ основных моделей нейронных сетей.

2.3. Сравнение нейросетевых классификаторов со статистическими классификаторами

2.4. Ожидаемый выигрыш при реализации основных алгоритмов технического анализа сигналов на основе нейронных сетей.

2.5. Выводы.

Глава 3. Принципы применения и синтез нейронной сети для решения задач додетекторной обработки сигналов спи.

3.1. Системный подход как средство разработки и описания моделей нейронных сетей и нейросетевых алгоритмов.

3.1.1 Нейросетевой алгоритм, формальная постановка задачи.

3.1.2. Методика решения задачи на нейросетевом вычислителе.

3.1.3, Системный подход как методология описания нейросети при решении задачи.

3.2. Формализация задачи обработки сигналов СПИ в нейросетевом базисе. Адекватность нейросетевого подхода решаемой задаче.

3.3. Синтез нейросетевого классификатора сигналов СПИ.

3.3.1. Разработка нейросетевого алгоритма классификации сигналов в условиях априорной неопределенности.

3.3.2. Принцип работы и свойства нейросетевого классификатора со случайными порогами.

3.3.3. Алгоритм выделения признаков обрабатываемого сигнала и уменьшения размерности входного вектора.

3.4. Синтез иерархической нейронной сети классификации сигналов СПИ по типам модуляции.,.

3.5. Выводы.

Глава 4. Экспериментальные исследования. Оценка эффективности предложенных алгоритмов классификации сигналов систем передачи информации.

4.1. Сравнение классификатора на основе нейронной сети со случайными порогами с другими классификаторами.

4.2. Моделирование основных типов сигналов систем передари информации.

4.2.1. Синтез программной реализации имитатора сигналов СПИ.

4.3. Результаты экспериментальных исследований программной эмуляции нейросетевого классификатора сигналов СПИ и их оценка.

4.4. Оценивание эффективности процесса идентификации сигналов систем передачи информации на основе нейронной сети со случайными порогами.

4.4.1. Показатели качества операции.

4.4.2. Показатели качества процесса идентификации сигналов систем передачи информации по типам модуляций.

4.4.3. Выбор критерия оценки качества нейросетевых классификаторов

4.4.4. Оценка емкостной и временной сложности нейросетевых классификаторов.

4.5. Возможные области применения нейросетевых классификаторов.

4.6. Выводы.

Переход к компьютерам нового поколения, созданным на основе нейросея тевых технологий, будет связан, по-видимому, с серией радикальных революционных изменений, которые позволят говорить о компьютерах совершенно новых поколений. Уже сейчас по объему выполняемых логических операций на один кубический грамм вещества компьютеры обычной фон-неймановской архитектуры способны конкурировать с человеческим мозгом. Использование нейронных сетей, нанотехнологий и других инноваций позволит создать миниатюрные технические устройства, превосходящие в сотни раз существующие сегодня по объему памяти, в миллиарды раз по скорости выполнения вычислений, с невероятным разнообразием функциональных возможностей и операций, с минимальным потреблением энергии и высокой надежностью, гарантирующей гигантскую продолжительность безотказной и бесперебойной работы.

Актуальность темы. Развитие интегрированных телекоммуникационных систем, переход к более высокоскоростным информационным потокам, новым методам модуляции и кодирования выдвинули целый ряд задач, успешное решение которых требует новых, нетрадиционных методов обработки информации, которые бы учитывали свойства, законы и динамику телекоммуникационных сигналов, интеллектуализацию самих технических устройств, их высокую степень адаптации к реальной помеховой обстановке на канале связи. В частности, возникает необходимость в разработке простых, эффективных и достаточно надежных методов обработки сигналов в каналах с помехами. Важная роль при решении этих задач отводится автоматизированным средствам и комплексам приема и обработки сигналов.

В работах А. А. Харкевича [109], В. И. Тихонова [93-97], Б. Р. Левина [6264], Я. А. Фомина [105, 105], Ю. И. Журавлева [37, 38] и др. рассмотрены классические статистические методы обработки сигналов в каналах с помехами. Определены границы работы этих методов в зависимости от помеховой обстановки. Разработаны и определены подходы к выделению полезных, информативных сигналов на фоне помех применительно к эксплуатации систем связи.

Отличительная особенность подавляющего большинства работ в актуальной области проблем классификации сигналов заключается в том, что недостаток априорных сведений о статистических характеристиках классов распознаваемых сигналов является одной го основных причин, затрудняющих решение многих практических задач распознавания и не позволяющих достичь необходимого и достаточного минимума ошибок, который определяется перечнем классов.

Отличаясь стройностью и законченностью теоретических результатов, статистические методы обладают рядом неудобств практического характера, в частности они требуют обработки большого объема выборок реализаций при эмпирическом определении законов распределения признаков классифицируемых процессов. Зачастую полученные теоретические результаты практически нереа-лизуемы.

Господствующий аппарат теории статистической обработки сигналов не исчерпывает потребностей задач распознавания, так как для последних необходимо привлечение более подробной информации, которая не может быть задана априорно во многих практических случаях. Именно это условие диктует необходимость привлечения нейросетевых методов обработки сигналов, что является специфическим для распознавания в отличие от классической теории обнаружения.

Отличительными свойствами нейросетевых классификаторов являются, во-первых, высокая скорость обработки [56, 101], связанная с массированным параллелизмом вычислений, производимых большим количеством относительно простых, но сильно связанных между собой процессорных элементов или нейронов. Во-вторых, распределенность знаний о решаемой задаче между всеми нейронами сети, что обеспечивает высокую степень надежности устройства и его устойчивость к повреждениям [2, 73, 102]. В-третьих, классификаторы на нейронных сетях являются непараметрическими и требования к полноте статистических характеристик распределений, лежащих в основе классифицируемых множеств менее критичны, в отличие от традиционных статистических классификагоров [7, 13, 72]. Следовательно, нейросетевые классификаторы являются более устойчивыми, в тех случаях, когда распределения порождены нелинейными процессами и являются негауссовыми; либо соответствуют обработке сигналов в условиях априорной неопределенности [49, 54, 149]. В-четвертых, нелинейность нейросетевых классификаторов заложена в форме функции активации каждого нейрона. Выбор функция активации нейроэлементов базируется на результатах исследований полученных А. Н. Колмогоровым [50-52] - любая непрерывная функция вещественных переменных может быть представлена линейной функцией многих переменных и непрерывно возрастающей нелинейной функцией одного переменного. Отсюда следует полнота нейросетевого базиса в классе непрерывных функций и универсальность иейроклассификатора, способного построить любую сколь угодно сложную разделяющую поверхность.

Вычисления в нейронных сетях существенно отличаются от традиционных, в силу высокой распараллелености их можно рассматривать как коллективное явление. В нейронной сети нет локальных областей, в которых запоминается конкретная информация. Вся информация запоминается во всей сети. Сущность этого подхода заключается в том, что в качестве меры принадлежности сигнала к некоторому классу используется значение функционала от этого сигнала. Основная идея указанного подхода состоит в компактности сигналов каждого класса путем соответствующего выбора вида нелинейного преобразования, Такое контрастирование исходной информации облегчает установление соответствия величины номеру класса, к которому принадлежит анализируемый сигнал.

В последнее время для задач классификации, распознавания, обнаружения, сжатия информации и её декомпрессии появились новые подходы, основанные на теории нейронных сетей. В работах Р. Розенблагга (R. Rosenblatt) [88], С. Гроссберга (S. Grossberg) [124, 125], П. Липпмана (P. Lippmann) [149], Дж. Хопфилда (J. Hopfield) [133-136], Р. Хехг-Нильсона (R. Hecht-Nielsen) [130, 131] и др. сформированы основные преимущества нейросетевых методов обработки сигналов над применяемыми ранее статистиками. и

В настоящее время формируется математический базис применения нейронных сетей - нейроматематика, в основе которой лежат фундаментальные наработки в области пороговой логики (М. Детроузос [31], С.В. Яблонский [111], А.И. Галушкин [17-19] и др.), £-значной пороговой логики (В.Г. Никонов [75, 76], Н.Н. Айзенберг [2] и др.), нечеткой логики (Л. Заде [39], L. Chua [257] и др.).

В работах [49, 54, 71-73, 112, 116] продемонстрирована эффективность использования искусственных нейронных сетей в задачах распознавания сигналов акустических, речевых, радарных, медицинских электрограмм, сейсмических и др. Предложен ряд направлений применения искусственных нейронных сетей для решения задач электросвязи [123,138-140], таких как маршрутизация, адаптивная коррекция характеристик каналов связи, оптимизация трафика загрузки каналов, кодирования, сжатия и декомпрессии информации, адаптация и др.

Таким образом, разработка эффективных алгоритмов и нейросетевых парадигм автоматизированной обработки сигналов на основе достижений теории искусственных нейросетей является актуальной проблемой.

Цель исследований. Цель диссертационного исследования состоит в разработке аппаратно-программных нейросетевых устройств автоматизированной обработки телекоммуникационных сигналов на основе анализа статистических методов и существующих парадигм искусственных нейронных сетей.

Для достижения цели исследований поставлены и решены следующие задачи:

- анализ состояния основных проблем, возникающих при использовании традиционных стшистиш-вероятностных методов распознавания применительно к задачам обработки сигналов;

- анализ характеристик сигналов применяемых в современных системах передачи информации (СПИ);

- анализ априорной неопределенности при обработке сигналов аналоговых и цифровых систем передачи информации;

- сравнительная характеристика нейронных сетей, обоснование их места и роли при решении задач обработки сигналов. Классификация нейропроцессорных элементов и искусственных нейронных сетей;

- формализация задачи обработки телекоммуникационных сигналов в ней-росетевом базисе;

- разработка модели процесса идентификации сигналов по типам модуляции на основе нейронной сета;

- синтез нейронной сети для идентификации сигналов по типам модуляции;

- синтез аппаратно-программного эмулятора телекоммуникационных сигналов;

- моделирование и экспериментальная апробация нейросетевого алгоритма классификации сигналов в условиях априорной неопределенности;

- разработка принципов применения нейронных сетей для решения задач додетекторной обработки сигналов при построении систем автомагического приема и обработки сигналов (АПОС);

- разработка рекомендаций по практическому применению нейронных сетей при техническом анализе (ТА) сигналов СПИ.

Методы исследования. Для решения поставленных задач использовались современные понятия дискретной математики, системного анализа, функционального анализа, пороговой логики, теории статистической обработки сигналов, теории распознавания образов, теории алгоритмов, теории автоматов, теории булевых и £-значных функций, теории искусственных нейронных сетей. Применялись численные методы, методы математического моделирования, дискретной оптимизации и стандартного целочисленного программирования, что позволило получить ряд новых и улучшить некоторые из уже известных результатов. Положения диссертации получили экспериментальное подтверждение с помощью средств вычислительной техники.

Научная новизна. Научная новизна полученных результатов заключается в теоретической и экспериментальной разработке методологии использования нейросетевых методов для обработки сигналов в каналах с помехами. Предложена методика отображения выбранных классов задач обработки сигналов в нейросетевой базис. Построен метод идентификации сигналов с помощью классификатора на основе нейронной сети со случайными порогами. Произведена формализация задач технического анализа сигналов в нейросетевом базисе. Предложена методика применения нейросетевого классификатора на основе нейронной сети со случайными порогами для разделения сигналов на фоне помех. Разработана методика синтеза и принципы применения нейронных сетей для идентификации сигналов по типам модуляций. Предложена и обоснована методика оценки эффективности использования нейросетевых методов обработки сигналов на фоне помех.

Основные положения, выносимые на защиту: методика синтеза сигналов с различными практически значимыми типами модуляций и видами работ;

- методика формализации задачи классификации телекоммуникационных сигналов в нейросетевом базисе;

- методика выбора типа нейронной сети для рассматриваемого класса задач;

- модель процесса идентификации телекоммуникационных сигналов на основе нейронной сети;

- модель нейронной сети для идентификации сигналов СПИ по типам модуляций;

- методика решения задач обработки сигналов с помощью нейронных сетей и рекомендации по их практическому применению;

- методика оценки эффективности использования нейросетевых методов для обработки сигналов.

Научная новизна результатов состоит в следующем:

- определена методика синтеза сигналов с различными практически значимыми типами модуляций;

- разработана методика формализации задами в нейросетевом базисе и методика выбора типа нейронной сети для рассматриваемого класса задач;

- разработан и экспериментально апробирован нейросетевой алгоритм и метод классификации априорно неизвестных сигналов на основе нейронной сети.

Разработана оценка эффективности реализации предложенных нейросете-вых алгоритмов.

Достоверность научных положений, выводов и рекомендаций диссертационной работы обусловлена строго физико-математической постановкой, корректным применением математических методов, подтверждена результатами имитационного моделирования с использованием вычислительной техники и современных программных продуктов Borland С++ Builder 4. О, CoolEdit, MatLab 5.2 и др.«, сравнением результатов моделирования с известными расчетными и экспериментальными данными.

Практическая значимость работы. Разработанные в диссертации методы и алгоритмы могут быть использованы в различных практических задачах, связанных с распознаванием. Основной практический результат достигнутый в ходе анализа существующих нейросетевых алгоритмов обучения и работы искусственных нейронных сетей состоит в модификации нейронной сети со случайными порогами. Разработан нейросетевой алгоритм классификации телекоммуникационных сигналов в условиях априорной неопределенности. Создана иерархическая нейронная сеть классификации сигналов СПИ по типам модуляции. Предложенный непараметрический метод сокращения размерности оцифрованных входных сигналов электросвязи, кроме задач распознавания, применим для сигналов другого происхождения, что позволяет, в свою очередь, классифицировать последние по признакам в соответствии с решаемыми задачами. Алгоритмы распознавания, полученные с использованием нейронных сетей, не связаны с ограничениями типа стационарности моделей, поэтому могут непосредственно применяться для исследования объектов с меняющимися в процессе наблюдения характеристиками.

Реализация и внедрение результ ат о в. Результаты научных исследований использованы в НИР ГНЦ «НПО Астрофизика», НИР проводимых в Институте криптографии, связи и информатики, а также при чтении курса лекций по кафедре "Системы и сети связи" выше названного института. Внедрение результатов подтверждено соответствующими актами.

Апробация работы. Основные результаты работы прошли апробацию на: международной конференции "Информатизация правоохранительных систем - 97" (г. Москва, 3 — 8 июня 1997 г.); второй межведомственной конференции "Научно-техническое и информационное обеспечение деятельности спецслужб" (г. Москва, 4-6 февраля 1998 г. ); первой международной конференции "Цифровая обработка сигналов и её применения " - 08РА'98 (г. Москва, 1998 г. ); XXVI международной конференции "Информационные технологии в науке, образовании, телекоммуникации и бизнесе" - П +8Е'99 (20 - 30 мая 1999 г. Гурзуф-Ялта); VII Всероссийском семинаре "Нейроинформатика и ее приложения" (г. Красноярск, 1999 г. ).

Публикации. По теме диссертации опубликовано 12 печатных работ, в том числе: 3 статьи, 9 тезисов докладов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, приложений. Диссертация содержит 187 страниц, 22 таблицы, 93 иллюстрации. Список использованных источников включает 168 наименований.

Основные результаты работы прошли апробацию на: международной конференции "Информатизация правоохранительных систем - 97" (г. Москва, 3 -8 июня 1997 г.); второй межведомственной конференции "Научно-техническое и информационное обеспечение деятельности спецслужб" (г. Москва, 4-6 февраля 1998 г. ); первой международной конференции "Цифровая обработка сигналов и её применения" -DSPA'98 (г. Москва, 1998 г.); XXVI международной конференции "Информационные технологии в науке, образовании, телекоммуникации и бизнесе" ~ IT+SE'99 (20 - 30 мая 1999 г. Гурзуф-Ялта); VII Всероссийском семинаре "Нейроинформатика и ее приложения" (г. Красноярск, 1999 г.).

По теме диссертации опубликовано 12 печатных работ, в том числе: 3 статьи, 9 тезисов докладов.

Необходимо отметить, что благодаря открытости архитектуры иерархической нейронной сети, возможно наращивание ее вычислительной мощности пу

177 тем добавления новых фрагментов. Такой подход дает возможность рассматривать нейронную сеть как часть более масштабной системы, объединяющей все нейросетевые архитектуры в единую систему технического анализа сигналов, построение которой является перспективным направлением дальнейших исследований.

Автор выражает искреннюю благодарность научной школе под руководством доктора технических наук профессора В. Г. Никонова и его самого лично, как своего руководителя за помощь, конструктивную критику и ценные советы при написании диссертации. Также автор благодарит коллектив кафедры "Системы и сети связи", В.Р. Григорьева, А.Д. Гумменюка, В.И. Журавлева и С.И. Цветкова за сотрудничество, поддержку, дискуссии и обсуждения.

ЗАКЛЮЧЕНИЕ

Диссертационная работа посвящена исследованию возможности использования аппарата теории искусственных нейронных сетей применительно к задачам обработки сигналов в каналах с помехами. Вопросам синтеза нейронных сетей для технического анализа сигналов при создании системы автоматизированного приема и обработки сигналов современных систем передачи информации, работающих в режиме реального времени.

Одним из немаловажных факторов, затрудняющим создание систем АПОС работающих в режиме реального времени, является большое разнообразие типов модуляции несущей, количество которых с течением времени неуклонно возрастает. Указанное обстоятельство увеличивает неопределенность относительно их типов. В настоящее время в качестве путей разработки рассматриваются такие направления, как применение универсального средства, рассчитанного на обработку сигналов с достаточно широким классом типов модуляций и использование ряда специализированных комплексов, каждый из которых рассчитан только на один тип модуляции.

Применение универсальных средств не может быть эффективно реализовано по двум причинам. Во-первых, из-за отсутствия в настоящее время универсальных средств, способных обрабатывать телекоммуникационные сигналы со значительным множеством типов модуляций. Для существующих комплексов это множество ограничено лишь четырьмя наиболее простыми типами. Во-вторых, использование ряда специализированных комплексов невозможно из-за ограничений и специфических особенностей условий, к которым относятся жесткие временные ограничения и ограничения на массогабаритные показатели используемой аппаратуры. Эти обстоятельства потребовали поиска новых подходов к преодолению возникших трудностей.

В работе было предложено использовать средства анализа сигналов, основанные на нейросетевых технологиях, реализующих параллельную распределенную обработку данных. При этом основной выигрыш в оперативности процесса обработки сигналов планировалось получить за счет распараллеливания однотипных вычислительных операций, выполняемых на различных этапах анализа сигналов, и реализации их на основе искусственных нейронных сетей. Описанная проблемная ситуация и предложенный подход к ее преодолению обусловили сформулированные в диссертации подзадачи и цель исследований.

Диссертация базируется на результатах, полученных автором в ходе выполнения плановых научно-исследовательских работ по темам, непосредственно связанных с государственными программами.

Для решения задач анализа сигналов разработаны частные методики синтеза и принципы применения нейронных сетей для додетекторной обработки сигналов в условиях параметрической неопределенности. Осуществлен синтез структуры и параметров нейронной сети для определения типа модуляции сигналов систем передачи информации при наличии шумов в канале связи.

1. Предложены рекомендации по практическому применению нейронных сетей для обработки телекоммуникационных сигналов. Разработана архитектура иерархического нейросетевого классификатора для идентификации сигналов. Создан специализированный комплекс программного обеспечения алгоритмов анализа и обработки телекоммуникационных сигналов на основе нейронной сети.

2. Проведены математическое и имитационное моделирование на ЭВМ обработки сигналов, которое подтвердило работоспособность предложенных методов и средств обработки сигналов на основе нейронной сети.

Показано, что при сравнительно небольшом увеличении операционных ресурсов, связанных с применением специализированных нейропроцессоров, при неизменной достоверности идентификации сигналов, происходит увеличение оперативности. Полученный выигрыш по быстродействию процесса классификации телекоммуникационных сигналов при применении параллельного вычислителя, в качестве которого используется нейронная сеть со случайными порогами, составляет в 3,3. 10 раз.

Качество классификации сигналов АМ при количестве ошибок не более 1% в зависимости от параметров сигналов достигнуто при соотношении сигнал/шум 2,8.3,4 дБ; для сигналов ЧМ 3,8.6,2 дБ; для сигналов ФМ- 2,8.4,1 дБ; КАМ-16 - 7,6 дБ; для сигналов КАМ-32 - 8,2 дБ; ФМ-4 - 3,75.5,1 дБ, ОФМ - 3,9.6,1 дБ. Среднее время классификации одной реализации при этом составило 0,074 секунды. Практически реализован режим реального времени классификации сигналов. Улучшены результаты классификации сигналов для обычных систем на величину до 5,5 дБ, а по сравнению с системами с обратной связью на величину до 2,5 дБ.

3. Разработана обобщенная методика синтеза сигналов СПИ по их математическим моделям и протоколам связи (ITU-T, МККТТ). Синтезирован и интегрирован в общее программное обеспечение аппаратно-программного комплекса АПОС СПИ пакет программ, реализующий универсальный генератор цифровых и аналоговых типов модуляций и видов работ. В этот пакет программ вошли подпрограммы микширования сигналов, программа имитирующая помехо-вую обстановку на каналах связи в виде аддитивного гауссовского шума.

4. Разработана методика идентификации сигналов СПИ на основе нейроее-тевого классификатора, которая позволяет при наличии соответствующей элементной базы решать задачи идентификации сигналов СПИ.

5. Разработана методика оценки эффективности нейросетевых классификаторов. Значение критерия количественной оценки эффективности позволяет произвести сравнение разных по топологиям связей, алгоритмам работы и решаемым задачам нейронные сети. Полученная оценка для классификатора сигналов на основе нейронной сети со случайными порогами позволяет утверждать об его эффективности по сравнению с:

- классификатором на использовании потенциальных функций (PFC) - в 1,3 раза;

- модифицированным нейросетевым классификатором с алгоритмом обучения обратного распространения ошибки (ВРС) - в 4,66 раза;

- нейросетевым классификатором, построенным на основе адаптивно-резонансной теории (ART) - в 4,24 раза;

- нейросетевым классификатором, в основе которого лежит парадигма Хопфилда (Hopfield) - в 4,5 раза; - классификатором, реализующим алгоритм обучения по правилу ближайшего соседа(NNC) -в 2,7 раза.

Эффективность классификатора сигналов на основе нейронной сети со случайными порогами подтверждена результатами экспериментальных исследований.

6. Наибольшее быстродействие алгоритма идентификации сигналов СПИ может быть достигнуто при его эмуляции на вычислительной структуре, максимально адекватной нейросетевому базису - нейрокомпьютере, основным функциональным элементом которого является специализированный процессор, реализующий нейронную сеть.

Предложена реализация нейросетевого алгоритма классификации сигналов СПИ с помощью вычислительной системы (нейроплаты), состоящей из одного транспьютера и 16 сигнальных процессоров IMS AI00. В случае реализации нейросетевого алгоритма идентификации сигналов на сети сигнальных процессоров IMS А100 быстродействие компьютерного модуля Р составит от 0,93x106 до 2,3х 10б связей в секунду.

7. Рассмотрены возможные области применения нейросетевого классификатора для идентификации сигналов различного происхождения (сигналов PJIC; сигналов электрокардиограмм в медицине; сейсмических сигналов; акустических сигналов; сигналов видео изображений и др.). Универсальность предложенного нейросетевого классификатора позволяет успешно обрабатывать телекоммуникационные сигналы.

В ходе исследований в работе получены следующие новые научные результаты, выносимые на защиту.

1. Методика синтеза сигналов с различными практически значимыми типами модуляций и видами работ.

2. Методика формализации задачи классификации телекоммуникационных сигналов в нейросетевом базисе.

3. Методика выбора типа нейронной сети для рассматриваемого класса задач.

4. Модель процесса идентификации телекоммуникационных сигналов на основе нейронной сети. Модель нейронной сети для идентификации сигналов СПИ по типам модуляций.

5. Методика решения задач обработки сигналов с помощью нейронных сетей и рекомендации по их практическому применению.

6. Методика оценки эффективности использования нейросетевых методов для обработки сигналов.

Научная ценность работы состоит в дальнейшем развитии методов анализа телекоммуникационных сигналов в условиях структурной и параметрической неопределенности на базе нейронных сетей, разработке частных методик синтеза и принципов применения нейронных сетей для идентификации сигналов по типам модуляций.

Практическая значимость работы заключается в использовании полученных результатов при проектировании и эксплуатации систем сигнальной обработки в ГНЦ «НПО Астрофизика». Кроме того, результаты научных исследований включены в отчеты по НИР и использованы при чтении курса лекций по кафедре "Системы и сети связи" ИКСИ.

1. Айвазян С.А., Енюков И.О., Мешалкин Л.Я. Прикладная статистика. Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. 471 с.

2. Айзенберг H.H., Француз А.Г. Распознавание образов на конечном множестве описаний. Пробл. Бионики. М.: РАН, вып. 4, 1970. С. 70-74.

3. Асратян A.A. Факсимильно-микропроцессорные распознающие комплексы. М.: Радио и связь, 1991. 113 с.

4. Ахапкин Ю.К., Барцев С.И., Всеволодов H.H. и др. Биотехника новое направление компьютеризации. М: Наука, 1990. 144 с.

5. Банкет В.Л., Дорофеев В.М. Цифровые методы в спутниковой связи. М.: Радио и связь, 1988. 240 с.

6. Борисов А.Н., Мордовина Е.В. Однослойная нейронная сеть для классификации нечетких образов // Непрерывнологические и нейронные сети и модели: тр. междунар. научн.-техн. конф., 23-25 мая. Ульяновск: УлГТУ, т.1. 1995. С. 61-63.

7. Ван Трис Г. Теория обнаружения, оценок и модуляции. Том I. Теория обнаружения, оценок и линейной модуляции // Пер. с англ., под ред. Проф. В.И. Тихонова. М.: Советское радио, 1972. 744 с.

8. Ван Трис Г. Теория обнаружения, оценок и модуляции. Том II. Теория нелинейной модуляции // Пер. с англ., под ред. проф. В.Т. Горяинова. М.: Советское радио, 1975. 344 с.

9. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. Статистические проблемы обучения. М.: Наука, 1974. 416 с.

10. Васильев В.И. Распознающие системы. Справочник. Изд. 2-е перераб. и до-полн. Киев: Наукова Думка, 1983. 422 с.

11. Васильев В.И., Буркин А.П., Свириденко В.А. Системы связи: Учебн. Пособие для втузов. М.: Высш. шк., 1987. 280 с.

12. Веденов A.A., Ежов A.A., Левченко Е.Б. Архитектурные модели и функции нейронных ансамблей // Физические и математические модели нейронных сетей. Т.1, ч.1, Спиновые стекла и нейронные сети. Итоги науки и техники. М.: ВИНИТИ, 1990. С. 44-92.

13. Веденов A.A., Левченко Е. Б. Об одном классе нелинейных систем с памятью //Письма в ЖЭТФ, 41, вып. 8. 1985. С. 328-331.

14. Галуев Г.А. Параллельная цифровая нейрокомпьютерная реализация нейронных сетей, обучаемых методом обратного распространения ошибки//Электрон. Моделирование. Т. 14, №6,1992. С. 14-19.

15. Галушкин А.И. Синтез многослойных систем распознавания образов. М.: Энергия, 1974. 367 с.

16. Галушкин А.И., Судариков В.А„ Шабанов Е.В. Методика решения задач на нейрокомпьютерах//Нейрокомпьютер. №1,1992. С. 24-28.

17. Галушкин А.И. Нейрокомпьютеры в разработках военной техники США (обзор по материалам открытой печати). М.: Научный центр нейрокомпьютеров РАН. 1995. 154 с.

18. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация //Пер. с англ. Киев: Наукова думка, 1987. 262 с.

19. Гоноровский И.С., Демин М.П. Радиотехнические цепи и сигналы. 5-е изд. перераб. и доп. М. : Радио и связь, 1994. 480 с.

20. Горбань А.Н. Обучение нейронных сетей. М.: СП ПараГраф. 1990. 160 с.

21. Горелик A.JL, Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания: некоторые аспекты. Под. ред. Горелика А.Л. М.: Радио и связь, 1985. 160 с.

22. Горелик A.JI., Скрипкин В.А. Методы распознавания. М.: Высшая школа, 1984. 208 с.

23. Горелик А.Л., Скрипкин В.А. Построение систем распознавания. М.: Сов. радио, 1974. 224 с.

24. Григорьев В.Р., Кузнецов A.B. Анализ нелинейных динамических сигналов на основе фрактального подхода // Международная конференция: "Информатизация правоохранительных систем". М.: Академия управления МВД России. Тезисы докладов, ч.2, 1997. С. 99-101.

25. Григорьев В.А. Передача сигналов в зарубежных информационно-технических системах. С.-П.: ВАС, 1998. 440 с.

26. Гуревич A.C., Нахмансон Г.С. Различение дискретно кодированных сигналов в акустооптическом корреляторе с временным интегрированием в условиях помех. Изв. вузов. Радиоэлектроника, т. 33, №5,1990.

27. Дертоузос M. Пороговая логика. M.: Мир. 1967. 147 с.

28. Дианов K.JI. Анатомия модемного железа // Журнал Технологии Электронных Коммуникаций, Том 62. М. : ТЭК, 1996, С. 16-20.

29. Дикарев В.И., Романенко В.А., Яковлев А.А Устройство распознавания радиосигналов. Авт. свид. №1069149, 1982.

30. Дикарев В.И., Романенко В.А., Клименко H.H. Устройство распознавания радиосигналов. Авт. свид. №1185359,1984.

31. ДюранаБ., ОделлаП. Кластерный анализ. М.: "Статистика". 1977. 325 с.

32. Дуда Р., Харт П. Распознавание образов и анализ сцен //Пер. с англ. под ред. В.Л. Стефанюка. М.: Мир, 1976. 511 с.

33. Журавлев Ю.И. Непараметрические задачи распознавания образов // Кибернетика. 1986. №6, С. 83-103.

34. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации //Проблемы кибернетики. М.: Наука. 1978. Вып. 33, С. 5-68.

35. Заде Л.А. Понятие лингвистической переменной и ее применение к принятию решений. М.: Мир, 1976. 165 с.

36. Заде Л.А. Размытые множества и их применение в распознавании образов и кластер-анализе / В кн. Классификация и кластер //Под ред. Дж. Вэн Райзин. М.: Мир, 1980. С. 208-247.

37. Злотник Б.М. Помехоустойчивые коды в системах связи // Статистическая теория связи, вып. 31. М.: Радио и связь, 1989. 232 с.

38. Каневский З.М., Финкельштейн М.И. Флуктуационная помеха и обнаружение радиосигналов. М.-Л.: Госэнергоиздат, 1963,216 с.

39. Кантор Л.Я. Помехоустойчивость приема частотно-модулированных сигналов. Кантор Л.Я., Дорофеев В.М. М.: Связь, 1977. 335 с.

40. Кеннеди P.C. Каналы связи с замиранием и рассеиванием // Пер. с англ. Ка-заряна P.A., Ярославского Л.П. Под ред. Овсеевича И.А. М.: Сов. радио, 1973. 302 с.

41. Кисилев Н.В. Методы построения систем распознавания и классификации негауссовых сигналов. Л.: Изд-во ЛГУ, 1986. 188 с.

42. Клюев В.И. Частотно-временные преобразования и прием дискретных сигналов в системах связи. М.: Радио и связь, 1990. 208 с.

43. Колбасова Л.А., Крушина Т.Ю., Онацько В.Ф. Нейронная сеть предварительной обработки для задач распознавания речи// Моделир. и проектир. приборов и систем микро- и наноэлектрон. М.: Изд-во Моск. Гос. Ин-т Электрон. Техн. 1994. С. 120-133.

44. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных//Докл. АН СССР, том 108,1956. С. 2.

45. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения //Докл. АН СССР, том 114, 1957. С. 953-956.

46. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. Изд. 6-е перераб. испр. М. : Наука, 1989. 623 с.

47. Кохонен Т. Ассоциативная память. М.: Мир, 1980. 239 с.

48. Крайзмер Л.П., Кулик Б.А. Обработка сложных сигналов на основе использования нейрокомпьютеров // Персональный компьютер на вашем рабочем месте. С.-П.: СПГУ. 1991. С. 228-231.

49. Кремер И.Я., Владимиров В.И., Карпухин В.И. Модулирующие (мультипликативные) помехи и прием радиосигналов. Под. ред. Кремера И.А. М.: Сов. Радио, 1972,480 с.

50. Кузнецов A.B. Нейросетевой классификатор со случайными связями на основе многозначных нейронов. / Журнал "Информационные технологии" №7, 1999. С. 10-15.

51. Кузнецов A.B. Нейросетевой алгоритм разделения классов телекоммуникационных сигналов. / Журнал "Информационные технологии" №8, 1999. С. 15-21.

52. Курицын С.А. Методы адаптивной обработки сигналов передачи данных. М.: Радио и связь, 1988. 144 с.

53. Куссуль Э.М. и др. Нейросетевой классификатор со случайными порогами // Нейрокомпьютер. М.: РАН. №3,1995. С. 23-44.

54. Лапий В.Ю., Калюжный А.Я., Красный Л.Г. Устройства ранговой обработки информации. Киев: Техника, 1986.

55. Левин Б.Р. Теоретические основы статистической радиотехники. В трех книгах. Книга первая. Изд. 2-е, переработ, и доп., М.: Сов. радио, 1974.552 с.

56. Левин Б.Р. Теоретические основы статистической радиотехники. В трех книгах. Книга вторая. М., Сов. Радио, 1975,392 с.

57. Левин Б.Р. Теоретические основы статистической радиотехники. В трех книгах. Книга третья. М., Сов. Радио, 1976,288 с.

58. МакКаллок У.С., Питтс У Логическое исчисление идей, относящихся к нервной активности: Автоматы//Под. ред. Шеннона К.Э., Маккарти Д. М.: Наука, 1956. 403 с.

59. Миленький A.B. Классификация сигналов в условиях неопределенности. (Статистические методы самообучения и распознавания образов). М.: Сов. радио, 1975. 328 с.

60. Минский М., Пейперт С. Персептроны. М.: Мир. 1971. 264 с.

61. Мкртчян С.О. Нейроны и нейронные сети. М.: Энергия, 1971. 232 с.

62. Моисеев H.H., Иванилов Ю.Л., Столярова Е.М. Методы оптимизации. М.; Наука, 1978. 352 с.

63. Монзинго P.A., Миллер Т.У. Адаптивные антенные решетки: Введение в теорию //Пер. с англ. М.: Радио и связь, 1986. 448 с.

64. Нейронная сеть для идентификации сигналов гидролокатора //Радиоэлектроника за рубежом: Экспресс-информ. НИИЭИР, Вып. 2 (1208), 1992. С. 4-10.

65. Нейронные классификаторы в акустических распознаваниях образов // Приборы и элементы автоматики. Испытательные стенды: Экспресс- информ. ВИНИТИ, №21,1995. С. 4-11.

66. Нейронные классификаторы с распределенным кодированием входной информации// Э.М. Куссуль, Т.Н. Байдык, В.В. Лукович, Д.А. Рачковский. Журнал Нейрокомпьютер, №3/4, 1994. С. 13-24.

67. Никонов В.Г. Классификация минимальных базисных представлений всех булевых функций от четырех переменных // Обозрение прикл. промыш. ма-тем., сер. дискрета, магем. М.: ВТП, 1994. Т.1, в.З, С. 402-457.

68. Никодов В.Г. Пороговые представления булевых функций// Обозрение прикл. промыш. магем., сер. дискрета, матем. М.: ВТП, 1994. Т.1, в.З, С. 458-545.

69. Патрик Э.А. Основы теории распознавания образов // Пер. с англ. В.А. Ба-ронкина под ред. Б.Р. Левина М.: Сов. Радио, 1980. 408 с.

70. Первачев С.В., Перов А.И. Адаптивная фильтрация сообщений. М.: Радио и связь, 1991. 160 с.

71. Перцептрон система распознавания образов. Под общ. ред. Ивахненко А.Г. Киев: Наукова думка, 1975. 432 с.

72. Петров A.B., Яковлев A.A. Анализ и синтез радиотехнических комплексов / Под ред. В. Е.Дулевича. М.: Радио и связь, 1984. 366 с.

73. Поляков П.Ф., Ниц A.A. О возможности распознавания радиосигналов по их мгновенному комплексному спектру // Республиканский научно-технический сборник. Вып.21, 1982.

74. Поляков П.Ф. и др. Устройство для распознавания радиосигналов. Авт. свид. №481054, 1972.

75. Радиоэлектронные системы иностранных государств. Григорьев В.А., Кузьмин В.Д., под редакцией Григорьева В.А. Л.: ВАС, 1984, 222 с.

76. Распознавание образов: состояние и перспективы // К. Верхаген, Р. Дёйн, Ф. Грун и др. М.: Радио и связь. 1985. 104 с.

77. Регламент радиосвязи, т. I. М.: Радио и связь, 1985.165 с.

78. Регламент радиосвязи, т. П. М.: Радио и связь, 1985. 96 с.

79. Репин В.Г., Тартаковский Г.П. Статистический синтез при априорной неопределенности и адаптация информационных систем. М.: Сов. радио, 1977. 432 с.

80. Розенблатт Ф. Принципы нейродинамики. Персептроны и теория механизмов мозга. М.: Мир. 1965. 403 с.

81. Сентагонаи Я., Арбиб М. Концептуальные модели нервной системы. М.: Мир, 1976. 198 с.

82. Сверхбольшие интегральные схемы и современная обработка сигналов. / Под ред. С. Куна и др. М.: Радио и связь, 1988,472с.

83. Сиберт У.М. Цепи, сигналы, системы. В 2-х ч. Ч. 2 //Пер. с. англ. М.: Мир, 1988. 360 с.

84. Спилкер Дж. Цифровая спутниковая связь // Пер. с. англ. под ред. В.В. Маркова М.: Связь, 1979. 592 с.

85. Теория передачи сигналов//А.Г. Зюко, Д.Д. Кловский, М.В. Назаров, Л.М. Финк. 2-е изд. перераб. и доп. М.: Радио и связь, 1986. 304 с.

86. Тихонов В.И. Оптимальный приём сигналов. М.: Радио и связь, 1983. 320 с.

87. Тихонов В.И. Статистическая радиотехника. 2-е изд., перераб. и доп. М.: Радио и связь, 1982. 624 с.

88. Тихонов В.И., Кульман Н.К. Нелинейная фильтрация и квазиоптимальный приём. М.: Радио и связь, 1975. 704 с.

89. Тихонов В.И., Харисов В.Н. Сташстический анализ и синтез радиотехнических систем. М.: Радио и связь, 1991. 608 с.

90. Ту Дж., Гонсалее Р. Принципы распознавания образов //Пер. с англ. под ред. Ю.И. Журавлева. М.: Мир, 1978. 412 с.

91. Тэнк Д.У, Хопфилд Дж.Дж. Коллективные вычисления в нейроноподобных электронных схемах //Журн. В мире науки. №2. 1988. С. 44-53.

92. Уидроу Б. Стринз С. Адаптивная обработка сигналов //Пер. с англ. М: Радио и связь, 1989. 440 с.

93. Уинстон П. Искусственный интеллект. М.: Мир, 1980. 400 с.

94. Уоссермен Ф. Нейрокомпыотерная техника: Теория и практика// Пер. с англ. М.: Мир. 1992. 240 с.

95. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация М.: Наука, 1984. 288 с.

96. Фомин Я.А., Савич А.В. Оптимизация системы распознавания многомерных нормальных совокупностей //Радиотехника. 1985. т.40, №12, С. 8-11.

97. Фомин Я.А., Тарловский Г.Г. Статистическая теория распознавания образов. М.: Радио и связь, 1986.264 с.

98. Фу К. Структурные методы в распознаваний образов //Пер. с англ. под ред. М.А. Айзермана. М.: Наука, 1977. 319 с.

99. Фукунага К. Введение в статистическую теорию распознавания образов //Пер. с англ. под ред. А.А. Дорофеюка. М.: Наука, 1979. 367 с.

100. Хальд А. Математическая статистика с техническими приложениями //Пер. с англ. М.: Иностр. лит-ра. 1956. 305 с.

101. Харкевич А. А. Борьба с помехами. М.: Наука, 1965. 276 с.

102. Цыпкин Я.З. Основы теории обучающихся систем. М.; Наука, 1970. 252 с.

103. Яблонский С.В. Функциональные построения в £-значной логике. Тр. ма-тем. инст-та АН СССР, т. 51. М.: РАН, 1958. С. 5-142.

104. Ahalt S.C., Jung Tzyy-ping, Krishnamurthy A.K. A comparison of radar signal classifier // IEEE Int. Conf. Syst. Eng., Pittsburgh. Pa, Aug. 9-11, 1990, P. 609611.

105. Amari S. Field theory of self-organizing neural nets// IEEE Trans. SMC. 13, 1983. P. 741-748.

106. Anderson J.A., Rosenfeld E. "Neurocomputing: Foundation of Research". MIT Press, Cambridge, Mass., 1988. P. 56-72.

107. Baird B. Bifurcation theory methods for programming static or periodic attrac-tors and their bifurcations in dynamic neural networks // IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 9-16.

108. Brown J.R. and oth. Neural net classifier for millimeter waves radar // SPIE, vol. 1154, Real-Time Sign. Proc., XII, 1988, P. 71-76.

109. Bruck J., Goodman J.W. A generalized convergence theorem for neural networks and its applications in combinatorial optimization // IEEE International conference on neural networks. San-Diego: CA. vol. Ill, 1987. P. 649-656.

110. Caianiello E.R., Grimson W.E.L. Synthesis of boolean nets and time behavior of general mathematical neuron//Biol. Cybernetics. 18, №2. 1975. P. 111-117.

111. Carpenter G.A., Grossberg S. A massively parallel architecture for a selforgan-izing neural pattern recognition machine // Comput. Vision, Graphics, Image Process. 37, №1.1987. P. 54-115.

112. De Luca A. On some representation of booleal functions. Application to the theory of switching element nets //Kybernetik. 9. 1971. P. 1-10.

113. Edwards S.F., Anderson P.W. Theory of spin glasses//J. of Physics F.: Metal Physics. №5, 1975. P. 965-974.

114. Fisher K.H. Spin glasses (I) //Physica status solidi (B). 116, №2. 1983. P. 357414.

115. Gezeltar J.D., Freeman R.F. Use of neural networks to design shared radiofre-quency pulses // Journal of Magnetic Resonance, 1990, R 397-404.

116. Grossberg S. Studies of mind and brain: Neural principles of learning, perception, development, cognition and motor control //Boston; Reidel, 1982. 662 p.

117. Grossberg S., Levine D. S. Attentional mechanisms in neural information processing: examples from pavlovian conditioning // EEEE International conference on neural networks. San-Diego: CA. vol. 1,1987. P. 49-57.

118. Haines K., Hecht-Nielsen R. A BAM with increased information storage capacity // IEEE International conference on neural networks, Washington: NJ. vol. I, 1989. P. 181-190.

119. Hanson W.A., Cruz C.A., Tam J.Y. CONE computational network environment // IEEE International conference on neural networks. San-Diego: CA., vol. Ill, 1987. P. 531-538.

120. Hartley R., Szu H. A comparison of the computational power of neural network models // IEEE International conference on neural networks. San-Diego: CA. vol. Ill, 1987. P. 15-22.

121. Hebb D.O. The organization of behavior. A neurophysical theory. N Y.: Wiley., 1949. 355 p.

122. Hecht-Nielsen R. Kolmogorov's Mapping Neural Network Existence Theorem // IEEE First Annual Int. Conf. on Neural Networks, San Diego, vol. 3, 1987, P. 1113.

123. Hecht-Nielsen R. Theory of the backpropagation neural network// IEEE International conference on neural networks. San-Diego: CA., vol. 1,1988. P. 593-605.

124. Hoider N.S., Sayeh M.R. A discrete Lyapunov system as an efficient associative memory //IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 55-59.

125. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities //Proc. Natl. Acad. Sci. USA. 79. 1982. P. 2554-2558.

126. Hopfield J.J. Neurons with graded response have collective computational properties like those of two-state neurons //Proc. Natl. Acad. Sci. USA., 81. 1984. P. 3088-3092.

127. Hopfield J.J., Feinstein D.I., Palmer R.G. "Unlearning" has a stabilizing effect in collective memories//Nature. 1983. 304. P. 158-159.

128. Hopfield J.J., Tank D.W. "Neural" computation of decisions in optimization problems //Biol. Cybernetics. 52. 1985. P. 141-152.

129. Huang W. Y., Lippmann P.P. Neural Net and Traditional Classifiers. In Anderson D.Z. Ed. Proc. of the 1987 Neural Information Processing Systems Conf., P. 387-396, Am.lnst. of Physics, New York, 1988.

130. Jha S.K., Soraghan J J., Durrani T.S. Equalization using neural networks // 1-st IEE Int. Conf. Artif. Neural Networks, London. Oct. 16-18, 1989, London, 1989,1. P. 356-360.

131. Jutten C., Herault J. Blind separation of sources. Pt. 1. An adaptive algorithm based on neuromimetic architecture // Signal Process., 1991, vol. 24, №1, P. 1-10.

132. Jutten C., Herault J. Blind separation of sources. Pt. 2. Problems statement // Signal Process., 1991, vol. 24, №1, P. 11-20.

133. Kinzel W. Learning and pattern recognition in spin glass models//Z. Phys. B Condensed Matter., 60. 1985. P. 205-213.

134. Kohonen T. Self-organized formation of topologically correct feature maps // Biol. Cybern. 43, №1. 1982. P. 59-69.

135. Kolen J.F. Faster learning through a probabilistic approximation algorithm// IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 449-454.

136. Kosko B. Adaptive bidirectional associative memories//Appl. Optics. 26, №23. 1987. P. 4947-4960.

137. Kosko B. Unsupervised learning in noise // IEEE International conference on neural networks, Washington: NJ. vol. I, 1989. P. 277-282.

138. Kuhn R., van Hemmen J.L., Riedel U. Complex temporal associations in neural networks //J. Phys. A: Math. Gen. 20. 1989. P. 3123-3135.

139. Lee A. W., Sheu A. J. An investigation on local minima of Hopfield network for optimization circuits // IEEE International conference on neural networks. San-Diego: CA. vol. I, 1987. P. 45-51.

140. Lippmann R.P All introduction to computing with neural nets // IEEE ASSP Mag., April. 1987. P. 4-22.

141. McCalloch W.A., Pitts W.A Logical calculus of ideas immanents in nervous activity //Bull. Math. Biophys. 5. 1943. P. 115-133.

142. Nakagami M. Statistical methods in radio waves propagation, Pergamon press, London-N.Y, 1960. 456 p.

143. Nasrabadi N. M., Feng Y. Vector quantization of images based upon the Kohonen self-organizing feature maps // IEEE International conference on neural networks. San-Diego: CA. vol. 1,1988. P. 101-108.

144. Parisi G. Order parameter for spin glasses//Phys. Rev. Lett. 50, №24, 1983. P. 1946-1948.

145. Peretto P. Collective properties of neural networks: A statistical physics approach //Biol. Cybernetics. 50. 1984. P. 51-62.

146. Peretto P., Niez J J. Long term memory storage capacity of multieonnected neural networks //Biol. Cybernetics. 54. 1986 P. 53-63.

147. Personnaz L., Guyon I, Dreyfus G. Information storage and retrieval in glasslike networks //J. Physique Lettr. 46. 1985. P. 359-365.

148. Rumelhart D.E., Hinton G.E., Williams R.J. Learning Representations by Back-propagating Errors, Nature vol. 323,1986. P. 533-536.

149. Tank D.W., Hopfield J.J. Concentration information in time: analog neural networks with applications to speech recognition problems // IEEE International conference on neural networks. San-Diego: CA. vol. IV, 1987. P. 455-468.

150. Tsutsumi K. A multilayered neural network composed of backprop and Hopfieid nets and internal space representation // IEEE International conference on neural networks. San-Diego: CA. vol. 1,1988. P. 365-371.

151. Wasserman P.D. Combined backpropagation/ Cauchy machine. Proceedings of the International Neural Network Society. New York: Pergamon Press. 1988. P. 831.

152. Werbos P.J. Beyond Regression: new tools for prediction and analysis in the behavioral sciences // Phd. Thesis, Depl. of Applied Mathematics, Harvard University, Cambridge, Mass., 1974, P. 174-176.

153. Werbos P.J. Backpropagation through time: what it does and how to do it //Proceedings of the IEEE, vol. 78, №10, October, 1990, P. 1550-1560.

154. Werbos P.J. Backpropagation and neurocontrol; A review and prospectus //IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 209216.

155. Werbos PJ. Backpropagation: past and future. IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 343-353.

156. White H. Some asymptotic results for back-propagation // IEEE International conference on neural networks. San-Diego: CA. vol. Ill, 1988. P. 261-266.

157. Widrow В., Lehr M.A. 30 years of adaptive neural networks: perceptron, madaline, and backpropagation//Proceedings of the IEEE, vol. 78, №9, September, 1990, P. 1415-1442.

158. Winter R., Widrow B. Madaline rule II: A training algorithm for neural networks // IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 401-408.