автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей



Трофимов Ярослав Александрович

МЕТОДЫ ПОСТРОЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ЗАДАЧ КЛАССИФИКАЦИИ НА ОСНОВЕ ПРИМЕНЕНИЯ ПОЛИГАУССОВСКИХ ВЕРОЯТНОСТНЫХ МОДЕЛЕЙ

Специальность: 05.13.01 Системный анализ, управление и обработка информации (отрасль: информационные, телекоммуникационные н инновационные технологии), технические науки

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 8 АПР 2011

Дубна 2011

4844659

Работа выполнена в Государственном образовательном учреждении Московской области Международном университете природы, общества и человека «Дубна», в Институте системного анализа и управления, на кафедре «Персональная электроника».

Научный руководитель: доктор технических наук,

профессор САХАРОВ Юрий Серафимович

Официальные оппоненты:

доктор физико-математических наук,

профессор УЛЬЯНОВ Сергей Викторович

доктор физико-математических наук ХИЛЬКО Александр Иванович

Ведущая организация: Казанский государственный технический университет

в аудитории 1-300 на заседании диссертационного совета Д800.017.02 при Международном университете природы, общества и человека «Дубна».

С диссертацией можно ознакомиться в библиотеке Международного университета природы, общества и человека «Дубна», по адресу: Московская обл., г. Дубна, ул. Университетская, д. 19.

им. А.Н. Туполева

Защита диссертации состоится

2011 года в 16-00

Ученый секретарь диссертационного совета ЛЯПП 017 О? кандидат физико-математических наук

Токарева Н. А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

В настоящее время теория искусственных нейронных сетей имеет междисциплинарный характер и является одной из наиболее динамично развивающихся информационных технологий, которая применяется в различных научных и прикладных областях. Практика применения искусственных нейронных сетей (ИНС) включает такие области, как нейронная математика и нейроинформатика. Созданы и получили широкое распространение нейрочипы и нейрокомпьютеры. Нейронные сети успешно применяются в широком диапазоне приложений - от бытовых приборов, до сложнейших вычислительных комплексов управления боевыми действиями. Объединение возможностей нейросетевых технологий с нечёткой математикой и нечёткой логикой, генетическим, эволюционным программированием и мягкими вычислениями позволяет расширить класс решаемых задач в условиях неопределённостей.

Основополагающие принципы теории искусственных нейронных сетей были заложены в работе Уоррена Маккалоха (Warren S. McCulloh) и Уолтера Питтса (Walter A. Pitts). Дальнейшее развитие было сделано в работах Дональда Хэбба (Donald O.Hebb), Франка Разенблатга (Frank Rosenblatt), в критических работах Марвина Минского (Marvin Minsky). Получены наиважнейшие теоретические и практические результаты в работах зарубежных учёных: S. Aman, S. Anderson, M. Arbib, К. Fukushima, S. Grossberg, T. Kohenen, B. Widrow; отечественных учёных: Я.З. Цыпкин, А.И. Галушкин, С.И. Барцев, В.А. Охонин, А.Н. Горбань, Е.М. Миркес,

B.Л. Дунин-Барковский, С.А. Терехов, A.JI. Микаэлян, И.Г. Персианцев, А.И. Хилько, В.Г. Яхно и др.

Проблемам принятия решения в условиях неопределённости в общей теории систем и, в частности, в теории управления с использованием ИНС посвящены многие работы известных отечественных исследователей, таких как Ю.Г. Евтушенко, C.B. Емельянов, H.H. Моисеев, Ю.А. Флеров, E.H. Черемисина,

C.B. Ульянов, А.Н. Аверкин и др., а также многих зарубежных исследователей, среди которых необходимо выделить Lotfi A. Zadeh, T. Saati, M. Jamshidi, Е. Mamdani и др.

Методы искусственных нейронных сетей наиболее широко используются в задачах классификации. Задача классификации представляет собой задачу отнесения образца к одному из нескольких непересекающихся множеств. При решении задач классификации ИНС должна отнести имеющиеся характеристики объекта (наблюдаемые данные) к одному или нескольким определённым классам.

Однако остаются открытыми вопросы выбора топологии сети, определения количества слоев и нейронов, интерпретации весовых коэффициентов и смещений, оценки их оптимальности, в частности, в задачах классификации. Самым важным свойством нейронных сетей является возможность аппроксимировать непрерывную функцию любого типа. Это свойство известно как теорема универсальной аппроксимации. Теорема универсальной аппроксимации определяет необходимые, но не достаточные условия аппроксимации произвольной функции и не даёт рекомендации по выбору числа нейронов и количества слоёв нейронной сети.

В настоящее время выбор вида сети происходит чисто эмпирически. Выбор структуры сети и числа её элементов (нейронов), как правило, решается эмпирически. Существует ряд результатов исследований о количестве нейронов, требуемых для достаточно точного решения задачи, однако, как отмечается в ряде источников, они пока носят мало конструктивный характер. Предложены алгоритмы подбора структуры сети, которые являются того или иного вида генетическими алгоритмами. В литературе отмечено, что условия сходимости такого рода алгоритмов недостаточно исследованы, ещё меньше известно о скорости их сходимости.

В то же время накоплен большой теоретико-эмпирический фундамент для создания систем классификации на основе теории статистических решений и правил статистического синтеза. Этому посвящено большое число работ следующих учёных: Г. Крамер, С. Кульбак, Р. Фишер, Н. Винер, P.E. Калман, Д. Миддлтон, Г. Ван Трис, Э. Патрик, А.Н. Колмогоров, В.А. Котельников, Б.Р. Левин, В.И. Тихонов, Ю.Г. Сосулин, М.С. Ярлыков, Ю.С. Шинаков, P.JI. Стратонович, Н.Г. Загоруйко, В.Н. Вапник, А.Я. Червоненкис и др. В основе статистических решений лежит предположение, что распределение вероятностей наблюдаемой случайной величины принадлежит некоторому априорно заданному множеству. На основе плотностей распределения вероятностей, отношения правдоподобия, вычисления апостериорных вероятностей статистические решения позволяю синтезировать строгие (оптимальные при заданном критерии) алгоритмы обработки.

Методы на основе статистических правил при адекватности выбранной модели для исходных данных дают однозначный ответ на вопрос о значении всех параметров алгоритма обработки. Проблема применимости статистических алгоритмов связана с выбором и обоснованием модели распределения, адекватной данным и решаемой задаче. Для преодоления неопределённостей используются адаптивные алгоритмы на основе статистических методов, которые позволяю решить любую задачу синтеза при задании модели возможных неопределённосте" для исходных данных. В этих целях, в частности, используются полигауссовские вероятностные модели. Большую роль в развитии статистических методов сыграл работы A.B. Сульдина, A.A. Дороднова, Ш.М. Чабдарова, А.Т. Трофимова, Н.З. Сафиуллина, А. Ф. Надеева и др.

Целью диссертационной работы является разработка методов построена искусственных нейронных сетей, основанных на применении полигауссовско" вероятностной модели представления данных и статистических критериев синтез для задач классификации.

Задачи исследования

1. Сравнительный анализ современных подходов к построению систем классификации данных.

2. Разработка методов построения искусственных нейронных сетей на основе применения полигауссовских вероятностных моделей наблюдаемых данных;

3. Обоснование принципов, позволяющих интерпретировать знания, представляемые искусственными нейронными сетями.

4. Практическое применение разработанного инструментария в проблемно-ориентированных областях.

Методологическая и теоретическая основа исследований

В рамках выделенных направлений были использованы принципы и методы системного анализа (принцип оптимальности, принцип структурного анализа и синтеза), математической статистики, теории вероятностей, теории искусственных нейронных сетей, теории статистических решений, имитационного моделирования и теории сигналов.

С целью актуализации исследований выполнен анализ научно-методической литературы. Основой для исследования послужили результаты работ, проведённых в области искусственного интеллекта, интеллектуальных систем, искусственных нейронных сетей, теории статистических решений и синтеза систем классификации, использования полигауссовских вероятностных моделей.

Научная новизна

1. Впервые разработаны методы построения искусственных нейронных сетей на основе применения полигауссовской вероятностной модели представления данных и статистических критериев синтеза.

2. Получены новые структуры, новые логические операторы и новые алгоритмы обучения искусственных нейронных сетей.

3. Научно обоснованы принципы интерпретации параметров искусственных нейронных сетей как знаний об исходных данных и свойствах окружающей среды.

Практическая значимость

Методические рекомендации по результатам диссертации могут использоваться для синтеза искусственных нейронных сетей при решении различных задач классификации, в том числе для обработки многомерных данных и многокомпонентных временных рядов.

Предложенные в диссертации методы можно использовать при обучении специалистов в области разработки различных интеллектуальных систем с использованием искусственных нейронных сетей. Развитая теория и методы построения искусственных нейронных сетей в виде методических материалов используются в учебном процессе Международного университета природы, общества и человека «Дубна» в дисциплинах «Нейросетевые технологии в электронике» и «Теория и практика применения искусственных нейронных сетей».

Результаты работы внедрены на предприятии ЗАО Научно-производственный центр «Аспект» им. Ю.К. Недачина при решении задачи обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого объекта.

Разработанные методы построения искусственных нейронных сетей внедрены в ОАО «Научно-исследовательский институт «Атолл» при создании системы классификации морских кораблей по шумовым гидроакустическим сигналам.

Основные научные положения, выносимые на защиту

1. Разработанные методы построения ИНС с использованием полигауссовской вероятностной модели представления данных основаны на применении вычислений линейных и квадратичных достаточных статистик и функций апостериорных вероятностей. Применение квадратичных достаточных статистик позволяет снизить вычислительные затраты и повысить точность классификации при реализации ИНС.

2. Предлагаемые алгоритмы обучения, функционирующие параллельно с алгоритмом классификации, позволяют создавать более гибкие сети, в том числе с изменяемой структурой, с помощью обучения на основе оценивания параметров полигауссовской вероятностной модели (ПВМ).

3. Взаимно однозначное соответствие между параметрами ИНС и параметрами полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.

4. Применение динамических полигауссовских нейронных сетей для классификации позволяет преодолеть проблему «проклятие размерности».

Апробация результатов работы

Основные положения и результаты работы докладывались, обсуждались и получили одобрение специалистов на следующих международных, всероссийских и региональных научных конференциях:

• Технологии искусственного интеллекта 2008, (AITech-2008), Дубна;

• 11-ая Всероссийская научно-техническая конференция «Нейроинформатика 2009», Москва, МИФИ;

• 11-ая Международная конференция «Цифровая обработка сигналов и её применение 2009», Москва;

• Технологии искусственного интеллекта 2009 (AITech-2009), Дубна.

• 16-я научная конференции студентов, аспирантов и молодых специалистов университета «Дубна» 2009;

• 12-я Международная конференция «Цифровая обработка сигналов и её применение 2010», Москва.

• 13-я Всероссийская научно-техническая конференция «Нейроинформатика 2011», Москва, МИФИ.

Результаты внедрены в таких проблемно-ориентированных областях, как: обнаружение радиационного излучения и классификация гидроакустических сигналов.

Публикации и личный вклад

Диссертация основана на теоретических, методологических и экспериментальных работах, которые были выполнены автором в период с 2006 по 2010 г. Работы выполнены самостоятельно и в соавторстве с научным руководителем. В работах, опубликованных в соавторстве, Трофимовым Я.А. обоснованы основные методические решения построения искусственных нейронных сетей с помощью полигауссовских вероятностных моделей. Непосредственно автором разработано математическое и алгоритмическое обеспечение, поставлены и

выполнены многочисленные задачи имитационного моделирования. Трофимовым Л.А. разработана система обнаружения радиационного излучения и система классификации морских кораблей по шумовым гидроакустическим сигналам.

По результатам выполненных исследований опубликовано 7 работ; из них одна публикация в журналах из перечня ведущих рецензируемых научных журналов и изданий, рекомендованных ВАК для публикации результатов диссертаций [1], пять статей опубликованы в виде докладов в материалах научных и научно-практических конференциях; одна статья опубликована в электронном периодическом журнале.

Объём и структура работы

Диссертационная работа выполнена на 163 страницах, из них 160 страниц основного текста. Работа состоит из введения, четырёх глав с выводами, заключения, списка использованных источников и одного приложения. Список использованных источников состоит из 113 наименований.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной темы, определена цель и сформулированы решаемые задачи. Перечислены новые научные результаты, приведены основные положения, выносимые на защиту. Отмечена практическая ценность полученных в диссертации результатов, приведены сведения об апробации результатов диссертационной работы.

В первой главе «Анализ статистических и нейросетевых методов решения задач классификации» данного диссертационного исследования выполнен сравнительный анализ статистических и нейросетевых методов решения задач классификации на примере решения хорошо известных и важных задач для систем телекоммуникаций. Приведены основные свойства и принципы построения искусственных нейронных сетей, исторические аспекты их развития и применения. Описаны основные критерии при классификации на основе статистических методов.

Проведено имитационное моделирование для решения бинарной задачи классификации на основе нейросетевых и статистических методов. Построены рабочие характеристики классификатора. Получена взаимосвязь между вычислением функции апостериорной вероятности и логистической функцией активации ИНС. Получены выражения для плотности распределения вероятностей логистической функции.

Рассмотренные в диссертационной работе примеры наглядно иллюстрируют проблемы выбора структуры ИНС, определения значений весовых коэффициентов, смещений и вида функции активации. Методы на основе статистических правил при адекватности выбранной вероятностной модели для сигналов и помех дают однозначный ответ на вопрос о значении всех параметров алгоритма обработки сигнала. Алгоритм нейронной сети можно интерпретировать как приближение (аппроксимация) оптимального правила решения.

По результатам проведённого в диссертационной работе сравнения статистических и нейросетевых алгоритмов (на примере различения двух линейно-независимых векторов) сделан следующий вывод. Нейросетевой алгоритм реализует классификацию на основе вычисления весовой функции, обеспечивающей инвариантность обработки векторов к случайной амплитуде, а статистический алгоритм основан на вычислении квадратичной достаточной статистики. Безошибочной классификации можно добиться только на основе применения статистического алгоритма. Ошибки нейронной сети объясняются неточностью определения весовой функции-инварианта.

В первой главе сформулирован вывод о том, что построение искусственных нейронных сетей возможно на основе использования статистических методов и вероятностных моделей представление данных.

Вторая глава «Методы синтеза искусственных нейронных сетей с использованием вероятностных моделей» посвящена разработке методов построения нейронных сетей при использовании статистических методов и полигауссовского представления исходных данных.

На основе полигауссовской вероятностной модели (ПВМ) представления исходных данных записаны выражения полигауссовской плотности распределения вероятностей случайной величины и достаточных статистик в следующем виде:

I 2

1=1

©од = 9,.

где X-вектор наблюдаемых данных;

0 - параметр полигауссовской плотности распределения вероятностей (ПРВ);

ЩХ) - гауссовская плотность распределения вероятностей;

д - априорная вероятность (вес);

т - среднее значение;

Л - ковариация;

/- количество гауссовских компонент;

Q -квадратичная статистика; Ь -линейная статистика;

И- количество координат вектора наблюдаемых данных.

В самом общем виде в качестве конечного результата классификации можно принять оценку некоторого параметра а, в частности номера класса:

а=1/:хеПу= Щ*

I А /

; ]к = \,2...К]\ 7 = 1,2,...7,

где а - номинальная переменная (номер класса); }к - номер кластера, относящегося к у -му классу; К]- количество кластеров, составляющих } -ый класс; У - количество классов.

На основе применения критерия среднего риска для оценки номера (индекса) класса получены следующие выражения для алгоритма:

«Ч*) = ]>>,•/(а,|4

где/(а; |х)-апостериорная вероятность принадлежности реализации X к у'-му классу.

При используемом автором полигауссовском представлении данных для апостериорной вероятности (АПВ) ¡(а^-Х") получено следующее выражение:

Д=1 Ж(Х;@) '

где Ж(Х,&) - полигауссовская ПРВ для наблюдаемых данных X.

Таким образом, процедура оценивания номера класса сводится к вычислению АПВ /(ад |х) для каждойгауссовской компоненты полигауссовской модели.

На основе применения критерия среднего риска для оценивания номера (индекса) класса при использовании полигауссовской вероятностной модели (ПВМ) получена структура байесовской нейронной сети (БНС) с одним скрытым слоем и латеральными связями между нейронами. При этом количество нейронов в слое равняется количеству гауссовских компонент ПВМ.

Структура БНС состоит из четырёх слоёв. Первый (входной слой) предназначен для ввода данных. Второй (первый скрытый слой) - для вычисления АПВ /д (х)

гаусовских компонент. Третий слой - для вычисления АПВ /у (х) принадлежности к

классу. Четвёртый (выходной) слой представляется одним нейроном и предназначен для оценки номера класса. Описываемая структура представлена на рис. 1.

X

Каждый нейрон второго скрытого слоя имеет латеральные связи со всеми остальными нейронами для того, чтобы вычислить AHB для каждой j-й компоненты.

На основе анализа алгоритма функционирования и структуры синтезированных БНС сделан следующий вывод. Первый сбытый слой предназначен для вычисления условных достаточных статистик QJk(x) и Ljk(x) и формирования на их основе

функций АПВ. Заметим, что Qjk(x) является квадратичной достаточной

статистикой.

В качестве важного вывода по второй главе диссертационной работы отмечено, что введение квадратичной формы наряду с линейными формами достаточных статистик является необходимым условием для повышения точности классификации и уменьшения объёма вычислений при функционировании ИНС.

На основе вышеизложенного сформулировано следующее защищаемое положение:

Разработанные методы построения ИНС с использованием полигауссовской вероятностной модели представления данных основаны на применении вычислений линейных и квадратичных достаточных статистик и функций апостериорных вероятностей. Применение квадратичных достаточных статистик позволяет снизить вычислительные затраты и повысить точность классификации при реализации ИНС.

Приведена структура вычислений с использованием статистических критериев принятия решений при представлении данных, описываемых одинаковыми средними значениями и различными ковариациями; различными средними и одинаковыми ковариациями; различными средними и различными ковариациями.

Обоснован метод для оценивания вероятностей правильной и ложной классификации с использованием информационной меры Кульбака

-О-к1 -тЛ(яя+к*)-{тл -»Л

в качестве меры различия между гауссовскими компонентами модели. Значения информационной меры 3 используется автором в качестве обобщённого соотношения сигнал/шум.

На основе статистических методов получены аналитические оценки вероятностей ложной классификации (принадлежность к другому кластеру)

где Г(х) - интеграл вероятности.

0 1

0.01

Р|

--1 •ю-1

№

1

I 1«

0.000001, л«-6

Рис. 2. Ошибки классификации р и /?0 по оценкам Кульбака и на основе интеграла вероятности, где в качестве отношения сигнал/шум используется расхождение Кульбака

Вероятность ошибок классификации Р, г может быть оценена по ошибкам

и я

Д=1ш=1

где <7д и - априорные вероятности -ой и ш -ой гауссовских компонент.

В работе предложено применение асимптотически оптимальных процедур реализации алгоритмов обработки. Данные алгоритмы основаны на использовании асимптотически-нормальной статистики

с центром

и дисперсией, равной единице. Реализация асимптотически оптимальных алгоритмов позволяет существенно снизить аппаратные затраты при построении нейронных сетей.

Чаще всего параметр <9 полигауссовской модели является неизвестным. Поэтому возникает задача получения оценок этого параметра на основе алгоритмов

обучения (адаптации). В качестве процедуры адаптации используется известный градиентный алгоритм

<9(/)=®(/-1 )+ГГ.[^1п{у{Х^),0(!-Щ), » = 1,2.....N.

где у и Г- соответственно скалярный и матричный коэффициенты усиления; I — текущий номер реализации наблюдаемых данных Х^).

В качестве Г следует использовать обратную матрицу Фишера Г = С1,

4 У(Х,&) v '

являющуюся второй производной направленной информационной меры расхождения.

Этот метод сводится к оценке максимального правдоподобия параметра 0. Вычислив значения правдоподобия и используя градиентные методы рекуррентного оценивания, получим следующие алгоритмы для составляющих 0 параметров:

'(*.«,) М<-1) 1 ь'

к=1

(0 = т]к{1-\)+ у• ((*(*)-т]к(/-1))- 1}к[X,<9Д)),

М')= ~ 1)+ ^ ■ (*(')•-*"(')" - 0)- 1(Х,®Л

где )Ь,ут,уЯ - скалярные коэффициенты, задающие скорость обучения.

В результате адаптации (обучения) мы находим значения параметров полигауссовской модели, характеризующих исходные наблюдаемые данные. Для алгоритмов адаптации <9 доказана сходимость к области наилучших оценок. Определена скорость сходимости.

Обучение осуществляется по мере прямого распространения сигнала в сети, в чём заключается отличие от широко используемых методов обучения на основе обратного распространения ошибки. В качестве защищаемого положения сформулировано следующее:

Предлагаемые алгоритмы обучения, функционирующие параллельно с алгоритмом классификации, позволяют создавать более гибкие сети, в том числе с изменяемой структурой, путём оценивания параметров полигауссовской вероятностной модели (ПВМ).

Для решения проблемы проклятия размерности, которая связана с тем, что с ростом размерности наблюдаемых данных возрастает необходимость в увеличении числа нейронов, числа слоёв сети и числа межнейронных синаптических связей,

предложена структура динамической нейронной сети на основе полигауссовской модели (ДПНС).

В этом случае можно использовать последовательный посегментный ввод данных с размерностью сегмента . По каждому из сегментов может быть осуществлена классификация (кластеризация) исходных данных на кластеров с помощью коллектива байесовских нейронных сетей. Результаты посегментной кластеризации могут быть отображены в памяти путём использования так называемых линий задержки. Эти результаты кластеризации можно рассматривать уже как данные с размерностью вектора Ык (кадр) для обработки следующим коллективом байесовских нейронных сетей. Описанная процедура иерархической сегментации может быть повторена требуемое число раз с агрегацией данных до мультикадров, суперкадров, гиперкадров и т.д.

Описанную процедуру обработки данных можно представить в виде структуры последовательно-параллельной динамической полигауссовской нейронной сети, изображённую на рис. 3.

Рис. 3. Динамическая полигауссовская нейронная сеть (ДПНС)

Расчёт вычислительной сложности показал, что предложенный алгоритм ДПНС на основе посегментной обработки данных является более эффективным, чем алгоритм ИНС на основе параллельной обработки. Рассчитанная вычислительная сложность ИНС при параллельной обработке и посегментной обработке с использованием ДПНС составляет О (и") и О(п) соответственно. В качестве защищаемого положения сформулировано следующее:

Применение динамических полигауссовских нейронных сетей для классификации позволяет преодолеть проблему «проклятие размерности».

В третьей главе «Построение искусственных нейронных сетей на основе аппроксимации функционала байесовской нейронной сети» разработаны методы синтеза многослойных нейронных сетей.

Метод построения многослойных нейронных сетей (МНС) с использованием традиционных нейросетевых операторов математически формализован автором как решение задачи аппроксимации апостериорной вероятности

¡=1 ¡4=1

в виде частных апостериорных вероятностей, сосредоточенных на локальных множествах (кластерах) данных

1{а}к\х)=ие{х,]к) =

1{а]к\х)=Ь5р{Х,]к)=^

Ргд]к-Ы]к{х) Р] ■ Ч]к ■ Ы]к{Х)+ Р] • де ■ Ые{Х)+ерз' _ч^^х)

+ Ча ■ мЛс(х)+ Ч]к+1 • Я^х)' где Р^ <7д - априорные вероятности; ®]к) - гауссовские ПРВ.

В качестве частных АПВ обосновано применение логистическических функций активации Ьз\Х,а^). Кроме этих функций получены и предложены к применению

новые двухпороговые логистические функции Ьзе[Х, а^) и Ьзр{Х, а^) ,

позволяющие уменьшить количество используемых нейронов в первом скрытом слое. В диссертационной работе доказывается, что логистическая функция представляет собой частную апостериорную вероятность, которая совпадает с АПВ в случае функции двоичной классификации. В качестве частного вида апостериорной вероятности обосновано применение введённой автором новой двухпороговой логистической функции.

Вид апостериорной вероятности в сопоставлении с аппроксимирующими логистическими функциями для двухкомпонентных данных представлен на рис. 4.

Рис. 4. Сопоставление функционала АПВ (перевёрнутая колоколообразная форма) с аппроксимирующими логистическими функциями (плоскости)

В качестве входов логистической функции необходимо использовать условные достаточные статистики 0;[Х,ад) и ь[Х,а]к) , вычисляемые каждым ]к-ым

нейроном первого скрытого слоя.

Второй скрытый слой МНС для классификации данных предназначен для реализации операции «ИЛИ» над действительными переменными (выходами логистических функций) по группам, соответствующим группам кластеров, образующих один класс. Операция «ИЛИ» осуществляется с использованием нейрона с единичными весовыми коэффициентами и смещением Ь = 0,5, а также вычислением логистической функции активации.

Таким образом, методика построения нейронных сетей сводится к построению первого скрытого слоя для вычисления достаточных статистик в виде линейных и квадратичных форм относительно исходных данных и применению частных апостериорных вероятностей в качестве выходов нейронов. Второй и третий скрытые слои предназначены для вычисления функции логических операций ИЛИ над действительными переменными.

В диссертационной работе показывается вычислительная взаимосвязь МНС с нейронными сетями радиальных базисных функций. Такие нейронные сети (ШЗР-сети, сети Кохонена, ЬУСЗ-сети) в качестве функций активации используют радиальные базисные функции, которые синтезируются непосредственно на основе применения ПВМ и использования критерия максимального правдоподобия для решения задачи классификации (кластеризации).

Алгоритмы ИНС можно считать алгоритмами принятия решения на основе совокупности частных решений: объединение по информации (накопление решений). Статистические алгоритмы в этом смысле можно рассматривать как алгоритмы на основе объединения сигналов (накопление по сигналам).

Применение ПВМ при построении ИНС с традиционным базисом операторов позволяет провести анализ функционирования отдельных слоев и нейронов и выделить инварианты по пространству решений на основе частных АПВ. Весовые коэффициенты первого скрытого слоя обученной сети можно интерпретировать с использованием параметров ПВМ в качестве знаний о наблюдаемых данных.

В диссертационной работе на основе взаимосвязи с параметрами полигауссовской вероятностной модели развиты принципы интерпретации весовых коэффициентов и смещений. Показано, что знания, представляемые свободными параметрами нейронных сетей (весовыми коэффициентами и смещениями), связаны с параметрами полигауссовской вероятностной модели об исходных данных. В соответствии с этим формулируется следующее защищаемое положение:

Взаимно однозначное соответствие между параметрами ИНС и параметрами полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.

В четвёртой главе «Применение методов синтеза нейронных сетей при разработке систем классификации» на основе предложенных методов построения искусственных нейронных сетей получены результаты решения ряда теоретических и практически важных задач.

Путём имитационного моделирования детально исследуются полученные автором структуры НС для решения задачи «Исключающее ИЛИ» с различными типами переменных (логические и действительные). Решение задачи «Исключающее ИЛИ» является исторически значимым для теории искусственных нейронных сетей. Пример построения ИНС для решения данной задачи использован автором в качестве тестового для демонстрации возможностей методов построения НС на основе применения ПВМ для представления данных.

При использовании ПВМ с четырьмя различными средними и одинаковой ковариацией (3 - коррелированные отсчёты с малыми по величине дисперсиями) получены два типа БНС с одним скрытым слоем с четырьмя нейронами и латеральными связями между ними. Типы БНС различаются видом вычисляемых условных достаточных статистик.

При использовании ПВМ с двумя различными ковариациями и одинаковыми математическими ожиданиями получена структура БНС с двумя нейронами в первом скрытом слое на основе вычисления квадратичных достаточных статистик. При использовании частных АПВ получены новые структуры НС на основе применения предлагаемых автором двухпороговых логистических функций и вычислении линейной достаточной статистики. Интересной, на взгляд автора, является предлагаемая структура НС для реализации операции «Исключающее ИЛИ» с применением одного единственного нейрона и использованием функции активации в виде квадрата разности координат (отсчётов) вектора данных. Квадрат разности двух величин (логических переменных) будет равен нулю при одинаковых значениях отсчётов и равен единице при различающихся значениях.

Применение ПВМ для синтеза нейросетевого алгоритма «Исключающего ИЛИ» позволило наглядно продемонстрировать эффективность предлагаемых методов и получить новые оригинальные структуры и операторы нейронных сетей. Ниже в Таблице 1 приводятся операторы и структуры полученных автором ИНС для решения задачи «Исключающее ИЛИ».

Вид разделяющих (дискриминантных) линий для различных полученных алгоритмов представлен на рис. 5.

0.7 0.5 0.3

"° '-0.1 0.1 0.3 0.5 0.7 0.9 1.1 " '-0.1 0.1 0.3 0.5 0.7 0.9 1.1 " '-0.1 0.1 0.3 0.5 07 0.9 1.1 а) 6) в)

Рис. 5. Дискриминантные линии решения задачи «Исключающее ИЛИ»

Таблица 1. Операторы и описание структур ИНС, реализующих задачу «Исключающее ИЛИ» на основе применения полигауссовских вероятностных моделей для представления двухкоординатного вектора Х = (х1,х2)

Тип ИНС Достаточная статистика Функция активации Кол-во нейроно в слоях

1, Полигауссовская ПРВ с различными средними / Байесовская НС с квадратичными достаточными статистиками 0,={Х-щУ-(Х-т,) 4 -(Л) Ее М 1=1 4-2-1

2. Полигауссовская ПРВ с различными средними / Байесовская НС с линейными достаточными статистиками Ц={хТ-т), / V \ Ь Т ^ 2 е °г +е °2 4-2-1

М У

3. Многослойная НС с вычислением линейных достаточных статистик на основе векторов средних т, А ={хТ >",)' Ьв^ / > 1 3-1

^ 2 11 + е ст2 ;

4. ИНС с одним нейроном и новой двухпороговой логистической функцией активации ¿(1 = (х, +х2) ( 1°~Уг 1лр= 1 + е "2 +е V ^ -1 1

5. ИНС с одним нейроном и новой двухпороговой логистической функцией активации Ь = {Х1-Х2) иР = 1- 1 + е +е / -1 1

6. Полигауссовская ПРВ с двумя различными корреляциями (21 = (хт-в\-х\ в2 = (хг-В2-х\ 1 -1 В1 = -1 1 1 1 52 = 1 1 16 ~ 61-62 1 + е 2ст2 2-1

7. ИНС на основе статистики проверки гипотезы о корреляции между отсчётами Х[ и х2, равной 1(для целочисленных х,) 0! = {хт-В\х) е 1

Разработанные методы применены при решении задачи обнаружения радиационного излучения с использованием радиационного портального монитора (РПМ) в условиях «подавления» фонового излучения от воздействия контролируемого объекта.

В настоящее время по всему миру установлены приборы радиационного контроля для предотвращения незаконного перемещения делящихся и радиоактивных материалов. На всех пограничных пунктах пропуска Российской Федерации, включая аэропорты, морские порты и автомобильные пункты, развёрнута система «Автоматизированный комплекс обнаружения делящихся и радиоактивных материалов» на базе радиационных портальных мониторов (РПМ) детектирования гамма- и нейтронного излучения.

При проезде объекта детектирования (например, автомобиля) мимо радиационного портального монитора осуществляется сканирование с целью определения наличия радиационного излучения с помощью детекторов, расположенных с каждой боковой стороны автомобиля.

Необходимо отметить недостаток используемого в настоящее время алгоритма детектирования РПМ, связанного с эффектом «подавления» фона. Эффект «подавления» фона возникает вследствие того, что объект детектирования (большегрузное транспортное средство) экранирует излучение от окружающих природных источников ионизирующего излучения, находящихся в зоне детектирования. Если не принимать во внимание эффект подавления фона, то алгоритм, вычисляющий тревожный порог исключительно в условиях отсутствия объекта в зоне контроля, будет менее чувствителен к радиационному излучению. Это увеличивает вероятность пропуска тревоги. Поскольку точное значение подавления фона различно для каждого типа местности, транспортного средства и груза, то считается, что указанный эффект нельзя надёжно задать априорно. На рис. 6 приведён пример регистрации радиационного излучения РПМ при проезде автомобиля с источником ионизирующего излучения, при котором происходит эффект «подавления» фона (фиксируемый уровень излучения не превышает значение тревожного порога).

Рис. 6. Зависимость гамма-фона от времени для проезжающего автомобиля с источником ионизирующего излучения. Прямая горизонтальная линия - тревожный порог, вычисленный в период отсутствия контролируемого объекта

Применение полигауссовской модели с различными средними значениями и гауссовского приближения с заданной ковариацией для фонового излучения и его изменения («проседания») позволило разработать эффективный нейросетевой алгоритм и структуру сети. Данное решение позволило преодолеть ограничение существующего алгоритма обнаружения и исключить ошибки пропуска тревоги, свойственные широко применяемым в настоящее время алгоритмам работы РПМ.

Предложенный вариант ИНС был испытан на реальных данных, полученных в результате натурного моделирования эффекта «подавления фона», проведённого компанией «Siebersdorf Research» (Австрия) на испытательном полигоне с использование радиационного портального монитора Янтарь-1 А, произведённого ЗАО «НПЦ «Аспект» им. Ю.К. Недачина, г. Дубна, а также на проведённом автором имитационном моделировании. Ниже на рис. 7 представлены данные указанных испытаний.

Рис. 7. Совокупность зависимостей интенсивности (скорости счёта) от времени (с) в условиях эффекта «подавления» фона при наличии радиационного излучения

Структура искусственной нейронной сети представлена ниже на рис. 8.

Xi-N

Рис. 8. Структура искусственной нейронной сети с линиями задержки

Определены необходимые для вычисления в первом скрытом слое ИНС весовые коэффициенты Ж нейронов, с помощью которых определяются достаточные статистики Ь{Х)

По результатам натурного эксперимента и имитационного моделирования сделан вывод, что синтезированная автором НС с высокой достоверностью (Р = 0,996 ) осуществляет обнаружение радиационного излучения в условиях

«подавления» фона. Существующий алгоритм РПМ обеспечивает вероятность правильного приёма Р = 0,882.

Полученный алгоритм не зависит от изменения (подавления) уровня постоянного радиационного фона, от мощности и длительности радиационного излучения и от момента появления излучения во времени.

Эти результаты внедрены на предприятии ЗАО «НПЦ «Аспект» им. Ю.К. Недачина.

Кроме решения выше описанной задачи, разработанные в диссертации методы лежат в основе системы классификации морских кораблей по шумовым гидроакустическим сигналам.

Для целей мониторинга и обеспечения подводного наблюдения и охраны морских акваторий используются гидроакустические системы (ГАС). Подобные системы представляют собой совокупность гидроакустических антенн, размещаемых на значительном расстоянии друг от друга и объединяемых в единую систему с центром наблюдения и обработки данных. Рассматриваемые ГАС позволяют решать комплекс задач по осуществлению пеленгации, определению координат, по оценке динамических характеристик объектов и их последующей классификации по измеряемым параметрам гидроакустических полей в режиме шумопеленгации. Каждая гидроакустическая антенна представляет собой совокупность отдельных гидрофонов (приёмников, датчиков) и образует пространственно развитую антенную решётку, размещаемую на морском дне.

Для построения системы классификации морских кораблей разработана ИНС, обеспечивающая накопление знаний о свойствах наблюдаемых объектов по шумовым гидроакустическим сигналам.

Знания о свойствах класса морских кораблей заключены в параметрах полигауссовской вероятностной модели. Решение задачи классификации связано с построением искусственной нейронной сети, обеспечивающей накопление знаний в виде параметров сети, связанных с параметрами вероятностной модели. Для оценки указанных параметров использованы алгоритмы обучения, полученные автором и изложенные во второй главе. Характеристики (знания) о сигналах, интерпретированные по параметрам ИНС и ПВМ, представлены в виде графиков средних значений и ковариационных функций энергетических спектров, создаваемых надводными кораблями в виде шумовых полей. Данные получены на основе анализа экспериментальных данных ГАС МГК-608Э.

Ниже на рис. 9-11 представлены некоторые характеристики (знания) о шумовых сигналах надводных кораблей, полученные автором на основе построения ИНС.

Рис. 9. Расстояние между кластерами в виде 3D - графика информационной меры расхождения

Кульбака J{i,j)

Рисунки наглядно отображают представление знаний в виде параметров Q = (mi,m2,...,m6;Rl,R2,...,R6) и характеристики отличия кластеров в виде меры j(a,jB).

Методы и синтезированные нейросетевые алгоритмы для формирования знаний о морских кораблях по их шумовым гидроакустическим сигналам внедрены на ОАО «Научно-исследовательский институт «Атолл», ю

8

Щ.6 6

R6j,i 4 2

0 0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160

i

а)

10

9 8

mi,2 6

R2j,i 4

- 3

2

1

°0 10 ~20 30 40 50 60~ 70 líO ~90 ТОО ^10 120 130 140 150 160

i

б)

Рис. 10. Характеристики класса данных для шестого и второго типов надводных кораблей

t

Рис. 11. Изображения в 3D - графике матрицы R6 6-го кластера данных (ковариация энергетических спектров шумов 6-го корабля)

В приложении 1 в качестве примера синтеза МНС на основе частных АПВ представлены решения ряда известных задач по распознаванию сигналов QAM и QPSK в телекоммуникационных системах. Приведены весовые коэффициенты и смещения синтезируемых ИНС для решения задач классификация сигналов QAM-4, 1 QPSK-8, QAM-22".

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработаны методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей.

2. Разработаны алгоритмы обучения искусственных нейронных сетей, функционирующие параллельно с процедурой классификации.

3. Разработаны асимптотически-оптимальные полигауссовские вычислительные алгоритмы реализации нейронных сетей.

4. Показано, что основное назначение нейронов первого скрытого слоя ИНС состоит в реализации вычислений условных достаточных статистик и частных или обобщенных функций АПВ.

5. Обоснован метод применения достаточных и условно-достаточных статистик при построении искусственных нейронных сетей.

6. Доказано, что взаимно однозначное соответствие между параметрами ИНС и параметрами полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.

7. Повышение эффективности функционирования ИНС обеспечивается с помощью введения квадратичных форм наряду с используемыми линейными формами преобразования данных.

8. Предложен метод синтеза динамических НС на основе ПВМ, позволяющий преодолеть проблему «проклятие размерности». j

9. Предложен метод оценки вероятностей ошибок и правильной классификации при использовании полигауссовских моделей.

10. Получены новые нейросетевые алгоритмы реализации оператора «Исключающее ИЛИ».

11. Получены новые двухпороговые функций активации ИНС.

12. Разработанные методы применены при реализации системы обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого объекта и при создании системы классификации морских кораблей по шумовым гидроакустическим сигналам. Полученные результаты внедрены на ЗАО «НПЦ «Аспект» им. Ю.К. Недачина и ОАО «Научно-исследовательский институт «Атолл».

13. Развитая теория и методы построения искусственных нейронных сетей в виде методических материалов используются в учебном процессе Международного университета природы, общества и человека «Дубна».

ПЕРЕЧЕНЬ ПУБЛИКАЦИЙ

1. Сахаров Ю.С, Трофимов Я.А. «Методы синтеза полигауссовский искусственных нейронных сетей» // Вестник Воронежского государственного технического университета. - Воронеж: ВГТУ, 2010. - Т.6. - № 11. - С. 78-80.

2. Трофимов Я.А. «Анализ свойств операторов логического базиса искусственных нейронных сетей» // Системный анализ в науке и образовании. Электронное научное издание. - Дубна, 2010. - № 4. - [Электронный ресурс]. URL: http://www.sanse.ru/archive/18 (дата обращения: 24.02.2011).

3. Трофимов А.Т, Трофимов Я.А. «Принципы построения искусственных нейронных сетей на основе полигауссовских вероятностных моделей» // Сб. научн. тр. 11-ой Всерос. н.-т. конф. «Нейроинформатика-2009». - М.: НИЯУ МИФИ, 2009. - Т.2. - С. 95-99.

4. Трофимов А.Т, Трофимов Я.А. «Статистические методы синтеза искусственных нейронных сетей» // Сб. трудов 11-й Междунар. конф. «Цифровая обработка сигналов и её применение». - М.: Инсвязьиздат, 2009. - Т.2. - С. 590-592.

5. Трофимов Я.А. «Байесовская активационная функция искусственных нейронных сетей» // Материалы 16-й научной конф. студентов, аспирантов и молодых специалистов. - Дубна: Междунар. ун-т природы, о-ва и человека «Дубна», 2010.-С. 193-194.

6. Трофимов Я.А. «Синтез динамических полигауссовских искусственных нейронных сетей» // Сб. трудов 12-й Междунар. конф. «Цифровая обработка сигналов и её применение 2010». - М.: Инсвязьиздат, 2010. - М: МИФИ, 2010. - Т.2. -С. 345-347.

7. Трофимов Я.А. «Анализ свойств операторов логического базиса полигауссовских искусственных нейронных сетей» // Сб. научн. тр. 13-ой Всерос. н.-т. конф. «Нейроинформатика-2011». - М.: НИЯУ МИФИ, 2010. - Т.З. - С. 230-233.

Подписано в печать 07.04.2011 г. Заказ №04068. Тираж 100 экз. ООО "Экспресс-Типография"; ИНН 5010035227 141980, М.О, г. Дубна, пр-т. Боголюбова 26, офис 2, тел.: 2-99-98

Глава Ь. Анализ статистических и нейросетевых методов решения задач классификации.

1.1 Исторические предпосылки развития технологии- искусственных нейронных сетей.

1.2 Основные принципы и преимущества нейросетевых технологий

1.2.1 Свойство универсальной аппроксимации.

1.2.2 Отображение входных данных в выходные.

1.2.3 Свойство обобщения.

1.2.4 Линейная разделимость.

1.2.5 Адаптивность.

1.2.6 Нелинейность.

1.2.7 Отказоустойчивость.

1.2.8 Универсальность.

1.3 Обработка данных ИНС и статистические методы.

1.3.1 Критерий Байеса.

1.3.2 Критерий Неймана-Пирсона.

1.4 Анализ характеристик операторов ИНС и алгоритмов, синтезированных на основе статистических методов.

1.4.1 Характеристики классификатора на примере обнаружителя детерминированного сигнала на фоне гауссовского шума.

1.4.2 Характеристики классификатора на основе различения двух линейно-независимых векторов со случайными параметрами.

1.4.3 Характеристики классификатора на примере задачи обнаружения случайного сигнала с детерминированной амплитудой и случайной начальной фазой.

1.5 Выводы по главе.

Глава 2. Методы синтеза искусственных нейронных сетей с использованием вероятностных моделей :.

2.1 Представление наблюдаемых данных полигауссовской вероятностной моделью.

2.2 Синтез байесовских нейронных сетей по критерию среднего риска

2.3 Достаточные статистики для полигауссовских алгоритмов.

2.4 Асимптотические приближения ^вычислительные особенности реализации операторов полигауссовских нейронных сетей.

2.5 Синтез байесовских нейронных сетей с использованием полигауссовской вероятностной модели с различными средними значениями и одинаковой ковариацией.

2.6 Синтез байесовских нейронных сетей при использовании полигауссовской вероятностной модели с различными ковариациями.

2.7 Оценка вероятности ошибок классификации.

2.8 Процедуры обучения и адаптации байесовских нейронных сетей при использовании полигауссовской вероятностной модели представления данных.

2.9 Динамические байесовские нейронные сети с использованием полигауссовской вероятностной модели.

2.10 Выводы по главе.

Глава 3.' Построение искусственных нейронных сетей на основе аппроксимации функционала байесовской нейронной сети „

3.1 Аппроксимация функционала апостериорной вероятности путём применения операторов нейросетевого логического базиса.

3.2 Интерпретация весовых коэффициентов и смещений многослойных нейронных сетей по параметрам полигауссовской вероятностной модели.

3.3 Инвариантность процедур обработки-в многослойных нейронных сетях к изменению параметров данных.

3.4 Синтез сетей на основе радиальных базисных функций по критерию максимального правдоподобия с использованием полигауссовской вероятностной модели.

3.5 Выводы по главе.

Глава 4. Применение методов синтеза нейронных сетей при разработке систем классификации.

4.1 Реализация функции «Исключающее ИЛИ» в логическом нейросетевом базисе с применением полигауссовской вероятностной модели представления данных.

4.2 Синтез системы классификации делящихся и радиоактивных материалов на основе радиационных портальных мониторов.

4.3 Представление знаний с помощью ИНС для классификации морских объектов по создаваемым ими шумовым гидроакустическим полям

4.4 Выводы по главе.

В' настоящее время теория искусственных нейронных сетей имеет междисциплинарный характер и является одной из наиболее динамично развивающихся информационных технологий, которая применяется в различных научных и прикладных областях. Практика применения искусственных нейронных сетей (ИНС) включает такие области, как нейронная математика и нейроинформатика. Созданы и получили широкое распространение нейрочипы и нейрокомпьютеры. ИНС успешно применяются в широком диапазоне приложений - от бытовых приборов, до сложнейших вычислительных комплексов управления боевыми действиями. Объединение возможностей нейросетевых технологий с нечёткой математикой и нечёткой логикой, генетическим, эволюционным программированием и мягкими вычислениями позволяет расширить класс решаемых задач в условиях неопределённостей.

С одной стороны, специалисты в области нейронных сетей отмечают, что в случае, если алгоритмы известны и не хватает вычислительных мощностей, сети позволяют использовать мощные аппаратные средства с массовым параллелизмом, предварительно представив алгоритм в нейросетевом базисе. С другой стороны, когда алгоритмы неизвестны или они недостаточно эффективны, нейронные сети предлагают многообещающий подход при создании систем обработки данных. Полученные системы обладают гибкостью и способностью адаптации к изменению внешних условий.

В алгоритмическом смысле нейронные сети представляют собой принципиально новый подход к синтезу методов обработки данных. За счёт применения специальных архитектур, которые используют большое количество одинаковых, достаточно простых элементов, появляется возможность использования параллельных вычислительных средств. Простота элементов позволяет реализовать массовую параллельность вычислений, а полученное повышение быстродействия может достигать сотен и даже тысяч раз. Такая технология предоставляет информационной системе возможность обучаться на примерах. Прш этом, как отмечается в' литературе, искусственные нейронные сети получают решения'для проблем, ранее считавшихся неразрешимыми.

Обзор всей литературы по данной области- не представляется7 возможным. Только в Китае за период с 2005 по 2008 г количество выпущенных печатных работ составляет более 5000: Среди наиболее значимых необходимо указать следующие работы [6; 7; 11; 47; 66; 68; 82; 83; 103].

Основополагающие принципы теории искусственных нейронных сетей были заложены в работе Уоррена Маккалоха (Warren S. McCulloh) и Уолтера Питтса (Walter A. Pitts) [40; 101]. Дальнейшее развитие было сделано в работах Дональда Хэбба (Donald O.Hebb) и Франка Разенблатта (Frank Rosenblatt) [51; 52; 89; 104], в критических работах Марвина Минского (Marvin Minsky) и Сеймура Пейперта (Seymour Papert) [102; 44]. Получены наиважнейшие теоретические и практические результаты в работах зарубежных учёных: S. Amari, S. Anderson, M. Arbib, К. Fukushima, S. Grossberg, T. Kohenen, B. Widrow; отечественных учёных: Я.З. Цыпкин, А.И. Галушкин, С.И. Барцев,

B.А. Охонин, А.Н. Горбань, Е.М. Миркес, B.JL Дунин-Барковский,

C.А. Терехов, A.JI. Микаэлян, И.Г. Персианцев, А.И. Хилько, В.Г. Яхно и др. Проблемам принятия решения в условиях неопределённости в общей теории, систем и, в частности, в теории управления с использованием ИНС посвящены многие работы известных отечественных исследователей, таких как Ю.Г.Евтушенко [22-24], C.B. Емельянов [25-27; 113], H.H. Моисеев [45; 45], Ю.А. Флеров [28], E.H. Черемисина [18; 77], P.A. Алиев [80], C.B. Ульянов [97; 98; 107], А.Н. Аверкин [59; 81] и др., а также многих зарубежных исследователей, среди которых необходимо выделить Lotfi A. Zadeh [29; 30; 112], T. Saati [54; 55], M. Jamshidi, Е. Mamdani и др.

Методы искусственных нейронных сетей наиболее широко используются в задачах классификации. Задача классификации представляет собой задачу отнесения образца к одному из нескольких непересекающихся множеств. При решении задач классификации ИНС должна отнести имеющиеся характеристики объекта (наблюдаемые данные) к одному или нескольким определённым классам.

Однако остаются открытыми вопросы выбора топологии сети, определение количества слоев и нейронов, интерпретации весовых коэффициентов и смещений, оценки их оптимальности, в частности, в задачах классификации.

Как отмечено в [60, с.б], в настоящее время выбор вида сети происходит чисто эмпирически. Доказан ряд теорем о том, что сети нескольких определённых архитектур являются универсальными аппроксиматорами. Действительно, самым важным свойством нейронных сетей является возможность аппроксимировать непрерывную функцию любого типа [84; 85; 90; 92]. Это свойство известно как теорема универсальной аппроксимации. Теорема универсальной аппроксимации определяет необходимые, но не достаточные условия аппроксимации произвольной функции и не даёт рекомендации по выбору числа нейронов и количества слоёв нейронной сети. Выбор структуры сети и числа её элементов (нейронов) решается также эмпирически. Существует ряд результатов исследований о количестве нейронов, требуемых для достаточно точного решения задачи [4; 5; 8], однако, как отмечается в [60, с.7], они пока носят мало конструктивный характер. Предложены алгоритмы подбора структуры сети, которые являются того или иного вида генетическими алгоритмами. Условия сходимости такого рода алгоритмов недостаточно исследованы, ещё меньше известно о скорости их сходимости [60, с.7]. Относительно алгоритмов подбора весов сети отмечено, что ряд из них является применением к нейронным сетям известных и достаточно хорошо изученных методов нелинейной оптимизации.

Со стороны учёных в области статистических решений утверждения исследователей о том, что нейронные сети якобы могут обеспечить качество функционирования лучшее, чем оптимальное, и, что традиционная теория статистических решений устарела, вызывают большое сомнение. Необходимо отметить, что нейросетевые технологии лишь позволяют приблизиться сколь угодно близко к> истинно оптимальным: решениями для* сложных и нетривиальных условий принятия, решений, хотя; получение такого приближения является, очень важным звеном во многих практических приложениях: .

В то же время накоплен большой теоретико-эмпирический фундамент для создания систем классификации на основе:теории статистических- решений и-правил статистического синтеза. Этому; посвящено.» большое число работ следующих-учёных: Г. Крамер, С. Кульбак, Р. Фишер,' Н. Винер, P.E. Калман, Д. Миддлтон, Г. Ван- Трис, Э. Патрик, А.Н. Колмогоров,, В.А. Котельников, Б.Р. Левин, В.И. Тихонов,' Ю.Г. Сосулин,. М.С. Ярлыков* KDG. Шинаков, Р.Л. Стратонович, Н.Г. Загоруйко, В.Н. Вапник, А.Я. Червоненкис и др.

В основе статистических: решений лежит предположение, что распределение вероятностей наблюдаемой, случайной величины принадлежит некоторому априорно заданному множеству. На основе плотностей распределения вероятностей, отношения правдоподобия, вычисления апостериорных вероятностей статистические решения позволяют синтезировать строгие (оптимальные при; заданном критерии) алгоритмы обработки.

Методы на основе статистических правил при адекватности выбранной модели для исходных данных дают однозначный ответ на вопрос о значении всех параметров алгоритма: обработки. Проблема применимости статистических алгоритмов связана с выбором и обоснованием-"модели распределения, адекватной данным и решаемой задаче. Для; преодоления неопределённостей используются адаптивные алгоритмы на основе статистических методов, которые позволяют решить любую задачу синтеза при задании модели возможных неопределённостей для исходных данных. В этих целях, в частности, используются полигауссовские вероятностные модели. Большую роль в развитии статистических методов сыграли работы A.B. Сульдина [56; 5:7], A.A. Дороднова [19-21], Ш.М. Чабдарова [72; 75], А.Т. Трофимова [62-64], Н.З. Сафиуллина [73], А. Ф. Надеева [74] и др.

Всё это обуславливает актуальность выбранной темы исследования.

Целью диссертационной работы является разработка методов построения ; искусственных / нейронных сетей, основанных на применении полигауссовской вероятностной модели представления данных; и статистических критериев синтеза для задач классификации.

Для достижения цели поставлены следующие задачи: .

Сравнительный анализ современных подходов; к построению систем классификации данных;

• Разработка методов построения искусственных нейронных сетей на основе применения полигауссовских вероятностных моделей: наблюдаемых данных;: • " *

• Обоснование принципов, позволяющих интерпретировать знания, представляемые искусственными^нейронными сетями;' ;

• Практическое применение; разработанного инструментария в проблемно-ориентированных областях;

В рамках выделенных направлений были использованы принципы и методы системного анализа (принцип оптимальности; принцип, структурного анализа и синтеза), математической статистики, теории вероятностей, теории искусственных нейронных сетей; теории статистических, решений, имитационного моделирования и теории сигналов.

С целью актуализации исследований • выполнен анализ научно-методической литературы. Основой для исследования послужили; результаты; работ, проведённых в, области искусственного интеллекта; интеллектуальных систем, искусственных нейронных сетей, нечётких систем, теории статистических, решений и. синтеза систем классификации, использования полигауссовских вероятностных моделей:[2; 6; 10; 12; 13; 16; 33; 37; 38; 41; 49; 59; 60; 61; 63; 65; 66; 68; 70; 72; 78; 82; 90].

Объектом исследования являются искусственные нейронные сети для, решения задач классификации.

Предметом исследования являются методы построения искусственных нейронных сетей, основанные на полигауссовской модели представления данных. I

Научная новизна заключается в следующем:

1. Впервые разработаны методы построения искусственных нейронных сетей на основе 'применения< полигауссовской вероятностной модели представления данных и статистических критериев синтеза.

2. Получены новые структуры, новые логические операторы и новые алгоритмы обучения искусственных нейронных сетей.

3. Научно обоснованы принципы интерпретации параметров искусственных нейронных сетей как знаний об исходных данных и свойствах окружающей среды.

Практическая значимость определяется следующими результатами:

1. Методические рекомендации по результатам диссертации могут использоваться для синтеза искусственных нейронных сетей при решении различных задач классификации, в том числе для обработки многомерных данных и многокомпонентных временных рядов.

2. Предложенные в диссертации методы можно использовать при обучении специалистов в области разработки различных интеллектуальных систем с использованием искусственных нейронных сетей.

3. Апробация разработанных методов показала целесообразность и 4 состоятельность их использования при решении задачи обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого объекта и при создании системы классификации морских кораблей по шумовым гидроакустическим сигналам. ■ ■ . ' 11. •""'.■■'■•:'.

Защищаемые положения' диссертационной:/ работы следуют из научной новизны и состоят в следующем:

1. Разработанные методы построения ИКС с использованием полигауссовской вероятностной модели представления данных основаны на применении вычислений; линейных и квадратичных достаточных статистик; и функций апостериорных вероятностей. Применение квадратичных достаточных статистик позволяет снизить вычислительные затраты и повысить точность классификации при реализации ИНС.

2. Предлагаемые алгоритмы,обучения, функционирующие параллельно с алгоритмом классификации, позволяют создавать, более гибкие сети, в том числе с изменяемой структурой, с помощью обучения на основе оценивания параметров полигауссовской вероятностной модели (ПВМ).

3'. Взаимно? однозначное соответствие между параметрами, ИНС и параметрами; полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.

4: Применение динамических полигауссовских нейронных сетей5 для классификациишозволяет преодолеть проблему «проклятие размерности».

В первой главе данного диссертационного исследования выполнен сравнительный анализ статистических и нейросетевых методов решения* задач классификации1 на примере решения хорошо известных и важных задач для телекоммуникационных систем. Приводятся основные свойства и принципы построения искусственных нейронных сетей, исторические аспекты их развития и применения. Описываются основные критерии при классификации на основе статистических методов. Проводится имитационное моделирование решения бинарных задач классификации на основе нейросетевых и статистических методов^ Построены рабочие характеристики классификатора. Показывается взаимосвязь между вычислением? функции апостериорной вероятности и логистической функцией активации ИНС для решения бинарных задач классификации. Получены выражения для плотности распределения вероятностей логистической функции.

Вторая глава посвящена разработке методов построения нейронных сетей при использовании статистических методов и полигауссовского представления исходных данных.

На основе полигауссовской вероятностной модели (ПВМ) представления исходных данных записаны выражения полигауссовской плотности распределения вероятностей случайной величины и достаточных статистик. Обосновывается необходимость введения линейных и квадратичных достаточных статистик. Отмечается важность использования квадратичных достаточных статистик.

Описывается полученная структура байесовской нейронной сети (БНС) на основе применения критерия среднего риска для оценивания номера (индекса) класса при использовании ПВМ.

На основе статистических методов показываются аналитические оценки вероятностей ложной классификации. Предлагается применение метода для оценивания вероятностей правильной и ложной классификации с использованием информационной меры Кульбака в качестве меры различия между гауссовскими компонентами модели.

Обосновывается применение асимптотически оптимальных процедур реализации алгоритмов обработки. Данные алгоритмы основаны ' на использовании асимптотически-нормальной статистики Реализация асимптотически оптимальных алгоритмов позволяет существенно снизить аппаратные затраты при построении нейронных сетей.

Приводится структура вычислений с использованием статистических критериев принятия решений при представлении данных, описываемых одинаковыми средними значениями и различными ковариациями; различными средними и одинаковыми ковариациями; различными средними и различными ковариациями.

На основе известных градиентных алгоритмов получены алгоритмы обучения и адаптации байесовских нейронных сетей. Используется информационный, критерий» близости полигауссовской вероятностной модели к истинной плотности- распределения вероятностей, характеризующей входные данные. Полученные алгоритмы обучения (адаптации) функционируют параллельно с основным алгоритмом классификации, что- является отличительною особенностью от методов на основе обратного распространения ошибки.

Предложена, структура динамической нейронной сети на основе полигауссовской модели, позволяющей преодалеть проблему «проклятие размерности». Проблема проклятия размерности связана с тем, что с ростом размерности наблюдаемых данных возрастает необходимость в увеличении числа нейронов, числа слоев сети и числа межнейронных синаптических связей:

В третьей главе разработаны-методы-синтеза многослойных нейронных сетей. Показаны возможности аппроксимации байесовской апостериорной: вероятности с помощью логических операторов, многослойных нейронных сетей. Доказывается, что логистическая функция представляет собой частную апостериорную вероятность, которая совпадает в случае функции двоичной классификации. В" качестве частного вида апостериорной вероятности предлагается применение двухпороговой логистической функции.

Рассмотрена структура вычислений и архитектура соответствующих синтезируемых многослойных нейронных сетей. Использование многослойных нейронных сетей вместо байесовских нейронных сетей, позволяет снизить аппаратные и вычислительные затраты при сохранении оптимальности классификации.

Показано, что методика построения нейронных сетей сводится к построению первого скрытого слоя для вычисления достаточных статистик в виде линейных и квадратичных форм относительно исходных данных и применению- частных апостериорных вероятностей в качестве выходов нейронов. Второй и третий скрытые слои предназначены для вычисления функции логических операций над действительными переменными.

В главе рассматриваются вопросы* вычислительной взаимосвязи МНС с нейронными сетями' на основе радиальных базисных функций. Такие нейронные сети (11ВР-сети, сети Кохонена, ЬУС)-сети) в качестве функций активации используют соответствующие функции, которые синтезируются непосредственно на основе применения * ПВМ и использования критерия максимального правдоподобия* для решения задачи классификации (кластеризации).

На основе взаимосвязи с параметрами полигауссовской вероятностной модели в главе развиваются принципы интерпретации-весовых коэффициентов * и смещений. Показывается, что знания, представляемые свободными параметрами! нейронных сетей (весовыми коэффициентами и смещениями), взаимно однозначно связаны с параметрами полигауссовской вероятностной модели.

В четвёртой главе на основе предложенных методов построения искусственных нейронных сетей показываются результаты решения ряда теоретических и практически важных задач

Рассматриваются новые решения хорошо известной задачи «Исключающее ИЛИ» на основе синтезируемых ИНС. Путём имитационного моделирования детально исследуются полученные автором структуры НС для решения задачи «Исключающее ИЛИ» с различными типами- переменных (логические и действительные).

Применение ПВМ для синтеза нейросетевого алгоритма «Исключающего ИЛИ» позволяет наглядно продемонстрировать эффективность предлагаемых методов и получить новые оригинальные структуры и операторы нейронных сетей.

Показывается возможность применения разработанных методов при решении задачи обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого объекта с использованием радиационного портального монитора. Описывается' функциональное назначение системы, используемый алгоритм обнаружения, подчёркиваются его ограничение, связанное с пропуском тревоги, при понижении фонового гамма-излучения, вызванного проходящим контролируемым объектом. Показывается структура, веса и- смещения синтезированной нейронной сети и их взаимосвязь с параметрами полигауссовской модели представления1 данных. Приводятся результаты работы полученной системы классификации, результаты натурного и имитационного моделирования. Решение на основе нейронной сети, полученной с использованием разработанных методов, позволило преодолеть ограничение существующего алгоритма обнаружения.

Разработанные методы применены при создании системы классификации морских кораблей по шумовым гидроакустическим сигналам. Для построения системы классификации морских кораблей разработана ИНС, обеспечивающая накопление знаний о свойствах наблюдаемых объектов по шумовым гидроакустическим сигналам. Показывается формирование знаний, представляемых искусственной нейронной сетью на основе полигауссовской модели. Алгоритмы работы НС испытаны на реальных данных, полученных гидроакустической системой ГАС МГК-608Э. Приводится взаимосвязь параметров ИНС с параметрами полигауссовской модели представления данных.

В заключении сформулированы основные результаты проведённых исследований, которые сводятся к следующему:

1. Разработаны методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей.

2. Разработаны алгоритмы обучения- искусственных нейронных сетей, функционирующие параллельно с процедурой классификации.

3. Разработаны асимптотически-оптимальные полигауссовские вычислительные алгоритмы реализации нейронных сетей.

4. Показано, что основное назначение нейронов первого скрытого слоя ИНС состоит в реализации вычислений условных достаточных статистик и частных или обобщенных функций АПВ. I

5. Обоснован метод применения достаточных и условно-достаточных статистик при построении искусственных нейронных сетей.'

6. Доказано, что взаимно однозначное соответствие между" параметрами ИНС и параметрами .полигауссовской вероятностной, 'модели позволяет, интерпретировать знания, представляемые ИНС.

7. Повышение эффективности функционирования ИНС обеспечивается с помощью введения квадратичных форм наряду с используемыми линейными формами преобразования данных.

• 8. Предложен метод синтеза динамических НС на основе ПВМ, позволяющий преодолеть проблему «проклятие размерности».

9; Предложен метод оценки вероятностей ошибок и правильной классификации при использовании полигауссовских моделей.

10. Получены новые нейросетевые алгоритмы реализации оператора «Исключающее ИЛИ».

11. Получены новые двухпороговые функций активации ИНС.

12. Разработанные методы применены при реализации, системы обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого.объекта и' при создании системы классификации морских кораблей по шумовым гидроакустическим сигналам. Полученные результаты внедрены на ЗАО «НПЦ «Аспект» им. Ю.К. Недачина и ОАО «Научно-исследовательский институт «Атолл».

13. Развитая теория и методы построения искусственных нейронных сетей в виде методических материалов используются в учебном процессе Международного университета природы, общества и человека «Дубна».

4.4 Выводы по главе

Приведём результаты применения разработанных методов построения ИНС к решению ряда теоретических и практически важных задач.

Пример построения ИНС для решения исторически значимой для теории искусственных нейронных сетей задачи «Исключающее ИЛИ» использован нами в качестве тестового для демонстрации возможностей методов построения НС на основе применения ПВМ для представления данных.

При использовании ПВМ с четырьмя различными средними и одинаковой ковариацией (¿>- коррелированные отсчёты с малыми по величине дисперсиями) получены два типа БНС с одним скрытым слоем с четырьмя нейронами, и латеральными связями между ними. Типы БНС различаются видом вычисляемых условных достаточных статистик. Одна структура получена на основе вычисления линейных, а другая квадратичных достаточных статистик.

При< использовании ПВМ с двумя различными ковариациями и. одинаковыми математическими ожиданиями получена структура* БНС с двумя нейронами в первом" скрытом слое на основе вычисления квадратичных достаточных статистик. При использовании частных АПВ получены новые структуры НС с применением обоснованных нами двухпороговых логистических функций, использованием одного нейрона и вычислением линейной достаточной статистики. Интересной, на наш взгляд, является обоснованная нами структура НС для реализации операции «Исключающее ИЛИ» с применением одного единственного нейрона и использованием функции активации в виде квадрата разности координат (отсчётов) вектора данных. Квадрат разности двух величин будет равен нулю при одинаковых значениях отсчётов и равен единице при различающихся значениях.

Полученные структуры НС для решения задачи «Исключающее ИЛИ» детально исследованы нами путём имитационного моделирования для различных типов переменных (логических и действительных). Для обеспечения наглядности решения задачи в разделе 4.1 приведены ЗО графики выходов нейронных сетей.

Применение ПВМ для синтеза нейросетевого алгоритма «Исключающего ИЛИ» позволило наглядно продемонстрировать эффективность предлагаемых методов и получить новые оригинальные структуры и операторы нейронных сетей.

Состоятельность методов построения ИНС подтверждается при решении задачи обнаружения радиационного излучения с использованием РГТМ в условиях «подавления фона», вызванного проходящим транспортным средством. Использование предлагаемых методов построения ИНС позволило разработать эффективный нейросетевой алгоритм и структуру сети для обнаружения радиационного излучения. Полученный алгоритм не зависит от изменения (подавления) уровня постоянного радиационного фона, от мощности и длительности радиационного излучения и от момента появления излучения во времени.

Благодаря применению полученных НС исключень1 ошибки пропуска тревоги, свойственные широко применяемым в настоящее время алгоритмам работы РПМ. Эти результаты внедрены на предприятии ЗАО «НПЦ «Аспект» им. Ю.К. Недачина.

Для построения системы классификации морских кораблей разработана НС, обеспечивающая накопление знаний о свойствах наблюдаемых объектов по шумовым гидроакустическим сигналам. Алгоритмы работы НС испытаны на реальных данных, полученных гидроакустической системой ГАС МГК-608Э.

Характеристики (знания) ' о сигналах, интерпретированные по параметрам ИНС и ПВМ представлены в разделе 4.3 в виде графиков средних значений и ковариационных функций энергетических спектров, создаваемых надводными кораблями в виде шумовых полей.

Методы и синтезированные нейросетевые алгоритмы для формирования знаний о морских кораблях по их шумовым гидроакустическим сигналам внедрены на ОАО «Научно-исследовательский институт «Атолл».

ЗАКЛЮЧЕНИЕ

В диссертационной работе «Методы построения искусственных нейронных сетей для задач классификации на основе полигауссовских вероятностных моделей» получены следующие результаты.

Выполнен сравнительный анализ статистических и нейросетевых методов решения задач классификации на примере решения хорошо известных и важных задач для телекоммуникационных систем. Приведены основные свойства и принципы построения искусственных нейронных сетей, исторические аспекты их развития и применения. Описаны основные критерии при классификации на основе статистических методов.

Приведены результаты имитационного моделирования решения задач классификации для систем телекоммуникации на основе нейросетевых и статистических методов. Построены рабочие характеристики классификатора. Отмечается взаимосвязь между вычислением функции апостериорной вероятности и логистической функцией активации ИНС для решения бинарной задачи классификации. Получены выражения для плотности распределения вероятностей логистической функции.

Рассмотренные в диссертационной работе примеры наглядно иллюстрируют проблемы выбора структуры ИНС, определения значений весовых коэффициентов, смещений и вида функции активации. Методы на основе статистических правил при адекватности выбранной вероятностной модели для сигналов и помех дают однозначный ответ на вопрос о значении всех параметров алгоритма обработки сигнала. Алгоритм нейронной сети можно интерпретировать как приближение (аппроксимация) оптимального правила решения.

Структура первого слоя ИНС и весовой коэффициент сети классификации реализуют операцию вычисления достаточной статистики Ь(х) = {х, Я~х • у) = (X, РУ) . Достаточная статистика Ь(X) определяется формой ожидаемого сигнала V и матрицей ковариации шума Я .

Алгоритмы на основе статистических методов и нейросетевые алгоритмы при. решении задач классификации (на примере обнаружения сигнала. на фоне гауссовских шумов) однозначно! определяются; математическим ожиданием и матрицей ковариации шума.

Из сравнения» статистических и нейросетевых алгоритмов; для-рассмотреннош примера (различения двух линейно-независимых, векторов); необходимо® отметить г их отличия. Статистический алгоритм основан* на вычислении квадратичной достаточной статистики (,1.10), (1.11). Нейросетевой алгоритм реализует классификацию на; основе вычисления весовой? функции, обеспечивающей инвариантность обработки векторов к случайной амплитуде. Безошибочной классификации: можно добиться только на- основе; применения; статистического алгоритма. Ошибки нейронной сети объясняются, неточностью определения весовой функции-инварианта.

Функционирование ИНО можно интерпретировать как алгоритм вычисления линейных достаточных статистик и их последующее использование для классификации объектов;

Следует отметить, что многослойные нейронные сети вычисляет только линейные достаточные статистики. Теория статистических решений требует вычисления квадратичных достаточных статистик.'

Сделан следующий вывод. Построение искусственных нейронных сетей возможно на основе использования-статистических методов И; вероятностных моделей представление данных.

Во второй главе «Методы синтеза искусственных нейронных сетей с использованием вероятностных моделей» разработаны методы построения нейронных сетей" при использовании статистических методов и полигауссовского представления исходных данных. Методы на основе статистических правил дают однозначный ответ на вопрос о значении параметров алгоритма обработки данных при описании полигауссовской моделью представления исходных данных.

На основе применения критерия среднего риска для оценивания номера индекса) класса при использовании ПВМ получена структура байесовской нейронной сети с одним скрытым слоем, латеральными связями между нейронами. При этом количество нейронов в, слое равняется количеству гауссовских компонент ПВМ.

На основе анализа алгоритма функционирования и структуры синтезированных БНС сделан следующий вывод. Первый скрытый слой предназначен для вычисления условных достаточных статистик и формирования на их основе функций АГГО.

В качестве важного вывода отмечено, что введение квадратичной формы наряду с линейными формами достаточных статистик является необходимым условием для повышения точности классификации и уменьшения объёма вычислений при функционировании ИНС.

На основе вышеизложенного сформулировано следующее защищаемое положение:

Разработанные методы построения ИНС с использованием, полигауссовской вероятностной модели представления данных основаны на применении вычислений линейных и квадратичных достаточных $ статистик и функций апостериорных вероятностей. Применение квадратичных достаточных статистик позволяет снизить вычислительные затраты и повысить точность классификации при реализации ИНС.

Приведена структура вычислений с использованием статистических критериев принятия решений при представлении данных, описываемых одинаковыми средними значениями и различными ковариациями; различными средними и одинаковыми ковариациями; и различными средними и различными ковариациями.

На основе статистических методов получены аналитические оценки вероятностей ложной классификации и правильной классификации. Предложен метод для оценивания вероятностей правильной и ложной классификации с использованием информационной меры Кульбака в качестве меры различия между гауссовскими компонентами модели.

Показано применение асимптотически оптимальных процедур реализации алгоритмов обработки. Реализация асимптотически оптимальных алгоритмов позволяет существенно снизить аппаратные затраты при построении нейронных сетей.

На основе известных градиентных алгоритмов получены алгоритмы обучения (адаптации) байесовских нейронных сетей. Используется информационный критерий близости полигауссовской вероятностной модели к истинной плотности распределения вероятностей, характеризующей входные данные. Полученные алгоритмы обучения (адаптации) функционируют параллельно с основным алгоритмом классификации, что является отличительной особенностью от методов на основе обратного распространения ошибки. В результате адаптации (обучения) мы находим значения параметров полигауссовской модели, характеризующих исходные наблюдаемые данные. В качестве защищаемого положения сформулировано следующее: Предлагаемые алгоритмы обучения, функционирующие параллельно с алгоритмом классификации, позволяют создавать более гибкие сети, в том числе' с изменяемой структурой, путём оценивания параметров полигауссовской вероятностной модели (ПВМ).

Предложена структура динамической нейронной сети на основе полигауссовской модели, позволяющей преодалеть проблему «проклятие размерности». Проблема проклятия размерности связана с тем, что с ростом, размерности наблюдаемых данных возрастает необходимость в увеличении числа нейронов, числа слоев сети и числа межнейронных синаптических связей. В качестве защищаемого положения сформулировано следующее:

Применение динамических полигауссовских нейронных сетей для классификации позволяет преодолеть проблему «проклятие размерности».

В третьей главе разработаны методы синтеза многослойных нейронных сетей. Показаны возможности аппроксимации байесовской апостериорной вероятности с помощью логических операторов многослойных нейронных сетей. Доказано, что логистическая функция > представляет собой частную апостериорную вероятность, которая' совпадает в случае функции двоичной классификации. В качестве частного вида апостериорной вероятности предложено применение новой двухпороговой логистической функции. Кроме этих функций получены и предложены к применению новые двухпороговые логистические функции, позволяющие уменьшить количество используемых нейронов в первом скрытом слое.

Показана методика построения нейронных сетей, которая сводится к построению первого скрытого слоя для вычисления достаточных статистик в виде линейных и квадратичных форм относительно исходных данных и применению частных апостериорных вероятностей в качестве выходов нейронов. Второй и третий скрытые слои предназначены для вычисления функции логических операций ИЛИ-над действительными переменными.

Показана вычислительная взаимосвязь МНС с нейронными сетями на основе радиальных базисных функций. Такие нейронные сети (ЯВР-сети, сети Кохонена, ЬУ(3-сети) в качестве функций активации используют соответствующие функции, которые синтезируются непосредственно на основе применения ПВМ и использования критерия максимального правдоподобия для решения задачи классификации (кластеризации).

Применение ПВМ при построении ИНС с традиционным базисом операторов позволяет провести анализ функционирования отдельных слоев и нейронов и выделить инварианты по пространству решений на основе частных АПВ. Весовые коэффициенты первого скрытого слоя обученной сети можно интерпретировать с использованием параметров ПВМ в качестве знаний о наблюдаемых данных.

На основе взаимосвязи с параметрами полигауссовской вероятностной модели показаны принципы интерпретации весовых коэффициентов и смещений. Показано, что знания, представляемые свободными параметрами нейронных сетей (весовыми коэффициентами и смещениями), связаны с параметрами полигауссовской вероятностной модели об исходных данных. В соответствии с этим формулируется следующее защищаемое положение:

Взаимно однозначное соответствие между параметрами ИНС и параметрами полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.

В четвёртой главе на основе предложенных методов построения искусственных нейронных сетей получены практические результаты применения разработанных методов.

Путём имитационного моделирования детально исследованы полученные автором структуры НС для решения задачи «Исключающее ИЛИ» с различными типами переменных (логические и действительные).

Применение ПВМ для синтеза нейросетевого алгоритма «Исключающего ИЛИ» позволило наглядно продемонстрировать эффективность предлагаемых методов и получить новые оригинальные структуры и операторы нейронных сетей.

Разработанные методы применены при решении задачи обнаружения радиационного излучения с использованием радиационного портального монитора в условиях «подавления» фонового излучения от воздействия контролируемого объекта.

Применение полигауссовской модели с различными средними позволило разработать эффективный нейросетевой алгоритм и структуру сети. Данное решение позволило преодолеть ограничение существующего алгоритма обнаружения и исключить ошибки пропуска тревоги, свойственные широко применяемым в настоящее время алгоритмам работы РПМ.

Предложенный вариант ИНС был испытан на реальных данных, полученных в результате натурного моделирования эффекта «подавления фона», проведённого компанией «Siebersdorf Research» (Австрия) на испытательном полигоне с использование радиационного портального монитора Янтарь-1 А, произведённого ЗАО «НПЦ «Аспект» им. Ю.К. Недачина, г. Дубна, а также на проведённом автором имитационном моделировании.

По результатам натурного эксперимента и имитационного моделирования сделан вывод, что синтезированная автором НС с высокой достоверностью ( Р = 0,996 ) осуществляет обнаружение радиационного излучения в условиях «подавления» фона.

Полученный алгоритм не зависит от изменения (подавления) уровня постоянного радиационного фона, от мощности и длительности радиационного излучения и от момента появления излучения во времени.

Эти результаты внедрены на предприятии ЗАО «НПЦ «Аспект» им. Ю.К. Недачина.

Разработанные методы лежат в основе системы классификации морских кораблей по шумовым гидроакустическим сигналам. Для построения системы классификации морских кораблей разработана ИНС, обеспечивающая накопление знаний о свойствах наблюдаемых объектов по шумовым гидроакустическим сигналам. Показывается формирование знаний, представляемых искусственной нейронной сетью на основе полигауссовской модели. Алгоритмы работы НС испытаны на реальных данных, полученных гидроакустической системой ГАС МГК-608Э.

Приведена взаимосвязь параметров ИНС с параметрами полигауссовской модели представления данных.

Методы и синтезированные нейросетевые алгоритмы для формирования знаний о морских кораблях по их шумовым гидроакустическим сигналам внедрены на ОАО «Научно-исследовательский институт «Атолл».

Таким образом, основными результатами диссертационной работы являются:

1. Разработаны методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей.

2. Разработаны алгоритмы обучения искусственных нейронных сетей, функционирующие параллельно с процедурой классификации.

3. Разработаны асимптотически-оптимальные полигауссовские вычислительные алгоритмы реализации нейронных сетей.

4. Показано, что основное назначение нейронов первого скрытого слоя ИНС состоит в реализации вычислений условных достаточных статистик и частных или обобщенных функций АПВ.

5. Обоснован метод применения достаточных и условно-достаточных статистик при построении1 искусственных нейронных сетей.

6. Доказано, что взаимно однозначное соответствие между параметрами ИНС и параметрами полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.

7. Повышение эффективности функционирования ИНС обеспечивается с помощью введения квадратичных форм наряду с используемыми линейными формами преобразования данных.

8. Предложен метод синтеза динамических НС на основе ПВМ, позволяющий преодолеть проблему «проклятие размерности».

9. Предложен метод оценки вероятностей ошибок и правильной классификации при использовании полигауссовских моделей.

10. Получены новые нейросетевые алгоритмы реализации оператора i

Исключающее ИЛИ».

11. Получены новые двухпороговые функций активации ИНС.

12. Разработанные методы применены при реализации системы -обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого объекта и при создании системы классификации. морских кораблей по шумовым гидроакустическим сигналам. Полученные результаты внедрены на ЗАО«НПЦ «Аспект» им. Ю.К. Недачина и ОАО «Научно-исследовательский институт «Атолл».

13. Развитая теория и методы построения искусственных нейронных сетей в виде методических материалов используются в учебном процессе Международного университета природы, общества и человека «Дубна».

1. С. А. Ахманов (мл.), И. Г. Персианцев, А. Т. Рахимов и др. Знакомьтесь: персональная ЭВМ Корвет / С предисл. Е. П. Велихова. М.: Наука, 1989.236 с.

2. Ван Трис Г. Синтез оптимальных ниленейных оптимальных систем управления. М.: Мир, 1964.

3. Вооружение и военно-морская техника России. М.: ООО «Военный Парад», 2003. 208 с.

4. Галушкин А.И. Выбор критериев первичной оптимизации и построение оптимальной модели системы распознавания К классов образов вiрежиме обучения. / Сб. «Автоматическое управление и вычислительная техника». Вып. 10. 1972.

5. Галушкин А.И. Многослойные системы распознавания образов. М.: МИЭМ, 1970. 167 с.

6. Галушкин А.И. Нейронные сети: основы теории. М.: Горячая линия-Телеком, 2010. 496 с.

7. Галушкин А.И. Нейрокомпьютеры (Нейрокомпьютеры и их применение. Кн. 3). М.: ИПРЖР, 2000. 528 с.

8. Галушкин А.И., Золотов IO.JI., Шикунов Ю.А. Оперативная обработка экспериментальной информации. М.: Энергия, 1972. 360 с.

9. Галушкин А.И. Синтез многослойных нейронных сетей распознавания образов. М.: Энергия, 1974.

10. Горбань А.Н. Обучение нейронных сетей. М.:СП"ПараГраф", 1990.159 с.

11. Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинформатика. Новосибирск: Наука, 1996. 276 с.

12. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере / Отв. ред. В. И. Быков; Новосибирск: Наука, 1996. 270 с.

13. Городецкий А .Я. Информационные системы. Вероятностные модели и статистические решения. Учеб. пособие. СПб: СПбГПУ, 2003. 326 с.

14. Гужва А.Г., Доленко С.А., Персианцев И.Г., Шугай Ю.С. Многоступенчатый алгоритм на основе комитета нейронных сетей для анализа многомерных временных рядов // «Нейрокомпьютеры: разработка, применение» : науч.-тех. журн. 2010. № 3

15. Гужва А.Г., Доленко С.А., v Персианцев И.Г. Методика отбора существенных входных признаков при нейросетевом решении задач регрессии // «Нейрокомпьютеры: разработка, применение» : науч.-тех. журн. 2010. № 3.

16. Де Грот М. Оптимальные статистические решения. М.: Мир, 1974.492 с.

17. Дороднов A.A. Аппроксимация некоторых классов мер линейными комбинациями гауссовских // Учёные зап. Казанского гос. ун-та. Казань: Изд-во Казанского ун-та, 1969. Т. 129. Кн. 4. С. 46-55.

18. Добрынин В. Н., Черемисина Е. Н., Математические методы и средства вычислительной техники в геолого-прогнозных исследованиях. М.: Недра, 1988. 111 с.

19. Дороднов А. А. О приближенном вычислении характеристических функционалов некоторых классов' вероятностных мер // Казань: Изд-во Казанского ун-та, 1977. Т. 4. С. 83-91.

20. Дороднов A.A. О представлении вероятностных процессов смесями гауссовских // Приём и обработка информации в структурно-сложных системах. Казань: Казанский гос. ун-т, 1972. Т. 129. № 4. С. 46-55.

21. Дороднов A.A. Теория принятия решений: Исслед. операций. Учеб. пособие. Казань: Изд-во Казанского гос. ун-та, 1981. 112 с.

22. Евтушенко Ю. Г. Приближенный расчет задач оптимального управления с помощью метода усреднения. Теория оптимальных решений. Изд-во ИК АН УССР. Вып. 1.

23. Евтушенко Ю. Г. Приближенный расчет оптимального управления. Прикладная математика и механика. Т. 34. № 1. С. 95-104.

24. Евтушенко Ю.Г., Потапов М.А. Поиск оптимальных решений. В книге "Методы решения оперативного управления". М.: ВНИИПОУ.

25. Емельянов С. В., Коровин С. К., Никитин С. В. Глобальная управляемость и стабилизация нелинейных систем. Матем. моделирование, 1989, 1:1, 51-9.

26. Емельянов С. В. Теория систем с переменной структурой. М.: Наука,1970.

27. Емельянов С. В. Системы автоматического управления с переменной структурой. М.: Наука, 1967.

28. Журавлев Ю.И., Флеров Ю.А. Дискретный анализ. Ч. 1: Учебное пособие. М.: МФТИ, 1999.

29. Заде JI. Основы нового подхода к анализу сложных систем и процессов принятия решений. В кн. «Математика сегодня». Пер. с англ. М.:3нание, 1974. С. 5-49.

30. Заде Л. Понятие лингвистической переменной и его применение к принятию приближённых решений. М.: Мир, 1976. 168 с.

31. Ипатов В.П. Системы мобильной связи. М.:Горячая линия-Телеком, 2003. 272 с.

32. Карлащук В.И. Электроннная лаборатория на IBM PC. Лабораторный практикум на Electronic Workbench и VisSim по элементам телекоммуникационных систем. М.:СОЛОН-Пресс, 2005. 480 с.

33. Кендалл М., Стьюарт А. Статистические выводы и связи / Пер. с англ.; Под редакцией Колмогорова А.Н. М.: Наука, 1973. 900 с.

34. Колмогоров А.Н. Представление непрерывных функций многих переменных суперпозицией функций одной переменной и сложением // Докл. АН СССР, 1957. т.114. №5. с. 953-956.

35. Колмогоров А.Н. Интерполирование и экстраполирование стационарных случайных последовательностей // Изв. АН СССР. Сер.мат. 1941. Т.5. № 1.

36. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Наука, 1968. 720 с.

37. Крамер Г. Математические методы статистики. 2-е изд. / Пер. с англ.; Под редакцией Колмогорова А.Н. М.: Мир, 1975. 648 с.

38. Кульбак С. Теория информации и статистика. М.: Наука, 1967. 408 с.

39. Левин Б.Р. Теоретические основы статистической радиотехники. М.: Советское радио, 1969.

40. Маккалох Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности // Автоматы. М.:ИЛ, 1956.

41. Медведев В. С, Потемкин В. Г. Нейронные сети. MATLAB 6 / Под общ. ред. к. т. н. В. Г. Потемкина. М.: ДИАЛОГ-МИФИ, 2002. 496 с.

42. Микаэлян А.Л., Крыжановский Б.В. «О распознающей способности нейросети на нейронах с параметрическим преобразованием частот» // Доклады АН, сер. мат.физика, т. 383, №3, с.318-321, 2002.

43. Микаэлян А.Л., Крыжановский Б.В., Крыжановский М.В. «Динамическая нейросеть на параметрических осцилляторах с кубической нелинейностью» // сборн. тр. VIII Всерос. научно-техн. конф. «Нейрокомпьютеры и их применение». Москва. 2002. С. 985-994.

44. Минский М., Пейперт С. Персептроны. М.: Мир, 1971.

45. Моисеев Н.Н. Численные методы теории оптимального управления. М.:Б., 1968. 163 с.

46. Моисеев Н. Н. Численные методы в теории оптимальных систем. М.: «Наука», 1971. 424 с.

47. Нейроинформатика /А.Н. Горбань, В.Л. Дунин-Барковский, Е.М. Миркес и др. Новосибирск: Наука, Сибирское предприятие РАН, 1998. 296 с.

48. Нейронные сети. STATISTIC A Neural Networks: Методология и технологии современного анализа данных / Под редакцией В.П. Боровикова. 2-е изд., перераб. и доп. М.: Горячая линия-Телеком, 2008. 392 с.

49. Патрик Э. Основы теории распознавания образов / пер. с англ.; Под ред. Б. Р. Левина. М.: Сов. радио, 1980. 408 с.

50. Д. Райлли, H. Энсслин, X. Смит и др. Пассивный неразрушающий анализ ядерных материалов : науч. издание : пер. с англ. М.: Бином, 2000. 720 с.

51. Розенблатт Ф. Аналитические методы изучения нейронных сетей // Зарубежная радиоэлектроника. 1965. №5. с. 40-45.

52. Розенблатт Ф. Принципы нейродинамики. М.: Мир, 1965.

53. Романова В.И., Хилько А.И., Хоботов А.Г. «Когнитивные алгоритмы видения автономных гидроакустических систем» // Сборник докладов всерос. науч. конф. «Нелинейная динамика в когнитивных исследованиях». Нижний Новгород: ИПФ РАН, 2009. С. 168-169.

54. Саати Т. Анализ иерархических процессов. М.: Радио и связь, 1993.315 с.

55. Саати Т. Математические методы исследования операций. М.: МГУ,1970.

56. Сульдин А. В. О линейных операторах в прямом произведении гильбертовых пространств // Учён. зап. Казан, гос. ун-та. Казань: Изд-во Казанский гос. ун-т, 1954. т. 114. № 2. с. 169-172.

57. Сульдин А. В. Метод регрессии в теории приближений // Сборн. работ НИИММ им. Н. Г. Чеботарева при Казанском ун-те : Учён. зап. Казан, гос. ун-та. Казань: Изд-во Казанского ун-та, 1963. Т. 123. № 6. с. 3-35.

58. Техническое описание и инструкция по эксплуатации «Стационарная таможенная система обнаружения делящихся и радиоактивных материалов «Янтарь-1П», 1998 // НПЦ Аспект. ДЦКИ.425 713.001 ТО.

59. Тарасов В.Б., Аверкин А.Н., Буланов О.А., Пасечник И.П., Ульянов C.B., Кудрявцев B.C. Немонотонные нечеткие логики в интеллектуальных системах. Информационный бюллетень РФФИ, 1994. т.2. № 1. С. 64.

60. Тархов Д.А. Нейронные сети. Модели и алгоритмы. Кн. 18. М. .-Радиотехника, 2005. 256 с.

61. Татузов A.JI. Нейронные сети в задачах радиолокации. Кн. 28. М.: Радиотехника, 2009. 432 с.

62. Трофимов А.Т. Оценивание мешающих параметров для адаптивной обработки сигналов на основе использования полигауссовской модели помех // Радитехника и электроника. 1986. Т.31, № 11. С. 2151 -2159.

63. Трофимов А.Т. Полигауссовские вероятностные модели и синтезIинформационных систем / НовГУ им. Ярослава Мудрого. Великий Новгород, 2002. 183 с.

64. Трофимов А.Т. Полигауссовские модели в задачах обработки негауссовских случайных процессов и полей // Вестн. НовГУ. 1995. № 1. С. 101-104.

65. Уидроу Б., Стирнз С. Адаптивная обработка сигналов. М.: Радио и Связь, 1989. 440 с.

66. Уоссерман Ф. Нейрокомпьютерная техника: Теория и практика / Пер. с англ. Под ред. А.И. Галушкина. М.: Мир, 1992. 238 с.

67. Уоткинс Д.С. Основы матричных вычислений / Д. Уоткинс; Пер. с англ. М.:БИНОМ. Лаборатория знаний, 2009. 664 с.

68. Хайкин С. Нейронные сети: полный курс 2-е издание.: Пер. с англ. М.: Вильяме, 2006. 1104 с.

69. Хопфилд Д. Нейронные сети и физические системы, проявляющие свойства коллективных вычислений // Под ред. А.И. Галушкина Нейрокомпьютерные сети: История развития теории. М.:ИПРЖР, 2001.

70. Цыпкин Я.З. Адаптация и обучение в автоматических системах. М.: Наука, 1986.400 с.

71. Чабдаров. Ш. М., Трофимов А.Т. Полигауссовы представления произвольных помех и приём дискретных сигналов // Радиотехника и электроника. 1975. Т. 20. № 4. С. 734-745.

72. Чабдаров Ш.М., Сафиуллин Н.З., Феоктистов А.Ю. Основы статистической теории радиосвязи: Полигауссовы модели и методы. Учеб. пособие. Казань: КАИ, 1983. 87 с.

73. Чабдаров Ш.М. Файзуллин P.P., Надеев А.Ф. и др. Статистические модели и методы обработки сигналов в системах радиосвязи: Учеб. пособие. Казань: Изд-во Казанского гос. техн. ун-та, 1997. 88 с.

74. Чабдаров Ш.М., Феоктистов А.Ю., Надеев А.Ф., Файзуллин P.P. Многоотсчётная совместная обработка многопозиционных сигналов при комплексе негауссовских помех // Радиотехника. 1991. № 1. С. 71-75.

75. Черемисина Е.Н., Финкельштейн М.Я., Митракова О.В. Методика постановки и решения прогнозно-диагностических задач в природопользовании. ГЕОИНФОРМАТИКА. 1999. №3.

76. Ярушкина Н.Г. Основы теории нечетких и гибридных систем: Учеб. пособие. М.: Финансы и статистика, 2004. 320 с.

77. Aleksander I. and Morton H. Neural Computing. Chapman hall, 1990.

78. Aliev R.A., Ulyanov S.V. Fuzzy controllers and intelligent control systems. M.: VINITI, 1990. V. 29.

79. Averkin A. N., Prokopchina S.V. The short essay of the soft measurement concept. Sankt-Peterburg:Gydrometeoizdat, 1997, 46 p.

80. Bishop C.M. Neural Networks for Pattern Recognition. Oxford: Oxford University Press, 1995.

81. Brown M., Harris C. Neurofiizzy Adaptive Modeling and Control. NY: Prentice Hall, 1994.

82. Cybenko G. Approximation by Superpositions of Sigmoidal Function. Urbana: University of Illinois, 1988. 280 p.

83. Funahashi K. On the approximate realization of continuous mappings by neural networks. // Neural Networks. 1989. v. 2. pp. 183-192.

84. Gorban' A.N. Neural Network Iterative Method Of Principal Curves For Data With Gaps // Journal of Computer and Systems Sciences International. Pleiades publishing, ltd., 1999. v. 38. n. 5. pp. 825-830.

85. Gorban' A.N., Gorlov A.M., Silantyev V.M. Limits Of The Turbine Efficiency For Free Fluid Flow // Journal Of Energy Resources Technology, Transactions Of The Asme. USA: ASME, 2001. v. 123. n. 2-4. pp. 311-317.

86. Graf II., Hubbard W., Jackel L., and deVegvar P.G.N. A CMOS Associative Memory Chip // First Int. Conference Neural Nets. San Diego, 1987.

87. Hebb D.O. The Organization of Behavior. Wiley, New-York, 1949.

88. Hecht-Nielsen R. Kolmogorov's Mapping Neural Networks Existence Theorem // IEEE First Annual Int. Conf. on Neural Networks. San Diego, 1987. v. 3. pp.11-13.

89. Hopfield, J. Neural networks and physical system with emergent collective computational properties // Proceeding of the National Academy of Sciences of the USA. 1982. v. 79.

90. Hornik K., Stinchcombe M., White H. Multilayer Feedforward Networks are Universal Approximators //Neural Networks. 1989. Vol. 2. PP. 359-366.

91. Kerlirzin P., Vallet P. Robustness in multilayer perceptrons // Neural Computation, 1993. v. 5. pp. 473-482.

92. Khobotov A., Khilko A., Yakhno V. Analysis of advantages of neuronlike systems in the procedure of signal comparison-measure calculation // Optical Memory & Neural Networks (Information Optics), 2008. V. 5. PP. 892-898.

93. Kolmogorov A.N. On the representation of continuous function of many variables by superposition of the continuous function of one variable and addition*// American Math. Soc. Transl., 1963. v. 28. pp. 55-63.

94. Kryzhanovsky B.V., Koshelev V.N., Mikaelian A.L., Fonarev A. Recognation Ability of Randomized Hopfield Networks. Optical Memory&Neural Network. Vol.9. №4. 267-276 (2000).

95. Litvintseva L.V., Takahashi K., Ulyanov S.S. et all. Intelligent robust control design based on new types of computations. Note del P0I9 Ricerca, Universita degli Studi di Milano Publ., Vol. 60. 2004.

96. Litvintseva L.V., Ulyanov S.V., Artificial intelligence applied to design of intelligent systems (Soft computing approach). Universita degli Studi di Milano, Polo Didattico e di Ricerca di Crema Publ., Vol. 38, 1999.

97. LoPresti C.A., Weier D.R., Kouzes R.T., Schweppe J.E. Baseline suppression of vehicle portal monitor gamma count profiles: a characterization study // Nuclear Instruments and Methods in Physics Research, 2006. v. 562. pp. 281-297.

98. Middleton D. Canonical non-Gaussian noise model: theis implication for measurement and for prediction of receiver performance. IEEE Trans / Electromagn. Compat Vol. EMC-21. PP. 209-220.

99. McCulloch W.S. and Pitts W.A. A Logical Calculus of the Ideas Immanent in Nervous Activity. Bull. Math. Biophys, 1943. V. 5. PP. 115-133.

100. Minsky M.L., Papert S.S. Perceptrons: An Introduction to Comtutational Geometry. MIT Press, Cambrige, MA, 1969.

101. Ripley B.D. Pattern Recognition and Neural Networks. Cambridge: Cambridge University Press, 1996.

102. Rosenblatt F. Principles of Neurodynamics. Spartan, New-York, 1962.

103. Rumelhart D.E., Widrovv B., and Lehr M.A. The basic ideas in neural networks // Communications of the ACM, 1994 (March), v. 37, no. 3, pp. 87-92.

104. Ulyanov S.V., Ghisi F., Kurawaki I., Litvintseva L., Simulation of quantum algorithms on classical computers. Universita degli Studi di Milano, Polo Didattico e di Ricerca di Crema Publ., Vol. 32, 1999.

105. Widrow B. And Hoff M.E. Adaptive switching circuits // IRE WESCON, NY, 1960. pp. 96-104.

106. Widrow B. and Stearns S.D. Adaptive Signal Processing. Englewood Cliffs, NJ, Prentice-Hall, 1985.

107. Zadeh L. Outline of a New Approach to the Analysis of Complex Systems and Decision Processes // IEEE Trans. Syst. Man Cybernet. №3. 1973. PP. 28-44.

108. Yemelyanov S.V., Burovoi I.F., Levada F.Yu, Control of Indefinite Nonlinear dynamic systems. Induced internal feedback // Lecture Notes in Control and Information Sciences, 231, Springer, 1998, 196 p.