автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка и исследование алгоритмов построения иерархических нейросетевых комплексов для классификации данных физических измерений

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени М.В.Ломоносова НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ ЯДЕРНОЙ ФИЗИКИ имени Д.В.Скобельнына

На правах рукописи

Орлов Юрий Всеволодович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ АЛГОРИТМОВ ПОСТРОЕНИЯ ИЕРАРХИЧЕСКИХ НЕЙРОСЕТЕВЫХ КОМПЛЕКСОВ ДЛЯ КЛАССИФИКАЦИИ ДАННЫХ ФИЗИЧЕСКИХ ИЗМЕРЕНИЙ

05.13.18 — математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Гр) УНЦДО \fA\l Москва 2003

Работа выполнена в Научно-исследовательском институте ядерной физики им Д.В.Скобельцына Московскою I осударственного университета им.М.В.Ломоносова.

Научный

руководитель: доктор физико-математических наук, профессор Персианцев И.Г.

Официальные

оппоненты: доктор физико-математических наук

Кумсков М.И.

(Институт органической химии им М.Д.Зелинского)

кандидат физико-математических наук Сметанки Ю.Г.

(Научный совет РАН по комплексной проблеме "Кибернетика")

Защита состоится "Л" октября 2003 г. в 15 часов на заседании Диссертационного совета К501.001.03 в Московском государственном университете им, М.В.Ломоносова по адресу: 119992, Москва, Ленинские горы, МГУ, НИИЯФ, 19-й корпус, аудитория 2-15.

С диссертацией можно ознакомиться в библиотеке НИИЯФ МГУ.

Ведущая организация: Инстигут системного анализа РАН, Москва

Автореферат разослан

и

п

сентября 2003 г.

Учёный секретарь к.ф.-м.н.

Манагадае А. К.

^оз-А

I Общая характеристика работы

Актуальность

Классификация данных и распознавание образов является одной из важнейших задач обработки результатов физических измерений в различных областях науки и техники Как правило, подобный анализ данных представляет собой весьма трудоемкий процесс, поскольку данные задаются в многомерном пространстве признаков, классы имеют границы очень сложной формы, а порой и существенно перекрываются Во многих случаях анализ еще более усложняется из-за наличия в измеренных данных заметного шума.

Наиболее характерной задачей такого рода является классификация слабых электрических сигналов в условиях шума К примеру, при проведении медицинских обследований, связанных с регистрацией электроэнцефалограмм (ЭЭГ)> анализируемые сигналы представляют собой слабые электрические импульсы очень сложной формы, регистрируемые совместно с фоновым" ЭЭГ-сигналом. Анализ данных такого рода требуегся, в частности, при построении автоматизированных систем быстрой медицинской диагностики

Другой показательной задачей является задача классификации результатов спектральных измерений. Анализ спектров флуоресценции проб воды широко используется для выявления опасных загрязнителей при проведении экологического мониторинга. Сложность задачи классификации заключается не только в большом количестве разнообразных спекгров, которые необходимости различать, но и в присутствии в спектрах сильной фоновой засвегкй, связанной с наличием в анализируемой пробе безвредных органических примесей. Такая засветка, обладая сильной изменчивостью в зависимости от сезона и места съемки, является шумом, на фоне которого необходимо различать и классифицировать слабый сигнал

Несомненный интерес представляет также задача классификации применительно к временным рядам, а именно, их сегментация по типам динамики. Такая задала актуальна при анализе временных рядов самой различной природы (например, при исследовании динамики межпланетной плазмы, классификации типов электрических процессов в головном мозге, сегментации речевого сигнала и т.д). Сложность задачи обусловлена не только многообразием поведения объектов исследования, но и наличием шума в измеренных данных, затрудняющим как сам анализ, так и интерпретацию его результатов.

В течение последнего десятилетия интенсивно развивается новая перспективная технология - искусственные нейронные сети (НС). Отличительной чертой НС является их способность обучаться на примерах и обобщать полученную информацию, невосприимчивость к шуму присущая им параллельность архитектуры. Все это делает данный подход крайне привлекательным для решения таких сложных задач, как распознавание образов в условиях шума, классификация неполных и противоречивых данных, выявление скрытых закономерностей в данных в условиях отсутствия теоретической модели. На практике НС могут быть использованы для создания автоматизированных систем обработки информации, не требующих участия экспертов высокой квалификации. Такие системы могут служить интеллектуальными помощниками операторов, когда для принятия решения требуется анализировать большое количество данных.

При решении практических задач классификации и распознавания образов с помощью традиционных нейросетевых подходов существует ряд принципиально важных недостатков и ограничений, наиболее значимыми среди которых являются.

1. Сложность решения задач классификации в случае плохо разделимых классов. Нередко встречаются задачи, для которых заведомо невозможно построить классификатор, дающий 100% распознавание Два наиболеею^^щ^^эдтадвдЦач

з [ библиотека |

I ООстер&грГ /ЬУ ]

* гл 'чтОгчаХ^- *

такого рода - это (а) классификация данных с перекрывающимися границами классов и (б) классификация данных при минимально возможном соотношении сигнал/шум. Хотя в обшей постановке такие задачи точного решения не имеют, необходимо иметь алгоритм построения классификатора, дающий наилучшее по качеству решение.

2. Субъективность выбора алгоритма решения конкретной задачи и его параметров. При решении конкретной задачи исследователь стоит перед необходимостью априорного выбора (или экспериментального подбора) как самого алгоритма решения (т.е. архитектуры НС), так и выбора параметров НС. И в том, и в другом случае, как правило, выбор делается субъективно и в большой степени зависит ог предшествующего опыта работы. В частности, одним из основных параметров архитектуры многослойного перцептрона (МСП) является размер скрытого слоя, определяющий количество отличительных свойств, которые будут использованы нейросетью при классификации. На практике этот параметр приходится подбирать методом проб и ошибок.

3. Возможность попадания в локальный минимум. При традиционном подходе к построению НС классификаторов, попадание в локальный минимум чаще всего означает, что НС выделила неоптимальные отличительные признаки, а значит, классификатор будет иметь низкие рабочие показатели Для достижения наилучшего решения необходимо повторять тренировку несколько раз, что приводит к дополнительным временным затратам.

4. Заметное снижение качественных характеристик НС классификатора при большом количестве классов. Снижение качественных характеристик одноступенчатого НС классификатора при увеличении числа классов связано с заметным увеличением количества признаков в данных, которые НС необходимо одновременно "анализировать", и невозможностью разделения этих признаков по степени их существенности. Даже при многократной повторной тренировке не всегда удается достичь приемлемого качества распознавания.

5. Неоправданно высокая вычислительная стоимость построения НС классификатора при большом количестве классов. Использование одноступенчатого НС классификатора для распознавания большого количества классов требует одновременного выделения большого количества отличительных признаков (в случае использования МСП для этого необходим скрытый слой большого размера). Заметим, что тренировка НС требует значительных вычислительных затрат, и даже однократная тренировка МСП может занять значительное время Если же НС попадет в локальный минимум и потребуется перетренировка, то итоговые вычислительные затраты могут оказаться неприемлемыми.

6. Проблема интерпретации признаков, по которым НС принимает решение. Выделение решающих правил из обученной НС представляет общеизвестную проблему. Существуют специальные приемы анализа весовых коэффициентов, однако при больших размерах НС и многомерных анализируемых данных подобный анализ затруднен, а получаемые правила малоинформативны.

Цель работы

Работа была направлена на преодоление перечисленных выше сложностей, и, тем самым, на облегчение задачи автоматизации синтеза нейронных сетей. Целями работы являлись'

1. Разработка методик тренировки, которые облегчали бы получение работоспособных НС для следующих типов задач.

Тип А: Классификация плохо разделимых классов или классов с перекрывающимися границами,

Тип Б: Классификация при возможно более низком соотношении сигнал/шум во входных данных.

2. Разработка конструктивного нейросетевого алгоритма классификации, пригодного для использования в задачах с большим количеством классов и обладающего следующими свойствами:

• Алгоритм должен наращивать архитектуру НС по мере необходимости в процессе тренировки,

• Алгоритм должен обеспечивать сокращение вычислительной стоимости решения задачи классификации;

• Алгоритм должен обеспечивать оптимальный выбор признаков, используемых нейросетью для классификации данных;

• Алгоритм должен бьггь универсальным, т.е. применимым к возможно более широкому кругу задач.

Научная новизна

Для достижения поставленных целей представлялось целесообразным использовать стратегию посгепенного усложнения тренировки. Задав архитектуру НС, можно начать обучение с простейшей постановки задачи:

для задач типа А - объединив сложные для разделения классы в группы; для задач типа К - используя высокие соотношения сигнал/шум В обоих случаях границы, разделяющие классы, имеют достаточно простую форму, а НС легко находит решение. Как только приемлемее качество работы НС на заданном уровне сложности достигнуто, постановку задачи можно усложнить:

для задач типа А - разбить полученные группы на подгруппы или на отдельные классы;

для задач типа Б - понизить соотношение сигнал/шум, после чего продолжить решение задачи в новой постановке.

И в том, и в другом случае происходит уточнение (и усложнение) границ между классами. Задача продолжает усложняться, пока НС в состоянии обеспечивать достаточное качество распознавания.

Таким образом, описанная стратегия постепенного усложнения тренировки позволяет достигнуть максимальной сложности задачи для заданной архитектуры НС.

Эта же идея используется при построении иерархических нсйросетевых комплексов (ИНК). Иерархический подход, используемый далее, предполагает разбиение сложной задачи на ряд более простых задач и их последовательное решение

Основу методики построения ИНК составляет модифицированный алгоритм обучения многослойного пебцептрона (МСП), состоящий из трех основных этапов. На первом этапе МСП обучается по методу обратного распространения ошибки. На втором этапе проводится анализ статистики ответов МСП на тренировочном наборе. По результатам этого анализа на третьем этапе производится объединение некоторых классов в группы, и тренировка продолжается. После окончания обучения для каждой из полученных групп классов создается новый МСП, причем каждый из исходных классов, объединенных в данную группу, снова рассматривается как отдельный класс. Рекурсивное применение такой процедуры позволяет адаптивно наращивать ИНК, постепенно уменьшая количество классов в каждой из групп.

Оригинальность и новизна предлагаемого подхода построения ИНК заключается в том, что он позволяет преодолеть ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении практических задач, обладая следующими свойствами'

1. Толерантность к априорному выбору архитектуры НС. При описанном подходе требования на правильный выбор размера скрытого слоя существенно снижаются. Если при построении какого-либо узла ИНК количество распознаваемых классов в рассматриваемой ветви иерархического дерева велико, а число скрытых нейронов недостаточно для качественного распознавания всех классов, наиболее похожие классы будут объединены в новую ветвь, и задача их распознавания будет решаться на следующем уровне иерархии. На данном уровне иерархии, тем самым, задача классификации будет решена. Если же число классов в ветви мало, а количество скрытых нейронов достаточно для качественной классификации, задача классификации также будет решена.

2. Снижение вероятности попадания в локальный минимум. Предлагаемым алгоритмом осуществляется адаптивная подстройка желаемого выхода с точки зрения минимизации ошибки, что заметно упрощает форму функционала ошибки в пространстве признаков и снижает вероятность попадания системы в локальные минимумы.

3. Гарантированное высокое качество распознавания. При предлагаемом иерархическом подходе используются принципы самоорганизации и постепенной детализации отличительных признаков, что гарантирует высокое качество распознавания ИНК.

4. Значительное снижение вычислительной стоимости построения НС классификатора при большом количестве классов. При использовании иерархического подхода построение всего ИНК разбито на этапы построения отдельных его узлов, причем в любой момент можно оценить рабочие характеристики уже построенной части иерархической структуры и добиться качественного распознавания. Кроме того, каждый узел должен выделять лишь малое количество отличительных свойств (в случае МСП это означает, что размер скрытого слоя также невелик). Это гарантирует достаточно низкую вычислительную стоимость тренировки узла, а значит, и построения всего ИНК в целом.

5. Повышение интерпретируемости признаков, по которым НС принимает решение о принадлежности анализируемого образа к тому или иному классу или группе образов. Модульность иерархической структуры существенно упрощает архитектуру отдельных ИНС, ее составляющих, что упрощает выделение существенных признаков В свою очередь, интерпретация отличительных признаков, выделяемых НС в процессе тренировки, заметно упрощается за счет малого количества признаков, выделяемых в каждом узле. Объективный характер объединения классов в группы в иерархической древовидной структуре позволяет делать выводы о схожесги групп классов и структуре данных.

Научная и практическая значимость работы

1) Значительно упрощается решение задачи автоматизации синтеза нейронных сетей путем адаптивного построения ИНК;

2) Преодолевается ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении практических задач;

3) В процессе работы алгоритма построения ИНК на основе самоорганизации формируется нейросетевая древовидная структура, имеющая объективный характер и обладающая оптимальными рабочими характеристиками;

4) Предлагаемый подход к решению задачи классификации является универсальным;

5) Были проведены многочисленные эксперименты по классификации разнообразных статических объектов и временных рядов. Алгоритм построения ИНК продемонстрировал высокую эффективность и качество распознавания и возможность построения экономных в вычислительном отношении ИНК;

6) Разработанные методики обучения нейросетей и построения ИНК были успешно применены при решении ряда практических задач (разработка автоматизированной

системы диагностики дефектов слуха, разработка системы экспресс-диагностики органических загрязнителей в воде).

Основные положения, цыносимые на защиту

1) Методика решения сложных задач классификации путем построения ИНК, позволяющая значительно упростить как решение задачи автоматизации синтеза нейронных сетей, так и решение задачи классификации в целом.

2) Методика постепенного усложнения тренировки НС, позволяющая сформулировать задачу классификации такой сложности, которая была бы адекватна возможностям используемой нейросети.

3) Алгоритм построения архитектуры ИНК, позволяющий преодолеть ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении широкого круга практических задач.

4) Теоретическая оценка размера скрытого слоя МСП, достаточного для построения ИНК со 100% классификацией, равная min(2*N, Р-1), где N - размерность данных, Р - количество примеров.

Апробация работы

Результаты, полученные в настоящей диссертации, доложены на 19 Всероссийских и международных конференциях:

• RKNS/1EEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, October 1992;

• ШЕЕ Int. Conference on Neural Networks, San Francisco, CA, USA, March 1993;

• Int. Symposium on the Modern Problem of Hearing Physiology and Pathology. Moscow, Russia, October 1993;

• Workshop on Environmental and Energy Applications of Neural Networks, Richland, WA, USA, March 1995;

• European Symposium on Optics for Environmental and Public Safety,-»Fairgrounds, Munich, FR Germany, June 1995;

• 4th Open Russian-German Workshop on Pattern Recognition and Image Analysis, Valdai, Russia, March 1996;

• Всероссийская научная конференция "Физические проблемы экологии (Физическая экология)", Москва, июнь 1997;

• 3rd EARSeL Workshop on Lidar Remote Sensing of Land and Sea, Tallinn, Estonia, July 1997;

• 5th Int. Conference on Artificial Neural Networks, Churchill College, University of Cambridge, UK, July 1997;

• 3-я конференция '"Распознавание образов и анализ изображений- Новые информационные технологии" (РОАИ-3-97), Н.Новгород, декабрь 1997 г.;

• Int. ICSC/IFAC Symposium on Neural Computation, Vienna, Austria, Sept 1998;

• 4-я Всероссийская с международным участием конференция "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-4-98), Новосибирск, октябрь 1998,

• 6-я Всероссийская конференция "Нейрокомпьютеры и их применение" (НКП-2000), Москва, февраль 2000;

• 5th Joint Conference on Information Sciences (JCIS-2000), Atlantic City, NJ USA, February 2000,

• 5-я Международная конференция "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-5-2000), Самара, октябрь 2000;

• III Всероссийская Научно-техническая Конференция "НейроИнформатика-2001", Москва, январь 2001;

• 2nd Int. Workshop on Multiple Classifier Systems (MCS2001), Cambridge, UK, July 2001

• 14th Internationa! Florida Artificial Research Society Conference (FLAIRS-2001), Key West, Florida, May 2001;

• 6-й Международная конференция "Распознавание образов и анализ изображений. новые информационные технологии" (РОАИ-6-2002), В.Новгород, октябрь 2002

Публикации

Основные результаты диссертации опубликованы в 29 статьях, в том числе в 8 журнальных публикациях, 1 статье в энциклопедии и материалах 19 Всероссийских и международных конференций

Структура работы

Диссертация состоит из введения, пяти глав и заключения

Краткое содержание работы

Во введении описываются цели работы -и обосновывается ее актуальность

В первой главе дается обзор литературы по теме диссертации.

Нейросети представляют собой вычислительные модели с параллельной организацией, состоящие кз адаптивных элементов (т.н нейронов), имеющих многочисленные соединения с другими такими же нейронами Самым важным свойством НС является их способность настраиваться. При решении поставленных задач НС "обучаются на примерах", что принципиальным образом отличает их от традиционных "жестких" алгоритмов, в которых вся логика работы и решения проблемы должна быть запрограммирована с момента написания алгоритма. Другим важным свойством нейронных сетей является присущая им параллельная архитектура, позволяющая организовывать эффективные вычисления при наличии соответствующей аппаратной поддержки Правильно обученная нейронная сеть обладает способностью к "обобщению" полученной информации, т е способность давать правильные ответы при предъявлении данных, не использовавшихся во время обучения

В практических приложениях исключительно широко применяется модель многослойного перцептрона (МСП), обычно обучаемая алгоритмом обратного распространения ошибки. При этом исследователю приходится преодолевать целый ряд хорошо известных трудностей, присущих этой архитектуре Будучи алгоритмом, основанным на методе градиентного спуска, алгоритм обратного распространения ошибки обладает теми же известными недостатками - медленной сходимостью и попаданием в локальные минимумы функции ошибки Может оказаться, что для достижения хорошего решения тренировку придется повторять несколько раз С другой стороны, оптимальная архитектура МСП для решаемой задачи заранее неизвестна и может быть найдена лишь подбором Следует заметить, что тренировка МСП требует значительных вычислительных затрат. В случае распознавания большого количества классов размер скрытого слоя МСП также должен быть достаточно большим, чтобы сформировать достаточное количество отличительных свойств Однако с ростом размера сети растет и сложность ее обучения, и это может привести к тому, что даже однократная тренировка МСП будет занимать неприемлемо долгое время

Эти недостатки удается в некоторой степени преодолеть использованием ряда приемов, таких как подстройка скорости обучения, использование момента, пакетная подстройка Также используются методы обучения второго порядка, использующие квадратичную аппроксимацию поверхности функции ошибки для поиска локального минимума, и методы глобального поиска, такие как искусственный отжиг, машина Больцмана, генетические алгоритмы.

Размер скрытого слоя является одним из самых важных параметров при поиске оптимальной архитектуры МСП для решаемой задачи Он должен, с одной стороны, обеспечивать достаточные аппроксимационные возможности нейросети, и с другой стороны, количество степеней свободы (или количество весовых коэффициентов) должно быть значительно меньше, чем количество информации, доступной для обучения. Основными методами решения проблемы выбора размера скрытого слоя МСП являются методы прореживания весов и конструктивные методы построения нейросети, а также методы контроля переучивания.

Для качественного распознавания Ьажно, чтобы разметка тренировочных примеров была, по возможности, непротиворечивой. В этой связи, использование принципов самоорганизации при "обучения с учителем" представляется весьма желательным Существуют работы, в которых предлагаются модификации алгоритма обратного распространения ошибки, в той или иной степени делающие его самоорганизующимся

Нейросетевые комплексы, в которых каждая нейросеть решает отдельную подзадачу, при решении сложных задач классификации и прогнозирования зачастую оказывается намного эффективнее, чем использование одиночной нейросети. Модульный подход позволяет разбить аппроксимируемую функцию на набор более простых функций. Модульность архитектуры дает возможность избежать потери качества распознавания, связанной с наличием в тренировочных данных противоречивых примеров. При использовании модульной архитектуры можно ожидать, что нейросетевой комплекс будет иметь лучшие способности к обобщению. Разбиение сложной задачи на набор более простых подзадач позволяет упростить интерпретацию результатов При использовании модульного подхода, отдельные модули могут достраиваться по мере необходимости, что позволяет в каждый момент времени иметь хотя бы частичное решение задачи. Значительное сокращение количества связей между нейронами может оказаться важным при аппаратной реализации.

Нейросетевые комплексы чаще всего имеют параллельную или последовательную организацию модулей. Обычно параллельную организацию модулей называют комитетом или ансамблем, а участников - экспертами Помимо традиционных методов комбинирования экспертов, достаточно очевидным представляется использование для этого нейросети. При этом набор ответов всех экспертов для данного примера рассматривается как его новое представление в промежуточном пространстве признаков, и используется для обучения,!общей нейросети.

Последовательная организация модулей обычно представляет собой нейросетевые деревья, в узлах используются одиночные нейроны или нейросети Такие модели сочетают в себе преимущества деревьев решений и нейросетей. В отличие от обычных нейросетевых моделей, имеющих фиксированную архитектуру, методы построения нейросетевых деревьев позволяют наращивать их структуру в процессе решения задачи.

Модульные нейросетевые схемы, в частности, с использованием автоассоциативной памяти на основе МСП и самоорганизующейся сети Кохонена, используются для предобработки данных перед использованием другими нейросетями.

Нейросетевые комплексы используются также для задач анализа и прогнозирования временных рядов, в частности, для анализа объектов с переключающейся динамикой.

Во второй главе описывается построение нейросетевой системы объективной диагностики дефектов слуха [1-3].

Нейросетевая система для объективной диагностики ухудшения слуха была основана на анализе слуховых вызванных потенциалов (СВП). СВП представляют собой электрические сигналы мозга, возникающие в ответ на звуковое раздражение, и являются частным случаем электроэнцефалографической активности (ЭЭП). Амплитуда СВП на один-два порядка меньше амплитуды фонового ЭЭГ-сигнала, генерируемого различными участками мозга Для регистрации СВП традиционно используется метод накопления ЭЭГ, который позволяет снизить отношение сигнал-шум и выделить слабые сигналы СВП из сильного фонового сигнала ЭЭГ, однако требуемое количество накоплений достаточно велико, и обследование пациента может занять около двух часов Кроме того, для анализа полученных данных требуется участие высококвалифицированного врача-аудиолога.

Для сокращения времени накопления сигнала было предложено использовать фильтр на основе трехслойного перцегпрона с архитектурой автоассоциативной памяти (нейросетевой аналог анализа главных компонент). В процессе тренировки НС реализована оригинальная стратегия, основанная на идее постепенного усложнения тренировки На первом этапе сети предъявляются кривые с максимальным количеством накоплений. Те же кривые используются и в качестве желаемых выходов для сети После достижения заданного уровня ошибки постановка задачи усложняется: на входы НС подаются кривые с меньшим количеством накоплений (т.е. отношение сигнал/шум во входных данных понижается), в то время как желаемые выходы остаются прежними. Таким образом, НС обучается делать прогноз формы кривой, соответствующей большому числу'накоплений, зная только форму кривой с малым числом накоплений. В процессе тренировки количество накоплений постепенно уменьшается, пока НС в состоянии поддерживать ошибку на заданном уровне.

Тестирование описанной методики обработки данных на примере длиннолатентных СВП было проведено с участием эксперта-аудиолога, задача которого заключалась в определении абсолютного слухового порога в двух сериях экспериментов. В первой серии имитировался стандартный цикл проведения обследования без применения фильтрации, а во второй серии накапливаемые кривые проходили обработку с помощью фильтра В процессе эксперимента регистрировалось количество накоплений, необходимое эксперту для определения наличия вызванного потенциала и слухового порога Показано, что:

а) Применение НС фильтра позволяет более точно определять порог слуха, что связано с повышением чувствительности системы в припороговой области;

б) Количество накоплений, требуемое для определения порога при данном уровне звукового давления (УЗД), при использовании НС фильтра сокращается до 10 и более раз.

в) Основное сокращение числа накоплений приходится на диапазон УЗД, слегка превышающих порог слуха При УЗД значительно выше порога, СВП имеют, как правило, четко выраженную структуру и большую амплитуду, и эксперту достаточно малого числа накоплений. Использование НС фильтра в данном случае не дает большого преимущества. При УЗД около порога амплитуда СВП настолько мала, что даже при использовании НС фильтра, несмотря на более четкую картину, эксперт вынужден накапливать много кривых. Использование НС фильтра в этом диапазоне, тем не менее, полезно, поскольку при заведомом отсутствии сигнала эксперт может принять решение более уверенно и на более ранней стадии.

г) Применение НС фильтра дает принципиальную возможность автоматизировать процесс определения наличия или отсу1ствия вызванных потенциалов на значительно более ранних стадиях обследования Сокращение еремени обследования может быть достигнуто двумя путями:

1) процедура накопления сигнала прерывав! ся после достижения стабильного ответа нейросети для данной интенсивности стимула,

2) сканирование интенсивности стимула с малым числом накопления и грубое определение положения порога, после чего предполагаемая пороговая область исследуется более подробно с более высоким количеством циклов накопления.

Другой частью разработанной диагностической системы являлась нейросетевая система для автоматического определения порога слуха. При работе с этой системой записывались 8 кривых при различных интенсивностях звукового стимула. Весь набор записанных кривых подавался на входной слой сети. Выходной слой состоял из 8 нейронов, по одному для каждой кривой во входном образе После обработки входного образа нейросетью активность каждого выходного нейрона интерпретировалась как наличие отклика мозга на соответствующей кривой на входе.

Разработанная диагностическая система была испытана на реальных данных, собранных в клинических условиях. Предложенная диагностическая система позволяет.

а) детектировать клинически значимые пики,

б) подавлять случайные выбросы, не связанные с вызванными потенциалами,

в) измерять амплитуду пиков,

г) определять слуховой порог,

д) существенно сократить необходимое количество циклов накопления, т е. снизить

длительность процедуры обследования,

е) снизить требования к квалификации персонала, проводящего обследование, т.е.

создать условия для более широкого распространения данной методики в

медицинскую практику.

Описанный подход очевидно может быть применен к иным методикам регистрации вызванных потенциалов, например, соматосенсорных и электроретинографии Кроме того, его можно использовать для мониторинга состояния мозга при хирургических операциях или для определения необходимой дозы наркоза.

Проведенные исследования показали перспективность применения искусственных нейросетей для выделения и обработки слуховых вызванных потенциалов. Полученные результаты свидетельствуют о принципиальной возможности модификации протокола проведения обследования при использовании нейросетевой диагностической системы с целью создания полностью автоматизированной системы диагностики слуха

В третьей главе описывается построение нейросетевой системы экспресс-диагностики органического загрязнения водных сред [4-10].

Нейросетевая система экологического мониторинга была разработана для быстрого автоматического определения органических загрязнений в морских водах Система основана на анализе двумерных спектрально-флуоресцентных подписей (СФП). В СФП-методике проба природной в<|>ды рассматривается как единый спектроскопический объект и характеризуется определенной собственной СФП, представляющей собой матрицу интенсивности излучения, записанную в координатах длин волн возбуждения и излучения (25x40=1000 точек). Условия регистрации СФП таковы, что интенсивность излучения в каждой точке матрицы линейно зависит от концентрации загрязнителя СФП уникальна для каждого загрязнителя, что в идеальных условиях обеспечивает единственность решения обратной задачи (те. определение вида загрязнителя и его концентрации по полученной СФП). Однако, присутствующее в водоемах экологически безвредное растворенное органическое вещество (РОВ) может вносить существенный вклад в СФП, причем доля этого вклада может меняться в зависимости от времени года и от места измерения. Кроме того, наличие шума регистрирующей аппаратуры может вносить существенную погрешность в измерения Эти обстоятельства затрудняют применение аналитических методов анализа СФП

Обучение нейросетей было основано на стратегии постепенного усложнения тренировки Вначале НС обучается классифицировать СФП образцов, содержащих высокие концентрации загрязнителей в смеси с различными видами РОВ. После достижения удовлетворительного качества распознавания НС, набор тренировочных примеров расширяется - в него добавляются СФП образцов, в которых концентрация загрязнителей постепенно уменьшается. Тем самым, отношение сигнал/шум во входных данных понижается, и задача становится более сложной. Обучение продолжается, пока НС в состоянии поддерживать качество работы на приемлемом уровне Заметим, что усложнение задачи в данном случае можно трактовать и как постепенное уточнение границ классов.

В процессе создания нейросетевой системы экспресс-диагностики была введена концепция иерархических нейросетевых комплексов, являющаяся логическим развитием идеи постепенного усложнения задачи:

- при значительном количестве начальных классов построить одну НС, которая осуществляла бы всю классификацию за один этап, достаточно сложно и долго (и результат не гарантирован)

в соответствии с известным иерархическим подходом, можно разбить задачу на последовательное решение ряда мелких задач: сначала классифицировать загрязнитель "грубо" (в класс, объединяющий сравнительно малое число загрязнителей), а затем проводить "тонкую" классификацию, построив узкоспециализированный классификатор для каждого класса)

Для практической проверки описанных методов была взята база данных, в которой содержалось более 70 СФП органических загрязнителей (сырые нефти, фенолы, керосин, бензины, технические масла, дизельное топливо и т.п.) и более 15 СФП различных РОВ из акватории Балтийского и Северного морей. Была разработана система экспресс-диагностики. которая включает три этапа работы:

1) базовая НС проводит "грубую" классификацию, определяя один из чегырех "обобщенных" классов загрязнителя (фенолы, легкие нефтепродукты, средние нефтепродукты и тяжелые нефтепродукты);

2) Для каждого "обобщенного" класса используется своя НС, которая проводит идентификацию загрязнителя;

3) После идентификации загрязнителя, определяется концентрация загрязнителя Для этого можно использовать либо линейную НС (однослойный перцептрон), либо эквивалентные методы линейной алгебры

Полученная в численных экспериментах чувствительность метода достаточна для большинства практических задач Система позволяет проводить диагностику в режиме реального времени и успешно работает при наличии шума во входных данных Система не чувствительна к сезонным и географическим вариациям присутствующего в природных водоемах раст воренного органического вещества.

Следует заметить, что описанный нейросетевой подход требует больших вычислительных затрат при обучении НС Кроме того, эмпирический выбор параметров НС и отсутствие строгой математической модели не позволяют получать априорную оценку качества работы системы распознаьания

Был разработан алгоритм, основанный на математической модели СФП, которая позволила использовать аналитические методы линейной алгебры и статистики аля решения задачи экспресс-диагностики Подходы, основанные на НС и на математической модели, дают сравнимые значения пороговых концентраций загрязнителей Хотя скорость построения системы во втором случае заметно выше, следует учесть, что математическая модель требует явного задания вида шума, тогда как для нейросетевого подхода это не требуется

В четвертой главе описывается метод адаптивного построения иерархических нейросетевых комплексов [11-16].

Метод адаптивного построения ИНК основан на следующих соображениях.

Процесс тренировки многослойного перцептрона (МСП) можно рассматривать как одновременное выделение признаков в скрытом слое и их декодирование в выходном слое Для простейшей архитектуры МСП количество выделяемых признаков можно считать пропорциональным количеству нейронов в скрытом слое При этом задание числа нейронов в скрытом слое меньше некоторого порога приведет к ситуации, когда НС будет не способна выделить количество признаков, достаточное для классификации предложенных образов в требуемое количество классов НС начнет путать образы из классов, похожих в терминах того небольшого количества признаков, которые выделяются в скрытом слое.

Можно предположить, что при некоторых условиях нейросеть будет в этой ситуации выделять наиболее существенные признаки во входных данных, и, следовательно, эти признаки можно использовать для принятия решения о том, какие классы следует объединить в группы.

Основанный на этой идее алгоритм формирования групп классов (АФГК) работает следующим образом Вначале, МСП обучается решать задачу классификации с использованием стандартного метода обратного распространения ошибки. По прошествии нескольких эпох тренировки, алгоритм производит анализ статистики ответов МСП на тренировочном наборе В процессе анализа проводится "голосование" образов: для каждого образа (примера) определяется номер нейрона выходного слоя, имеющего максимальную амплитуду отклика и превышающего некий порог голосования. Этот номер трактуется как номер класса, за принадлежность к которому "проголосовал" данный образ Если количество образов из класса к, проголосовавших за принадлежность к классу }, больше половины количества образов в классе к, то считается, что все представители класса к отныне принадлежат классу ,). Другими словами, если ответом сети на образы из разных классов является стабильная активация одного и того же нейрона, то такая ситуация рассматривается как свидетельство в пользу того, что эти классы следует объединить. После окончания анализа всех классов, производится соответствующая модификация желаемых выходов. После этого тренировка продолжается с использованием измененной информации о классе, к которому принадлежит каждый образ.

Указанные выше стадии "тренировка - анализ - модификация желаемых ответов" повторяются, пока классы продолжают объединяться. В результате описанной процедуры исходный набор классов разбивается на некоторое количество групп, и одновременно с этим создается классификатор, поддерживающий именно это разбиение.

Опишем алгоритм построения ИНК как процесс построения дерева решений, узлы в котором реализованы в виде МСП с заданным размером скрытого слоя Построение ИНК начинается с вызова АФГК, в результате работы которого происходит объединение исходных классов в небольшое количество групп Таким образом, формируется базовый узел ИНК (первый уровень иерархии), в котором осуществляется наиболее "грубая" классификация Очевидно, что полученные группы классов можно рассматривать как ветви дерева решений

После создания базового узла, для каждой из полученных групп классов (ветвей) вновь вызывается АФГК. Важно, что при этом алгоритм анализирует лишь те исходные классы, которые попали в данную ветвь дерева В результате формируется узел следующего уровня иерархии, а из анализируемых классов образуются новые группы (ветви). После формирования всех узлов данного уровня иерархии, АФГК вызывается для каждой из вновь полученных ветвей Ясно, что узлы более высоких уровней иерархии осуществляют все более и более детальную классификацию Алгоритм построения ИНК

для данной ветви останавливается, если в ней содержится один исходный класс, или если дальнейшая детализация классов в этой ветви невозможна (например, если процент ошибочных классификаций в узле превысил некоторый порог).

Можно трактовать процесс построения ИНК как процесс подбора адекватной сложности задачи на каждом уровне иерархии. Пусть задана архитектура МСП, используемая при построении ИНК (для простоты единственным параметром архитектуры будем считать размер скрытого слоя). В процессе формирования очередного узла возможны три результата работы АФПК:

а) Заданная архитектура МСП способна разделить классы, входящие в данную ветвь, т.е. сложность поставленной в данном узле задачи классификации соответствует возможностям используемой НС.

б) Заданная архитектура МСП не может разделить классы, входящие в данную ветвь, но возможно образование групп классов, т е. задача классификации, слишком сложная для решения в данном узле, разбивается на задачу разбиения классов по группам (причем слох<ность этой задачи адекватна возможностям используемой НС) и на набор задач для узлов следующего уровня иерархии. Заметим, что при использовании такой стратегии задача тренировки узла ИНК может быть решена достаточно быстро, поскольку предложенный метод модификации желаемых ответов сильно ускоряет сходимость обучения С другой стороны, количество классов, подлежащих распознаванию, постепенно уменьшается с каждым следующим уровнем иерархии, что упрощает задачу классификации.

в) На некотором этапе построения ИНК может сформироваться ветвь, внутри которой границы между классами настолько сложны, что заданная архитектура МСП не в состоянии ни разделить классы, ни сформировать из них группы, что говорит о невозможности решить задачу классификации средствами заданной архитектуры.

Как видно из этого рассмотрения, первоначальная глобальная задача распознавания множества исходных классов (возможно, очень сложная) разбивается на последовательность локальных задач со сложностью, адекватной возможностям нейросетевой архитектуры, используемой в узлах ИНК.

Преимущества иерархического способа решения задачи перед использованием одиночного МСП с большим скрытым слоем достаточно очевидны. Хотя одиночный МСП и может решить задачу (по теореме об МСП как универсальном аппроксиматоре), однако требуемый размер скрытого слоя заранее неизвестен, и его приходится находить меюдом подбора. В то же время, в предлагаемом иерархическом подходе архитектура МСП может быть практически произвольной, поскольку алгоритм наращивает структуру ИНК по мере необходимости, используя заданную архитектуру как конструкционные блоки. Оценим количество скрытых нейронов МСП, достаточное для построения ИНК со 100% распознаванием:

Пусть в узле ИНК требуется классифицировать Р примеров {X} е {И"} в два класса Кх и Кг (если количество классов больше 2, то объединим эти классы на два новых класса произвольным образом) Рассмотрим пример X е Кь В наихудшем случае, его требуется отделить от (Р-1) примеров из К: Для этого достаточно'

• либо построить набор из (Р-1) гиперплоскостей, отделяющих X от каждого из примеров из Кг. на что требуется (Р-1) скрытых нейронов;

• либо для каждого из признаков X] (¡=1,...1Ч) построить по 2 гиперплоскости, отделяющих данный пример от примеров с меньшими и с большими значениями этого признака, для чего требуется (2*!Ч) скрытых нейронов

Таким образом, отсюда следует теорема:

Теорема: Пусть требуется классифицировать Р примеров {X} е {К14} в М классов. Тогда для построения ИНК, дающего гарантированное 100% распознавание, достаточно использовать МСП с размеров скрытого слоя, равным тт(2*1У, Р-1)

Перечислим отличительные особенности разработанного подхода:

• Каждый узел ИНК представляет собой обычный МСП, традиционно обучаемый с учителем. Предложенная модификация алгоритма тренировки фактически переводит обучение МСП в режим обучения без учителя

• Образование групп классов в узлах ИНК происходит одновременно с тренировкой соответствующего классификатора, обеспечивая оптимальный выбор признаков.

• Алгоритм формирования групп классов наследует все хорошо известные преимущества МСП, в частности, возможность тренировки на примерах, что позволяет учесть естественным образом априорную информацию о сходстве группируемых образов.

• Структура ИНК не задается заранее Рекурсивное применение алгоритма обеспечивает адаптивное наращивание иерархических структур.

• Параметры алгоритма позволяют управлять топологией получаемых ИНК.

• Применение этого подхода позволяет получить структуры с высоким процентом распознавания, достаточно устойчивые к наличию шума в тестовых данных

• Появляется альтернатива выбора "объем памяти - время срабатывания": ИНК занимает мало места в памяти (поскольку в каждый момент времени работает только один узел), но время срабатывания ИНК пропорционально "глубине" дерева, параллельное использование равного числа НС (типичное для нейросетевых комитетов) занимает много места в памяти (требуется работа всех НС), но время срабатывания такой структуры мало.

Алгоритм был проверен на ряде модельных задач и на реальных данных, доступных по сети Интернет (напр., спектральные образы гласных звуков," текстуры и т д) Была продемонстрирована способность алгоритма обеспечить высокое качество распознавания и возможность построения экономной в вычислительном отношении иерархической струи уры классификаторов.

В пятой главе описывается метод анализа временных рядов с помощью иерархических нейросетевых комплексов [17-29].

В простейшем случае анализируемые данные являются статическими объектами, т е в пространстве признаков они представлены как множество изолированных точек, взаимосвязь между которым^ во времени игнорируется или отсутствует В предыдущей главе был описан алгоритм анализа данных именно такого типа.

Возможно обобщений алгоритма построения ИНК для анализа объектов, представимых в пространстве признаков в виде непрерывных или квазинепрерывных траекторий, в частности, для анализа временных рядов с переключающейся динамикой.

Будем рассматривать временной ряд уе (1=1,2,..), который генерируется источником 8(г,). Значение г, является переменным во времени параметром, принимающим значения из фиксированного множества ® = {0ь 02,..., 9к} В момент времени 1, значение у( зависит от предыстории уц, у«,..., и от текущего значения а Значение ь может скачком изменяться (переключаться) в произвольные моменты времени (т.е. значение изменяется за время, пренебрежимо малое по сравнению с интервалами между этими изменениями). Конкретные значения параметров из множества © и их число К заранее неизвестны.

Задача анализа структуры временного ряда в рамках данных исследований заключается в разбиении временного ряда на участки, внутри которых значение zt не изменяется.

Алгоритм формирования групп классов (АФГК) применяется для анализа временных рядов с переключающейся динамикой следующим образом Введем величину "минимального размера сегмента" (MPC), задавая ее значение исходя из априорной оценки минимального времени жизни одного типа динамики. Анализируемый временной ряд разбивается на одинаковые участки с размером, равным MPC, причем в пределах каждого из участков динамика объекта предполагается неизменной. В допущении, что переключение между различными типами динамики происходит достаточно редко, каждый из этих участков считается принадлежащим к отдельному классу со своей собственной динамикой. Таким образом, количество выходных нейронов в НС равно начальному количеству получившихся участков.

Методика тренировки МСП аналогична методике, использовавшейся для анализа статических объектов. Вначале обучение ведется стандартным методом обратного распространения ошибки. По прошествии нескольких эпох тренировки, алгоритм производит анализ статистики ответов МСП на тренировочном наборе. Так как данный алгоритм работает с временными рядами, то имеет смысл учитывать очевидное априорное соображение, что классы соседних образцов (в том числе и относящихся к разным участкам начального разбиения), скорее всего, совпадают Таким образом, при рассмотрении голосования отдельного образца следует учитывать результаты голосования его соседей слева и справа, попадающих в т.н "окно анализа". Размер, окна анализа примем равным половине MPC. Будем считать, что рассматриваемый образец отнесен к классу j, если больше половины образов в окне анализа проголосовало за принадлежность к классу j (в противном случае информация о принадлежности к классу не изменяется).

После окончания анализа голосования временной ряд разбивается на новые сегменты в соответствии с измененной принадлежностью к классам. Если количество образцов в каком-либо сегменте меньше, чем MPC, то такой сегмент присоединяется к сегменту, расположенному левее. (Заметим, что одновременно могут существовать несколько несмежных сегментов, образцы из которых принадлежат одному и тому же классу; такие несмежные сегменты, разумеется, не могут быть объединены в один сегмент.)

В результате, границы сегментов, изначально расположенные равномерно, могут быть передвинуты После формирования нового разбиения тренировка продолжается. Последовательность операций "тренировка - голосование - модификация сегментов" прекращается, когда разбиение временного ряда перестанет изменяться. Итоговое количество классов, на которые был разбит временной ряд, определяется лишь по окончании тренировки МСП.

В результате работы АФГК участки временного ряда с одинаковой или близкой динамикой оказываются отнесенными к одному и тому же классу, а весь временной ряд разбивается на сегменты с указанием типа динамики.

Алгоритм построения ИНК при анализе временных рядов с переключающейся динамикой также аналогичен случаю анализа статических объектов. Сеть следующего уровня не строится, если после окончания тренировки все образцы объединены в один класс В этой случае будем считать, что в рассматриваемом временном ряду выделение дополнительных типов динамики не представляется возможным. Сеть следующего уровня не строится и для классов, состоящих из сегментов, каждый из которых не превышает двойного размера MPC. Такие классы разделять на более мелкие сегменты нецелесообразно, так как их размер сравним со временем жизни динамики одного типа

Для всех остальных классов строятся сети следующего уровня иерархии. Все образцы, принадлежащие одному такому классу, снова разбиваются на сегменты размера

MPC. Количество выходных нейронов в сети следующего уровня равно количеству получившихся сегментов. Процедура обучения получившейся сети аналогична обучению базовой сети Особенностью процедуры является то, что теперь мы рассматриваем временной ряд не как непрерывный, а как состоящий из выделенных на предыдущем уровне иерархии участков Ьременного ряда, которые могут не являться смежными. Поэтому алгоритм сегментации применяется к каждому такому участку временного ряда по отдельности.

Одним из главных предположений, которое было положено в основу описанного выше метода анализа временных рядов, являлось предположение о мгновенном переключении между различными типами динамики Однако на практике данное условие выполняется далеко не всегда. Одним из наиболее очевидных предположений является наличие достаточно широкого участка "дрейфа". В рамках этой модели, на участке дрейфа предполагается одновременное существование нескольких типов динамики, причем типы динамики плавно трансформируются один в другой (дрейфуют) в течение некоторого достаточно значительного интервала времени. Например, в модельных задачах рассматривался дрейф вида-

f(t)=a(t)*fL(t)+(l-a(t))*fR(t), где fi. и Tr - функции, описывающие динамику в сегментах, расположенных слева и справа от переходного участка, соответственно, a a(t) - функция, линейно нарастающая от О до 1 на участке дрейфа.

Очевидно, что заложенные в описанный выше алгоритм ограничения позволяют относить такие участки дрейфа только к какому-либо одному классу. Это свойство алгоритма приводит к тому, что при сегментации появляются хаотические перескоки от класса к классу на коротком временном интервале

Обобщение алгоритма АФГК на случай дрейфового характера изменения типа динамики заключается в следующем

Будем рассматривать ответ НС (множество активностей нейронов выходного слоя {Oj(Si), j=l,...,K}) при предъявлении примера Si (i~l,...,N) как оценку вероятности принадлежности данного примера к каждому из К классов. Учтем предположение о плавном характере изменения типа динамики во временном ряду с характерным масштабом равным минимальному времени жизни одного типа динамики. С другой стороны, ответы НС на предъявление разных примеров являются статистически независимыми, поскольку используемая архитектура (МСП) не имеет внутренней памяти Исходя из этого, можно оценить функцию распределения вероятностей принадлежности примера S к каждому из К классов путем усреднения ответов НС по окну анализа шириной W: (

P^sumiOjiSjyW, j=l,...,K, i=l,...,W,

где суммирование ведется по всем примерам S,, попадающим в окно анализа. Будем считать незначимыми классы m, для которых выполняется условие Р1П<0.2*Р„1„, где P„i,r=argmax(Pj), j=l,...,K,

и для таких классов примем Р,„=С. Наконец, перенормируем сумму вероятностей для оставшихся классов на 1. Полученный вектор {Рт} используется как желаемый ответ для примера S.

Таким образом, предлагаемый алгоритм может отнести данный пример не к одному классу (за принадлежность к которому проголосовало большинство представителей), а одновременно ко всему набору "классов-кандидатов". Благодаря тому, что в желаемом ответе допускается наличие нескольких классов, во время тренировки для каждого примера будет найдена наиболее предпочтительная группа классов.

Если тип динамики какого-то участка анализируемого временного ряда состоит из примеров, каждый из которых классифицируется однозначно, то весь этот участок будет

отнесен к единственному классу. Если же этот участок принадлежит области предполагаемого дрейфа, то на отдельных его фрагментах будут доминировать различные типы динамики Заметим, что анализ процесса изменения амплитуд ответов нейросети на участке дрейфа позволяет получать количественную информацию о характере дрейфа одного типа динамики в другой.

Были проведены многочисленные эксперименты по применению описанных алгоритмов для анализа модельных псевдослучайных рядов, реальных данных биомедицинских и космофизических исследований.

В модельных экспериментах исследовались зависимости рабочих характеристик алгоритма построения ИНК от различных параметров работы алгоритма. Были проведены исследования по устойчивости работы алгоритма в условиях как сбалансированных, так и сильно несбалансированных по представительности классов. Во всех экспериментах алгоритм обеспечивал процент распознавания на уровне 94-98% на тестовом наборе данных.

Были также проведены эксперименты по анализу модельных псевдослучайных рядов с дрейфовым типом динамики. Результаты экспериментов показали, что алгоритм способен правильно выделять участки одновременного существования нескольких типов динамики, т е. участки дрейфа, и определять наиболее важные типы динамики, существующие на таких участках.

В экспериментах с биомедицинскими данными алгоритмы бьши применены для анализа респираторных данных (отражающих изменение параметров дыхания), снятых у здоровых людей во время дневного сна. Задача заключалась в разбиении временного ряда (10-15 тысяч точек) на сегменты, соответствующие определенным стадиям сна Результаты сегментации, полученной с помощью ИНК, сравнивались с ручной разметкой временного ряда медицинским экспертом. Средние проценты соответствия разбиения, полученного с помощью ИНК, с экспертным разбиением, составили более 70% на тестовом наборе данных. Важно заметить, что эксперт размечал временной ряд на основе целого набора физиологических сигналов, регистрировавшихся одновременно с респираторными данными (ЭЭГ, ЭКГ, и пр), в то время как ИНК строился лишь на основе респираторных данных

В экспериментах с космофизическимн данными в качестве объекта анализа использовался временной ряд, состоящий из среднечасовых значений скорости солнечного ветра за 1974 г (8760 точек). Как показали эксперименты, анализ временного ряда с помощью предлагаемого алгоритма позволяет не только выявлять различные типы динамики, но, по-видимому, и обнаруживать достаточно длинные последовательности переходов из одного типа динамики в другой. Была проведена проверка стабильности результатов работы алгоритма.

Проведенные эксперименты продемонстрировали перспективность и работоспособность описанных алгоритмов для анализа временных рядов в широком круге практических задач.

В заключении сформулированы основные результаты работы. Основные результаты работы

1. Предложена методика решения сложных задач классификации путем построения иерархических нейросетевых комплексов (ИНК) Методика позволяет значительно упростить как решение задачи автоматизации синтеза нейронных сетей, так и решение задачи классификации в целом.

2, Предложена методика постепенного усложнения тренировки НС, позволяющая сформулировать задачу классификации такой сложности, которая была бы адекватна возможностям используемой нейросети.

3. Разработан алгоритм построения архитектуры ИНК, позволяющий преодолеть ряд принципиально важных ^недостатков и ограничений традиционных нейросетевых подходов при решении широкого круга практических задач. Важными практическими свойствами предложенного подхода являются:

• толерантность к выбору архитектуры НС;

• снижение вероятности попадания в локальный минимум;

• гарантированное высокое качество распознавания,

• значительное снижение вычислительной стоимости построения НС классификатора при большом количестве классов;

• повышение интерпретируемости признаков, по которым НС принимает решение о принадлежности анализируемого образа к тому или иному классу или группе образов.

Получена теоретическая оценка размера скрытого слоя МСП, достаточного для построения ИНК со 100% распознаванием. Эта оценка равна Ш1п(2*Ы, Р-1), где N -размерность данных, Р - количество примеров.

Предложено обобщение алгоритма построения ИНК для анализа временных рядов с переключающейся динамикой, а также его вариант для анализа временных рядов с дрейфовым характером изменения типа динамики.

5. Алгоритм построения ИНК проверен на ряде модельных задач и на реальных данных, доступных по сети Интернет. Проведены эксперименты по применению разработанных алгоритмов для анализа модельных псевдослучайных рядов, реальных данных биомедицинских и космофизических исследований. Продемонстрированы способность алгоритма обеспечить высокое качество распознавания, возможность построения экономной в вычислительном отношении иерархической структуры классификаторов, а также перспективность и работоспособность списанных алгоритмов для анализа временных рядов в широком круге практических задач.

6 Разработанные методики были успешно применены при решении ряда практических задач, связанных с анализом данных физических измерений в условиях шумов В первой задаче анализируются слабые электрические сигналы (слуховые вызванные потенциалы) при наличии шума (фоновая активность мозга). Разработана нейросетевая система, служащая для объективной диагностики ухудшения слуха по слуховым вызванным потенциалам Разработанная диагностическая система была испытана на реальных данных, собранных в клинических условиях. Система позволяет значительно сократить время обследования пациентов и снизить требования к квалификации медицинского персонала, проводящего обследование

Во второй задаче проводится классификация двумерных спектров флуоресценции в условиях фоновой засверки Разработана нейросетевая система, служащая для быстрого автоматического определения органических загрязнений в пробах воды при экологическом мониторинге. Полученная в численных экспериментах чувствительность метода достаточна для большинства практических задач. Система не чувствительна к сезонным и географическим вариациям присутствующего в природных водоемах растворенного органического вещества, успешно работает при наличии шума во входных данных и позволяет проводить диагностику в режиме реального времени

Список публикаций автора по теме диссертации

I. Ya M.Sapognikov, M.R.Bogomilsky, AADeviatov, A.V.Kurgansky, Yu.V.Orlov, IG Persiantsev, S.P.Rebrik, J.S.Shugai. Expert system for extraction of the evoked potentials. Intern. Symposium on the Modern Problem of Hearing Physiology and Pathology. Moscow, Russia, Oct 11-16 1993, pp.39-40.

2 AADeviatov, Yu.V.Orlov, I.G.Persiantsev, S P.Rebrik, J.S.Shugai. Diagnostic System for Detection and Analysis of Auditory Evoked Potentials Proc. of Workshop on Environmental and Energy Applications of Neural Networks, Richland, WA, USA, 3031 March, 1995, pp.180-185.

3. A A Deviatov, Yu.V.Orlov, I.G.Persiantsev, S P.Rebrik, J.S.Shugai. The Diagnostics of Auditory Evoked Potentials. Pattern Recognition and Image Analysis, 1995, Vol 5, No.4, pp 602-612

4 Yu.V.Orlov, l.G Persiantsev, S.P.Rebrik. Application of neural networks to fluorescent diagnostics of organic pollution in natural waters. Proc. RNNS/IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, Oct 7-10 1992, pp.763-773.

5. Yu.V.Orlov, I.G.Persiantsev, S.P.Rebrik. Application of neural networks to fluorescent diagnostics of organic pollution in natural waters. Proc. 1993 IEEE Int. Conf. on Neural Networks, San Francisco, CA, March 28-April 1, 1993, pp.1230-1235.

6 Yu.V.Orlov, IG Persiantsev, S P.Rebrik, S M Babichenko. Fluorescent diagnostics of organic pollution in natural waters: a neural network approach Proc. Workshop on Environmental and Energy Applications of Neural Networks, Richland, WA, USA, 3031 March, 1995, pp.56-63.

7. Yu.V.Orlov, S.P.Rebrik, l.G Persiantsev, S.M Babichenko. Application of neural networks to fluorescent diagnostics of organic pollution in a water. European Symposium on Optics for Environmental and Public Safety, Fairgrounds, Munich, FR Germany, 19-23 June, 1995, Proc.SPIE, Vol.2503, 1995, pp. 150-156.

8. Ю.В.Орлов, И.Г.Персианцев, Д Ю.Павлов, ДЛЧудова. Разработка и исследование математических методов экспресс-диагностики органических загрязнений водных сред. Всероссийская научная конференция "Физические проблемы экологии (Физическая экология)", Москва, 23-27 июня, 1997. Тезисы докладов, т.2, стр.69-70.

9. YuV.Orlov, I.G.Persiantsev, D.I.Chudova, D.Yu.Pavlov, S.M.Babichenko. Development of a Statistics Based System for Fluorescent Diagnostics of Organic Pollution in Water. 3rd EARSeL Workshop on Lidar Remote Sensing of Land and Sea, Tallinn, Estonia, July 17-19, 1997, pp. 157-162.

10. S.Babichenko, L.Porivkina, Yu.Orlov, I.Persiantsev, S.Rebrik. Fluorescent Signatures in Environmental Analysis. In: Encyclopedia of Environmental Analysis and Remediation. Ed. R A Meyers, John Wiley and Sons, Inc. 1998, pp.1787-1791.

II. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, J.S.Shugai, EK.Eremin. Adaptive Method of Construction of a Perceptron-Based Hierarchical Structure of Classifiers. The 4th Open Russian-German Workshop on Pattern Recognition and Image Analysis, Valdai, Russia, March 4-8, 1996, pp.45-49.

12. S.A.Doienko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai, E.KErerain. The Perceptron-Based Hierarchical Structure of Classifiers Constructed by the Adaptive Method. Pattern Recognition and Image Analysis, 1997, Vol.7, No. 1, pp.24-28.

13 S A.Dolenko, YuV.Orlov, l.G Persiantsev, Ju S.Shugai, EK.Eremin Self-organising Construction of Hierarchical Structure of Multi-Layer Perceptrons. Proc. 5th Int. Conf. on Artificial Neural Networks, Churchill College, University of Cambridge, UK, July 7-9, 1997, p.285-290.

14. С.А Доленко, Ю.В.Орлов, И Г.Персианцев, Ю.С Шугай Использование принципов самоорганизации для построения иерархических нейросетевых классификаторов, ß-я конференция "Распознавание образов и анализ изображений: Hoeite информационные техночогии", 1-7 декабря 1997 г., Н.Новгород Тезисы докладов в 2 ч., ч.1. стр.31-35.

15. S.A Dolenko, Yu.V.Oriov, I G.Persiantsev, YuS.Shugai Use of Self-Organization Principles in Construction of Hierarchical Neural Network Classifiers Pattern Recognition and Image Analysis, 1998, Vol.8, No .2, pp. 122-124.

16. S.A Dolenko, Yu.V.Oriov, l.G.Persiantsev, Ju S Shugai. Construction of Hierarchical Neural Classifiers by Self-Organizing Error Back-Propagation Proc. Int.ICSC/IFAC Symposium on Neural Computation, Sept 23-25 1998, Vienna, Austria. Ed M.Heiss, ICSC Academic Press International Computer Science Conventions Canada/Switzerland, pp 113-116.

17 С А Доленко, Ю.В.Орлов, И Г.Персианцев, Ю.С.Шугай. Разработка адаптивных нейросетевых классификаторов для анализа временных рядов. Труды 4-й Всероссийской с международным участием конференции "Распознавание образов и анализ изображений: новые информационные техночогии" в 2 ч Новосибирск, 1998, 4.1, стр. 96-99.

18. S.A Dolenko, Yu.V.Oriov, l.G.Persiantsev, Yu.S. Shugai Development of Adaptive Neural Netwoik Classifiers for Analysis of Time Series. Pattern Recognition and Image Analysis, 1999, Vol.9, No.l, pp.33-34.

19 С А Доленко, Ю.В.Орлов, И Г.Персианцев, Ю.С Шугай Анализ временных рядов с помощью иерархических нейросетевых классификаторов. Труды 6-й Всероссийской конференции "Нейрокомпьютеры и их применение" НКП-2000. Сб.докладов Москва, 2000, стр. 175-179.

20. S.A.Dolenko, Yu.V.Oriov, l.G.Persiantsev, Ju.S Shugai. Time Series Analysis Using Hierarchical Neural Network Classifiers. Proc. of the 5th Joint Conference on information Sciences, February 27 - March 3, 2000, Atlantic City, NJ USA Ed. Paul P.Wang. Association for Intelligent Machinery, Inc, 2000, v. 1, pp.908-911.

21 С А Доленко, Ю.В.Орлов, И.Г.Персианцев, Ю.С Шугай Нейросетевой анализ данных солнечного ветра. Труды 5-й Международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" в 4 т Самара, 2000. Т.З, стр. 499-503.

22. С А Доленко, Ю.В Орлов, И.Г.Персианцев, Ю.С.Шугай Применение иерархических нейросетевых классификаторов для аналнза временных рядов. III Всероссийская Науч.-Техн. Конференция "НейроИнформатика-2001"' Сб трудов В 2-х частях Ч 2. М.::МИФИ, 2001, стр 27-34.

23. С.А Доленко, Ю.В.Орлов, И.Г.Персианцев, Ю С.Шугай. Анализ данных солнечного ветра с помощью иерархических нейросетевых классификаторов. III Всероссийская Науч.-Техн. Конференция "НейроИпформатика-2001": Сб.трудов. В 2-х частях. 4.2. М : МИФИ, 2001, стр. 34-41.

24 S.A Dolenko, Yu V Orlov, l.G Persiantsev, Yu S.Shugai. Neural Network Analysis of Solar Wind Data Pattern Recognition and Image Analysis, 2001, Vol.11, No 2, pp 296-299.

25. S.A.Dolenko, Yu.V Orlov, l.G Persiantsev, Ju.S Shugai, A V.Dmitriev, A V Suvorova, I S.Veselovsky. Solar Wind Data Analysis using Self-Organizing Hierarchical Neural Network Classifiers. Proc. of the 2nd Int. Workshop on Multiple Classifier Systems MCS200I, July 2-4 2001, Cambridge, UK Eds J.Kittler and F Roh. LNCS, SpringerVerlag Berlin Heidelberg 2001, Vol 2096, pp 289-298.

26. S A.Dolenko, Yu.V.Oriov, I.G Persiantsev, A G.Pipe, Ju S.Shugai Time Series Analysis Using Unsupervised Construction of Hierarchical Classifiers. Proc. of the

14th International Florida Artificial Research Society Conference (FLAIR5200I), Key West, Florida, 2001, USA Eds. I Russell and J.Kolen, AAAI Press, Menlo Park, California, pp.475-479

27 С А Доленко, Ю В.Орлов, И Г.Персианцев, Ю.С.Шугай. Нейросетевой анализ временных рядов с переключающейся динамикой Труды б-й Международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" РОАИ-6-2002, в 2 ч. В.Новгород, 2002, ч 2. сгр. 193-197.

28. S A Dolenko, Yu.V.Orlov, l.G.Persiantsev, Yu S.Shugai. Neural network analysis of time series with switching dynamics Pattern Recognition and Image Analysis, 2003, Vol.13, No.l,pp.l4-16.

29 S A Dolenko, Yu.V.Orlov, I.G Persiantsev, Yu.S.Shugai. Neural Network Segmentation of Time Series. Pattern Recognition and Image Analysis, 2003, Vol.13, No 3, pp.433-440.

Юрий Всеволодович ОРЛОВ

Разработка и исследование алгоритмов построения иерархических нейросетевых комплексов для классификации данных физических измерений

05.13.18 - математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата фюико-матемалмеских тук

ИД № 00545 ox 06.12.1S99

Издательский отдел Учебно-научного центра довузовского образования

117246, Москва, ул.Обручева, 55А 119992, Москва, Ленинские горы, ГЗ МТУ, Ж-105а Тел./факс (095) 718-6966,939-3934 e-mail: i2dat@abiturcenter.ru http://www.abiturcenter.ru

Гигиенический сертификат № 77.99.2.925.IL9139.2.00 от 24.02.2000 Налоговые льготы - Общероссийский классификатор продукции ОК-005-93. том 1 - 953000

Заказное. Подписано в печать 04.09.2003 г. Формат 60x90/16 Бумага офсетная №2. Усл.печ.л. 1,5 Тираж 100 экз. Заказ № 402

Отпечатано в мини-типографии УНЦДО в полном соответствии с качеством предоставленного оригинал-макета

2ооЗ-Д

»15655

Актуальность работы.4

Цель работы.6

Научная новизна.7

Научная и практическая значимость работы.9

Основные положения, выносимые на защиту.10

Апробация работы.10

Краткое содержание диссертации.11

Публикации.12

Основные результаты работы

1. Предложена методика решения сложных задач классификации путем построения иерархических нейросетевых комплексов (ИНК). Методика позволяет значительно упростить как решение задачи автоматизации синтеза нейронных сетей, так и решение задачи классификации в целом.

2. Предложена методика постепенного усложнения тренировки НС, позволяющая сформулировать задачу классификации такой сложности, которая была бы адекватна возможностям используемой нейросети.

3. Разработан алгоритм построения архитектуры ИНК, позволяющий преодолеть ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении широкого круга практических задач. Важными практическими свойствами предложенного подхода являются:

• толерантность к выбору архитектуры НС;

• снижение вероятности попадания в локальный минимум;

• гарантированное высокое качество распознавания;

• значительное снижение вычислительной стоимости построения НС классификатора при большом количестве классов;

• повышение интерпретируемости признаков, по которым НС принимает решение о принадлежности анализируемого образа к тому или иному классу или группе образов.

Получена теоретическая оценка размера скрытого слоя МСП, достаточного для построения ИНК со 100% распознаванием. Эта оценка равна шт(2*Ы, Р-1), где N -размерность данных, Р - количество примеров.

Предложено обобщение алгоритма построения ИНК для анализа временных рядов с переключающейся динамикой, а также его вариант для анализа временных рядов с дрейфовым характером изменения типа динамики.

5. Алгоритм построения ИНК проверен на ряде модельных задач и на реальных данных, доступных по сети Интернет. Проведены эксперименты по применению разработанных алгоритмов для анализа модельных псевдослучайных рядов, реальных данных биомедицинских и космофизических исследований. Продемонстрированы способность алгоритма обеспечить высокое качество распознавания, возможность построения экономной в вычислительном отношении иерархической структуры классификаторов, а также перспективность и работоспособность описанных алгоритмов для анализа временных рядов в широком круге практических задач. Разработанные методики были успешно применены при решении ряда практических задач, связанных с анализом данных физических измерений в условиях шумов. В первой задаче анализируются слабые электрические сигналы (слуховые вызванные потенциалы) при наличии шума (фоновая активность мозга). Разработана нейросетевая система, служащая для объективной диагностики ухудшения слуха по слуховым вызванным потенциалам. Разработанная диагностическая система была испытана на реальных данных, собранных в клинических условиях. Система позволяет значительно сократить время обследования пациентов и снизить требования к квалификации медицинского персонала, проводящего обследование.

Во второй задаче проводится классификация двумерных спектров флуоресценции в условиях фоновой засветки. Разработана нейросетевая система, служащая для быстрого автоматического определения органических загрязнений в пробах воды при экологическом мониторинге. Полученная в численных экспериментах чувствительность метода достаточна для большинства практических задач. Система не чувствительна к сезонным и географическим вариациям присутствующего в природных водоемах растворенного органического вещества, успешно работает при наличии шума во входных данных и позволяет проводить диагностику в режиме реального времени.

Заключение

В настоящей работе были получены следующие основные результаты:

1. D.E. Rumelhart, G.E.Hinton, R.J.Williams. Learning Internal Representations by Error Propagation, in Parallel Distributed Processing: Explorations in the Microstructures of Cognition, Vol.1: Foundations, MIT Press, 1986, pp.318-362.

2. R.P.Lippman. An Introduction to Computing with Neural Nets, IEEE Magazine on Acoustics, Signal, and Speech Processing, 1987, Vol.4, pp.4-22.

3. M.H.Hassoun. Fundamentals of Artificial Neural Networks, MIT Press, 1995.

4. T.Samad. Back Propagation With Expected Source Values, Neural Networks, 1991, Vol.4, No.5, pp.615-618.

5. K.Hornik, M.Stinchcombe, H.White. Multilayer Feedforward Networks are Universal Approximators, Neural Networks, 1989, Vol.2, No.5, pp.359-366.

6. G.Cybenko. Approximation by Superpositions of a Sigmoidal Function, Mathematical Control Signals Systems, 1989, Vol.2, pp.303-314.

7. K.-I.Funahashi. On the Approximate Realization of Continuous Mappings by Neural Networks, Neural Networks, 1989,Vol.2, No.3, pp.183-192.

8. K.Hornik, M.Stinchcombe, H.White. Universal Approximation of an Unknown Mapping and its Derivatives Using Multilayer Feedforward Networks, Neural Networks, 1990, Vol.3, No.5, pp.551-560.

9. R.A. Jacobs. Increased Rates of Convergence Through Learning Rate Adaptation, Neural

10. Networks, 1988, Vol.1, No,4, pp.295-307.

11. T.P.Vogl, J.K.Manglis, A.K.Rigler, W.T.Zink, D.L.Alkon. Acceleraring the Convergence of the Back-Propagation Method, Biological Cybernetics, 1988, Vol.59, pp.257-263.

12. M.Riedmiller, H.ABraun. A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm, Proc. 1993 IEEE Int. Conf. on Neural Networks, San Francisco, CA, March 28-April 1, 1993, pp.586-591.

13. S.E.Fahlman. Fast Learning Variations ion Back-Propagation: An Empirical Study, Proc. 1988 Connectionist Model Summer School (Pittsburg, 1988), eds. D.Touretzky, G.Hinton, T.Seinowski, Morgan Kaufmann, 1988, pp.38-51.

14. W.Finnoff. Diffusion Approximations for the Constant Learning Rate Backpropagation Algorithm and Resistance to Local Minima, Neural Computation, 1994, Vol.6, No.2, pp.2&5-295.

15. A.von Lehman, E.G.Paek, P.F.Liao, A.Marrakchi, J.S.Patel. Factors Influencing Learning by 4 Back-propagation, Proc. IEEE Int. Conf. on Neural Networks (San Diego, 1988), IEEE, New

16. York, 1988, Vol.1, pp.335-341.

17. J.Sietsma, R.J.F.Dow. Neural Net Pruning Why and How, Proc. IEEE Int. Conf. on Neural Networks (San Diego, 1988), IEEE, New York, 1988, Vol.1, pp.325-333.

18. S.Becker, Y.le Cun. Improving the Convergence of Backpropagation Learning with Second Order Methods, Proc. 1988 Connectionist Model Summer School (Pittsburg, 1988), eds. D.Touretzky, G.Hinton, T.Seinowski, Morgan Kaufmann, 1988, pp.29-37.

19. R.Battiti. First- and Second-order Methods for Learning: Between Steepest Descent and Newton's Method, Neural Computation, 1992, Vol.4, No.2, pp. 141-166

20. P.P.von der Smagt. Minimization Methods for Training Feedforward Neural Networks, Neural Networks, 1994, Vol.7, No. 1, pp. 1-11.

21. M.Pfister, R.Rojas. Hybrid Learning Algorithms for Neural Networks The Adaptive Inclusion of Second Order Information, Z.Angew.Math.Mech., 1996, Vol.76, Suppl.l, pp.215218.

22. S.Kirkpatrick. Optimization by Simulated Annealing: Quantitative Studies, Journal of Statistical Physics, 1984, Vol.34, pp.975-986.

23. T.J.Seinowski, P.K.Kienker, G.Hinton. Learning Symmetry Groups with Hidden Units: Beyond the Perceptron, Physica, 1986, Vol.22D, pp.260-275.

24. К 22. RP.Lippman. Review of Neural Networks for Speech Recognition, Neural Computation,1989, Vol.1, No.l,pp.l-38.

25. J.H.Holland. Adaptation in Natural and Artificial Systems, MIT Press, Second Edition, 1992.

26. D.Whitley, T.Hanson. Optimizing neural Networks Using Faster, More Accurate genetic Search, Proc. 3rd Int.Conf. On Genetic Algorithms (Arlington, 1989), ed. J.D.Schaffer, Morgan Kaufmann, 1989, pp.391-296.

27. G.Mirchandani, W.Cao. On Hidden Nodes for Neural Nets, IEEE Trans. Circuits and Systems, 1989, Vol.36, No.5, pp.651-664.

28. А.А.Ежов, С.А.Шумский. Нейрокомпъютинг и его применения в экономике и бизнесе, М., МИФИ, 1998.

29. Y.S.Abu-Mostafa. Complexity of Random Problems, in Complexity in Information Theory, ed. Y.Abu-Mostafa, Springer-Verlag, Berlin, 1986, pp.115-131.

30. G.E.Hinton. Learning Distributed Representations of Concepts, Proc. 8th Annual Conference of the Cognitive Science Society (Amherst, 1986), Erlbaum, Hillsdale, 1986, pp. 1-12.

31. Y.Chauvin. A Back-Propagation Algorithm with Optimal Use of Hidden Units, in Advances in Neural Information Processing Systems 1 (Denver, 1988), ed. D.S.Touretzky, Morgan Kaufmann, 1989, pp.519-526.

32. S.J.Nowlan, G.E.Hinton. Simplifying Neural Networks by Soft Weight-Sharing, Neural Networks, 1992, Vol.4, No.4, pp.473-493.

33. S.E.Fahlman, C.Lebiere. The Cascade-Correlation Learning Architecture, in Advances in Neural Information Processing Systems 2 (Denver, 1989), ed. D.S.Touretzky, Morgan Kaufmann, 1990, pp.524-532.

34. D.Liu, T.-S.Chang, Y.Zhang. A Constructive Algorithm for Feedforward Neural Networks with incremental Training, IEEE Trans. Circuits and Systems, 2002, Vol.49, No. 12, pp. 18761879.

35. J.M.Twomey, AE.Smith. Bias and Variance of Validation Methods for Function Approximation Neural Networks Under Conditions of Sparse Data, IEEE Trans. Systems, Man, and Cybernetics, 1998, Vol.28, No.3, pp.417-429.

36. C.Campbell, C.P.Vicente. The Target Switch Algorithm: A Constructive Learning Procedure for Feed-Forward Neural Networks, Neural Computation, 1995, Vol.7, No.6, pp. 1245-1264.

37. R.Sarukkai. Supervised Networks that Self-Organize Class Outputs, Neural Computation, 1997, Vol.9, No.3, pp.637-648.

38. J.Mao, A.KJain. Artificial Neural Networks for Feature Extraction and Multivariate Data Projection, IEEE Trans. Neural Networks, 1995, Vol.6, No.2, pp.296-316.

39. J.R.Sammon Jr. A Non-Linear Mapping for Data Structure Analysis, IEEE Trans. Computers, 1969, Vol.C-18, pp.401-409.

40. R.O.Duda, P.E.Hart. Pattern Classification and Scene Analysis, John Wiley & Sons, 1973.

41. R.A.Jacobs, M.I.Jordan, A.G.Barto. Task Decomposition Through Competition in a Modular Connectionist Architecture: The What and Where Vision Tasks, Cognitive Science, 1991, Vol.15, pp.219-250.

42. S.-U.Guan, S.Li. Parallel Growing and Training of Neural Networks Using Output Parallelism, IEEE Trans. Neural Networks, 2002, Vol.13, No.3, pp.542-550.

43. L.Hansen, P.Salomon. Neural Network Ensembles, IEEE Trans. Pattern Analysis and Machine Intelligence, 1990, Vol.12, pp.993-1001.

44. T.G.Dietterich. Ensemble Methods in Machine Learning, Proc. 1st Int. Workshop on Multiple Classifier Systems MCS2000, June 21-23 2000, Cagliari, Italy. Eds. J.Kittler and F.Roli. LNCS, Springer-Verlag Berlin Heidelberg 2000, Vol.1857, pp.1-15.

45. K.Tumer, J.Ghosh. Error correlation and Error Reduction in Ensemble Classifiers, Connection Science, 1996, Vol.8, No.3-4, pp.385-404.

46. T.K.Ho. The Random Subspace Method for Constructing Decision Forests, IEEE Trans. Pattern Analysis and Machine Intelligence, 1998, Vol.20, No. 8, pp. 832-844.

47. B.Parmanto, P.W.Munro, H.R.Doyle. Improving Committee Diagnosis with Resampling Technique, in Advances in Neural Information Processing Systems, eds. D.S.Touretzky, M.C.Mozer, M.E.Hesselmo, MIT Press, 1996, Vol.8, pp.882-888.

48. M.D.Richard, R.P.Lippmann. Neural Network Classifiers Estimate Bayesian a posteriori probabilities, Neural Computation, 1991, Vol.3, pp.461-483.

49. S.Hashem, B.Schmeiser. Improving Model Accuracy Using Optimal Linear Combinations of Trained Neural Networks, IEEE Trans. Neural Networks, 1995, Vol.6, No.3, pp.792-794.

50. L.Lam, C.Y.Suen. Optimal Combinations of Pattern Classifiers, Pattern Recognition Letters, 1995, Vol.16, pp.945-954.

51. S.B.Cho, J.H.Kim. Multiple Network Fusion Using Fuzzy Logic, IEEE Trans. Neural Networks, 1995, Vol.6, No.2, pp.497-501.

52. R.Anand, K.Mehrotra, C.K.Mohan, S.Ranka. Efficient Classification for Multiclass Problems Using Modular Neural Networks, IEEE Trans. Neural Networks, 1995, Vol.6, No.l, pp.117124.

53. T.Kohonen. Self-Organization and Associative Memory. Springer Verlag, Heidelberg, 2nd Edition, 1988.

54. D.S.Lee, S.N.Srihari. Handprinted Digit Recognition: A Comparison of Algorithms, Proc. 3rd Int. Workshop on Frontiers in Handwriting Recognition, Buffalo, USA, May 1993, pp.153-162.

55. S.Yang, K.-C.Chang. Multimodal Pattern Recognition by Modular Neural Networks, Optical Engineering, 1998, Vol.37, No.2, pp.650-658.

56. D.Wolpert. Stacked Generalization, Neural Networks, 1992, Vol.5, No.2, pp.241-259.

57. L.-C.Wang, S.Z.Der, N.M.Nasrabadi. Automatic Target Recognition Using a Feature-Decomposition and Date-Decomposition Modular Neural Network, IEEE Trans. Image Processing, 1998, Vol.7, No.8, pp.1113-1121.

58. P.E.Utgoff. Perceptron Trees: A Case Study in Hybrid Concept Representations, Connection Science, 1989, Vol.1, No.4, pp.377-391.

59. J.A.Sirat, J.-P.Nadal. Neural Trees: A New Tool for Classification, Network, 1990, Vol.1, ц pp.423-448.

60. K.R.Farrell, R.J.Mammone, K.T.Assaleh. Speaker Recognition Using Neural Networks and Conventional Classifiers, IEEE Trans. Speech and Audio Processing, 1994, Vol.2, No.l/II, pp. 194-205.

61. L.W.Chan, F.Fallside. Classification and Regression Tree Neural Networks for Automatic Speech Recognition, Proc. Int. Conf. On Neural Networks INNC90, Paris, France, 1990, Vol.1, pp. 187-190.

62. I.K.Sethi. Entropy Nets: From Decision Trees to Neural Networks, Proc. IEEE, 1990, Vol.78, No. 10, pp. 1605-1613.

63. D.Baratta, M.Valle, D.D.Caviglia. Hierarchical Neural Networks for Quality Control in Steel-Industry Plants, Journal of Microelectronics Systems Integration, 1997, Vol.5, No.l, pp.31-42.

64. T.Li, Y.Tang, L.Fang. A Structure-parameter-adaptive (SPA) Neural Tree for the Recognition of Large Character Set, Pattern Recognition, 1995, Vol.28, No.3, pp.315-329.

65. S.Behnke, N.B.Karayiannis. Competitive Neural Trees for Pattern Classification, IEEE Trans. Neural Networks, 1998, Vol.9, No.6, pp.1352-1369.

66. H.-H.Song, S.-W.Lee. A Self-Organizing Neural Tree for Large-Set Patter Classification, IEEE Trans. Neural Networks, 1998, Vol.9, No.3, pp.369-380.

67. A.Rauber, D.Merkl, M.Dittenbach. The Growing Hierarchical Self-Organizing Map: Exploratory Analysis of High-Dimensional Data, IEEE Trans. Neural Networks, 2002, Vol.13, No.6, pp.1331-1341.

68. G.L.Foresti, C.Micheloni. Generalized Neural Trees for Pattern Classification, IEEE Trans. Neural Networks, 2002, Vol.13, No.6, pp.1540-1547.

69. V.Murino. Structured Neural Networks for Pattern Recognition, IEEE Trans. Systems, Man, and Cybernetics, 1998, Vol.28, No.4, pp.553-561.

70. D.Miller, K.Rose. Hierarchical, Unsupervised Learning with Growing via Phase Transitions, Neural Computation, 1996, Vol.8, No.2, pp.425-450.

71. S.-B.Cho. Evolutionary Modular Neural Networks for Intelligent Systems, Int. Journal of Intelligent Systems, 1998, Vol.13, pp.483-493.

72. Y.Linde, A.Buzo, R.M.Gray. An Algorithm for Vector Quantizer Design, IEEE Trans. Commun., 1980, Vol.28, No.l, pp.84-95.

73. В.С.Казанцев. Задачи классификации и их программное обеспечение. М., "Наука", М 1990.

74. M.Kramer. Nonlinear Principal Component Analysis Using Autoassociative Neural * Networks, AICHE Journal, 1991, Vol.37, pp.233-243.

75. Y.Miyanaga, K.Tochinai. High-Speed and High-Accuracy Learning Using a Self-Organization Network and a Supervised Network, Electronics and Communications in Japan, Part 3, 1996, Vol.79, No.7, pp.41-49.

76. G.Chakraborty, M.Sawada, S.Noguchi. Combining Local Representative Networks to Improve Learning in Complex Nonlinear Learning Systems, IEICE Trans. Fundamentals, 1997, V0I.E8O-A, No.9, pp. 1630-1633.

77. A.S.Weigend, N.AGershenfeld, eds. Time Series Prediction: Forecasting the Future and Understanding the Past, 1994, Addison-Wesley, Reading, MA, USA.

78. A.B.Geva. ScaleNet Multiscale Neural Network Architecture for Time Series Prediction, IEEE Trans. Neural Networks, 1998, Vol.9, N0.6, pp.1471-1482.

79. J.V.Hansen, RD.Nelson. Data Mining of Time Series Using Stacked Generalizers, Neurocomputing, 2002, Vol.43, pp. 173-184.

80. A.Kehagias, V.Petridis. Time-Series Segmentation Using Predictive Modular Neural Networks, Neural Computation, 1997, Vol.9, N0.8, pp.1691-1709.

81. E.Watanabe, N.Nakasako, Y.Mitani, A Prediction Method of Non-Stationary Time Series Data by Using a Modular Structured Neural Network, IEICE Trans. Fundamentals, 1997, V0I.E8O-A, N0.6, pp.971-976.

82. K.Pawelzik, J.Kohlmorgen, K.-R.Muller. Annealed Competition of Experts for a Segmentation and Classification of Switching Dynamics, Neural Computation, 1996, Vol.8, No.2, pp.340-356.

83. Kohlmorgen J., Muller K.-R., Rittweger J., Pawelzik K. Identification of Nonstationary Dynamics in Physiological Recordings, Biological Cybernetics, 2000, Vol.83, pp.73-84.

84. A.A.Deviatov, Yu.V.Orlov, I.G.Persiantsev, S.P.Rebrik, J.S.Shugai. The Diagnostics of Auditory Evoked Potentials, Pattern Recognition and Image Analysis, 1995, Vol.5, No.4, pp. 602-612.

85. D.G.Childers, P.ABloom, A.A.Arroyo et al. Classification of Cortical Responses Using Features from Single EEG Records, IEEE Trans. Biomedical Engineering, 1982, Vol.29, p.423-438.

86. H.F.Li, F.H.Y.Chan, P.W.F.Poon, J.C.Hwang, W.S.Chan. Maximum Length Sequence Applied to the Measurement of Brainstem Auditory Evoked Responses, Journal of Biomedical Engineering, 1988, Vol.10, pp. 14-24.

87. J.R.Boston. Automated Interpretation of Brainstem Auditoiy Evoked Potentials: A Prototype System, IEEE Trans. Biomedical Engineering, 1989, Vol.36, pp.528-532.

88. V.H.Clarson, J.J.Liang. Mathematical Classification of Evoked Potential Waveform, IEEE Trans. Systems, Man, and Cybernetics, 1989, Vol.19, pp.68-73.

89. A.S.Gevins, N.H.Morgan. Application of Neural-Network (NN) Signal Processing in Brain Research, IEEE Trans. Acoustics, Speech and Signal Processing, 1988, Vol.36, pp. 11521161.

90. A.Hiraiwa, K.Shimohara, Y.Tokunaga. EEG Topography Recognition by Neural Networks, IEEE Engineering in Medicine and Biology, 1990, Vol.9, No.3, pp. 39-42.

91. R.M.Holdaway, M.W.White, A.Marmarou. Classification of Somatosensory-Evoked Potentials Recorded from Patients with Severe Head Injuries, IEEE Engineering in Medicine and Biology, 1990, Vol.9, No.3, pp.43-49.

92. B.H.Jansen. Artificial Nneural Nets for K-Complex Detection, IEEE Engineering in Medicine and Biology, 1990, Vol.9, No.3, pp.50-52.

93. T.Picton, T.R.Stapells, K.B.Campbell. Auditory Evoked Potentials from Human Cochlea and Brainstem, J.Otolaryngol., 1981, Vol.10 (Suppl.9), pp. 1-41.

94. N.Perrault, T.W.Picton. Event-Related Potentials from the Scalp and Nasopharynx: 1. N1 and P2, Electroencepholog.Clin.Neurophys., 1984, Vol.59, pp. 177-194.

95. K. Squires, K.Hecox. Electrophysiological Evaluations of Higher-Level Auditory Processing, Seminars in Hearing, 1983, Vol.4, pp.415-433.

96. Yu.V.Orlov, I.G.Persiantsev, S.P.Rebrik. Application of Neural Networks to Fluorescent Diagnostics of Organic Pollution in Natural Waters, Proc. RNNS/IEEE Symposium on Neuroinformatics andNeurocomputers, Rostov-on-Don, Oct 7-10 1992, pp.763-773.

97. Yu.V.Orlov, I.G.Persiantsev, S.P.Rebrik. Application of Neural Networks to Fluorescent Diagnostics of Organic Pollution in Natural Waters, Proc. 1993 IEEE Int. Conf. on Neural Networks, San Francisco, CA, March 28-April 1, 1993, pp.1230-1235.

98. Yu.V.Orlov, S.P.Rebrik, I.G.Persiantsev, S.M.Babichenko. Application of Neural Networks to Fluorescent Diagnostics of Organic Pollution in a Water, Proc. SPIE, 1995, Vol.2503, pp.150-156.

99. S.Babichenko, L.Porivkina, Yu.Orlov, I.Persiantsev, S.Rebrik. Fluorescent Signatures in Environmental Analysis, in: Encyclopedia of Environmental Analysis and Remediation. Ed. R.A.Meyers, John Wiley and Sons, Inc. 1998, pp. 1787-1791.

100. F.E.Hoge, R.N. Swift. Experimental Feasibility of The Airborne Measurement of Absolute Oil Fluorescence Spectral Conversion Efficiency, Appl.Opt., 1983, Vol.22, pp.37-47.

101. R.A.Larson, A.L.Rockwell. Fluorescence Spectra of Water Soluble Humic Materials and Some Potential Precursors, Arc.Hydrobiol., 1980, Vol.89, pp.416-425.

102. A.E. Dudelzak, S.M. Babichenko, L.V. Poryvkina, K.U. Saar. Total Luminescent Spectroscopy for Remote Laser Diagnostics of Natural Water Conditions, Appl.Opt., 1991, Vol.30, No.4, pp.453-458.

103. L.V. Poryvkina, S.M. Babichenko, J.J Lapimaa. Spectral Variability of Humus Substance in Marine Ecosystems, AMBIO, 1992, Vol.21, No.7, pp.465-467.

104. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai, E.K.Eremin. The Perceptron-Based Hierarchical Structure of Classifiers Constructed by the Adaptive Method, Pattern Recognition and Image Analysis, 1997, Vol.7, No.l, pp.24-28.

105. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Use of Self-Organization Principles in Construction of Hierarchical Neural Network Classifiers, Pattern Recognition and Image Analysis, 1998, Vol.8, No.2, pp.122-124.

106. ELENA Enhanced Learning for Evolutive Neural Architecture, ESPRIT Basic Research Project Number 6891, June 1995, ftp://ftp.dice.ucl.ac.be/pub/neural-nets/ELENA/databases.

107. Carnegie-Mellon University Repository of Neural Network Benchmarks. http://www.boltz.cs.cmu.edu.

108. ЛРабинер, Р.Шафер. Цифровая обработка речевых сигналов. Москва, Радио и связь, 1981.

109. H.TraunmuIler. Analytical Expressions For The Tonotopic Sensory Scale, J. Acoust. Soc. Am. 1990, Vol.88, pp.97-100.

110. G.E.Lee, G.D.Tattersall, S.G.Smyth. Isolated Word Speech Recognition Using a Neural Network Based Source Model, ВТ Technol.J., 1992, Vol.10, No.3, pp.38-47.

111. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Development of Adaptive Neural Network Classifiers for Analysis of Time Series, Pattern Recognition and Image Analysis,1999, Vol.9, No.l, pp.33-34.

112. С.А.Доленко, Ю.В.Орлов, И.Г.Персианцев, Ю.С.Шугай. Анализ временных рядов с помощью иерархических нейросетевых классификаторов, Труды 6-й Всероссийской конференции "Нейрокомпьютеры и их применение" НКП-2000. Сб.докладов. Москва,2000, стр. 175-179.

113. С.А.Доленко, Ю.В.Орлов, И.Г.Персианцев, Ю.С.Шугай. Нейросетевой анализ данных солнечного ветра, Труды 5-й Международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" в 4 т. Самара, 2000. Т.З, стр.499-503.

114. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Neural Network Analysis of Solar Wind Data, Pattern Recognition and Image Analysis, 2001, Vol.11, No.2, pp.296-299.

115. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Neural Network Analysis of Time Series with Switching Dynamics, Pattern Recognition and Image Analysis, 2003, Vol.13, No. 1, pp. 14-16.

116. S.A.Dolenko, Yu.V.Orlov, I.G.Persiantsev, Yu.S.Shugai. Neural Network Segmentation of Time Series, Pattern Recognition and Image Analysis, 2003, Vol. 13, No.3, pp.433-440.132. http ://www.first .gtnd. de/persons/kohlmorgen.j ens/physiodata. tar. gz