автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Синтез алгоритмов нейросетевого распознавания образов и восстановления зависимостей в условиях непараметрической неопределенности

На правах рукописи

Зарипова Юлия Хайдаровна

0046

7911

СИНТЕЗ АЛГОРИТМОВ НЕИРОСЕТЕВОГО РАСПОЗНАВАНИЯ

ОБРАЗОВ И ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ В УСЛОВИЯХ НЕПАРАМЕТРИЧЕСКОЙ НЕОПРЕДЕЛЕННОСТИ

Специальность 05.13.01. - «Системный анализ, управление и обработка информации (в науке и промышленности) по техническим наукам»

Автореферат

диссертации на соискание ученой степени кандидата технических наук

1 Б ДЕК 2010

Нижний Новгород 2010

004617911

Работа выполнена на кафедре «Электроника и сети ЭВМ» Нижегородского государственного технического университета им. P.E. Алексеева

Научный руководитель: доктор технических наук, профессор

Милов Владимир Ростиславович

Официальные оппоненты: доктор физико-математических наук,

Яхно Владимир Григорьевич

кандидат технических наук, Бухнин Алексей Викторович

Ведущая организация: ГОУВПО Московской области

Международный университет природы, общества и человека «Дубна»

Защита состоится «23» декабря 2010 г. в 13 часов в ауд. 1258 на заседании диссертационного совета Д212.165.05 при Нижегородском государственном техническом университете им. P.E. Алексеева по адресу: 603950, г. Нижний Новгород, ГСП-41, ул. Минина, 24.

С диссертацией можно ознакомиться в библиотеке Нижегородского государственного технического университета им. P.E. Алексеева.

Автореферат разослан «_» ноября 2010 г.

Ученый секретарь

диссертационного совета Д212.165.05 fi(Ail Суркова A.C.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

В различных областях человеческой деятельности повседневно возникают задачи поддержки принятия решений, выявления закономерностей, анализа данных, прогнозирования, диагностики и распознавания образов. Для решения этих задач необходимы универсальные и надежные подходы, использующие в качестве исходной информации эмпирические данные об объектах или процессах. Выборки эмпирических данных в виде наборов векторов признаков объектов могут быть использованы для решения таких задач, как распознавание образов; прогнозирование ситуаций или процессов; кластерный анализ; выявление значимых признаков и т.д.

Большой вклад в развитие теории машинного обучения, распознавания образов, классификации и восстановления зависимостей внесли отечественные ученые: Айзерман М.А., Браверман Э.М., Розоноэр Л.И., Мазуров В.Д., Ивахненко А.Г., Лбов Г.С., Вайнцвайг М.Н., Глушков В.М., Михале-вич B.C., Пугачев B.C., Айвазян С.А., Вапник В.Н., Рудаков К.В. Рязанов В.В., Дюкова Е.В., Журавлев Ю.И., Сенько О.В., Воронцов К.В., Загоруйко Н.Г., Миркес Е.М., и многие другие исследователи России и СНГ.

Один из подходов к построению прогностических моделей представляют нейронные сети (НС), которые благодаря способности к обучению находят применение для решения различных практических задач, в том числе для идентификации нелинейных систем, прогнозирования, обнаружения сигналов, а также в системах связи и управления. Первые результаты в области искусственных нейронных сетей получены зарубежными учеными W. McCulloch, W. Pitts, F. Rosenblatt, D. Hebb. Дальнейшие исследования в области нейронных сетей, в том числе алгоритмов их обучения и применения для распознавания образов и восстановления зависимостей проводили отечественные ученые Галушкин А.И., Круглов В.В., Борисов В.В., Горбань А.Н., Аведьян Э.Д., Терехов В.А., Головко В.А., а также зарубежные ученые J. Hopfield, T. Kohonen, D.J.C. МасКау, С. Bishop, S. Haykin, М.Е. Tipping и др.

Возможностей отдельного типа нейросетевых прогностических моделей, как правило, недостаточно для универсального использования в практической деятельности, поскольку разнообразные типы НС демонстрируют свою эффективность на различных типах задач. В связи с этим возникает необходимость создания информационно-аналитической системы, включающей разнообразные подходы и обладающей возможностью автоматического выбора как типа прогностической модели, так и алгоритма ее обучения.

Несмотря на заметный прогресс в области нейросетевых технологий и множество успешных практических применений НС, отсутствуют однозначные рекомендации по их практической реализации.

Таким образом, актуальным является исследование, направленное на формирование методов автоматизации выбора из нескольких возможных вариантов решения, наиболее подходящего для поставленной задачи.

Важной задачей при построении прогностических моделей является выбор исходного описания объектов. Существует ряд принципиальных и технических проблем, связанных с процедурами снижения размерности при большом количестве признаков, а также при обучении прогностических моделей в условиях сравнительно малых обучающих выборок. Кроме того, существуют сложности, связанные с решением задач при наличии непрерывных и номинальных признаков.

Повышение эффективности алгоритмов обучения НС необходимо для обеспечения высокой достоверности принятия решений в информационно-аналитических системах. Таким образом, разработка алгоритмов снижения размерности, а также обучения НС для задач с разнородными входными данными с учетом специфики отдельных видов НС, в частности процедур структурной оптимизации, является актуальной.

Цель и задачи диссертационной работы

Целью работы является повышение эффективности аналитической обработки информации, а также достоверности принимаемых решений с использованием нейросетевых процедур распознавания образов и восстановления зависимостей.

Поставленная цель достигается решением следующих задач.

1. Сформировать архитектуру системы обработки информации и принятия решений на основе интеллектуализации процедур выбора прогностических моделей с учетом специфики отдельных задач анализа данных.

2. Разработать информативные показатели качества решения задач классификации и восстановления зависимостей, предназначенные для сравнительного анализа эффективности алгоритмов синтеза нейросетевых прогностических моделей.

3. Синтезировать процедуры отбора атрибутов, работоспособные при большом количестве признаков.

4. На основе байесовской методологии разработать алгоритмы структурно-параметрического синтеза нейронных сетей с учетом особенностей их архитектуры для решения задач классификации и восстановления зависимостей.

5. Сформировать способ синтеза прогностических моделей и выявления скрытых закономерностей при наличии как непрерывных, так и номинальных признаков.

Методы исследования

В диссертационной работе методы исследования базируются на сочетании теории искусственного интеллекта, теории искусственных нейронных сетей, теории информации, теории статистических решений, байесовской методологии, а также методах оптимизации и математического моделирования.

Научная новизна

1. Предложена новая архитектура системы аналитической обработки информации и принятия решений, отличающаяся использованием при выборе прогностической модели знаний экспертов, формальных характеристик качества решения отдельных задач и оценок субъективной удовлетворенности пользователей.

2. Получен показатель близости условных распределений вероятностей, основанный на обобщении информационного расстояния Кульбака-Лейблера, позволяющий оценивать качество прогностических моделей. Предложен способ оценки точности бинарных классификаторов, основанный на развитии метода минимума среднего риска и не требующий задания значений функции потерь.

3. Разработан способ отбора атрибутов, отличающийся предварительной оценкой их информативности, что позволяет значительно снизить вычислительную сложность алгоритма поиска подмножества значимых признаков.

4. Разработаны алгоритмы структурно-параметрического синтеза нейронных сетей, отличающиеся от метода релевантных векторов процедурой структурной оптимизации, способствующей уменьшению сложности синтезируемых прогностических моделей.

5. Разработан способ синтеза прогностических моделей, позволяющий выявлять скрытые закономерности при наличии непрерывных и номинальных признаков.

Практическая значимость работы

Полученные в диссертационной работе результаты могут быть использованы при построении информационно-аналитических систем: распознающих систем, систем поддержки принятия решений; а также в составе интеллектуальных систем управления сложными техническими объектами и систем обнаружения. Реализация разрабатываемых процедур в системах диагностики, управления и информационно-аналитических системах будет способствовать снижению риска принятия ошибочных решений, а также повышению эффективности управления за счет интеллектуализации процессов обработки информации.

Результаты диссертационной работы нашли применение в трех НИР. В рамках ФЦНТП «Исследования и разработки по приоритетным направлениям развития науки и техники» выполнены следующие НИР:

• по государственному контракту № 02.442.11.7378 на тему «Приобретение знаний и логический вывод в распределенных гибридных интеллектуальных системах» (отчет о НИР, инв. № 02200607048);

• по государственному контракту № 02.442.11.7033 на тему «Интеллектуальный нейросетевой анализ данных и принятие решений в информаци-

онно-аналитических распределенных системах» (отчет о НИР, инв. № 02200604002).

По проекту с ФГУП ФНПЦ НИИИС им. Ю.Е. Седакова выполнена разработка нейросетевых систем и технологий технической диагностики, мониторинга и автоматизированного управления сложными техническими объектами и технологическими процессами.

Разработанные алгоритмы нашли применение для распознавания образов на изображениях, распознавания объектов по сейсмоакустическим сигналам, для восстановления рельефа местности, для восстановления осевой линии подземного газопровода по данным измерений, для построения моделей энергопотребления в учреждениях.

Часть материалов диссертационной работы использована в учебном процессе на кафедре «Электроника и сети ЭВМ» Нижегородского государственного технического университета им. Р.Е. Алексеева при проведении занятий для магистрантов по направлению подготовки 230200 «Информационные системы».

Апробация работы

Основные положения и результаты диссертационной работы доложены и обсуждены на следующих научно-технических семинарах и конференциях.

1. Научно-технические семинары кафедры ЭСВМ 2006-2010 г.г.;

2. 16-я Международная научно-практическая конференция по графическим информационным технологиям и системам — КОГРАФ (г. Нижний Новгород, 2006 г.);

3. Международная научно-техническая конференция «Информационные системы и технологии» - ИСТ (г. Нижний Новгород, 2006, 2007, 2009, 2010 г.г.);

4. 12-я, 13-я и 15-я Нижегородская сессия молодых ученых. Технические науки (г. Нижний Новгород, 2007,2008,2010 г.г.);

5. Международная молодежная научно-техническая конференция «Будущее технической науки» (г. Нижний Новгород, 2007,2008,2010 г.г.);

6. Восьмой и Девятый Международный симпозиум «Интеллектуальные системы» - INTELS'2008 (г. Нижний Новгород, 2008 г.) и INTELS'2010 (г. Владимир, 2010 г.);

7. Конференция «Распознавание образов и анализ изображений: Новые информационные технологии» - PRIA-9-2008 (г. Нижний Новгород, 2008 г.);

8. Конференция «Технологии Microsoft в теории и практике программирования» (г. Нижний Новгород, 2009 г.);

9. XI и X Всероссийская научно-техническая конференция - «Нейроиифор-матика-2009» и «Нейроинформатика-2010» (г. Москва, 2009 и 2010 г.г.).

Основные положения диссертационной работы, выносимые на защиту

1. Предложенная архитектура системы аналитической обработки информации и принятия решений обеспечивает накопление информации об эффективности прогностических моделей и автоматизацию их выбора с учетом специфики решаемых задач.

2. Разработанный показатель определения близости условных распределений позволяет оценивать точность прогностических моделей в задачах распознавания образов и восстановления зависимостей.

3. Предложенная процедура предварительного ранжирования признаков по их информативности позволяет значительно снизить вычислительную сложность алгоритмов отбора атрибутов.

4. Разработанные алгоритмы структурно-параметрического синтеза нейронных сетей на основе байесовской методологии позволяют преодолеть эффект переобучения и получать модели, аппроксимирующая способность которых согласована с доступными эмпирическими данными.

5. Предложенный алгоритм синтеза прогностических моделей при наличии непрерывных и номинальных признаков способствует выявлению и группировке близких зависимостей за счет процедуры кластеризации.

Структура и объем диссертации

Работа состоит из введения, четырех глав, заключения и списка литературы, который насчитывает 114 наименований. Объем работы составляет 159 страниц. Работа содержит 34 рисунка и 15 таблиц.

Публикации

Основное содержание диссертации опубликовано в трех отчетах по НИР и в 26 печатных работах. Из них 3 статьи в научно-технических журналах, 20 публикаций в сборниках трудов и материалов научно-технических конференций, в том числе Всероссийских и Международных, и 3 свидетельства Роспатент об официальной регистрации программ для ЭВМ.

Две статьи опубликованы в журналах «Нейрокомпьютеры: разработка, применение» и «Информационно-измерительные и управляющие системы», которые входят в перечень изданий, рекомендованных ВАК для публикации результатов диссертационных работ.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цель и задачи исследования, выбраны методы исследования, отмечена и аргументирована научная новизна и практическая значимость работы, приведены основные положения диссертационной работы, выносимые на защиту, а также сведения об апробации результатов исследования.

В первой главе приведены общие принципы статистической обработки данных, рассмотрены основные типы задач интеллектуального анализа данных, в том числе дискриминантный и регрессионный анализ. Выполнен обзор различных методов интеллектуального анализа данных, имеющего множество практических приложений в различных сферах.

Сформулированы постановки задач классификации и восстановления зависимостей. Так, в задаче классификации, если исследуемые классы заданы однозначным описанием соответствующих плотностей вероятности р{х | z), может быть синтезирован оптимальный байесовский классификатор, основанный на вероятностях P(z|x) = р(х | z)P(z)/p(x) принадлежности объекта, характеризующегося вектором признаков х, к классу z. При наличии неопределенности плотности вероятности р(х | z), характеризующие классы, неизвестны и классификатор может быть построен по эмпирическим данным посредством процедуры обучения.

В задаче восстановления зависимостей предполагается наличие статистической (стохастической) связи между результирующей (зависимой) переменной у и признаками (факторными переменными) х. Эта связь исчерпывающим образом характеризуется условной плотностью вероятности р(у\х). В частном случае гауссовской регрессионной модели со скалярной зависимой переменной р(у\х) = g(y¡/(х),D(x)), где g(y;f(x),D(x)) -гаус-совская плотность вероятности с условным математическим ожиданием, представляющим собой функцию среднеквадратической регрессии /(х) и условной дисперсией D(x). В результате решения задачи восстановления зависимости по эмпирическим данным формируется оценка условной плотности вероятности р(у|х).

Для случая гомоскедастичной гауссовской модели на рис. 1 ,а приведен пример условной плотности вероятности р(у\х), а на рис. 1,6 - линия среднеквадратической регрессии /(х).

В условиях априорной неопределенности синтез прогностической модели, связанный с формированием оценки P(z\x) или р(у\х), осуществляется на основе обучающей выборки D = {D(«), n = \,N), где N - объем выборки. Элемент обучающей выборки D(n) включает значения факторных и зависимой переменных: в случае классификации - х(и), z(n), а в случае восстановления зависимостей - х(и), у(п). Например, для случая гомоскедастичной регрессии модель наблюдения имеет вид у(п) = /(х(и))+£(п), где £,(«) - регрессионные остатки с нулевым средним

« 7-V 2

значением и дисперсиеи .

Рассмотрены типы НС. Отмечено, что для решения задач классификации и восстановления зависимостей могут быть использованы нейронные се-

ти с последовательными связями, обладающие универсальной аппроксимирующей способностью. Показано, что обучение нейронных сетей в общем случае включает этапы определения как параметров, так и структуры.

Рис. 1. График условной плотности вероятности (а), функция среднеквадратической регрессии (б)

Выполнен сравнительный анализ методов синтеза прогностических моделей на основе эмпирических данных: параметрические методы, непараметрические методы и нейросетевые методы, которые характеризуются как структурно-параметрические.

Вторая глава содержит описание этапов построения нейросетевых прогностических моделей, применяемых для решения задач распознавания образов и восстановления зависимостей. Синтез прогностических моделей включает этапы предобработки данных, формирования множества значимых признаков - атрибутов, выбора нейросетевой модели, обучения и тестирования качества полученной модели.

Показано, что однократного применения прогностической модели в общем случае недостаточно для однозначного вывода о ее качестве, поскольку отдельные типы моделей оказываются эффективными в различных условиях.

Повышение эффективности систем аналитической обработки информации может быть достигнуто за счет применения процедур интеллектуализации для выбора прогностических моделей, в том числе при решении задач распознавания образов и восстановления зависимостей.

Предложена архитектура интеллектуальной системы распознавания образов и восстановления зависимостей (рис. 2), обеспечивающая накопление данных об эффективности различных типов НС и алгоритмов их обучения. Тип НС и алгоритм ее обучения выбирается при помощи правил, хранящихся в базе знаний в зависимости от описания задачи, форми-

руемого на основе обучающей выборки.

В процессе функционирования интеллектуальной системы накапливается информация об эффективности применения тех или иных методов для решения отдельных классов задач. При этом могут использоваться как автоматические оценки качества работы алгоритмов, так и субъективные оценки пользователей. На основе накопленных данных выполняется обнаружение закономерностей, характеризующих эффективность применения отдельных НС и алгоритмов их обучения для решения различных типов задач. Для решения задачи классификации или восстановления зависимостей может быть выбран как тип прогностической модели (например, деревья решений, нейронные сети), так и семейство алгоритмов обучения для каждого из типов.

Рис. 2. Интеллектуальная система, реализующая возможность выбора и применения прогностических моделей

В процессе функционирования интеллектуальной системы распознавания образов и восстановления зависимостей, найденные закономерности пополняются либо корректируется в результате действий по приобретению знаний.

Оценка качества прогностических моделей основана как на использовании «синтетических» генерируемых данных, так и на реальных данных. Во втором случае значения показателей точности прогностических моделей оцениваются с помощью процедуры перекрестной проверки.

Для оценки эффективности прогностических моделей предложено использовать такие показатели как качество решения задач анализа данных, вычислительная сложность алгоритма обучения и сложность полу-

ченной прогностической модели. Для применяемых в работе нейронных сетей их сложность обычно характеризуется количеством нейронов, а также количеством слоев.

Непосредственные выражения для показателей качества решения задач классификации и восстановления зависимостей определяются используемым подходом. Так, для оценки качества классификации находит широкое применение коэффициент ошибок, который соответствует эмпирическому риску при использовании простой функции потерь.

Однако классификатор, характеризующийся минимальным коэффициентом ошибок, может быть далек от оптимального, если ошибки первого и второго рода характеризуются различными последствиями. Поскольку на этапе сравнения нейросетевых моделей, включая алгоритмы обучения нейронных сетей, конкретные значения функции потерь, как правило, неизвестны, то возникает необходимость в формировании критерия точности прогностических моделей, не зависящего от значений функции потерь.

Для анализа качества прогностических моделей в рамках теоретико-информационного подхода предложен способ и показатель

J = Je(x) p(s)dx определения близости условных распределений вероят-х

ностей.

На основе расстояния Кульбака-Лейблера сформирована метрика е(х), непосредственный вид которой зависит от решаемой задачи. Так, в задаче восстановления зависимостей

Для случая условных гауссовских распределений последнее выражение представлено в аналитическом виде:

8(x) = i(/(x)-/(x))2^-1 1(&Г' +DD~1)-l.

При оценке точности классификации е(х) определяется близость выражением

е(х)= S (p(z|x)-/>(z|x))ln

zeZ

Отдельное внимание уделено анализу качества бинарных классификаторов. Для этого находят применение рабочие характеристики (ROC), представляющие собой зависимость PD = 1 - Р от â ; где аир— условные вероятности ошибок первого и второго рода. Однако сравнение эффективности классификаторов становится неоднозначным, если соответствующие им рабочие характеристики пересекаются, что зачастую имеет место на практике (рис. 3,а). На рис. Ъ,а представлены ROC-кривые для случаев: линейного дискриминантного анализа (х); квадратичного дис-

Ф0= КРСИ*)-р№))1П

Y

dy.

криминантного анализа (+); классификатора на основе вероятностной нейронной сети - ВНС классификатора на основе нейронной сети с радиальными базисными функциями РБФ-НС (о).

Широкое распространение как показатель качества классификации получила полная вероятность ошибки (вероятность ошибочной классификации):

/>ош=а/>0+р/>,=а(1-/>1)+рР1. Здесь Р0 г Р(г = 0), Рх = Р{г = 1) = 1 - Р0 - априорные вероятности классов.

Учесть различия в последствиях и потерях, наступающих в результате ошибок первого и второго рода, позволяет применение среднего риска Я.

с)

б)

'о 0.9

03

Р *

♦а о2* о*" *

«к

+

0.15

Щ)

0.05

11л*

0.1

0.2

03

0.4

0.8

0.4 ф 0.5 1

Рис. 3. Результаты сравнения эффективности классификаторов: о) ЯОС-кривые, б) зависимость среднего риска от порога

Для случая бинарной задачи классификации выражение для среднего риска Л представлено в виде

Л = Гоо(1 - «XI - Р,) + г10о(1 -Р,) + г01рР, + г„(1 - р)Р,,

где г. - элементы матрицы потерь, /,/ = 0,1. Таким образом, средний риск наряду с условными вероятностями ошибок а и 0 зависит от априорной вероятности Р1 и от значений потерь Гу.

Учитывая, что в решающем правиле г = Н(Р(г = 11 х) - Ир), где Н(а) - функция Хевисайда, оптимальное значение порога Ьр = (г01 - г00)/(г01 - г00 + г10 - Г11) = <^0 /(Д^о + ). и, полагая, что гоо =ги = ®> го\ +/10 = 2> выражение для среднего риска принимает вид Я - 2((1-Ир)а(1-Р1)+ИрРР1). На рис. 3,6 показан график зависимости

Я(Ир) от порогового значения Ир =(1 + ПоЛо1)~' = 0 + 1о/'(2-''1о))_'>

Предложена интегральная характеристика точности бинарной классификации: 12

_ 1

Rq = \R{hP)q{hP)hr .

0

Здесь q(hp) - весовая функция, которая в наиболее простом случае может быть принята в виде q(hP) = 1. В рамках проведенного моделирования предложенный интегральный показатель качества классификации сопоставлен с показателем, основанным на вычислении площади области под ROC-кривой (AUC).

Также во второй главе проведен анализ подходов к снижению размерности пространства признаков. Снижение размерности L пространства признаков может быть обеспечено за счет перехода к системе, содержащей меньшее количество новых признаков, либо с помощью селекции наиболее информативных признаков.

Примером первого подхода к понижению размерности является анализ главных компонент, представляющий собой линейную процедуру, основанную на предположении о гауссовском характере распределения признаков. Отображение пространства признаков в пространство меньшей размерности приводит к формированию новой совокупности атрибутов. Содержательная интерпретация этих атрибутов становится практически невозможной, что представляет существенный недостаток в условиях, когда требуется дальнейший анализ построенных моделей.

Второй подход к снижению размерности пространства признаков основан на селекции атрибутов. При этом формируется задача оптимизации, решаемая на множестве всех подмножеств атрибутов. Экспоненциальный характер роста количества всех подмножеств множества признаков препятствует применению полного перебора с вычислительной сложностью 0(2L), обеспечивающего гарантированное достижение оптимального решения. Значительно меньшей вычислительной сложностью 0(L(L-1)/2) характеризуются алгоритмы, основанные на последовательном добавлении или удалении признаков.

Реализовано семейство процедур отбора значимых признаков: полный перебор, алгоритмы, основанные на добавлении признаков, на удалении признаков, на поочередном добавлении и удалении признаков. Проведенное моделирование и сравнительный анализ показали, что алгоритмы добавления и удаления в общем случае могут приводить к различным решениям. Поэтому представляется целесообразным комбинирование процедур добавления и удаления.

Для демонстрации работоспособности разработанных процедур на рис. 4 приведены результаты отбора значимых признаков по алгоритмам добавления и удаления, где для классификаторов, построенных с использованием различных наборов признаков, приведены значения показателей точности.

Для снижения вычислительной сложности алгоритма отбора атрибу-

тов предложена двухэтапная процедура поиска подмножества наиболее значимых признаков. Процедура основана на анализе информативности атрибутов, представляющей собой вторичный критерий, применяемый для ранжирования и предварительного исключения незначимых признаков.

Таким образом, на первом этапе отбирается подмножество наиболее значимых (информативных) признаков посредством применения процедуры, не требующей обучения прогностической модели. На втором этапе применяется первичный критерий для отбора признаков, отражающий качество прогностической модели, обученной с использованием отобранного подмножества атрибутов.

а)

С

Рис. 4. Иллюстрации отбора значимых признаков по алгоритму удаления (а) и по алгоритму добавления (б)

Третья глава посвящена методам обучения нейросетевых моделей для решения задач распознавания образов и восстановления зависимостей.

На основе последовательного развития байесовской методологии получены алгоритмы структурно-параметрического синтеза прогностических моделей. Наиболее полным результатом, получаемым при обучении на основе байесовской методологии, служит прогностическое распределение. Поскольку точный вывод прогностического распределения встречает существенные затруднения, то на практике обычно пользуются приближением

Р(г\х, й, |Р(г\\) з) р(\у| Д а, я) (Ы.

№

В последнем выражении, записанном для случая классификации, апостериорная плотность вероятности параметров определяется выражением

Здесь

/¿"ФК 5)/?(лу| а, 5) (Ьн, )р

где р(лу|аг, - априорная плотность вероятности параметров, заданная с точностью до гиперпараметров а; /?(Б|а,,у) — функция правдоподобия.

В зависимости от вида априорной плотности вероятности могут быть получены различные алгоритмы обучения НС. В диссертационной работе семейство алгоритмов структурно-параметрического синтеза НС получено с использованием гауссовской априорной плотности вероятности />(\у|а,.у) = £(иг;0, К (а) ).

В зависимости от решаемой задачи (классификация или восстановление зависимостей) условные распределения и могут быть заданы с помощью нейронной сети, обладающей универсальной аппроксимирующей способностью и характеризующейся вектором параметров \у и структурой 5.

Так, в задаче восстановления зависимостей находит применение условная гауссовская плотность вероятности =

В качестве регрессионной модели в работе использованы полиномиальные нейронные сети (ПНС) и нейронной сети с радиальными базисными функциями (РБФ-НС) с характеристикой вход-выход:

т а

/Дх,\у) = ф (х)\у= Еи^-фДх).

«=1

Здесь ф(х) = [ф,(х),... ,Ф</(х)]т - вектор базисных функций, в качестве которых могут использоваться радиальные ф,- (х) = ехр(- 0,5у,- || х - с,-1|2 ] или степенные функции, \у - вектор параметров, (1 - количество нейронов скрытого слоя.

В задаче бинарной классификации НС имеет в выходном слое единственный нейрон с логистической функцией активации

15

*|/(а) = 1/(1 + ехр(-а)), а условное распределение вероятностей определяется выражением

Получено семейство алгоритмов обучения НС, различающихся способами и процедурами оценки гиперпараметров и структурной оптимизации. При фиксированной структуре х оценка гиперпараметров а может быть найдена на основе максимизации маргинальной функции правдоподобия р(В|а,$) либо ее логарифма. Для этого находит применение итерационный ЕМ-алгоритм. Другой подход к формированию оценок гиперпараметров основан на методе простых итераций.

На характеристики прогностической модели существенное влияние, наряду с параметрами НС, оказывает и ее структура. Выбор структуры может быть выполнен по критерию максимума апостериорной вероятности 5 = а^тах Р(>|В) = аг§тах(Р(Б|5)Р(5)),

где

РфИ = Р>(Б| а,«) р(а! х) ¿а.

А

Выражения для итерационных алгоритмов оценки гиперпараметров и условия удаления базисных функций при структурной оптимизации для разработанных алгоритмов приведены в табл. 1, в которой а - оценка гиперпараметра, полученная на предыдущей итерации, г/ - количество параметров, »иС = в (а)~ вектор средних значений и ковариационная матрица аппроксимирующей гауссовской апостериорной плотности вероятности параметров нейросетевой модели. Характеристики этой плотности вероятности для многослойных НС могут быть найдены, в частности, с использованием алгоритма Левенберга-Марквардта. Более простые вычислительные процедуры реализованы с учетом специфики НС с одним скрытым

слоем, например РБФ-НС: # = ЁФтВг, б = (ФТВФ + а1)"\ где Ф - -матрица с элементами Ф„, = ф,(х(и)), ¿ = У + В"'(г-*Р),

В = (Ш«М(1-<ИаЪ = \?{\).....*(Ю]Т, V= Ш).-,У = Ф{у,

у = ^-а1гС, у, =1-а<7/,-.

С помощью статистического моделирования проведено сравнение разработанных алгоритмов структурно-параметрической оптимизации с известным алгоритмом релевантных векторов (ЯУМ), в котором каждой базисной функции ставится в соответствие отдельный гиперпараметр а,-. В рамках реализованных примеров точность прогностических моделей оказалась соизмеримой. При этом разработанный способ структурной оптимизации по сравнению с ЯУМ, как правило, приводил к дополнительному упрощению синтезируемых НС.

Алгоритм со структурной оптимизацией

Ковариационные матрицы априорного распределения К(а) = а_|1

Оценка гиперпараметров а,- +б,7)Г1 а = </(|#|2+й:С)"1

Условие удаления базисных функций *?/6„й Ь 9?/6и <-1п((1 -7,0(1 -Г,/у))

Также с помощью статистического моделирования выполнено сравнение точности прогностических моделей, основанных на различных типах НС. В качестве примера на рис. 5 представлены зависимости, полученные в результате обучения классификаторов на основе РБФ-НС и вероятностной нейронной сети (ВНС). Сравнение полученных моделей (рис. 5) свидетельствует, что РБФ-НС обладает меньшей склонностью к переобучению, чем ВНС.

Рис. 5. Оценки условных вероятностей Р(г = 1[х),х2) при использовании ВНС (а) и РБФ-НС (б)

Отдельное внимание в третьей главе уделено задаче синтеза прогностических моделей при наличии как непрерывных, так и номинальных переменных. Использовать разнородные переменные зачастую требуется при описании функционирования многих систем. Такие системы могут быть охарактеризованы условной плотностью вероятности р(у1х,д), зависящей как от непрерывных факторных переменных х, так и от совокупности номинальных переменных, которая представлена в виде номинального макропризнака q = \,Q.

На первом этапе синтеза прогностической модели в результате обучения находятся оценки условных плотностей вероятности р(у\х,д) для каждого из значений номинальной переменной. Для выявления и анализа

17

скрытых зависимостей целевой переменной от факторных, характеризующихся условными плотностями вероятности, применена агломератив-ная процедура кластеризации. С ее помощью выполняется группировка близких плотностей вероятности рСИх,?), соответствующих различным значениям номинального признака q. Близость плотностей вероятности определяется с помощью предложенных информационных показателей.

В качестве примера на рис. 6 представлены результаты применения разработанной процедуры для случая скалярных непрерывных зависимой у и факторной х переменных, связанных парной нелинейной регрессионной моделью у = /(х,д), а также номинального признака д = принимающего ¡2 = 3 значения. На рис. 6,а элементы обучающих подвыборок обозначены + , • и * для # = 1,2,3 соответственно. Сравнение р(у\х,д = I") и р(у\х,ц = /), (,/ = 1,2, (* у показало, что обучающие выборки, соответствующие д = 1 и <7 = 3, достаточно хорошо описываются одной и той же зависимостью (рис. 6,6), построенной по объединенной выборке (♦).

В четвертой главе приведено описание разработанного программного обеспечения (ПО) нейросетевой классификации и восстановления зависимостей. В программном обеспечении реализованы алгоритмы обучения различных типов НС, в том числе ВНС, ПНС, РБФ-НС, а также линейного и квадратичного классификаторов.

Разработанное ПО поддерживает два режима: обучение по реальным данным и статистическое моделирование, предназначенное для сравнения различных алгоритмов классификации на основе генерируемых синтетических (модельных) данных.

Также в ПО реализованы процедуры отбора признаков и оценки эффективности алгоритмов классификации.

Приведено описание практического применения разработанных процедур нейросетевого моделирования. Процедуры классификации и снижения размерности пространства признаков применены для распознавания объектов на изображениях, фильтрации спама, а также для классификации нарушителей в сейсмоакустической системе рубежного контроля. В этой системе по принятым с сейсмоакустических приемников сигналам с помощью процедур нейросетевой классификации определяется, к какому из классов принадлежит их источник: человек, группа людей или транспортное средство.

Алгоритмы нейросетевого восстановления зависимостей применены для интерполяции рельефа местности, заданного совокупностью точек, и восстановления осевой линии подземного газопровода по данным измерений.

Алгоритмы синтеза прогностических моделей при наличии непрерывных и дискретных переменных применены для моделирования и анализа энергопотребления в образовательных учреждениях девяти типов. Тип образовательного учреждения представляет собой факторную номинальную переменную. С помощью разработанных процедур кластеризации выявлены группы организаций, характеризующихся близкими моделями энергопотребления.

В заключении сформулированы выводы и основные результаты проведенного в диссертационной работе исследования, а также рекомендации, полученные на их основе.

ЗАКЛЮЧЕНИЕ

Основные результаты диссертационной работы состоят в следующем.

1. Сформирована архитектура системы обработки информации и принятия решений, основанная на интеллектуализации процедур выбора прогностических моделей с использованием знаний экспертов и формальных характеристик качества решения отдельных задач, а также оценок субъективной удовлетворенности пользователей.

2. На основе теоретико-информационного подхода разработан показатель близости условных распределений вероятности, позволяющий анализировать качество алгоритмов синтеза нейронных сетей при решении задач распознавания образов и восстановления зависимостей.

3. На основе развития метода минимума среднего риска предложен способ оценки точности бинарных классификаторов, не требующий задавать значения функции потерь.

4. Разработаны процедуры отбора атрибутов, работоспособные при большой размерности входных данных за счет предварительной оценки информативности признаков, не требующей применения процедуры обучения, с последующим поиском среди отобранных признаков подмножества наиболее значимых.

5. Разработаны алгоритмы структурно-параметрического синтеза отдельных видов нейронных сетей, обеспечивающие упрощение синтезируемых моделей, характеризующихся меньшей склонностью к переобучению по сравнению с известным методом релевантных векторов.

6. Сформированы процедуры синтеза прогностических моделей, включающие в себя алгоритмы кластеризации и позволяющие обнаруживать скрытые закономерности при наличии непрерывных и номинальных факторных переменных.

7. Разработано алгоритмическое и программное обеспечение нейросете-вого распознавания образов и восстановления зависимостей, использованное для моделирования, и решения ряда практических задач.

Результаты диссертационной работы предлагается использовать при построении информационно-аналитических систем, систем поддержки принятия решений, а также в составе интеллектуальных систем управления сложными техническими объектами.

СПИСОК ПУБЛИКАЦИЙ Публикации в журналах, которые входят в перечень изданий, рекомендованных ВАК, для публикации результатов диссертационных работ:

1. Баранов, В.Г. Нейросетевые алгоритмы распознавания образов / В.Г. Баранов, В.В. Кондратьев, В.Р. Милов, Ю.Х. Зарипова // Нейрокомпьютеры: разработка, применение. - 2007. - № 11. - С. 20 - 27.

2. Баранов, В.Г. Интеллектуализация системы распознавания образов на основе сравнения эффективности методов классификации/ В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова // Информационно-измерительные и управляющие системы. - 2010. № 2. - Т.8. - С. 35 - 38.

Свидетельства об официальной регистрации ПО:

3. Баранов, В.Г., Милов В.Р., Зарипова Ю.Х. Свидетельство об официальной регистрации программы для ЭВМ № 2006613557. Распознавание образов на основе вероятностной нейронной сети.

4. Баранов, В.Г., Милов В.Р., Зарипова Ю.Х. Свидетельство об официальной регистрации программы для ЭВМ № 2006613489. Структурно-параметрический синтез полиномиальных и нейросетевых регрессионных моделей.

5. Баранов, В.Г., Милов В.Р., Зарипова Ю.Х., Б.А. Суслов, И.В. Шалашов Свидетельство об официальной регистрации программы для ЭВМ № 2008612308. Программный комплекс статистического моделирования процедур нейросетевой классификации.

Публикации в журналах и сборниках трудов конференций:

6. Баранов, В.Г. Применение байесовских сетей для поддержки принятия решений / В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова // Международная науч.-техн. конф. «Информационные системы и технологии. ИСТ-2006», посвященная 70-летию ФИСТ: Сб. науч. тр. - НГТУ. -Н.Новгород, 2006 - С. 74 - 75.

7. Левичев, Е.М. Программное обеспечение для обучения байесовских сетей и вероятностных рассуждений / Е.М. Левичев, Д.В. Милов, Ю.Х. Зарипова // V Международной молодежной научно-технической конференции «Будущее технической науки»: Сб. науч. тр. - НГТУ, -Н.Новгород, 2006 - С. 25 - 26.

8. Баранов, В.Г. Байесовская методология синтеза нейросетевых классификаторов / В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова II Труды НГТУ: Системы обработки информации и управления / НГТУ. Н.Новгород. -

2007. - Т. 65, Вып. 14. - С. 5 - 12.

9. Баранов, В.Г. Предварительная обработка данных в задаче классификации электронной почты / В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова // Международная науч.-техн. конф. «Информационные системы и технологии. ИСТ - 2007», посвященная 90-летию НГТУ: Сб. науч. тр. -НГТУ. - Н.Новгород, 2007 - С. 106 - 107.

10. Зарипова, Ю.Х. Программное обеспечение нейросетевой классификации на основе вероятностной и RBF-сетей / Ю.Х. Зарипова // XII Нижегородская сессия молодых ученых, секция информационные системы: Сб. науч. тр. - Н.Новгород, 2007 - С. 8 - 9.

11. Зарипова, Ю.Х. Сравнение алгоритмов классификации на основе вероятностной и РБФ-сетей / Ю.Х. Зарипова // VI Международная молодежная научно-технической конференция «Будущее технической науки»: Сб. науч. тр. - НГТУ. - Н.Новгород, 2007. - С. 5- 6.

12. Шалашов, И.В. Система управления и диагностики технических процессов / И.В. Шалашов, Б.А. Суслов, Ю.Х. Зарипова // Первый областной конкурс молодежных инновационных команд «РОСТ»: Каталог. -Н.Новгород, 2007. - с. 146 - 148.

13. Зарипова, Ю.Х. Алгоритмы нейросетевой классификации на основе РБФ-сетей / Ю.Х. Зарипова // XIII Нижегородская сессия молодых ученых, секция информационные системы: Сб. науч. тр. - Н.Новгород,

2008.-С 12- 13.

14. Зарипова, Ю.Х. Процедуры отбора значащих признаков в задаче распознавания образов / Ю.Х. Зарипова // VII Международная молодежная научно-техническая конференция «Будущее технической науки»: Сб. науч. тр. - НГТУ. - Н.Новгород, 2008. - С 15 - 16.

15. Милов, В.Р. Процедуры интеллектуального распознавания образов с применением нейронных сетей / В.Р. Милов, Ю.Х. Зарипова // Восьмой Международный симпозиум «Интеллектуальные системы» (INTELS'2008): Сб. науч. тр. - Н.Новгород, 2008. - С. 109 - 113.

16. Милов, В.Р. Проект «Система управления и диагностики технологических процессов» / В.Р. Милов, И.В. Шалашов, Б.А. Суслов, Ю.Х. Зарипова // Международная науч.- техн. конф. «Информационные системы и технологии. ИСТ-2008»: Сб. науч. тр. - НГТУ. - Н.Новгород, 2008 -С. 81-82.

17. Милов, В.Р. Сравнение эффективности алгоритмов классификации / В.Р. Милов, Ю.Х. Зарипова // Международная науч.- техн. конф. «Ин-

формационные системы и технологии. ИСТ-2008»: Сб. науч. тр. -НГТУ. - Н.Новгород, 2008. - С. 78 - 79.

18. Зарипова, Ю.Х. Нейросетевая классификация в сейсмоакустических системах наблюдения / Ю.Х. Зарипова // Международная науч.-техн. конф. «Информационные системы и технологии. ИСТ-2009»: Сб. науч. тр. - НГТУ. - Н.Новгород, 2009. - С. 132 - 133.

19. Баранов, В.Г. Точность восстановления условного распределения в задаче бинарной классификации / В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова // Международная науч.-техн. конф. «Информационные системы и технологии. ИСТ - 2009»: Сб. науч. тр. - НГТУ. - Н.Новгород, 2009. -С. 131 - 132.

20. Милов, В.Р. Алгоритмы структурно-параметрического синтеза ней-росетевых классификаторов на основе байесовской методологии / В.Р. Милов, A.B. Деревянкин, Ю.Х. Зарипова // XI Всероссийская научно-техническая конференция «Нейроинформатика-2009»: Сб. науч. тр. — МИФИ. - Москва, 2009. - С 124 - 131.

21. Зарипова, Ю.Х. Задача распознавания образов в сейсмоакустической системе и применение нейронных сетей для ее решения / Ю.Х. Зарипова // XI Всероссийская научно-техническая конференция «Нейроинформа-тика-2009»: Сб. науч. тр. - МИФИ. - Москва, 2009. - С 204.

22. Мишин, A.A. Особенности использования моделирования при разработке интеллектуальных систем управления / A.A. Мишин, A.B. Тете-рин, Ю.Х. Зарипова // Международная научная конференция-форум «Информационные системы и технологии». Материалы конференции часть 2. Минск, 2009, стр. 121 - 125.

23. Баранов, В.Г. Способ определения точности оценок условных плотностей вероятности / В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова // Международная науч.-техн. конф. «Информационные системы и технологии. ИСТ - 2010»: Сб. науч. тр. - НГТУ. - Н.Новгород, 2010. - С. 139.

24. Зарипова, Ю.Х. Использование нейронных сетей для распознавания образов в сейсмоакустической информационной системе / Ю.Х. Зарипова // XV Нижегородская сессия молодых ученых, секция информационные системы: Сб. науч. тр. - Н.Новгород, 2010. - С 46-47.

25. Баранов, В.Г. Процедура интеллектуального анализа данных при наличии категориальных и непрерывных переменных / В.Р. Милов, В.Г. Баранов, Ю.Х. Зарипова // Девятый Международный симпозиум «Интеллектуальные системы» (INTELS'2010): Сб. науч. тр. - Владимир, 2010.-С. 444-448.

26. Эпштейн, А.Ю. Процедура сравнения эффективности бинарных классификаторов /А.Ю. Эпштейн, Ю.Х. Зарипова // IX Международная молодежная научно-техническая конференция «Будущее технической науки»: Сб. науч. тр. - НГТУ. - Н.Новгород, 2010. - С 20.

Подписано в печать 18.11.10. Формат 60x84 '/16. Бумага офсетная. Печать офсетная. Уч.-изд. л. 1,0. Тираж 100 экз. Заказ 708.

Нижегородский государственный технический университет им. Р. Е. Алексеева. Типография НГТУ. 603950, Нижний Новгород, ул. Минина, 24.

Введение.

ГЛАВА 1. Инструментарий интеллектуального анализа данных и роль синтеза нейросетевых прогностических моделей в его составе.

1.1 Задачи и методы интеллектуального анализа данных.

1.1.1 Виды задач и этапы интеллектуального анализа данных.

1.1.2 Анализ методов интеллектуального анализа данных.

1.1.3 Практическое применение процедур интеллектуального анализа данных.

1.2 Синтез прогностических моделей на основе эмпирических данных.:.

1.2.1 Структура системы, реализующей прогностическую модель, на примере распознавания образов.

1.2.2 Этапы обучения прогностической модели.

• 1.3 Задачи синтеза прогностических моделей.

1.3.1 Оптимальное решающее правило в задаче классификации.

1.3.2 Методы синтеза прогностических моделей.

1.3.3 Функция среднеквадратической регрессии.

1.3.4 Постановка задачи обучения по эмпирическим данным.

1.4 Подходы к нейросетевому решению задач интеллектуального анализа данных.

1.4.1 Архитектура нейронных сетей прямого распространения.

1.4.2 Нейросетевые прогностические модели: классификатор и регрессионная модель.

ГЛАВА 2. Процедуры синтеза и применения прогностических моделей в интеллектуальной информационно-аналитической системе.

2.1 Интеллектуализация процедур распознавания образов и восстановления зависимостей.

2.1.1 Этапы синтеза нейросетевых моделей.

2.1.2 Виды гибридных интеллектуальных систем.

2.1.3 Архитектура гибридной интеллектуальной информационно-аналитической системы.

2.2 Снижение размерности пространства признаков.

2.2.1 Способы снижения размерности пространства признаков.

2.2.2 Алгоритмы отбора атрибутов.

2.2.3 Повышение эффективности отбора атрибутов на основе предварительной оценки информативности признаков.

2.3 Анализ качества прогностических моделей на основе теоретико-информационного подхода.

2.3.1 Определение близости условных распределений.

2.3.2 Определение точности восстановления зависимостей.

2.3.3 Оценка качества классификации.

2.4 Оценка эффективности бинарных классификаторов на основе минимального среднего риска.

ГЛАВА 3. Методы и алгоритмы обучения нейросетевых прогностических моделей.

3.1 Байесовская методология.

3.1.1 Структурно-параметрический синтез нейросетевых моделей на основе байесовской методологии.

3.1.2 Семейство алгоритмов обучения нейросетевых моделей.

3.2 Обучение нейросетевых классификаторов.

3.2.1 Синтез классификатора на основе нейронной сети с радиальными базисными функциями.

3.2.2 Синтез классификатора на основе вероятностной нейронной сети.

3.2.3 Моделирование алгоритмов нейросетевой классификации.

3.3 Обучение нейросетевых моделей для восстановления зависимостей.

3.3.1 Восстановление зависимостей на основе обучения нейронных сетей.

3.3.2 Моделирование алгоритмов нейросетевого восстановления зависимостей.

3.4 Способ синтеза прогностической модели с непрерывными и номинальными факторными переменными.

ГЛАВА 4. Реализация и применение разработанных алгоритмов.

4.1 Алгоритмическое и программное обеспечение нейросетевой классификации и восстановления зависимостей.

4.2 Применение разработанных процедур для задач распознавания образов.

4.2.1 Распознавание объектов на изображениях при помощи нейросетевого классификатора.

4.2.2 Применение нейросетевого классификатора в сейсмоакустической системе рубежного контроля.

4.2.3 Применение нейросетевого классификатора для фильтрации спама.

4.3 Применение разработанных процедур для задач восстановления зависимостей.

4.3.1 Расчет зон покрытия базовых станций в сетях подвижной радиосвязи.

4.3.2 Анализ моделей энергопотребления организаций.

4.3.3 Восстановление осевой линии подземного трубопровода на основе измерительных данных.

Актуальность темы

В различных областях человеческой деятельности повседневно возникают задачи поддержки принятия решений, выявления закономерностей, анализа данных, прогнозирования, диагностики и распознавания образов. Для решения этих задач необходимы универсальные и надежные подходы, использующие в качестве исходной информации эмпирические данные об объектах или процессах. Выборки эмпирических данных в виде наборов векторов признаков объектов могут быть использованы для решения таких задач, как распознавание образов; прогнозирование ситуаций или процессов; кластерный анализ; выявление значимых признаков и т.д.

Большой вклад в развитие теории машинного обучения, распознавания образов, классификации и восстановления зависимостей внесли отечественные ученые: Айзерман М.А., Браверман Э.М., Розоноэр Л.И., Мазуров В.Д., Ивахненко А.Г., Лбов Г.С., Вайнцвайг М.Н., Глушков В.М., Михале-вич B.C., Пугачев B.C., Айвазян С.А., Вапник В.Н., Рудаков К.В. Рязанов В.В., Дюкова Е.В., Журавлев Ю.И., Сенько О.В., Воронцов К.В., Загоруйко Н.Г., Миркес Е.М., и многие другие исследователи России и СНГ.

Один из подходов к построению прогностических моделей представляют нейронные сети (НС), которые благодаря способности к обучению находят применение для решения различных практических задач, в том числе для идентификации нелинейных систем, прогнозирования, обнаружения сигналов, а также в системах связи и управления. Первые результаты в области искусственных нейронных сетей получены зарубежными учеными W. McCulloch, W. Pitts, F. Rosenblatt, D. Hebb. Дальнейшие исследования в области нейронных сетей, в том числе алгоритмов их обучения и применения для распознавания образов и восстановления зависимостей проводили отечественные ученые Галушкин А.И., Круглов В.В., Борисов В.В., Горбань А.Н.,

Аведьян Э.Д., Терехов В.А., Головко В.А., а также зарубежные ученые J. Hopfield, Т. Kohonen, D.J.C. МасКау, С. Bishop, S. Haykin, М.Е. Tipping и др.

Возможностей отдельного типа нейросетевых прогностических моделей, как правило, недостаточно для универсального использования в практической деятельности, поскольку разнообразные типы НС демонстрируют свою эффективность на различных типах задач. В связи с этим возникает необходимость создания информационно-аналитической системы, включающей разнообразные подходы и обладающей возможностью автоматического выбора как типа прогностической модели, так и алгоритма ее обучения.

Несмотря на заметный прогресс в области нейросетевых технологий и множество успешных практических применений НС, отсутствуют однозначные рекомендации по их практической реализации.

Таким образом, актуальным является исследование, направленное на формирование методов автоматизации выбора из нескольких возможных вариантов решения, наиболее подходящего для поставленной задачи.

Важной задачей при построении прогностических моделей является выбор исходного описания объектов. Существует ряд принципиальных и технических проблем, связанных с процедурами снижения размерности при большом количестве признаков, а также при обучении прогностических моделей в условиях сравнительно малых обучающих выборок. Кроме того, существуют сложности, связанные с решением задач при наличии непрерывных и номинальных признаков.

Повышение эффективности алгоритмов обучения НС необходимо для обеспечения высокой достоверности принятия решений в информационно-аналитических системах. Таким образом, разработка алгоритмов снижения размерности, а также обучения НС для задач с разнородными входными данными с учетом специфики отдельных видов НС, в частности процедур структурной оптимизации, является актуальной.

Предметом исследования в диссертационной работе являются алгоритмы и процедуры нейросетевого распознавания образов и восстановления зависимостей.

Цель и задачи диссертационной работы

Целью работы является повышение эффективности аналитической обработки информации, а также достоверности принимаемых решений с использованием нейросетевых процедур распознавания образов и восстановления зависимостей.

Поставленная цель достигается решением следующих задач.

1. Сформировать архитектуру системы обработки информации и принятия решений на основе интеллектуализации процедур выбора прогностических моделей с учетом специфики отдельных задач анализа данных.

2. Разработать информативные показатели качества решения задач классификации и восстановления зависимостей, предназначенные для сравнительного анализа эффективности алгоритмов синтеза нейросетевых прогностических моделей.

3. Синтезировать процедуры отбора атрибутов, работоспособные при большом количестве признаков.

4. На основе байесовской методологии разработать алгоритмы структурно-параметрического синтеза нейронных сетей с учетом особенностей их архитектуры для решения задач классификации и восстановления зависимостей.

5. Сформировать способ синтеза прогностических моделей и выявления скрытых закономерностей при наличии как непрерывных, так и номинальных признаков.

Методы исследования г

В диссертационной работе методы исследования базируются на сочетании теории искусственного интеллекта, теории искусственных нейронных сетей, теории информации, теории статистических решений, байесовской методологии, а также методах оптимизации и математического моделирования.

Научная новизна

1. Предложена новая архитектура системы аналитической обработки информации и принятия решений, отличающаяся использованием при выборе прогностической модели знаний экспертов, формальных характеристик качества решения отдельных задач и оценок субъективной удовлетворенности пользователей.

2. Получен показатель близости условных распределений вероятностей, основанный на обобщении информационного расстояния Кульбака-Лейблера, позволяющий оценивать качество прогностических моделей. Предложен способ оценки точности бинарных классификаторов, основанный на развитии метода минимума среднего риска и не требующий задания значений функции потерь.

3. Разработан способ отбора атрибутов, отличающийся предварительной оценкой их информативности, что позволяет значительно снизить вычислительную сложность алгоритма поиска подмножества значимых признаков.

4. Разработаны алгоритмы структурно-параметрического синтеза нейронных сетей, отличающиеся от метода релевантных векторов процедурой структурной оптимизации, способствующей уменьшению сложности синтезируемых прогностических моделей.

5. Разработан способ синтеза прогностических моделей, позволяющий выявлять скрытые закономерности при наличии непрерывных и номинальных признаков.

Практическая значимость работы

Полученные в диссертационной работе результаты могут быть использованы при построении информационно-аналитических систем: распознающих систем, систем поддержки принятия решений; а также в составе интеллектуальных систем управления сложными техническими объектами и систем обнаружения. Реализация разрабатываемых процедур в системах диагностики, управления и информационно-аналитических системах будет способствовать снижению риска принятия ошибочных решений, а также повышению эффективности управления за счет интеллектуализации процессов обработки информации.

Результаты диссертационной работы нашли применение в трех НИР. В рамках ФЦНТП «Исследования и разработки по приоритетным направлениям развития науки и техники» выполнены следующие НИР:

• по государственному контракту № 02.442.11.7378 на тему «Приобретение знаний и логический вывод в распределенных гибридных интеллектуальных системах» (отчет о НИР, инв. № 02200607048);

• по государственному контракту № 02.442.11.7033 на тему «Интеллектуальный нейросетевой анализ данных и принятие решений в информационно-аналитических распределенных системах» (отчет о НИР, инв. № 02200604002).

По проекту с ФГУП ФНПЦ НИИИС им. Ю.Е. Седакова выполнена разработка нейросетевых систем и технологий технической диагностики, мониторинга и автоматизированного управления сложными техническими объектами и технологическими процессами.

Разработанные алгоритмы нашли применение для распознавания образов на изображениях, распознавания объектов по сейсмоакустическим сигналам, для восстановления рельефа местности, для восстановления осевой линии подземного газопровода по данным измерений, для построения моделей энергопотребления в учреждениях.

Часть материалов диссертационной работы использована в учебном процессе на кафедре «Электроника и сети ЭВМ» Нижегородского государственного технического университета им. P.E. Алексеева при проведении занятий для магистрантов по направлению подготовки 230200 «Информационные системы».

Апробация работы

Основные положения и результаты диссертационной работы доложены и обсуждены на следующих научно-технических семинарах и конференциях.

1. Научно-технические семинары кафедры ЭСВМ 2006-2010 г.г.;

2. 16-я Международная научно-практическая конференция по графическим информационным технологиям и системам — КОГРАФ (г. Нижний Новгород, 2006 г.);

3. Международная научно-техническая конференция «Информационные системы и технологии» — ИСТ- (г. Нижний Новгород, 2006, 2007, 2009, 2010 г.г.);

4. 12-я, 13-я и 15-я Нижегородская сессия молодых ученых. Технические науки (г. Нижний Новгород, 2007, 2008, 2010 г.г.);

5. Международная молодежная научно-техническая конференция «Будущее технической науки» (г. Нижний Новгород, 2007, 2008, 2010 г.г.);

6. Восьмой и Девятый Международный симпозиум «Интеллектуальные системы» - INTELS'2008 (г. Нижний Новгород, 2008 г.) и INTELS'2010 (г. Владимир, 2010 г.);

7. Конференция «Распознавание образов и анализ изображений: Новые информационные технологии» - PRIA-9-2008 (г. Нижний Новгород, 2008 г-);

8. Конференция «Технологии Microsoft в теории и практике программирования» (г. Нижний Новгород, 2009 г.);

9. XI и X Всероссийская научно-техническая конференция — «Нейроин-фор-матика-2009» и «Нейроинформатика-2010» (г. Москва, 2009 и 2010 г.г.).

Публикации

Основное содержание диссертации опубликовано в трех отчетах по НИР и в 26 печатных работах. Из них 3 статьи в научно-технических журналах, 20 публикаций в сборниках трудов и материалов научно-технических конференций, в том числе Всероссийских и Международных, и 3 свидетельства Роспатент об официальной регистрации программ для ЭВМ.

Две статьи опубликованы в журналах «Нейрокомпьютеры: разработка, применение» и «Информационно-измерительные и управляющие системы», которые входят в перечень изданий, рекомендованных ВАК для публикации результатов диссертационных работ.

Основные положения диссертационной работы, выносимые на защиту

1. Предложенная архитектура системы аналитической обработки информации и принятия решений обеспечивает накопление информации об эффективности прогностических моделей и автоматизацию их выбора с учетом специфики решаемых задач.

2. Разработанный показатель определения близости условных распределений позволяет оценивать точность прогностических моделей в задачах распознавания образов и восстановления зависимостей.

3. Предложенная процедура предварительного ранжирования признаков по их информативности позволяет значительно снизить вычислительную сложность алгоритмов отбора атрибутов.

4. Разработанные алгоритмы структурно-параметрического синтеза нейронных сетей на основе байесовской методологии позволяют преодолеть эффект переобучения и получать модели, аппроксимирующая способность которых согласована с доступными эмпирическими данными.

5. Предложенный алгоритм синтеза прогностических моделей при наличии непрерывных и номинальных признаков способствует выявлению и группировке близких зависимостей за счет процедуры кластеризации.

Выводы по главе 4

Разработанное алгоритмическое и программное обеспечение реализует алгоритмы обучения различных типов нейронных сетей, методы предварительной обработки данных, включая процедуры отбора входных признаков, а также оценку эффективности нейросетевых прогностических моделей.

Программное обеспечение может эффективно использоваться как для статистического моделирования, так и для работы с реальными данными и решения различных практических задач распознавания образов и восстановления зависимостей.

ЗАКЛЮЧЕНИЕ

Работа посвящена решению задачи синтеза прогностических моделей по эмпирическим данным на основе обучения нейронных сетей. Эта задача решена на основе развития байесовской методологии, которая предоставляет единую и последовательную концептуальную основу для формирования целевых функций как параметрической, так и структурной оптимизации нейро-сетевых моделей. Основные результаты диссертационной работы состоят в следующем.

1. Сформирована архитектура системы обработки информации и принятия решений, основанная на интеллектуализации процедур выбора прогностических моделей с использованием знаний экспертов и формальных характеристик качества решения отдельных задач, а также оценок субъективной удовлетворенности пользователей.

2. На основе теоретико-информационного подхода разработан показатель близости условных распределений вероятности, позволяющий анализировать качество алгоритмов синтеза нейронных сетей при решении задач распознавания образов и восстановления зависимостей.

3. На основе развития метода минимума среднего риска предложен способ оценки точности бинарных классификаторов, не требующий задания значений функции потерь.

4. Разработаны процедуры отбора атрибутов, работоспособные при большой размерности входных данных за счет предварительной оценки информативности признаков, не требующей применения процедуры обучения, с последующим поиском среди отобранных признаков подмножества наиболее значимых.

5. Разработаны алгоритмы структурно-параметрического синтеза отдельных видов нейронных сетей, обеспечивающие упрощение синтезируемых моделей, характеризующихся меньшей склонностью к переобучению по сравнению с известным методом релевантных векторов.

6. Сформированы процедуры синтеза прогностических моделей, включающие в себя алгоритмы кластеризации и позволяющие обнаруживать скрытые закономерности при наличии непрерывных и номинальных факторных переменных.

7. Разработано алгоритмическое и программное обеспечение нейросе-тевого распознавания образов и восстановления зависимостей, использованное для моделирования, и решения ряда практических задач.

Результаты диссертационной работы предлагается использовать при построении информационно-аналитических систем, систем поддержки принятия решений, а также в составе интеллектуальных систем управления сложными техническими объектами.

1. Айвазян, С.А. Прикладная статистика: Исследование зависимостей / С.А.Айвазян, И.С. Енюков, Л.Д. Мешалкин М.: Финансы и статистика, 1985.-488 с.

2. Айзерман, М.А. Метод потенциальных функций в теории обучения машин / М.А. Айзерман, М.А. Браверманн, Л.И. Розоноер. М.: Наука, 1970.-240 с.

3. Алгоритмы и программы восстановления зависимостей / Под ред. В.Н. Вапника. М.: Наука. Гл. ред. физ.-мат. лит., 1984. - 816 с.

4. Баранов, В.Г. Нейросетевые алгоритмы распознавания образов / В.Г. Баранов, В.В. Кондратьев, B.P. Милов, Ю.Х. Зарипова. // Нейрокомпьютеры: разработка, применение. 2007. - № 11. - С. 20 - 27.

5. Баранов, В.Г. Интеллектуализация системы распознавания образов на основе сравнения эффективности методов классификации/ В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова. // Информационно-измерительные и управляющие системы. 2010. № 2. - Т.8. - С. 35 - 38.

6. Баранов, В.Г., Милов В.Р., Зарипова Ю.Х. Свидетельство об официальной регистрации программы для ЭВМ № 2006613557. Распознавание образов на основе вероятностной нейронной сети.

7. Баранов, В.Г., Милов В.Р., Зарипова Ю.Х. Свидетельство об официальной регистрации программы для ЭВМ № 2006613489. Структурно-параметрический синтез полиномиальных и нейросетевых регрессионных моделей.

8. Баранов, В.Г., Милов В.Р., Зарипова Ю.Х., Б.А. Суслов, И.В. Шалашов

9. Свидетельство об официальной регистрации программы для ЭВМ № 2008612308. Программный комплекс статистического моделирования процедур нейросетевой классификации.

10. Баранов, В.Г. Байесовская методология синтеза нейросетевых классификаторов / В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова. // Труды НГТУ: Системы обработки информации и управления / НГТУ. Н.Новгород. -2007. Т. 65, Вып. 14. - С. 5 - 12.

11. Барсегян, A.A. Методы и модели анализа данных: OLAP и Data Mining / A.A. Барсегян, М.С.Куприянов, В.В.Степаненко, И.И. Холод СПб.: БХВ-Петербург, 2004. - 336 с.

12. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным / В.Н. Вапник М.: Наука, 1979. - 448 с.

13. Ветров, Д.П. Алгоритмы выбора моделей и построения коллективных решений в задачах классификации, основанные на принципе устойчивости / Д.П. Ветров, Д.А. Кропотов. М.: «КомКнига», 2007. - 106 с.

14. Вучков, И.Н., Бояджиева JI.H., Солаков Е.Б. Прикладной линейный регрессионный анализ: Пер. с болг. / И.Н. Вучков, JI.H. Бояджиева, Е.Б. Солаков М.: Финансы и статистика, 1987.-23 8с.

15. Галушкин, А.И. Об алгоритмах адаптации в многослойных системах распознавания образов / А.И. Галушкин // Доклады АН УССР, №1, А, 15-21,91, 1973.

16. Галушкин, А.И. Синтез многослойных систем распознавания образов / А.И. Галушкин М.: Энергия, 1974.

17. Галушкин, А.И. Теория нейронных сетей. Кн. 1 / А.И. Галушкин М.: ИПРЖР, 2000.-416 с.

18. Гиг ван, Дж. Прикладная общая теория систем: Пер. с англ. В 2-х кн. / Дж. Ван Гиг М.: Мир, 1981. - 733 с.

19. Глущенко, В.В. Прогнозирование / В.В. Глущенко М.: Вузовская книга, 2000. - 208 с.

20. Головко, В.А. Нейронные сети: обучение, организация, применение. Кн.4 / В.А. Головко, общ. ред. А.И. Галушкина. М.: ИПРЖР, 2001. -256 с.

21. Горбань, А.Н. Обучение нейронных сетей / А.Н. Горбань М.: СП параграф, 1990.- 159 с.

22. Деврой, JI. Непараметрическое оценивание плотности. L1-подход: Пер. с англ / JI. Деврой, JL Дьерфи М.: Мир, 1988. - 408с.

23. Дубров, A.M. Многомерные статистические методы / A.M. Дубров, B.C. Мхитарян, Л.И. Трошин М.: Финансы и статистика, 1998. 7 352 с.

24. Дюк, В. Data mining / В. Дюк, А. Самойленко СПб.: Питер, 2001,368 с.

25. Зарипова, Ю.Х. Программное обеспечение нейросетевой классификации на основе вероятностной и RBF-сетей / Ю.Х. Зарипова // XII Нижегородская сессия молодых ученых, секция информационные системы: Сб. науч. тр. Н.Новгород, 2007 - С. 8 - 9.

26. Зарипова, Ю.Х. Сравнение алгоритмов классификации на основе вероятностной и РБФ-сетей / Ю.Х. Зарипова // VI Международная молодежная научно-технической конференция «Будущее технической науки»: Сб. науч. тр. НГТУ. - Н.Новгород, 2007. - С. 5- 6.

27. Зарипова, Ю.Х. Система управления и диагностики технических процессов / Ю.Х. Зарипова, И.В. Шалашов, Б.А. Суслов // Первый областной конкурс молодежных инновационных команд «РОСТ»: Каталог. Н.Новгород, 2007. - с. 146 - 148.

28. Зарипова, Ю.Х. Алгоритмы нейросетевой классификации на основе РБФ-сетей / Ю.Х. Зарипова // XIII Нижегородская сессия молодых ученых, секция информационные системы: Сб. науч. тр. Н.Новгород, 2008.-С 12-13.

29. Зарипова, Ю.Х. Процедуры отбора значащих признаков в задаче распознавания образов / Ю.Х. Зарипова // VII Международная молодежная научно-техническая конференция «Будущее технической науки»: Сб. науч. тр. НГТУ. - Н.Новгород, 2008. - С 15 - 16.

30. Зарипова, Ю.Х. Нейросетевая классификация в сейсмоакустических системах наблюдения / Ю.Х. Зарипова. // Международная науч.-техн. конф. «Информационные системы и технологии. ИСТ-2009»: Сб. науч. тр. НГТУ. - Н.Новгород, 2009. - С. 132 - 133.

31. Зарипова, Ю.Х. Использование нейронных сетей для распознавания образов в сейсмоакустической информационной системе / Ю.Х. Зарипова. // XV Нижегородская сессия молодых ученых, секция информационные системы: Сб. науч. тр. Н.Новгород, 2010. - С 46-47.

32. Зарипова, Ю.Х. Процедура сравнения эффективности бинарных классификаторов / Ю.Х. Зарипова, А.Ю. Эпштейн // IX Международная молодежная научно-техническая конференция «Будущее технической науки»: Сб. науч. тр. НГТУ. - Н.Новгород, 2010. - С 20.

33. Иванов, А.К. Аппроксимация зависимостей функциями многих переменных в задачах разработки АСУ / А.К. Иванов // Известия АН. Теория и системы управления. 1999. - № 3. - С. 60 - 67.

34. Иванов, Г.А. Критерий сравнения моделей аппроксимирующих экспериментальные данные и его свойства / Г.А. Иванов, И.А. Кривошеев // Измерительная техника. 2001. - № 8. - С. 6 - 11.

35. Ивахненко, А.Г. Самоорганизация прогнозирующих моделей / А.Г.

36. Ивахненко, Й'.А. Мюллер -К.: Техниса, 1985. 223 с.

37. Иган, Дж. Теория обнаружения сигналов и анализ рабочих характеристик. Пер. с. англ;./ Дж. Иган М.: Наука. Главная редакция физико-математической литературы;, 1983. - 216 с.

38. Искусственный, интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник/ Под ред. Д.А. Поспелова. - М. Радио и связь, 1990. - 304 с.

39. Калан, Р. Основные концепции нейронных сетей / Р. Каллан М:: Вильяме, 2001. - 287 с.

40. Кондратьев, В.В. Идентификация нелинейных систем на основе структурно-параметрического синтеза нейронных RBF-сетей/ В .В. Кондратьев, В .Р. Милов // Доклады АН. 2002'; •- Т. 386, № 3. - С. 318 -321. , ;

41. Кондратьев, В.В. Структурно-параметрический синтез нейросетевого классификатора / В.В. Кондратьев, В.Р. Милов // Наукоемкие технологии. 2003. - Т. 4, № 2. - С. 101 106.

42. Левин, С.Ф. Теория измерительных задач идентификации / С.Ф; Левин // Измерительная техника. 2001. - № 7. - С. 8 - 17.

43. Назаров; A.B. Анализ прогнозирующих свойств нейронных сетей прямого распространения, по результатам экспериментальных исследований / А.В. Назаров, Г.И. Козырев, C.B. Шкляр // Нейрокомпьютеры: разработка, применение. 2002. - № 3 - С. 15 - 19.

44. Матвейкин В.Г. Использование байесовского подхода в обучении нейронных сетей / В.Г. Матвейкин, C.B. Фролов // Информационные технологии. 1998. - № 10. - С. 27 - 35.

45. Милов, В.Р. Обучение нейронных RBF-сетей на основе процедур структурно-параметрической оптимизации /В.Р. Милов // Нейрокомпьютеры: разработка и применение. 2003. - № 5. - С. 29 - 33.

46. Милов, В.Р. Адаптивная обработка сигналов на основе рекуррентного алгоритма с регуляризацией по методу наименьших квадратов /В.Р. Милов // Известия Вузов. Приборостроение. 2003. - Т. 46, № 10. - С. 11-17.

47. Милов, В.Р. Восстановление многомерных нелинейных зависимостей по экспериментальным данным / В.Р. Милов // Вестник ВГАВТ: Надежность и ресурс в машиностроении / ВГАВТ. Н.Новгород. - 2003. -Вып. 4.- С. 163- 168.

48. Милов, В.Р. Структурно-параметрическая оптимизация многослойных нейронных сетей / В.Р. Милов // Нейрокомпьютеры: разработка, применение. 2003. - № 10- 11. - С. 3 -9.

49. Милов, В.Р. Структурно-параметрический синтез нейронных сетей с последовательными связями на основе байесовской методологии / В.Р. Милов // VII Всероссийская науч.-техн. конф. «Нейроинформатика-2005»: Сб. науч. тр. 4.1. М.: МИФИ, 2005. - С. 18 - 25.

50. Милов, В.Р. Процедуры интеллектуального распознавания образов с применением нейронных сетей / В.Р. Милов, Ю.Х. Зарипова // Восьмой Международный симпозиум «Интеллектуальные системы» (ШТЕЬ8'2008): Сб. науч. тр. Н.Новгород, 2008. - С. 109 - 113.

51. Милов, В.Р. Сравнение эффективности алгоритмов классификации / В.Р. Милов, Зарипова, Ю.Х. // Международная науч.- техн. конф. «Информационные системы и технологии. ИСТ-2008»: Сб. науч. тр. -НГТУ. Н.Новгород, 2008. - С. 78 - 79.

52. Милов, В.Р. Обучение нейронных ИВР-сетей на основе байесовской методологии и решение задачи восстановления зависимостей / В.Р. Милов, Я.Я. Махмудов // Нейрокомпьютеры: разработка, применение.-2005.-№4.-С. 23-31.

53. Надарая, Э.А. Об оценке регрессии / Э.А. Надарая // Теория вероятности и ее применения. 1964. - Т. 9, № 1. - С. 157 - 159.

54. Нейрокомпьютеры в системах обработки сигналов. Кн. 9 / Под ред. Ю.В. Гуляева и А.И. Галушкина. М.: Радиотехника, 2003. - 224 с.

55. Нейронные сети: история развития теории / Под ред. А.И. Галушкина, Я.З. Цыпкина М.: Радиотехника, 2001.

56. Нейронные сети. STATISTICA Neural Networks: Пер. с англ. М.: Горячая линия - Телеком, 2000. - 182 с.

57. Обобщенный спектрально-аналитический метод обработки информационных массивов. Задачи анализа изображений и распознавания образов / Ф.Ф. Дедус, С.А. Махортых, М.Н. Устинин, А.Ф. Дедус; Под общ. ред. Ф.Ф. Дедуса. М.: Машиностроение, 1999. - 357 с.

58. Осовский, С. Нейронные сети для обработки информации / С. Осов-ский М.: Финансы и статистика, 2002. - 344 с.

59. Пащенко, Ф.Ф. Методы и системы управления и идентификации на основе знаний /Ф.Ф. Пащенко, K.P. Чернышев // Автоматика и телемеханика. 2000. - № 2 - С. 3 - 28.

60. Райфа, Г. Прикладная теория статистических решений / Г. Райфа, Р.

61. Шлейфер М.: Статистика, 1977. - 360 с.

62. Репин, В.Г Статистический синтез при априорной неопределенности и адаптация информационных систем / В.Г. Репин, Г.П. Тартаковский М.: Сов. радио, 1977. - 432 с.

63. Савчук, В.П. Байесовские методы статистического оценивания: Надежность технических объектов / В.П. Савчук М.: Наука, 1989. - 328 с.

64. Современные методы идентификации систем: Пер. с англ. / Под ред. Эйкхофа. М.: Мир, 1983. - 400 с.

65. Терехов, В.А. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин. В.Н. Антонов. СПб: Изд-во С.-Петербургского ун-та, 1999. - 265 с.

66. Хайкин, С. Нейронные сети: полный курс: Пер. с англ. / С. Хайкин -М.: Издательский дом «Вильяме», 2006. 1104 с.

67. Цыпкин, Я.З. Информационная теория идентификации / Я.З. Цыпкин -М.: Наука, 1995. 336 с.

68. Шрейдер, Ю.А. Системы и модели / Ю.А. Шрейдер, A.A. Шаров М.: Радио и связь, 1982. - 151 с.

69. Эйкхофф, П. Основы идентификации систем управления. Оценивание параметров и состояния: Пер. с англ. В.А. Лотоцкого и A.C. Манделя / Под ред. Н.С. Райбмана М.: Мир, 1975 - 683 с.

70. Эфрон, Б. Нетрадиционные методы многомерного статистического анализа: Сб. статей: Пер. с англ. / Б. Эфрон М. Финансы и статисти1. Ka, 1988. 263 c.

71. Anders, U. Model selection in neural networks / U. Anders, O. Korn // Neural Networks. 2000. - N 12. - P. 543 - 555.

72. Bishop, C.M. Neural Networks for pattern recognition / C.M. Bishop Oxford: Oxford University Press, 1995. - 504 p.

73. Bishop, C.M. Bayesian regression and classification / C.M. Bishop, M.E. Tipping // Advances in Learning Theory: Methods, Models and Applications. IOS Press, NATO ASI Series in Computer and Systems Sciences. Amsterdam, 2003. - P. 267 - 288.

74. Ghiselli, E.E. Measurement Theory for the Behavioral Sciences / E.E. Ghi-selli, J.P. Camp-bell, S. Zedeck. San Francisco: Freeman, 1981. - 494 p.

75. Girosi, F. Regularization theory and neural networks architectures / F. Girosi, M. Jones, T. Poggio // Neural Computation. 1996. - V. 7. - P. 219269.

76. Good, I.J. Some history of the hierarchical Bayesian methodology / I.J. Good // Trab. Estadist. Invest. Oper. 1980. - V.31, N. 1. - P. 489 - 504.

77. Hong, X. Nonlinear model structure detection using optimum experimental design and orthogonal least squares / X. Hong, C.J. Harris // IEEE Transactions on Neural Networks. 2001. - V. 12, N. 2. - P. 435 - 439.

78. Hornik, K. Multilayer feedforward networks are universal approximators / K. Hornik, M. Stinchcomb, H. White // Neural Networks. 1989. - V. 2, N. 5.-P. 359-366.

79. MacKay, D. J. C. The evidence framework applied to classification networks / D. J. C. MacKay // Neural Computation. 1992. - V. 4, N. 5. - P. 698

80. MacKay, D.J.C. Bayesian interpolation / D.J.C. MacKay // Neural Computation. 1992. - V. 4, N. 3. - P. 415 - 447.

81. MacKay, D.J.C. Bayesian framework for backpropagation networks / D.J.C. MacKay // Neural Computation. 1992. - V. 4, N. 3. - P. 448-472.

82. McCulloch, W.S. A logical calculus of the ideas immanent in nervous activity / W.S. McCulloch, W. Pitts Bulletin of Mathematical Biophysics,1943, vol. 5, pp. 115-133.

83. Minsky, M. Perceptrons / M. Minsky, S. Papert MIT Press, 1969.

84. Moody, J. Fast learning in networks of locally tuned processing units / J. Moody, C.J. Darken // Neural Computation. 1989. - V. 1, N. 2. - P. 281 -294.

85. Neal, R. Bayesian Learning for Neural Networks / R Neal. Springer-Verlag, 1996.

86. Neurocomputing. Foundation of Ressearch. / Ed. J.A. Andersen, E. Rosenfeld. The MIT Press. 1988.

87. Nilson, N. Learning Machines / N. Nilson McGraw-Hill Book Co., 1965.

88. Orr, M.J.L. Introduction to Radial Basis Function Networks / M.J.L. Orr -Edinburgh: Centre for Cognitive Science, 1996.

89. Pagallo, G. Boolean feature discovery in empirical learning / G. Pagallo, D. Haussler // Machine Learning. 1990. - 5. - P. 71-99.

90. Park, J. Universal approximation using radial basis function networks / J. Park, I.W. Sandberg // Neural Computation. 1991. - V. 3, N. 2. - P. 246

91. Principe, J.C. Neural and adaptive systems: fundamentals though simulations / J.C. Principe, N.R. Euliano, W.C. Lefebvre John Wiley and Sons. - 2000. - 656 p.

92. Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain / F. Rosenblatt Psychological Review, 1958, vol. 65, pp. 386-408.

93. Rosenblatt, F. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms / F. Rosenblatt New York, Spartan, 1962.

94. Snelson, E. Compact approximations to Bayesian predictive distributions / E. Snelson, Z. Ghahramani // Proceedings of the 22 international conference on Machine learning. Bonn, 2005. - P. 840 - 847.

95. Schwenker, F. Three learning phases for radial-basis function networks / F. Schwenker, H.A. Kestler, G. Palm // Neural Networks. 2001. - № 14. -P. 439-458.

96. Sherstinsky, A. On the efficiency of the orthogonal least squares training method for radial basis function networks / A. Sherstinsky, R.W. Picard // IEEE Transactions on Neural Networks. 1996. - V. 7, N 1. - P. 195 -200.

97. Shibata, R. An optimal selection of regression variables / R. Shibata // Biometrika.- 1981.-V. 68.-P. 45-54.

98. Tipping, M.E. Sparse Bayesian learning and the relevance vector machine. / M.E. Tipping // Journal of Machine Learning-Research. 2001. - V. 1. - P. 211 -244.

99. Tipping, M.E., Faul A.C. Fast Marginal likelihood maximization for sparse Bayesian models / M.E. Tipping // 9 International workshop on Artificial Intelligence and Statistics, Kew West, Jan 3-6, 2003.

100. Vapnik, V. The nature of statistical learning theory / V. Vapnik New York: Springier Verlag, 1995.

101. Ye, N. The handbook of data mining / N. Ye London, 2003.

102. Zhu, Q. A global learning algorithm for a RBF network / Q. Zhu, Y. Cai, L. Liu // Neural Networks. 1999. - N 12. - P. 527 - 540.