автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Моделирование и разработка программного обеспечения распознавания и классификации образов

На правах рукописи

ГЛАЗКОВ Алексей Владимирович

МОДЕЛИРОВАНИЕ И РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ РАСПОЗНАВАНИЯ И КЛАССИФИКАЦИИ ОБРАЗОВ

Специальность 05.13.] 8 - Математическое моделирование, численные методы и комплексы программ

- з дек 2009

ЕЛЕЦ-2009 г.

003486569

Работа выполнена на кафедре теоретической и прикладной механики в Воронежском государственном университете

Научный руководитель: доктор физико-математических наук,

профессор Кругов Алексей Васильевич

Официальные оппоненты: доктор физико-математических наук,

профессор Семенов Михаил Евгеньевич

доктор физико-математических наук, профессор Меньших Валерий Владимирович

Ведущая организация: Воронежская государственная

технологическая академия (г. Воронеж)

Защита состоится «14» декабря 2009 г. в 11й на заседании диссертационного совета Д 212.059.03 при Елецком государственном университете им. И.А.Бунина в конференц-зале по адресу: 399770, Липецкая обл., г. Елец, ул. Коммунаров, 28

С диссертацией можно ознакомиться в библиотеке Елецкого государственного университета им. И.А.Бунина по адресу: 399770, Липецкая обл., г. Елец, ул. Коммунаров, 28, ауд. 300.

Автореферат разослан «13» ноября 2009 г.

Ученый секретарь

диссертационного совета г^ Щербатых В.Е.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

Круг задач, которые могут решаться с помощью распознающих систем, чрезвычайно широк. Сюда относятся не только задачи распознавания зрительных и слуховых образов, но и задачи распознавания сложных процессов и явлений, возникающих, например, при выборе целесообразных действий руководителем предприятия или выборе оптимального управления технологическими, экономическими, транспортными или военными операциями. В каждой из таких задач анализируются некоторые явления, процессы, состояния внешнего мира, всюду далее называемые объектами наблюдения. Прежде чем начать анализ какого-либо объекта, нужно получить о нем определенную, каким-либо способом упорядоченную информацию. Такая информация представляет собой характеристику объектов, их отображение на множестве воспринимающих органов распознающей системы.

Проблемами распознавания образов занимались такие известные российские и зарубежные ученые как Барабаш Ю.Л., Васильев В.И., Горелик A.J1., Скрипкин В.А., Дуда Р., Харт П., Кузин Л.Т., Перегудов Ф.И., Тарасенко Ф.П., Темников Ф.Е., Ту Дж., Гонсалес Р., Уинстон П., Фу К., Цыпкнп Я.З. и др. В своих работах они давали различную типологию методов распознавания образов. Одни из них различали параметрические, непараметрические и эвристические методы, другие -выделяли группы методов, исходя из исторически сложившихся школ и направлений в данной области научного знания.

При этом значительные стремления исследователей в области искусственного интеллекта направлены на разработку методов решения задач классификации и распознавания объектов по нечеткой, плохо обусловленной исходной информации. Такие задачи возникают при анализе зашумленных сигналов с датчиков, результатов социологических опросов, прогнозировании в экономике, диагностике в биологии и медицине и т.д.

Усложняющим условием распознавания объектов зачастую является пересечение классов объектов по количественным и качественным признакам, из-за чего не могут использоваться вероятностно-статистические методы анализа информации.

Как правило, решение отмеченного класса задач реализовывается на базе создаваемых экспертных систем, база данных которых обязательно содержит интегрированный опыт экспертов, который, в свою очередь может включать скрытые противоречия и не учитывать совокупность пересечения ветвей решений и комбинаций значений признаков и характеристик, что, в итоге, может значительно снижать ценность получаемых результатов.

Таким образом, разработка новых подходов, методов и моделирование на их базе процессов классификации, распознавания и диагностики объектов по совокупности их количественных и качественных признаков в разностном признаковом пространстве в условиях пересечения и многозначности классов объектов, когда, ввиду изначалцюй недетерминированное™ оказывается невозможным применять методы статистического анализа, основанные на аксиоматической теории вероятностей, бесспорно, является актуальной и важной задачей.

Диссертационная работа выполнена в соответствии с планом научно-исследовательских работ кафедры теоретической и прикладной механики Воронежского государственного университета в рамках темы «Разработка математических моделей и эффективных аналитических и численных методов решения статических и динамических задач механики деформируемых сред сложной структуры» (№ гос. per. 01.9.90 001106).

Целью диссертационной работы является проведение сравнительного анализа существующих подходов для распознавания и классификации объектов, пересекающихся признаков, основанных на представлениях теории нечетких множеств и нейронных сетях, а также разработка и создание комбинированной системы для моделирования процессов распознавания и классификации объектов, пересекающихся признаков, включающей основные достоинства рассмотренных подходов.

Цель достигается посредством постановки и решения следующих основных задач:

- выбор оптимальной структуры нейронной сети, а также построение модели нейросетевого классификатора;

- исследование методов вычислений функций принадлежности списковых объектов к нечетким множествам по номинальной и числовой характеристикам;

- разработка алгоритмов предварительной обработки п-мерных функций принадлежности нечетких объектов и обучения двухслойной нейронной сети для распознавания и классификации объектов, пересекающихся признаков;

- реализация разработанных комбинированных алгоритмов и моделей, основанных на представлениях теории нечетких множеств и нейронных сетях, в виде функций библиотек, которые являются ядром автоматизированных систем исследуемого класса задач;

- анализ результатов экспериментальных исследований эффективности использования разработанных алгоритмов и моделей в процессе решении задач распознавания, классификации и диагностики принадлежности объекта к заданной группе;

Научная новизна работы состоит в следующем:

- разработан новый подход к решению задач распознавания и классификации объектов, пересекающихся признаков, на базе комбинированной модели, основанной на представлениях теории нечетких множеств и нейронных сетях;

- разработаны алгоритмы для моделирования процессов классификации и распознавания объектов по множеству разнотипных признаков, в условиях их пересечения;

- предложена модель распознавания пересекающихся признаков п-мерных объектов на базе введенных в настоящей диссертации понятий, обобщенных и видоизмененных операций теории нечетких множеств;

- разработан программный комплекс для моделирования процессов распознавания и классификации пересекающихся признаков п-мерных объектов па основе обобщенных представлений и видоизмененных операций теории нечетких множеств и специализированных нейросетевых технологий.

Теоретическая и практическая ценность работы состоят в том, что в работе разработан способ анализа нечеткой информации, который может использоваться для решения обширного круга задач в различных прикладных областях применения. Например, многозначные числовые объекты могут нести информацию о технологических параметрах в неясных ситуациях, отображать некорректную работу электронных схем и т.п. Многозначные номинальные объекты могут моделировать качественные оценки промышленной продукции, состояния отраслей экономики, некие символьные последовательности, возникающие при формализации естественных и абстрактных текстов или кодов. Ранжирование нечетких объектов по множеству разнотипных признаков дает возможность классифицировать, в соответствии с семантикой нечеткости, реальные процессы, а именно извлекать полезную информацию из нечетких фактов, которые, в свою очередь, могут применяться как элементы каких-либо обучающих программ и экспертных систем.

Полученные в работе результаты: методы, алгоритмы, математические модели, могут использоваться при прогнозировании и оценке зашумленных сигналов, результатов опросов, они также могут быть использованы при разработке иных автоматизированных систем распознавания, классификации, предсказания и диагностики в условиях пересекающихся признаков объектов для создания «искусственного интеллектуального анализатора» в неясных ситуациях.

Достоверность результатов работы определена тем, что научные результаты работы получены на основании достоверных знаний в области нейронных сетей и нечетких множеств с использованием математически обоснованных способов решения поставленной задачи, а также сравнением полученных результатов с экспериментальными данными.

Апробация результатов работы и публикации.

Положения диссертационной работы были доложены и обсуждены на XLV юбилейной Всероссийской конференции по проблемам математики, информатики, физики и химии», секция математики и информатики, Москва, Российский университет дружбы народов, 2009 г., VII Всероссийской научно-практической конференции с международным участием «Информационные технологии и математическое моделирование», Анжеро-Судженск, филиал Кемеровского государственного университета, 2009 г., X Международной научной конференции «Современные проблемы математики, механики, информатики», Тула, Тульский государственный университет, 2009 г.

Публикации. Основное содержание диссертации опубликовано в 10 работах, в т.ч. 3 публикации в изданиях из Перечня ВАК (см. список литературы в конце автореферата)

Научные результаты и положения, выносимые на защиту:

- методы вычислений функций принадлежности списковых объектов к нечетким множествам по номинальной и числовой характеристикам;

- алгоритмы предварительной обработки n-мерных функций принадлежности нечетких объектов и обучения двухслойной нейронной сети для распознавания и классификации объектов, пересекающихся признаков;

- реализация разработанных комбинированных алгоритмов и моделей, основанных на представлениях теории нечетких множеств и нейронных сетях, в виде функций библиотек, которые являются ядром автоматизированных систем исследуемого класса задач;

- результаты экспериментальных исследований ' эффективности использования разработанных алгоритмов в процессе решении задач распознавания, классификации и диагностики принадлежности объекта к заданной группе в условиях пересечения, объединения и многозначности классов объектов.

ç

Структура и объем диссертации. Работа состоит из введения; четырех глав, с выводами по каждой главе; заключения; списка литературы, включающего 134 наименования; четырех приложений; содержит 94 рисунка и 11 таблиц. Общий объем диссертации составляет 155 страниц основного текста.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении излагаются актуальность и состояние предмета исследования, цели работы, ее научная новизна, теоретическая и практическая ценность, изложены защищаемые положения, а также поставлены задачи диссертации.

В первой главе рассмотрены различные алгоритмы обучения нейронных сетей, показаны достоинства и недостатки этих алгоритмов. Разработаны алгоритмы для моделирования процессов классификации на основе сетей обратного распространения ошибки, с использованием методов однородной, множественной адаптации, метода сопряженных градиентов. Также в данной главе построены экспериментальные полигоны трех классов объектов различной степени сложности, для которых проведено моделирование процессов классификации на основе разработанных алгоритмов нейросетевых классификаторов; установлены оптимальные значения внутренних параметров нейронных сетей и характеристик их функционирования.

Многие задачи: распознавания образов (зрительных, речевых и т.д.), выполнения функциональных преобразований при обработке сигналов, управления, прогнозирования, идентификации сложных систем и так далее сводятся к следующей математической постановке. Необходимо построить отображение X —> У такое, чтобы на каждый возможный входной сигнал X формировался правильный выходной сигнал У. Отображение задается конечным набором пар (<вход>, <известный выход>). Число таких пар (обучающих примеров) существенно меньше общего числа возможных сочетаний значений входных и выходных сигналов. Совокупность всех обучающих примеров носит название обучающей выборки.

Согласно теореме Колмогорова-Арнольда, отображение Х-+У в общем случае является многомерным, то есть X и У - вектора с размерностью больше единицы. Построить отображение - это значит представить его с помощью традиционных математических операций, которые, в частности, легко могут быть реализованы на персональном компьютере.

При этом каждая непрерывная функция п переменных, заданная на единичном кубе п-мерного пространства, представима в виде:

где функции Ид(и) непрерывны, а функции <р^(хр), кроме того, еще и стандартны, т.е. не зависят от выбора функции/.

В частности, каждая непрерывная функция двух переменных х, у представима в виде

Основной вопрос связан с аппроксимацией неизвестной функции , которая осуществляет отображение Р: Л" -* Л". Как правило, несмотря на то, что аналитический вид функции Е неизвестен, в распоряжении имеется набор "образцов" Оы = |р|,ог,...,он^ор = (хр,ур), которые порождаются процессом, описываемым функцией F, т.е. ^р(хр) = ур). На основании данного набора, требуется построить "гладкую" аппроксимацию неизвестной функции Р, чтобы иметь в последствии возможность определять значения ур на основании предъявляемых значений хр. Совершенно понятно, что огромное множество классов всевозможных функций, осуществляющих отображения Р: Л" Л", а

2л+1 п

также разнообразие возможных набор "образцов"

порождает большое количество методов и методик решения сформулированной проблемы.

Проблема классификации (что в равной степени относится и к проблеме распознавания, и к проблеме идентификации) в итоге, сводится к возможности соотнесения наблюдаемых входных сигналов (векторов) к одному или несколькими различным классам. Определение класса может быть самым разнообразным и обычно это понятие вводится применительно к конкретно рассматриваемой задаче.

После отображения исходных необработанных входных сигналов в характерные вектора пространства признаков, классификатор производит отображение данных векторов на множество различных классов. Такое отображение или, другими словами, классификация, связано с разметкой пространства признаков. Каждому вектору в пространстве признаков предписывается принадлежность к определенному классу.

Большой интерес представляет проведение количественного анализа работы различных базовых классификаторов на полигоне различных объектов исследования. Для решения этого вопроса в диссертации проводится анализ работы трех базовых архитектур нейросетевых классификаторов применительно к трем видам множеств объектов исследования.

В качестве базовых архитектур нейросетевых классификаторов были выбраны нейронные сети, работающие на принципе обратного распространения ошибки, на основе радиальных базисных функций и на основе группового метода учета данных. Следует отметить, что практически каждая базовая архитектура нейросетевого классификатора допускает достаточно многочисленные модификации. Поэтому наряду с упомянутыми базовыми архитектурами в работе значительное внимание было также уделено рассмотрению и анализу работы основных модификаций данных базовых архитектур. В частности, для нейросетевых классификаторов, работающих на принципе обратного распространения ошибки, был проведен анализ функциональных характеристик работы нейронных сетей модифицированных на основе простого и множественного адаптивного алгоритма, а также с использованием алгоритма сопряженных градиентов. Для нейросетевых классификаторов, работающих на основе радиальных базисных функций были рассмотрены три модификации алгоритмов определения кластерных центров, основанных на, так называемом, методе Л"-средних, Е-М и II-С алгоритмах. Для нейросетевых классификаторов, работающих на основе группового метода учета данных, был проведен анализ работы и функциональных характеристик нейронных сетей основанных на различных полиномах второго и третьего порядка, зависящих от одной, двух и трех переменных.

С целью изучения поведения и характеристик различных классификаторов на объектах с различной степенью сложности были рассмотрены три различных множества объектов исследования: простое (кольцевое), разделенное и пересекающееся (речевое). Кольцевое множество состояло из двумерных векторов, разделенных на два класса (см. рис. 1.1). Класс А состоял из векторов распределенных случайным образом внутри окружности единичного радиуса. Класс В состоял из векторов распределенных случайным образом за пределами возможного расположения векторов класса Л (окружности единичного радиуса), и, одновременно, внутри окружности с радиусом в пять единиц, концентрической по отношению к окружности единичного радиуса. Обучшощее и тестовое множества содержали каждое по 600 образцов векторов класса А и В.

Разделенное множество также состояло из двумерных векторов двух классов (см. рис. 1.2).

Речевое множество состояло из двумерного массива первой и второй формантных частот (см. рис. 1.3), которые были получены на основании спектрографического анализа. В этой работе проводился анализ десяти различных гласных, заключенных между двумя одинаковыми согласными. Спектрографические данные собирались на основании записи речи 67 различных лиц, включая мужчин, женщин и детей. Речевое множество было разбито на две части: обучающее и тестовое, которые содержали соответственно 340 и 330 точек.

-5 -А -3 2 -I

Рис. 1.1. Кольцевое множество

Рис. 1.2. Разделенное множество

В

FI (Hertz)

Рис. 1.3. Множество пар первой и второй формантных частот, полученных на основании спектрографического анализа.

В целях нахождения оптимальной структуры нейронной сети, которая, с одной стороны, характеризовалась бы минимальным уровнем ошибки, а, с другой стороны, требовала бы наименьших вычислительных ресурсов, необходимо проведение специального исследования по установлению роли и степени влияния различных параметров нейронной сети на ее характеристики. Характеристики нейронной сети, как правило, зависят от большого числа параметров, которые могут быть как взаимно зависимыми, так и взаимно независимыми. В связи с этим проведение отмеченного исследования требует многократных итерационных циклов, в процессе которых производится поиск оптимального значения для одного параметра нейронной сети при временной фиксации всех остальных ее параметров.

Вторая глава диссертационной работы посвящена моделированию процессов классификации и распознаванию п-мерных объектов пересекающихся признаков на основе теории нечетких множеств. В данной главе для п-мерных объектов пересекающихся признаков, введены понятия векторных функций принадлежности (ВФП) и предложен способ расчета интегральных опорных ВФП на базе обобщенных представлений теории нечетких множеств. Предложен метод распознавания п-мерных объектов в условиях пересекающихся признаков на основе введенных понятий теории нечетких множеств. Разработана система распознавания и классификации на базе обобщенных представлений теории нечетких множеств, а также проведены экспериментальные исследования, наглядно демонстрирующие эффективность применения разработанной модели на примере решения задачи оценки принадлежности объекта к заданной группе.

Будем считать, что имеется Л'-мерное множество вектор-объектов ¡2(")}= |гт,2т,...,2т)}, которые, по совокупности значении своих координат г("\и = 1,2.....N изменяющихся в диапазоне [О,А1"'], могут быть отнесены к одному

из К классов. Изначально известна экспертная база данных (ЭБД), которая для некоторого подмножества |*Г>-х;Г>.-.4''>)'} к = 1,2.....К множества

|г(1),2(2),...,г<''>)Г}, п ^ 1,2,..., N устанавливает соответствие значений совокупностей координат ветор-обьектов Х(Кт классам К. В работе ставилась задача разработки модели, методологии и алгоритмов, позволяющих, на основании понятий и операций теории нечетких множеств, моделировать процессы классификации произвольных п-мерных объектов множества {§(Л,)}= .....2(Л,))Г}, по классам, в соответствии с заданной ЭБД.

Другими словами, необходимо, во-первых, для произвольного вектора:

вычислить, на основании ЭБД, совокупности векторов-функций принадлежности для каждого класса:

/42,(г(2>) /4?>(г<2>)

и Мт =

а, во-вторых, разработать метод свертки N -мерных векторов-функций принадлежности М?\к = 1,2,...,К, позволяющий производить упорядочение и классификацию соответствующего вектора ¿1Н>.

Разработанная система состояла из двух модулей - модуля предобработки и модуля распознавания.

Задачей модуля предобработки являлось создание опорных вектор-функций принадлежности, представляющих собой интегральные характеристики экспертных баз данных для каждого класса

Модуль предобработки содержал три основных блока - блок экспертной базы данных, блок вектор-функций принадлежности и блока предобработки данных.

В работе было рассмотрено три типа контура огибания ВФП: треугольный, гиперболический и колоколообразный, и, четыре типа процедур вычисления теоретико-множественной операции объединения введенных в теорию нечетких множеств: Заде, Хамахером, Ягером, и Дюбуа-Праде.

Назначение модуля распознавания и классификации следует из его названия. Этот модуль состоял из четырех блоков: блока транспортировки, блока свертки, блока ранжирования и блока архива решений.

Значения координат входного вектора подлежащего

распознаванию и классификации, поступали в транспортный блок, и, после проверки на целостность и непротиворечивость передавались в модуль предобработки, в блок ВФП, где на основании массива опорных интегральных экспертных вектор-функций принадлежности:

"Г = , к = 1,2.....*

производился расчет значений для каждого класса К векторов-функций принадлежности:

л/Г = , к = 1,2,...,АГ

Рассчитанные значения ВФП Л/Г возвращались в модуль распознавания и классификации в транспортный блок, и, после проверки на целостность и непротиворечивость передавались далее в блок свертки, в котором для каждого класса К, для входного вектора ¿{") производился расчет свертки МК(г) на основе выражения:

* = 1,2,..., ЛГ.

Полученные значения свертки Мк(г) поступали далее в блок ранжирования, в котором производилось их ранжирование и упорядочение с последующим выводом значений Мк{г) в архив решений и на экран.

Интерфейс модуля распознавания и классификации, помимо стандартного набора процедур связанных с вводом, выводом, просмотром и редактированием, обеспечивал возможность выбора видов и типов опорных ВФП, и возможность выбора типа процедур вычисления теоретико-множественной операции пересечения введенных в теорию нечетких множеств: Заде, Хамахером, Ягером и Дюбуа-Праде.

Моделирования процессов распознавания и классификации п-мерных объектов, пересекающихся признаков на базе выше описанных моделей проводилось применительно к оценке принадлежности объекта к заданной группе. В качестве основы были выбраны комбинированные тесты. Комбинированные тесты содержали 8 шкал, каждая из которых, в свою очередь, содержала от 15 до 20 вопросов с возможными бинарными ответами. Исходный информационный массив содержал характеристики 452 объектов, из которых к числу удовлетворяющих требованиям принадлежности объекта к заданной группе были отнесены сотрудники, успешно проработавшие не менее одного года- К числу претендентов не удовлетворяющих требованиям принадлежности объекта к заданной группе были отнесены объекты не получившие положительного

заключения экспертной комиссии или не отвечающими необходимым и достаточным условиям. Исходный массив результатов тестирования был разбит на две части, первая из которых содержала характеристики 312 объектов и была предназначена для наполнения исходной таблицы экспериментальных данных. Вторая часть, содержащая характеристики 140 объектов, была предназначена для последующего тестирования разработанных моделей распознавания. Каждая из частей массива содержала одинаковые доли объектов удовлетворяющих и не удовлетворяющих требованиям принадлежности объектов к заданной группе.

Полученные результаты позволили установить, что независимо от способа расчета значений функции принадлежности, использования различных приемов вычисления операций объединения и пересечения, значения уровня относительной ошибки тестирования оказываются высокими и могут превышать 50%. Установлено, что наименьшего ■ уровня относительной ошибки удается достичь при использовании представление Дюбуа-Праде и выбора Гауссова типа огибающей ВФП. В этом случае значения относительной ошибки составляли

Тпетья глава посвящена моделированию процессов классификации на базе специализированных нейронных сетей: функционирующих на основе радиальных базисных функций и функционирующих на основе метода группового учета данных, а также приведен сравнительный анализ процессов нейросетевой классификации. Проведено тестирование нейросетевого классификатора, основанного на радиально-базисных функциях, на примере решения задачи и оценки принадлежности объекта к заданной группе, разработаны рекомендации. Проведено моделированию процессов классификации п-мерных объектов пересекающихся признаков на основе комбинированных нейронных сетей.

Сети радиального типа представляют собой естественное дополнение сигмоидальных сетей. Сигмоидальный нейрон представляется в многомерном пространстве гиперплоскостью, которая разделяет это пространство на две категории (два класса), в которых выполняется одно из двух условий: либо

^и»,^ >0, либо <0. В свою очередь радиальный нейрон представляет

1 1

собой гиперсферу, которая осуществляет шаровое разделение пространства вокруг центральной точки

Математическую основу функционирования радиальных сетей составляет теорема Т. Ковера о распознаваемости образов, в соответствии с которой нелинейные проекции образов в некоторое многомерное пространство могут быть линейно разделены с большей вероятностью, чем при их проекции в пространство с меньшей размерностью.

В общем случае, при решении конкретной задачи, характеристики работы нейронной сети, функционирующей на основе радиальных базисных функций, зависят от:

1) количества базисных функций;

2) множества их локализаций, то есть от множества значений векторов среднего значения /л, каждой базисной функции;

3) множества значений векторов дисперсии а/ каждой базисной функции.

Первоначальные оценочные значений дисперсии базисных функций

определялась путем установления значения дисперсии каждой базисной функции равного среднему расстоянию (в метрике Евклида) от центра базисной функции до ее пяти ближайших соседей в пределах обучающего множества. Общая константа пропорциональности А, которая является множителем дисперсии в уравнении

24,3%.

где Н - константа пропорциональности дисперсии, хк - к-ая компонента входного вектора X = {х„х1,...,хв}, цл и - соответственно компоненты вектора среднего значения и вектора дисперсии для »-ой базисной функции, использовалась для масштабирования значений дисперсии базисных функций в целях получения наилучшего результата.

Зависимость уровня ошибки е от коэффициента пропорциональности Л для нейронных сетей с различным содержанием числа радиальных базисных функций N полученных при тестировании для кольцевого множества образцов представлена на рис. 3.1. Можно видеть, что независимо от числа базисных функций, по мере увеличения ширины базисных функций уровень ошибки тестирования неизменно уменьшается до тех пор, пока значение ширины базисной функции не достигнет определенного значения.

В общем случае, можно сказать, что качество функционирования нейронной сети возрастает с увеличением числа базисных функций. Однако существует определенное критическое значение числа узлов базисных функций, после которого дальнейшее увеличение числа базисных функций не приводит к сколь-либо значительному улучшению качества функционирования сети.

Исследования, проведенные настоящей главе применительно к нейросетевым классификаторам, сконструированным на основе радиальных базисных функций, показали, что наблюдается незначительное расхождение в показателях результатов, полученных на обучающем и тестовом множествах.

На рис. 3.1 можно наблюдать смещение минимума на кривой уровня ошибки влево по мере увеличения числа базисных функций. Например, для нейронной сети с пятью базисными функциями величина коэффициента пропорциональности й должна иметь значение равное примерно 20 для

коэффициент пропорциональности й

Рис. 3.1. Зависимость уровня ошибки е в процентах от коэффициента пропорциональности И для нейронных сетей с различным содержанием числа радиальных базисных функций к, полученных при тестировании для кольцевого . множества.

В тоже время для нейронной сети имеющей 75 узлов базисных функций аналогичный уровень ошибки наблюдается, когда коэффициент

пропорциональности h имеет значение не превышающее 0,5. То есть, другими словами, хорошее функционирование сети может быть обеспечено за счет большого числа узких функций, либо за счет небольшого числа достаточно широких базисных функций.

Следует также отметить, тенденцию увеличения протяженности плато в области минимальных значений кривых зависимости уровня ошибки от числа базисных функций, то есть тенденцию увеличения, с ростом числа базисных функций, интервала значений коэффициента пропорциональности h, в пределах которого наблюдается хорошее функционирование сети.

Исследования, проведенные настоящей главе применительно к нейросетевым классификаторам, сконструированным на основе радиальных базисных функций, показали, что наблюдается незначительное расхождение в показателях результатов, полученных на обучающем (рис. 3.1) и тестовом множествах.

Следующий алгоритм — алгоритм метода группового учета данных представляет собой многослойную полиномиальную сеть функциональных узлов, в которых формируются полиномы первого, второго и третьего порядков. Данные полиномы получаются из уравнений регрессии входных значений, при этом входные значения формируются на основании выходов предыдущего слоя сети, которые группируются парами или учитываются единичным образом. Конкретный вид полиномов, используемых в методе группового учета данных, может быть различным, в зависимости от конкретно решаемой задачи. В процессе работы были опробовано множество различных полиномиальных функций и, как показал предварительный анализ, не любые из них позволяют удовлетворительно решать задачи классификации. Поэтому ниже следующий материал связан с рассмотрением функциональных характеристик полиномиальных сетей, в узлах которых формировались полиномы следующих видов:

= % + + + >W2 + + WSVl l'iyù = w0 + + VJxV] + w3v,3 P(v\>vi) - Щ + + + "WÎ + "W2 + wsvl + w&vl +w7v25

Для оценки ошибки функционирования полиномиальной нейронной сети могут быть использованы два подхода. Первый из них связан с так называемым критерием постоянства. Второй подход основан на расчетной квадратичной ошибки (метод РКО). Напомним, что ошибка для к-ого полинома, получаемая на основании метода РКО определяется в соответствии с выражением:

1 " 2

(3-1)

где crj - оценка дисперсии ошибки оптимальной, неизвестной модели; N— общее число обучающих векторов; W - число рассчитанных коэффициентов ¿-ого полинома. Таким образом, расчетная квадратичная ошибка представляет собой сумму двух различных членов. Дисперсия ошибки - величина а], по сути, является величиной, корректирующей сложность модели. Большая дисперсия предписывает простоту модели, в то время как малое значение дисперсии позволяет анализировать более сложных моделей. Аналогично, значительное количество обучающих векторов N, допускает возможность рассмотрения сложной модели. В то время как наличие небольшого количества обучающих векторов накладывает ограничение на сложность модели, предписывая ей быть достаточно простой.

Разработанная система распознавания и классификации п-мерных объектов пересекающихся признаков на основе комбинированных нейронных сетей состояла из двух модулей - модуля предобработки и модуля распознавания, и, работала в трех режимах:

1) подготовка опорного массива вектор-функций принадлежности;

2) обучение нейронной сети;

3) распознавание и классификация.

В первом режиме функционировал только модуль предобработки. Задачей модуля предобработки являлось создание опорных вектор-функций принадлежности, представляющих собой интегральные характеристики экспертных баз данных для каждого класса.

Модуль предобработка содержал три основных блока - блок экспертной базы данных, блок вектор-функций принадлежности и блока предобработки данных.

В экспертную базу данных помещались исходные массивы {Рк} составленные из Л^-мерных векторов К классов:

.....р=к.....п; ^.....к.

Структурная схема системы моделирования процессов классификации п-мерных объектов пересекающихся признаков на основе комбинированной нейронной сети приведена в приложении 3 настоящей диссертации.

Массивы векторов Х^ поступали в блок предобработки, где для каждого из них производился расчет массива вектор-функций принадлежности:

«2Я =Й,>(,)>-Л><2)).....

р = \,2,...,Рк\ к = 1,2,...,К, на базе которого, для каждого класса производился расчет опорного массива интегральных экспертных вектор-функций принадлежности:

пГ ={,?\*т).п?Чхт).....»1ыЧ*т)}, к = 1,2.....К, где

Р.\

Совокупности интегральных экспертных вектор-функций принадлежности полученные на основе ЭБД для каждого класса помещались далее в блок векторных функций принадлежности (ВФП) и представляли собой массив опорных интегральных экспертных ВФП необходимый для последующих расчетов.

Второй режим системы связан с обучением нейронной сети. В этом режиме в блоке ВФП модуля предобработки, для всех векторов:

/> = 1,2.....п; к = \,2,...,к,

на основании массива опорных интегральных экспертных вектор-функций принадлежности:

ЯГ = (да1').'??>(*(2,),..,>7Г(*<АО)Г, к = 1,2,...,/:, производился расчет значений для каждого класса К векторов-функций принадлежности:

м'Р = , к = 1,2,...,А",

Рассчитанные значения ВФП м'Р направлялись в модуль распознавания и классификации в транспортный блок, и, после проверки на целостность и непротиворечивость передавались далее в нейросетевой блок для обучения нейронной сети.

Характеристики и результаты процедуры обучения нейронной сети заносились в архив решений. При этом интерфейс модуля распознавания и классификации, помимо стандартного набора процедур связанных с вводом, выводом, просмотром и редактированием, выбором режима, возможных видов и типов опорных ВФП, и типа процедур вычисления объединения (теоретико-множественной операции объединения и пересечения, введенных в теорию нечетких множеств Заде, Хамахером, Ягером, и Дюбуа-Праде), позволял также осуществлять контроль за выбором оптимальных параметров и характеристик нейронной сети (числом РБФ, величиной дисперсии и т.п.).

В режиме распознавания и классификации значения координат входного вектора г1Ю , - подлежащего распознаванию и классификации,

поступали в транспортный блок, и, после проверки на целостность и непротиворечивость передавались в модуль предобработки, в блок ВФП, где на основании массива опорных интегральных экспертных вектор-функций принадлежности:

"Г = (<(*(,,)Л(2,),..,'?Г(*<Л',)Г, к = 1,2, -,к,

производился расчет значений для каждого класса К векторов-функций принадлежности:

.....к = \,2,...,К,

Рассчитанные значения ВФП возвращались в модуль распознавания

и классификации в транспортный блок, и, после проверки на целостность и непротиворечивость передавались далее в нейросетевой блок, в котором проводилось их распознавание и классификация. Полученные решения и сопутствующие параметры и характеристики записывались в архив решений и выводились на экран.

На основании разработанной модели было проведено моделирование процессов распознавания и классификации объектов пересекающихся признаков на примере массива характеристических данных.

Полученные результаты показывают, что независимо от способа расчета значений функции принадлежности, использования различных приемов и стратегий вычисления интегральной по совокупности признаков принадлежности пересекающихся п-мерных классов объектов, применение комбинированной модели приводит, во всех случаях к существенному снижению уровня относительной ошибки тестирования, при этом, наименьшему значению е = 8,7%, соответствует представление Дюбуа-Праде.

Анализ полученных результатов показал, что достигнутое улучшение показателей функционирования разработанной системы распознавания и классификации связано со следующими двумя особенностями. Во-первых, в комбинированной нейронной сети, в отличие от системы функционирующей на основе представлений теории нечетких множеств, вместо блока свертки находится нейросетевой блок РБФ, то есть свертку фактически осуществляется за счет РБФ, а не на основе теоретико-множественной операции пересечения. Во-вторых, в комбинированной нейронной сети, в отличие от нейросетевой технологии РБФ, процедуры обучения и распознавания проводятся на основании соответствующих векторных массивов: и что естественно требует больших в Л1 раз,

по сравнению с РБФ ресурсов, но, тем не менее приводит к значительному улучшению результатов.

В четвертой главе рассматривались вопросы представления и обработки пространственно заданных групповых точечных объектов (ГТО) в качестве сигналов и применения для их анализа методов контурного анализа. Эти методы ранее применялись для обработки сигналов заданных на плоскости - контуров и

пучков радиус-векторов. В качестве адекватных математических моделей пространственно расположенных групповых точечных объектов использованы кватерниониые сигналы в виде векторных кватернионов, задающих пучок радиус-векторов, соединяющих начало системы отсчета или центр тяжести точек ГТО с каждой из его точек. В связи с тем, что кватернион допускает представление в виде двух комплексных чисел, на кватернионные сигналы, с учетом некоммутативности для них операций умножения и деления, были распространены понятия скалярного произведения двух сигналов, автокорреляционных и взаимно корреляционных функций. Это позволяет с близких позиций рассматривать обработку как плоских пучков радиус-векторов и контуров, так и пространственных пучков радиус-векторов и контуров. С учетом того, что свойство ортогональности векторов не распространяется на задающие их кватернионы, на базе элементарных контуров было получено семейство элементарных кватернионных сигналов, задающих ортонормированный базис. Все отсчеты взаимно корреляционной функции элементарных кватернионных сигналов равны нулю. Разложение кватернионных сигналов в этом базисе представляет собой аналог дискретного преобразования Фурье для вещественных и комплекснозначных сигналов. Данное преобразование позволяет представить произвольный кватернионный сигнал в виде взвешенной суммы элементарных кватернионных сигналов.

Получен алгоритм распознавания кватернионных сигналов, описывающих пространственно заданные групповые точечные объекты. В качестве критерия принятия решения о принадлежности кватернионного сигнала к определенному классу был использован критерий максимальной схожести распознаваемого сигнала с одним из эталонных сигналов. Выбор критерия минимума расстояния между распознаваемым и одним из эталонных сигналов для принятия решения о классе сигнала по сравнению с другими применяемыми критериями связан с тремя следующими причинами:

1) реализация данного критерия в распознающем устройстве не требует информации о статистических характеристиках помех, воздействующих на распознаваемый кватернионный сигнал;

2) простотой формирования с помощью кватернионного согласованного фильтра статистики для принятия решения о классе распознаваемого кватернионного сигнала;

3) одинаковой эффективностью результатов с широко используемым на практике устройством распознавания, в котором данная статистика формируется на основе отношения правдоподобия для часто имеющих место случаев нормального закона распределения вероятностей, воздействующих на распознаваемый сигнал шумов.

В заключении сформированы основные результаты и выводы:

1) Разработаны алгоритмы для моделирования процессов классификации объектов на основе метода обратного распространения ошибки, с использованием методов однородной, множественной адаптации, метода сопряженных градиентов и на базе специализированных нейросетевых технологий, которые основываются на методе радиальных базисных функций и на методе группового учета данных.

2) Построены экспериментальные полигоны классов объектов разнообразной степени сложности, для которых проведено моделирование процессов классификации на основе разработанных шести алгоритмов нейросетевых классификаторов; определены оптимальные значения внутренних параметров нейронных сетей и характеристик их работы; выполнен сравнительный

анализ эффективности использования разнообразных нейросетевых архитектур по отношению к вопросам распознавания и классификации объектов разной степени сложности, сформулированы рекомендации.

3) Для п-мерных объектов пересекающихся признаков множеств введены понятия векторных функций принадлежности (ВФП) и предложена методика расчета интегральных опорных ВФП на основе обобщенных представлений теории нечетких множеств.

4) Предложена модель распознавания пересекающихся признаков п-мерных объектов на базе введенных понятий, обобщенных и видоизмененных операций теории нечетких множеств.

5) Разработаны программный комплекс для моделирования процессов распознавания и классификации пересекающихся признаков п-мерных объектов на основе предложенного метода и обобщенных представлений теории нечетких множеств.

6) Предложен комбинированный метод распознавания и классификации пересекающихся признаков п-мерных объектов на базе обобщенных представлений и видоизмененных операций теории нечетких множеств и специализированных нейросетевых технологий.

7) Разработаны комбинированные модели, базирующиеся на представлениях теории нечетких множеств и нейросетевых технологиях, методы, а также алгоритмы их обучения; программное обеспечение для моделирования процессов распознавания и классификации пересекающихся признаков 11-мерных объектов.

8) Выполнены опытные исследования, показывающие эффективность применения предложенных и разработанных моделей, методов и алгоритмов на примере решения задачи диагностики объектов, пересекающихся признаков; сформулированы рекомендации. Внедрение разработанной системы диагностики и классификации позволит автоматизировать процесс диагностики и анализа, и, как следствие, существенно понизить уровень ошибки.

9) Получено семейство элементарных кватернионных сигналов, задающих ортонормированный базис. Разложение кватернионных сигналов в этом базисе представляет собой аналог дискретного преобразования Фурье для вещественных и комплекснозначных сигналов.

10) Получен алгоритм распознавания кватернионных сигналов, описывающих пространственно заданные групповые точечные объекты. В качестве критерия

ч принятия решения о принадлежности кватернионного сигнал к определенному классу был использован критерий максимальной схожести распознаваемого сигнала с одним из эталонных сигналов.

В приложениях приведены рисунки, таблицы с расчетными и справочными данными, а также приведены структурные схемы процессов моделирования п-мерных объектов пересекающихся признаков, как на основе нечетких множеств, так и на основе комбинированных нейронных сетей.

Основные результаты диссертации опубликованы и следующих работах:

Личный вклад автора определяется тем, что: 1) Диссертация выполнена персонально автором; 2) автор активно участвовал в формулировке и решении задач по построению математических моделей [1-3, 6-7]; 3) для множеств объектов исследования автором получены характеристики разнообразных классификаторов [1]; 4) представил моделирование процесса распознавания различными нейросетевыми методами, описал преимущества и недостатки этих методов при

распознавании п-мерных объектов, указал сложности при распознавании п-мерных объектов [2]; 5) предложил систему классификации на совместном применении независимых признаков объектов [4]; 6) разработал программное обеспечение для проведения экспериментов и визуализации результатов [5]; 7) ввиду тесной связи кватернионов с комплексными числами, лежащими в основе контурного анализа автором были получены /, у, к - комплексные формы кватернионов, позволяющих представить кватернионный сигнал в виде пучка "комплексных векторов" [8]; 8) получил результаты, позволяющие увидеть взаимосвязь задач классификации и идентификации, а также рассмотрел метод структурного координатного анализа [9]; 9) предложил методику синтеза алфавитов симплексных комплексных и гиперкомплексных сигналов на базе элементарных контурных и кватерниопных сигналов, получил потенциально достижимые характеристики точного распознавания сигналов [10].

Публикации в журналах из Перечня ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации:

1. Глазков А. В. Моделирование процессов распознавания и классификации образов на основе нейросетей / А. В. Глазков, А. В. Крутов // Вестник Воронежского государственного технического университета. 2009. Т. 5 № 11. С. 240-246.

2. Глазков, А. В. Моделирование процесса распознавания образов на основе нейросетей / А. В. Глазков, Л. В. Крутов, Д. В. Семенюта / Информация и безопасность. ВГТУ, Межд. ин-т копм. технологий. - Воронеж, 2009, вып. 2. -С. 207-216.

3. Семенюта, Д. В. Применение моделей динамических систем в задачах защиты информации / Д. В. Семенюта, А. В. Крутов, А. В. Глазков / Информация и безопасность. ВГТУ, Межд. ин-т копм. технологий. - Воронеж, 2009, вып. 2. -С.277-280.

В других журналах и материалах научных конференций:

4. Глазков А. В. Алгоритмы и модели визуального восприятия и распознавания •типовых портретных изображений в задаче автоматической классификации образов / А. В. Глазков, А. В. Крутов // Вестник физико-математического факультета Елецкого государственного университета: Сб. научных и учебно-методических трудов. Вып. 2. - Елец: Елецкий, гос. ун-т им. И.А. Бунина, 2007.-255 с.-С. 221-233.

5. Глазков А. В. Программное обеспечение для автоматизированного проведения экспериментов и визуализации результатов / А. В. Глазков, А. В. Крутов, В. А. Работкин // Вестник физико-математического факультета Елецкого государственного университета: Сб. научных и учебно-методических трудов. - Елец: Елецкий гос. ун-т им. И. А. Бунина, 2006. - С. 37-50.

6. Глазков А. В. Анализ цифровых выделенных линий в компьютерных сетях / А. В. Глазков, А. В. Крутов // Вестник физико-математического факультета Елецкого государственного университета: Сб. научных и учебно-методических трудов. - Елец: Елецкий гос. ун-т им. И. А.

7. Семенюта, Д. В. Модели динамических систем в задачах криптографии / Д. В. Семенюта, А. В. Крутов, А. В. Глазков / Тезисы и доклады «ХЬУ юбилейной Всероссийской конференции по проблемам математики, информатики, физики

и химии», секция математики и информатики. - М.: Российский университет дружбы народов, 2009. - с. 94-95

8. Глазков, А. В. Кватернионный анализ и распознавание изображений / А. В. Глазков, А. В. Крутов, Д. В. Сементота / Тезисы и доклады «XLV юбилейной Всероссийской конференции по проблемам математики, информатики, физики и химии», секция математики и информатики. - М.: Российский университет дружбы народов, 2009. - с. 59-61

9. Глазков А. В. Моделирование процессов классификации и идентификации образов на основе контроля динамики регистрируемого сигнала / A.B. Глазков, A.B. Крутов // Информационные технологии и математическое моделирование: Материалы VIII Всероссийской научно-практической конференции с международным участием. — Томск: Изд-во Том. ун-та, 2009. -С.55-59

Ю.Глазков A.B. Оптимизация максимально достижимых вероятностей при помощи математических методов распознавания образов / A.B. Глазков, A.B. Крутов // Материалы X международной научной конференции "Современные проблемы математики, механики, информатики". - Тула: Изд-во ТулГУ, 2009 - С. 323-325

Лицензия па издательскую деятельность ИД № 06146. Дата выдачи 26.10.01. Формат 60 х 84 /16. Гарнитура Times. Печать трафаретная. Усл.-печ.л. 1,0 Уч.-изд.л. 1,2 Тираж 500 экз. (1-й завод 1-100 экз.). Заказ 110

Отпечатано с готового оригинал-макета на участке оперативной полиграфии Елецкого государственного университета им. И.А.Бунина.

Государственное образовательное учреждение высшего профессионального образования «Елецкий государственный университет им. И.А. Бунина» 399770, г. Плец ул. Коммунаров, 28