автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Нейросетевое моделирование процессов многомерной классификации объектов с разнородными признаками

На правах рукописи

ДЕРКАЧЕВ Александр Нике 15

НЕИРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ ПРОЦЕССОВ МНОГОМЕРНОЙ КЛАССИФИКАЦИИ ОБЪЕКТОВ С РАЗНОРОДНЫМИ ПРИЗНАКАМИ

Специальность: 05.13.11 -Математическое и программное обеспечение

вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Воронеж-2007

003055915

Работа выполнена в Воронежском государственном техническом университете

Научный руководитель доктор технических наук, профессор

Кравец Олег Яковлевич

Официальные оппоненты: доктор технических наук, профессор

Рындин Александр Алексеевич;

кандидат технических наук, доцент Романов Андрей Владимирович

Ведущая организация

Липецкий государственный технический университет

Защита состоится 26 апреля 2007 г. в 10 00 часов в конференц-зале на заседании диссертационного совета Д 212.0:17.01 Воронежского государственного технического угшверситста по адресу: 394026, г. Воронеж, Московский просп., 14.

С диссертацией можно ознакомиться в библиотеке Воронежского государственного технического университета.

Автореферат разослан 26 марта 2007 г.

Ученый секретарь диссертационного совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Практически в любой сфере человеческой деятельности приходится сталкиваться с задачей классификации - отнесение некоторого объекта, заданного набором параметров, к классу подобных объектов. Об актуальности этой задачи говорит то множество методов, которые были разработаны для ее решения.

Более сложной, но не менее актуальной, является задача многомерной классификации, когда число классификационных признаков, характеризующих объект, велико. С развитием средств вычислительной техники и математического аппарата эффективным способом решения задачи многомерной классификации стало применение нейронных сетей. Разработке нейросетевых структур были посвящены работы Ф. Розенблатта, Д. Хопфилда, Т. Кохонена и др.

При решении практических задач применение нейросетевых методов классификации зачастую затруднено тем, что параметры, характеризующие объект, имеют различную природу и описываются как количественными, так и качественными признаками одновременно. Такие задачи часто встречаются в банковской и социальной сферах, медицине и т.п. Часто решение задачи классификации является необходимым этапом в решении более глобальных задач (например принятие управленческих решений и т.п.) и от качества решения задачи классификации во многом зависит качество решения задачи в целом.

Отдельные попытки преодоления этих недостатков есть в работах В.В. Круглова, A.A. Ежова, А.Б. Барского, однако существующие способы учета качественных входных признаков имеют существенные недостатки, связанные с неполным отображением смысла, заключенного в нечеткой переменной при ее преобразовании к четкому виду. Особенно эта ситуация осложняется в том случае, когда нечеткие данные не могут быть легко приведены к четкому виду при помощи прямых методов определения функции принадлежности.

Необходимость развития существующего нейросетевого аппарата для более эффективного решения задач многомерной классификации объектов с разнородными признаками обуславливает актуальность темы исследования.

Одним из путей преодоления недостатков существующих моделей нейронных сетей является комбинирование возможностей существующих нейросетевых моделей с возможностями, предлагаемыми аппаратом теории нечетких множеств.

Актуальность данного диссертационного исследования обусловлена необходимостью повышения эффективности существующих средств математического и программного обеспечения (реализуемого в рамках существующих пакетов и программных систем, таких как Matlab, Statistica и т.п.) при решении задач многомерной классификации объектов с разнородными признаками.

Тематика диссертационной работы соответствует научному направлению Воронежского государственного технического университета "Вычислительные системы и программно-аппаратные комплексы".

Цель работы н задачи исследования. Целью работы является разработка специального математического и программного обеспечения многомерной классификации на базе нейронных сетей и нечетких множеств для повышения эффективности решения задачи классификации объектов с разнородными признаками.

Для достижения поставленных целей необходимо решить следующие задачи:

1. Провести анализ различных подходов к решению задачи классификации многомерных объектов.

2. Разработать модель классификации многомерных объектов, базирующуюся на аппарате нечеткой логики и нейронных сетях, и алгоритмы ее параметрической идентификации.

3. Программно реализовать созданную модель нейросетевой классификации многомерных объектов и алгоритмы ее идентификации для применения модели в прикладных программах.

4. Провести сравнительный анализ эффективности предложенных методов классификации при различных тестовых выборках, отличающихся начальными условиями и параметрами.

5. Осуществить практическую апробацию прикладных разработок применительно к задаче распределения банковского продукта.

Методы исследовании. В ходе исследования использовались методы теории математического моделирования, оптимизации, математической статистики, теории нечетких множеств, графов, аппарат нейронных сетей, методы объектно-ориентированного программирования.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной:

1. структура нейронной сети, обеспечивающая работу одновременно как с четкими, так и с нечеткими входными данными, отличающаяся учетом семантики нечетких переменных при кодировании нечетких входных сигналов сети;

2. алгоритм обучения нейронной сети, позволяющий учесть как четкие, так и нечеткие входные данные и отличающийся возможностью автоматического уточнения значений функции принадлежности, определенных экспертным путем;

3. модель многомерной классификации, позволяющая учесть при классификации как количественные, так и качественные параметры, отличающиеся

неприводимостью к четкому виду с помощью прямых методов определения функции принадлежности;

4. специальное программное обеспечение, реализующее предложенную нейросетевую модель многомерной классификации для решения задачи распределения банковского продукта и отличающееся возможностью хранения и оперирования как четкими, так и нечеткими данными одновременно.

Практическая значимость работы. Практическая значимость диссертационной работы заключается в разработке математического обеспечения многомерной классификации объектов с разнородными признаками на базе нейро-сетевой модели многомерной классификации, а также алгоритмической и программной реализации предложенной модели, что позволило автоматизировать процесс распределения ограниченного банковского продукта по филиальной сети банка.

Реализация и внедрение результатов работы. Основные теоретические и практические результаты работы реализованы в специальном программном обеспечении «Классификация многомерных данных», позволяющем решить задачу нейросетевой классификации многомерных объектов с разнородными признаками. На ее основе разработано специальное программное обеспечение «Распределение банковского продукта», позволяющее решить задачу распределения банковского продукта по филиальной сети, которое внедрено в практическую деятельность филиала ОАО Национальный банк «Траст» в г. Воронеже.

Апробация работы. Основные положения диссертации докладывались и обсуждались на Международной (VIII Тамбовской межвузовской) научно-практической конференции (Тамбов, 2004), I-П-й Международных научно-практических конференциях «Единое информационное пространство» (Днепропетровск, 2003-2004), Всероссийской научно-технической конференции «Информационные технологии» (Воронеж, 2005), Региональной молодежной научной и инженерной выставке «Шаг в будущее, Центральная Россия» (Липецк, 2003), Международной открытой научной конференции «Современные проблемы информатизации» (Воронеж, 2004, 2006), а также на научных семинарах кафедры ABC ВГТУ (Воронеж, 2003-2006).

Публикации. По результатам исследований опубликовано 17 научных работ, в том числе 1 - в издании, рекомендованном ВАК РФ. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателем предложены: в [2, 3, 5, 6, 7, 10] - основные принципы использования нейронных сетей для автоматизации скоринг-оценок, в [14] - методы сокращения количества адаптируемых параметров сети, в [13] - расширение модели Курно для случая двухпродуктовой конкуренции, в [1] - структура нейронной сети, позволяющая учитывать нечеткие входные переменные.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, изложена на 128 листах, содержит список литературы из 117 наименований, 34 рисунка, 8 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, определены цели и задачи исследования, их научная новизна и практическая значимость, приведены сведения об апробации и внедрении результатов работы.

В первой главе вводится понятие образа как многомерного объекта, сформулирована общая постановка задачи классификации многомерных объектов и рассмотрена проблема обучения распознаванию образов. Определено понятие обучения и самообучения классификационной системы, перечислены основные типы задач распознавания образов. Проведен обзор различных подходов к решению задачи классификации - на основе геометрического, структурного и дискриминантного анализа, кластерного анализа, вероятностного и логических методов, нейросетевого подхода.

Для задачи классификации многомерных объектов в той или иной мере может быть использован любой из перечисленных методов, однако каждый из них обладает своими характерными недостатками. При дискриминантом анализе необходимо знать предположительный характер распределения, чего не всегда можно добиться. Вероятностный подход требует знания статистических параметров, что также не всегда возможно, особенно в случае качественных входных параметров.

Нейросетевой подход к решению задачи многомерной классификации лишен описанных выше недостатков, для его реализации не нужно знать ни вид функциональной зависимости между признаками, ни их статистические параметры - достаточно лишь иметь обучающую выборку в виде набора входных параметров и желаемых выходных значений. Вместе с тем нейросетевые методы классификации также не являются универсальным средством для решения любой задачи и не лишены своих недостатков. Несмотря на то, что существует большое количество эффективных моделей нейронных сетей, проблема учета нечетких данных с их помощью не всегда может быть решена успешно, т.к. существующие методы кодирования нечетких переменных кодируют их согласно частоте появления нечеткого терма в обучающей выборке, что не всегда допустимо. Использованный в гибридных сетях метод также неприменим, т.к. используемый там способ получения функции принадлежности предполагает четкий характер входных данных. В гибридных сетях входные данные изначально четкие и приводятся к нечеткому виду для того, чтобы воспользоваться в работе сети правилами вывода, а вовсе не для того, чтобы учесть нечеткие

данные. Эти недостатки ставят задачу более полного учета нечетких входных данных, независимо от частоты появления термов в обучающей выборке.

Построение классификатора на базе нейронной сети в общем случае включает в себя следующие этапы: выбор параметров, выбор архитектуры сети, синтез обучающей и контрольной выборок, обучение сети, классификация и контроль правильности классификации.

Специфика задачи находит свое отражение в выборе архитектуры и обучении сети.

На основании проведенного анализа методов многомерной классификации формулируются задачи диссертационного исследования.

Вторая глава посвящена разработке модели нейронной сети со смешанным типом входных переменных, а также разработке алгоритмов обучения подобных сетей.

Существующий метод кодирования нечетких входных данных основывается на частоте появления терма в обучающей выборке, что обычно приводит к примерно однородному заполнению отрезка [0, 1] кодами нечетких термов, т.е. расстояния между соседними кодами приблизительно равны для всех термов нечеткой переменной. Однако данный подход не всегда оправдан - он приводит к значительным ошибкам, если соотношения между термами нечеткой переменной не соответствуют описанному выше предположению, т.е. расстояния между соседними термами значительно различаются. Таким образом, существующий метод кодирования нечетких переменных позволяет максимизировать энтропию входов и выходов сети и увеличить информативность обучающей выборки, однако в некоторых случаях это приводит не к улучшению, а к ухудшению адаптированное™ сети, т.к. смысловое значение нечетких переменных при этом учитываегся не полностью.

Для преодоления выявленных недостатков существующих моделей нейронных сетей предлагается внести определенные изменения в их структуру. Рассмотрим это на примере многослойного персептрона (МСП) - наиболее распространенного типа нейронных сетей (хотя нет принципиальных ограничений на использование данного подхода применительно к другим моделям нейронных сетей, использующим обучение с учителем).

Для того чтобы учесть влияние нечеткой переменной, необходимо преобразовать ее к виду, который нейронная сеть сможет воспринять, сохранив при этом характер поведения заданной переменной. Для этого можно использовать функцию принадлежности ц(х) нечеткой переменной, которая удовлетворяет вышеизложенным требованиям. Ввиду того, что тип входных переменных смешанный, такое преобразование необходимо применять не для всех входов, а только для нечетких. Таким образом, перед нечеткими входами сети предложено добавить дополнительный блок - блок преобразования сигнала (БПС), а мо-

дифицированная структура сети в этом случае примет следующий вид (см. рис. 1).

В общем виде функционирование нейронной сети может быть представлено следующим соотношением:

у = ^(х,1У), (1)

где у - вектор выходных сигналов, х - вектор входных сигналов, - вектор весовых коэффициентов сети, Б - отражает функциональную зависимость между х, и у.

С учетом добавления БПС зависимость (1) примет следующий вид:

у = ^(х,ц,\у), (2)

где ц - вектор нечетких входных сигналов.

Х1 _ ________о__Х'.|

/ ^— \ —^Х»11 _

Ум

XNN1

Рис. 1. Обобщенная структура двухслойной МОТ сети, отличающаяся смешанным типом входных переменных.

Работа МСП сети с добавлением БПС описывается следующими соотношениями:

NETji=YW' (3)

ОиТм=ДЖ1,-вм) (4)

xm+xrOUTir <5)

где индексом i будем обозначать номер входа,/— номер нейрона в слое, / — номер слоя, NET - сигнал на входе функции активации,/- функция активации нейрона, OUT - выходной сигнал нейрона, = //(Д ) - значение функции принадлежности нечеткой переменной р;. При этом принимается, что для четких входов р., = 1, а для нечетких - xit, = 1.

При известных значениях функции принадлежности добавление БПС в структуру сети не представляет особой сложности, однако обычно это значение заранее неизвестно и более того - не всегда может быть найдено в виде функциональной зависимости. В этом случае приходится использовать экспертные оценки значения функции принадлежности, например такие как метод парных сравнений Саати или метод а-срезов. К выбору метода следует подходить вни-

мательно, т.к. замечено, что высокая эффективность ряда нечетких моделей объясняется удачно подобранными значениями функций принадлежности.

По сути БПС должен выполнять функцию преобразования нечеткой входной переменной в функцию принадлежности, используя для этого один из методов, предлагаемых теорией нечетких множеств. Однако с практической точки зрения гораздо удобнее будет вычислить значение функции принадлежности не для всех, а лишь для реально используемых термов нечеткой переменной (рис. 2). Это позволит внести определенные корректировки в процесс определения значений функции принадлежности и устранить те погрешности, которые были допущены экспертами при их определении.

р 1 БПС

Выбор реально ис- —N Определение значения И(Р)

1 п/ пользуемых термов —V функции принадлежности

Рис.2. Схема функционирования БПС.

Важным этапом является обучение сети. Недостатком существующих методов учета нечетких переменных является то, что определение значения кодов выносится за пределы сети. Фактически эти коды являются константами и от обучения никак не зависят, т.е. ошибки, допущенные при определении их значений, автоматически будут перенесены в сеть и увеличат общую ошибку классификации, но в отличие от ошибки сети эту ошибку минимизировать с помощью обучения не удастся. Для устранения этого недостатка необходимо подстраивать значения функции принадлежности в ходе обучения сети, если они были неточно определены.

Обучение сводится к итеративной подстройке значений весовых коэффициентов сети с целью уменьшения ошибки, вычисляемой по формуле:

л * )

где с1 - желаемое выходное значение, у - выход сети, б - номер элемента обучающей выборки, j - номер итерации.

Величина весовых коэффициентов на каждом шаге определяется так:

\\(к +1) = (к) +д\у (7)

д\у = Ар(лу), (8)

где X - коэффициент обучения, а р(\у) - направление в многомерном пространстве УК.

Направление минимизации р определяется согласно следующему выражению:

р = ~[Н(ху)]-^), (9)

где g(w) - вектор градиента, Н(уу) - гессиан.

Если заменить точное значение гессиана аппроксимированным значением в^у), определенным из (12), и принять что <?. = [уДлу)-(¡¡], а.

е(\у) =

£?,(\У) е2(\у)

де, де, де1

Эм', дм>2 дып

де2 де2 де2

сЦ ды2

дем дем

дем

(10)

то вектор градиента и аппроксимационная матрица гессиана определятся в виде

8(«0 = [.1(\у)]Ге(>у) (11)

С(лу) = [^У)]ГТ(>У) + К(\У), (12)

где И(>у) обозначены компоненты гессиана Н(\у), содержащие высшие производные относительно \у.

Аппроксимированая матрица гессиана на к-м шаге алгоритма приобретает вид:

с(уу) = [.1(лу)]г.1(уу) + У41. (13)

Если g(w) представить в виде:

~дЕ{лу) дЕ{\у) дЕ(\\)пТ

=

сЦ дм2

(15)

то значение градиента можно вычислить, используя метод сопряженных графов.

Добавление БПС приводит к необходимости разработки нового алгоритма обучения сети, позволяющего в ходе обучения подстраивать не только весовые коэффициенты, но и параметры БПС (рис. 3). Это позволит минимизировать не только ошибку сети, но и погрешности, вноси-Рис.З. Обучение нейронной сети с БПС. мые при определении зна-

чения функции принадлежности. Новый алгоритм обучения можно разделить на три этапа:

1. первоначальная настройка весовых коэффициентов;

2. подстройка параметров БПС;

3. окончательная настройка весовых коэффициентов.

Первоначальная настройка весовых коэффициентов проводится согласно традиционному алгоритму обучения МСП. Обучение проводится до тех пор, пока ошибка сети не достигнет величины ц. Эта величина подбирается в зависимости от структуры сети и скорости ее обучения.

Второй этап заключается в подстройке параметров БПС, значения весовых коэффициентов на этом этапе фиксируются. Этот этап осложняется тем, что неизвестно ни направление минимизации (неизвестен градиент), ни величина шага. Однако в отличие от весовых коэффициентов величины функции принадлежности изначально располагаются достаточно близко к своим точным значениям и их можно подстроить путем последовательного перебора, а величину шага выбрать фиксированной.

На третьем этапе параметры БПС фиксируются, и сеть обучается при настроенных параметрах БПС до желаемой величины ошибки сети.

Алгоритм подстройки параметров БПС выглядит следующим образом (рис. 4):

Шаг 1. п-с значение функции принадлежности /-й нечеткой переменной изменяется в выбранном направлении на величину шага а.

Шаг 2. Рассчитывается величина ошибки сети для всех обучающих выборок по выбранной формуле.

Шаг 3. Если величина ошибки сети (Е) уменьшилась, то возвращаемся на шаг 1, продолжая движение в выбранном направлении. Если величина Е увеличилась, возвращаемся на шаг I, меняя направление на противоположное. Шаг 4. Если изменение значения функции принадлежности текущей переменной превышает допустимый порог о, то ее величина устанавливается в значение, предшествующее превышению порога, и фиксируется. Шаг 5. Если любое изменение текущей величины данного значения нечеткой переменной ведет к увеличению Е, то величину для данного значения нечеткой переменной фиксируем и переходим к следующему значению (или к следующей переменной, если все значения для текущей переменной уже зафиксированы). V - общее количество значений всех нечетких переменных.

Величина а выбирается в зависимости от структуры сети и скорости ее обучения исходя из следующей формулы:

где Т - количество термов.

С ' Начало )

Априорно определить, ошиблись ли эксперты в своих оценках, не представляется возможным. Для того чтобы определить - применять ли алгоритм подстройки значений функции принадлежности, предлагается использовать следующий алгоритм (рис. 5):

Шаг 1. Провести обучение сети по выбранному алгоритму. При достижении ошибки сети величины Г| весовые коэффициенты сети необходимо сохранить. На входы настроенной сети подать контрольную выборку и получить выходные значения.

Шаг 2. Восстановить весовые коэффициенты сети и провести подстройку значений функции принадлежности по описанному выше алгоритму, затем провести третий этап обучения. На входы настроенной сети подать контрольную выборку и получить выходные значения.

Шаг 3. Сравнить полученные на 1-ми 2-м шаге результаты с эталонными значениями, и в качестве обученной сети выбрать ту, ошибка которой оказалась ниже.

Предложенный алгоритм не гарантирует увеличения точности распознавания для всех возможных комбинаций входных данных, однако это позволит

увеличить точность распознавания в области контрольной выборки. В связи с этим к контрольной выборке предъявляются дополнительные требования - она должна максимально охватывать тот диапазон изменения входных переменных, которые будут реально использованы при работе сети.

, 1-

Начало

)

Первоначальная настройка весовых коэффициентов

Обучение МСП по ! Подстройка параметров

стандартному методу | БПС

6 ^_

Окончательная настройка

весовых коэффициентов

. J

да

8

-Емсп^-ЕБПС—^

Выбрать стандартный метод обучения МСП

Выбрать обучение с подстройкой параметров БПС

10

т

Конец

Рис. 5. Выбор метода обучения сети.

На основе полученной нейронной сети строится нейросетевая модель многомерной классификации. При этом число входов сети N определяется числом входных параметров модели, а число выходов М - числом классов (рис. 1). Между выходом нейросети и выходом модели добавляется специальный блок -интерпретатор, выбирающий максимальный из всех выходов сети и выдающий на выход модели его номер, т.е. номер класса.

Таким образом, во второй главе предложена новая структура нейронной сети, позволяющая учесть нечеткие входные переменные, а также предложена модель нейросе-тевой многомерной классификации на основе полученной нейронной сети.

В третьей главе предложены методы оценки качества модели нейросете-вэй многомерной классификации, приведено описание программного комплекса исследования систем нейросетевой многомерной классификации и результаты тестовых экспериментов.

Разработано специальное программное обеспечение, реализующее представленную во второй главе модель многомерной классификации, основываясь на нейронной сети предложенной структуры (рис. 1). Модульная структура специального программного обеспечения представлена на рис. 6.

выходного слоя

Рис. 6. Модульная структура специального программного обеспечения. Специальное программное обеспечение позволяет:

- решить задачу классификации многомерных объектов независимо от структуры предметной области и структуры исходных данных;

- обеспечивать работу с любой комбинацией из четких и нечетких данных;

- обеспечивать создание предметной области произвольной структуры и полный контроль над обрабатываемыми данными;

- получить унифицированный доступ к данным посредством СЮВС-интерфейса;

- реализовать возможность графического представления результатов исследования в пространстве любых двух из четких параметров, а также табличный вывод и печать.

Исследование моделей выполнялось на специально разработанном для этих целей программном обеспечении «Классификация многомерных данных».

Для оценки качества классификации были использованы два класса оценок - количественные и качественные. В качестве количественной оценки выступала доля ошибочно классифицированных объектов контрольной выборки. Качественная оценка определялась как среднеквадратическая ошибка по всем значениям вектора принадлежности, вычисленная на объектах контрольной выборки.

Эксперименты проводились с целью изучения влияния конфигурации классов в пространстве признаков на качество классификации объектов. Были проведены два эксперимента, имеющих следующие характеристики:

1 эксперимент - два класса нормально распределенных объектов, разделяемых по двум четким и одному нечеткому признаку. Разница между соседними значениями функции принадлежности примерно равна для всех термов, т.е. присвоенные им коды примерно равномерно заполняют отрезок [0, 1]. Общее количество объектов - 200.

2 эксперимент - два класса нормально распределенных объектов, разделяемых по двум четким и одному нечеткому признаку. Значения функции принадлежности термов заполняют отрезок [0, 1] неравномерно. Общее количество - 200 объектов.

Результаты первого эксперимента представлены в табл. 1, результаты второго в табл. 2 и на рис. 7 и 8.

Таблица 1

Результаты первого эксперимента

Метод Неверно классифицированные Ошибка классификации

Класс 1 Класс 2 Общее Класс 1 Класс 2 Общее

МСП-сеть 2 3 5 0,0036 0,004 0,004

Сеть с БПС 3 2 5 0,004 0,0037 0,004

Таблица 2

Результаты второго эксперимента

Метод Неверно классифицированные Ошибка классификации

Класс 1 Класс 2 Общее Класс 1 Класс 2 Общее

МСП-сеть 5 3 8 0,007 0,004 0,0056

Сеть с БПС 2 2 4 0,0032 0,0035 0,0034

0,3

+ ■ + : о

...........;.....Г'Н^В

+ ; г ++ ±+*их^

■-Ч-щШ

+ + х

.....-■-*•-■++■+-;...........

XX"X""- XXX ■ ■

фх *

ТЬ*"*'

: X

0,2

- X......XXX-"-

.....* '«Г*"' X

+ :х

* г ++

I + :

I ^х X

-Н- +

0,5

а

0,7 0,8 0,2

Н Ошибочно классифицированные 1 Ж Ошибочна классифицированные 2

0,5 б

0,6

Рис. 7. Результаты классификации: а) МСП-сетью, б) эталонное значение. Из полученных результатов видно, что существующие методы кодирования нечетких входных переменных сохраняют качество классификации в том случае, если расстояния между соседними термами нечетких переменных при-

мерно равны между собой для всех термов, т.е. их значения функции принадлежности равномерно заполняют отрезок [0, 1]. Если же значения функции принадлежности нечетких термов неравномерно заполняют отрезок [0, 1], то существующие методы кодирования не могут адекватно отобразить истинный смысл нечетких переменных, что приводит к увеличению ошибки сети. Предложенная модель нейронной сети лишена этих недостатков, т.к. учитывает нечеткие входные данные согласно значениям функции принадлежности их термов, а не согласно частоте появления того или иного терма в обучающей выборке, и сохраняет качество классификации независимо от взаимного расположения термов нечеткой переменой, од

0,7-ОД-ОД

0,4

0,3

0.20

Рис. 8. Результаты классификации: а) сетью с БПС, б) эталонное значение.

В четвертой главе приводится описание специального программного обеспечения «Распределение банковского продукта», разработанного в ходе выполнения диссертационной работы и внедренного в практическую деятельность филиала ОАО Национальный банк «Траст» в г. Воронеже.

Целью разработки являлось создание специального программного обеспечения для автоматизированного распределения ограниченного банковского продукта по филиальной сети банка. Сложность в решении данной задачи заключалась в том, что перспективность внедрения банковского продукта зависит от множества разнообразных параметров, представленных как в количественной, так и в качественной форме, и характер взаимосвязей между этими параметрами и перспективностью продвижения банковского продукта известен не был.

Применение традиционных моделей нейронных сетей и способов кодирования нечетких входных данных не дали желаемого результата. Было принято решение разработать модель нейросетевой многомерной классификации, более

••-хх-х—уху,-- -

*+ :х * : *

*+■+■?------++-. ...... ............;..........

*+ . : ;

0,7

0,6

0,5 Я

0.2

^ XX X----XXX"" • ■ х хЛй V,, * ,

.......; --4-• ШХ"Г X;

+ . I++±+#хх XVх **

-Н- +

Ч-+-:

0,7 0.В 0,2

В Ошибочно классифицированные А ОшиВачно классифицированные

1

0.5 б

адекватную характеру нечетких входных данных (рис. 1), и реализовать полученную модель в виде специального программного обеспечения. Функциональная структура специального программного обеспечения представлена на рис. 9.

Специальное программное обеспечение написано с использованием интегрированной среды разработки Borland Delphi v7.0. Для работы специального программного обеспечения требуется процессор Intel Pentium II 400MHz и выше, операционная система Windows 98/NT/2000/XP и не менее 2Мб свободного объема на жестком диске (без учета объема базы данных).

В процессе решения задачи был выбран список классификационных признаков из 20 параметров, характеризующих эффективность работы филиала с данным видом банковского продукта, из них 8 нечетких. Определение значений функции принадлежности для каждого нечеткого терма производилось экспертом банка, ответственным за распределение банковского продукта по филиальной сети, используя описанный в диссертации модифицированный метод парных сравнений Саати. В дальнейшем эти значения были уточнены с помощью алгоритма подстройки параметров БПС (рис. 4).

С помощью модели нейросетевой многомерной классификации все множество филиалов банка было разделено на пять классов: высокоперспективные, перспективные 1-й степени, перспективные 2-й степени, низкоперспективные и бесперспективные. Основываясь на полученной классификации, была решена задача распределения банковского продукта по филиальной сети банка НБ «Траст».

В ходе использования специального программного обеспечения были получены сравнительные результаты исследования системы классификации на базе модели МСП-сети и на базе нейронной сети с БПС (табл. 3).

Как видно из таблицы, качество классификации филиалов (а значит и распределения продукта) при использовании сети с БПС выше, чем при использовании МСП-сети. Это говорит о том, что предложенная модель нейронной сети позволяет точнее учитывать истинное значение нечетких переменных и подтверждает достоверность результатов, полученных в третьей главе, а также указывает на перспективность применения предложенной модели нейронной сети для решения задач классификации многомерных объектов.

обучающая

рабочая

выборки■

Подсистема доступа к корпоративной БД

Блок обучения

Блок распределения банковского продукта

Блок нейросетвеого моделирования

_1_

Блок обработки параметров филиала_

Подсистема отображения результатов

X

| Интерфейс пользователя ] ^ Пользователь^

Рис. 9. Функциональная структура специального программного обеспечения.

Таблица 3

Качество классификации при использовании различных нейросетевых _моделей в распределении банковского продукта.___

Неверно Ошибка классификации

Метод классифицированные

Класс Общее Класс Общее

1 2 3 4 5 1 2 3 4 5

МСП-сеть 0 1 2 3 1 7 0 0,003 0,006 0,009 0,003 0,0042

Сеть с БПС 0 1 0 2 0 3 0 0,003 0 0,006 0 0,0018

Скорости обучения сетей представлены на рис. 10. Горизонтальный участок и ступенька на графике обучения сети с БПС отражает процесс подстройки параметров БПС. Сначала идет горизонтальный участок -это время, ушедшее на подстройку параметров БПС (в это время веса нейронов сети не менялись, и ошибка оставалась на прежнем уровне), а ступенька - выигрыш в адаптированное™ сети, полученный за счет уточнения значений функции принадлежности. Также на графике видно, что из-за недостатков метода кодирования нечетких переменных МСП сеть не смогла в достаточной степени подстроиться и ошибка сети осталась на достаточно высоком уровне.

Разработанное специальное программное обеспечение полностью использует преимущества, предоставленные нейронной сетью предложенной структуры. Это позволило построить модель классификации многомерных данных смешанного типа и решить задачу автоматизации процесса распределения банковского продукта по филиальной сети, снизив на 5 - 10% потери, связанные с неэффективным распределением ресурсов.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ применяемых в различных системах алгоритмов классификации многомерных объектов, проанализированы их недостатки и особенности применения.

-•МСП I -Сетьс БПС1

15 20 25 Время, с

Рис. 10. Скорость обучения нейронной сети с БПС и МСП-сети.

2. Предложена структура нейронной сети со смешанным типом входов, позволяющая использовать в качестве входных переменных информацию, представленную как в количественном, так и в качественном виде.

3. Предложен алгоритм обучения сети, позволяющий учесть нечеткие входные переменные и подстраивать в процессе обучения как весовые коэффициенты сети, так и значения функции принадлежности нечетких входов сети.

4. Предложена модель многомерной классификации, позволяющая учесть при классификации как количественные, так и качественные параметры, отличающиеся неприводимостью к четкому виду с помощью прямых методов определения функции принадлежности.

5. Разработано специальное программное обеспечение анализа моделей нейросетевой многомерной классификации, приведены сравнительные исследования на различных наборах исходных данных.

6. Результаты исследований в виде специального программного обеспечения внедрены в практическую деятельность филиала ОАО Национальный банк «Траст» в г. Воронеже, что позволило в значительной мере автоматизировать процесс распределения банковского продукта.

Основные результаты диссертации опубликованы в следующих работах:

Публикации в изданиях, рекомендованных ВАК РФ

КДеркачев А.Н., Ивлева H.A. Разработка нейросетевой модели многомерной классификации со смешанным типом входных переменных // Системы управления и информационные технологии: науч.-техн. журнал. 2006. №1.1 (23). С. 137-139.

Статьи и материалы конференций

2. Абричкина Г.Б., Деркачев А.Н. Реализация скоринг-процедуры в условиях ограниченных финансовых ресурсов // Новые технологии в научных исследованиях, проектировании, управлении, производстве: труды регион, науч.-техн. конф. Воронеж, 2003. С. 69.

3. Абричкина Г.Б., Кравец О .Я., Деркачев А.Н. Инструментальная система скоринг-анализа и минимизации кредитных рисков. - М: ФАП ВНТИЦ, 2003. -Per. № 50200300586 от 10.07.2003.

4. Деркачев А.Н. Распределение кредитов в социально-экономических системах: автоматизация управления // Региональная молодежная научная и инженерная выставка «Шаг в будущее, Центральная Россия»: сб. тез. докл. Липецк: ЛГТУ, 2003. С. 44-45.

5. Деркачев А.Н., Абричкина Г.Б. Применение скоринга при оценке кредитного риска // Новые технологии в научных исследованиях, проектировании, управлении, производстве: труды регион, науч.-техн. конф. Воронеж, 2003. С. 79-80.

6. Деркачев А.Н., Багирова М.А. Автоматизированное управление распределением кредитов в социально-экономических системах// Оптимизация и моделирование в автоматизированных системах: межвуз. сб. науч. тр. Воронеж: ВГТУ, 2003. С. 243-247.

7. Деркачев А.Н., Кравец О.Я., Багирова М.А. Принятие управленческих решений в региональной информационной системе учета кредитных опреаций // Единое информационное пространство: сб. докл. междунар. науч.-практ. конф. Днепропетровск: ИПК ИнКомЦентра УГХТУ, 2003. С. 114-117.

8. Деркачев А.Н. Компьютерное моделирование сложных классификационных систем // Актуальные проблемы информатики и информационных технологий: материалы междунар. (VIII Тамбовской межвуз.) науч.-практ. конф. Тамбов: Изд-во ТГУ им Г.Р. Державина, 2004. С. 83.

9. Деркачев А.Н. Применение методов лингвистических переменных и нейронных сетей для решения задачи многомерной классификации // Информационные технологии моделирования и управления: междунар. сб. науч. тр. Воронеж: Научная книга, 2004. Вып. 17. С. 116-118.

10. Кравец О.Я., Деркачев А.Н. Автоматизация скоринг-оценок на основе методов нейросетевого моделирования // Современные проблемы информатизации в непромышленной сфере и экономике: сб. тр. Воронеж: Научная книга, 2004. Вып. 9. С. 27-28.

11. Деркачев А.Н. Моделирование нейронной сети со смешанным (четкие и нечеткие) типом входов // Информационные технологии моделирования и управления. 2005. Вып. 6(24). С. 833-837.

12. Деркачев А.Н. Расширение нечеткой нейронной сети Ванга-Менделя для случая лингвистических входных переменных // Информационные технологии: материалы всерос. науч.-техн. конф. Воронеж: Научная книга, 2005. С. 391-393.

13. Деркачев А.Н., Ивлева H.A., Кремер К.И. Двухпродуктовая модель ценовой банковской конкуренции на олигопольных региональных рынках // Моделирование систем и информационные технологии: межвуз. сб. науч. тр. Воронеж: Научная книга, 2005. Вып. 2. С. 90-94.

14. Деркачев А.Н., Кравец О.Я. О модификации нейронной сети Ванга-Менделя для смешанного набора входных переменных // Новые технологии в научных исследованиях, проектировании, управлении, производстве: труды всерос. конф. Воронеж, 2005. С. 20-21.

15. Кремер К.И., Ивлева H.A., Деркачев А.Н. Модели банковской конкуренции на олигопольных региональных рынках // Современные социально-экономические проблемы труда: материалы всерос. науч.-практ. конф. Воронеж: ВГУ, 2005. С. 112-115.

16. Деркачев А.H. Изменение модели нейронной сети для работы с нечеткими входными переменными // Современные проблемы информатизации в моделировании и программировании: сб. тр. Воронеж: Научная книга, 2006. Вып. U.C. 281-282.

17. Деркачев А.Н. Нечеткие входные переменные в модифицированной модели нейронной сети // Новые технологии в научных исследованиях, проектировании, управлении, производстве: труды всерос. конф. Воронеж, 2006.

Подписано в печать 19.03.07. Формат 60x84/16. Бумага для множительных аппаратов. Усл. печ. л. 1,1. Тираж 90 экз. Заказ №

ГОУВПО «Воронежский государственный технический университет» 394026 Воронеж, Московский просп., 14

С. 42.

Введение.

Глава 1 Анализ алгоритмов классификации.

1.1 Понятие образа как многомерного объекта.

1.2 Общая постановка задачи распознавания образов.

1.2.1 Проблема обучения распознаванию образов.

1.2.2 Гипотеза компактности.

1.2.3 Самообучение.

1.2.4 Общая характеристика задач распознавания образов и их типы.

1.3 Современные подходы к решению задачи классификации.

1.4 Нейросетевой подход к решению задачи классификации.

1.4.1 Биологический прототип.

1.4.2 Структура и свойства искусственного нейрона.

1.4.3 Классификация нейронных сетей и их свойства.

1.4.4 Многослойный персептрон.

1.4.5 Сеть Кохонена.

1.4.6 Гибридная сеть АЫИБ.

1.5 Недостатки существующих пейросетвых моделей при решении задачи классификации.

1.6 Постановка задач диссертационного исследования.

Глава 2 Разработка нейросетевой модели классификации многомерных объектов со смешанным типом входных переменных

2.1 Основные этапы построения системы классификации на базе нейронной сети.

2.2 Базовые понятия теории нечетких множеств.

2.2.1 Общие сведения.

2.2.2 Модифицированный метод парных сравнений Саати [93].

2.2.3 Метод а-срезов [78].

2.3 Модель нейронной сети со смешанным типом входных переменных.

2.3.1 Схема работы БПС.

2.4 Построение нейронной сети.

2.4.1 Выбор структуры ИНС.

2.4.2 Обучение нейронной сети.

2.5 Выводы.

Глава 3 Специальное математическое и программное обеспечение анализа эффективности нейросетевой модели многомерной классификации.

3.1 Алгоритмизация основных элементов модели нейросетевой классификации.

3.2 Программная модель системы многомерной классификации.

3.3 Генерация многомерных распределений смешанного типа для тестирования качества модели классификации.

3.4 Критерии качества классификационной модели.

3.5 Анализ качества идентификации при различных формах обучающих множеств.

3.6 Выводы.

Глава 4 Программная реализация решения задачи распределения банковского продукта по филиальной сети банка.

4.1 Выбор классификационных параметров.

4.2 Постановка задачи распределения ограниченного банковского продукта по филиальной сети банка.

4.3 Анализ результатов распределения ограниченного банковского продукта по филиальной сети.

4.4 Структура программного продукта.

4.5 Выводы.

Актуальность темы исследования. Практически в любой сфере человеческой деятельности приходится сталкиваться с задачей классификации -отнесение некоторого объекта, заданного набором параметров, к классу подобных объектов. Об актуальности этой задачи говорит то множество методов, которые были разработаны для ее решения.

Более сложной, но не менее актуальной, является задача многомерной классификации, когда число классификационных признаков, характеризующих объект, велико. С развитием средств вычислительной техники и математического аппарата эффективным способом решения задачи многомерной классификации стало применение нейронных сетей. Разработке нейросете-вых структур были посвящены работы Ф. Розенблатта, Д. Хопфилда, Т. Ко-хонена и др.

При решении практических задач применение нейросетевых методов классификации зачастую затруднено тем, что параметры, характеризующие объект, имеют различную природу, и описываются как количественными, так и качественными признаками одновременно. Такие задачи часто встречаются в банковской и социальной сферах, медицине и т.п. Часто решение задачи классификации является необходимым этапом в решении более глобальных задач (например принятие управленческих решений и т.п.) и от качества решения задачи классификации во многом зависит качество решения задачи в целом.

Отдельные попытки преодоления этих недостатков есть в работах В.В. Круглова, A.A. Ежова, А.Б. Барского, однако существующие способы учета качественных входных признаков имеют существенные недостатки, связанные с неполным отображением смысла, заключенного в нечеткой переменной при ее преобразовании к четкому виду. Особенно эта ситуация осложняется в том случае, когда нечеткие данные не могут быть легко приведены к четкому виду при помощи прямых методов определения функции принадлежности.

Необходимость развития существующего нейросетевого аппарата для более эффективного решения задач многомерной классификации объектов с разнородными признаками обуславливает актуальность темы исследования.

Одним из путей преодоления недостатков существующих моделей нейронных сетей является комбинирование возможностей существующих ней-росетевых моделей с возможностями, предлагаемыми аппаратом теории нечетких множеств.

Актуальность данного диссертационного исследования обусловлена необходимостью повышения эффективности существующих средств математического и программного обеспечения (реализуемого в рамках существующих пакетов и программных систем, таких как Ма^аЬ, 81айзйса и т.п.) при решении задач многомерной классификации объектов с разнородными признаками.

Тематика диссертационной работы соответствует научному направлению Воронежского государственного технического университета "Вычислительные системы и программно-аппаратные комплексы".

Цель работы и задачи исследования. Целью работы является разработка специального математического и программного обеспечения многомерной классификации на базе нейронных сетей и нечетких множеств для повышения эффективности решения задачи классификации объектов с разнородными признаками.

Для достижения поставленных целей необходимо решить следующие задачи:

1. Провести анализ различных подходов к решению задачи классификации многомерных объектов.

2. Разработать модель классификации многомерных объектов, базирующуюся на аппарате нечеткой логики и нейронных сетях, и алгоритмы ее параметрической идентификации.

3. Программно реализовать созданную модель нейросетевой классификации многомерных объектов и алгоритмы ее идентификации для применения модели в прикладных программах.

4. Провести сравнительный анализ эффективности предложенных методов классификации при различных тестовых выборках, отличающихся начальными условиями и параметрами.

5. Осуществить практическую апробацию прикладных разработок применительно к задаче распределения банковского продукта.

Методы исследования. В ходе исследования использовались методы теории математического моделирования, теории оптимизации, математической статистики, теории нечетких множеств, аппарат нейронных сетей, методы объектно-ориентированного программирования.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной:

1. структура нейронной сети, обеспечивающая работу одновременно как с четкими, так и с нечеткими входными данными, отличающаяся учетом семантики нечетких переменных при кодировании нечетких входных сигналов сети;

2. алгоритм обучения нейронной сети, позволяющий учесть как четкие, так и нечеткие входные данные и отличающийся возможностью автоматического уточнения значений функции принадлежности, определенных экспертным путем;

3. модель многомерной классификации, позволяющая учесть при классификации как количественные, так и качественные параметры, отличающиеся неприводимостью к четкому виду с помощью прямых методов определения функции принадлежности;

4. специальное программное обеспечение, реализующее предложенную нейросетевую модель многомерной классификации для решения задачи распределения банковского продукта и отличающееся возможностью хранения и оперирования как четкими, так и нечеткими данными одновременно;

Практическая значимость работы. Практическая значимость диссертационной работы заключается в разработке математического обеспечения многомерной классификации объектов с разнородными признаками на базе нейросетевой модели многомерной классификации, а также алгоритмической и программной реализации предложенной модели, что позволило автоматизировать процесс распределения ограниченного банковского продукта по филиальной сети банка.

Реализация и внедрение результатов работы. Основные теоретические и практические результаты работы реализованы в специальном программном обеспечении «Классификация многомерных данных», позволяющем решить задачу нейросетевой классификации многомерных объектов с разнородными признаками. На ее основе разработано специальное программное обеспечение «Распределение банковского продукта», позволяющего решить задачу распределения банковского продукта по филиальной сети, которое внедрено в практическую деятельность филиала ОАО Национальный банк «Траст» в г. Воронеже.

Апробация работы. Основные положения диссертации докладывались и обсуждались на Международной (VIII Тамбовской межвузовской) научно-практической конференции (Тамбов, 2004 г.), I-II-й Международной научно-практической конференции «Единое информационное пространство» (Днепропетровск, 2003-2004 г.), Всероссийской Научно-технической конференции «Информационные технологии» (Воронеж, 2005 г.), Региональной молодежной научной и инженерной выставке «Шаг в будущее, Центральная Россия» (Липецк 2003), Международной открытой научной конференции «Современные проблемы информатизации» (Воронеж, 2004, 2006 г.) а также на научных семинарах кафедры ABC ВГТУ (Воронеж, 2003-2006 г.).

Публикации. По результатам исследований опубликовано 17 печатных работ, в том числе 7 без соавторов и 1 - из списка изданий, рекомендованных

ВАК. В работах, опубликованных в соавторстве и приведенных в конце диссертации, лично соискателем предложены: в [1, 2, 29, 30, 35, 67] - основные принципы использования нейронных сетей для автоматизации скоринг-оценок, в [34] - методы сокращения количества адаптируемых параметров сети, в [32] - расширение модели Курно для случая двухпродуктовой конкуренции, в [31] - структура нейронной сети, позволяющая учитывать нечеткие входные переменные.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, изложена на 128 листах, содержит список литературы из 115 наименований, 34 рисунка, 8 таблиц.

4.5 Выводы

В данной главе был рассмотрен вариант решения задачи распределения ограниченного банковского продукта по филиальной сети банка с помощью модели нейронной сети со смешанным типом входных переменных, описана структура приложения и основных классов. Анализ результатов работы программы показал эффективность предложенной нейросетевой модели при решении задачи распределения ограниченного банковского продукта.

Заключение

В ходе нейросетевого моделирования процессов многомерной классификации объектов с разнородными признаками получены следующие результаты:

1. Проведен анализ применяемых в различных системах алгоритмов классификации многомерных объектов, проанализированы их недостатки и особенности применения.

2. Предложена структура нейронной сети со смешанным типом входов, позволяющая использовать в качестве входных переменных информацию, представленную как в количественном, так и в качественном виде.

3. Предложен алгоритм обучения сети, позволяющий учесть нечеткие входные переменные и подстраивать в процессе обучения, как весовые коэффициенты сети, так и значения функции принадлежности нечетких входов сети.

4. Предложена модель многомерной классификации, позволяющая учесть при классификации как количественные, так и качественные параметры, отличающиеся неприводимостью к четкому виду с помощью прямых методов определения функции принадлежности.

5. Разработано специальное программное обеспечение анализа моделей ней-росетевой многомерной классификации, приведены сравнительные исследования на различных наборах исходных данных.

6. Результаты исследований в виде специального программного обеспечения внедрены в практическую деятельность филиала ОАО Национальный банк «Траст» в г. Воронеже, что позволило в значительной мере автоматизировать процесс распределения банковского продукта.

1. Абричкина Г.Б., Кравец О.Я., Деркачев А.Н. Инструментальная система скоринг-анализа и минимизации кредитных рисков. М: ФАП ВНТИЦ,2003. Per. № 50200300586 от 10.07.2003.

2. Аверкин А. Н., Батыршин И. 3., Блишун А. Ф., Силов В. Б., Тарасов В. Б. Нечеткие множества в моделях управления и искусственного интеллекта. // Под ред. Поспелова Д. А.-М.: Наука, Гл. ред. Физ.-мат. лит., 1986. -312 с.

3. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин JI. Д. Прикладная статистика. Классификация и снижение размерности.— М.: Финансы и статистика, 1989.—607 с.

4. Анисимов В. Ю., Борисов Э. В. Методы достоверности реализации нечетких отношений в прикладных системах искусственного интеллекта // Изв. АН: серия Техническая кибернетика, № 5, 1991.

5. Аржакова Н.В., Новосельцев В,И., Редкозубое С.А. Управление динамикой рынка: системный подход. — Воронеж: Изд-во Воронеж, гос. ун-та,2004.-192 с.

6. Архипов И.В., Ананчеико И.В., Холодное В.А. Методы организационно-финансовой интеграции распределенных предприятий технического обслуживания с использованием систем электронных платежей. М.: ВИНИТИ, 2001. N 2261-В2001 от 26.10.01. 35 с.

7. Асаи К., Ватада Д., Иваи С. и др. Прикладные нечеткие системы // под ред. Т. Тэрано, К. Асаи, М. Сугено. М.: Мир, 1993. - 386 с.

8. Барабаш Б. А. Минимизация описания в задачах автоматического распознавания образов//Техн. Кибернетика, 1964, № 3.— с. 32-44.

9. Барский А. Б. Нейронные сети: распознавание, управление, принятие решений. М.: Финансы и статистика, 2004 - 176 с.

10. Батыршин И. 3. Методы представления и обработки нечеткой информации в интеллектуальных системах. Новости искусственного интеллекта, 1996, №2, с. 9-65.

11. Блишун А. Ф. Сравнительный анализ методов измерения нечеткости. -Изв. АН СССР. Техн. Кибернетика.-1988.- № 5.-е. 152-175.

12. Богачев К.Ю. Основы параллельного программирования. М.: БИНОМ. Лаборатория знаний, 2003. - 342 с.

13. Борисов А. Н. Крумберг О. А. Федоров И. П. Принятие решений на основе нечетких моделей: примеры использования. Рига: Зинатне, 1990. -184 с.

14. Борисов А. Н., Алексеев А. В., Меркурьева Г. В. и др. Обработка нечеткой информации в системах принятия решений.-М: Радио и связь. 1989.304 с.

15. Вапник В. Н., Червоненкис А. Я. Теория распознавания образов/(стати-стические проблемы обучения).— М.: Наука, 1974.— 415 с.

16. Вентцель Е.С. Исследование операций. М.: Сов. Радио, 1972.

17. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир, 1985.-509 с.

18. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.:Наука, 1966.

19. Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинфор-матика. — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296с.

20. Горелик А.Л., Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания. // М.: Радио и связь, 1985,160 с.

21. Горелик А.Л., Скрипкин В. А. Методы распознавания.— М.: Высшая школа, 1989.—232 с.

22. Гренандер У. Лекции по теории образов. // М.: Мир, 1979, 1 том; 1981, 2 том; 1983, 3 том.

23. Деркачев А.Н. Изменение модели нейронной сети для работы с нечеткими входными переменными // Современные проблемы информатизации в моделировании и программировании: Сб. трудов. Вып. 11. Воронеж: Научная книга, 2006. С. 281-282.

24. Деркачев А.Н. Моделирование нейронной сети со смешанным (четкие и нечеткие) типом входов. Информационные технологии моделирования и управления. Выпуск 6(24), 2005. С. 833-837.

25. Деркачев А.Н. Расширение нечеткой нейронной сети Ванга-Менделя для случая лингвистических входных переменных // Информационные технологии: Материалы Всерос. Научно-техн. конф. (г. Воронеж, 24-26 мая 2005 г.). Воронеж: Научная книга, 2005. С. 391-393.

26. Деркачев А.Н., Абричкина Г.Б. Применение скоринга при оценке кредитного риска // Новые технологии в научных исследованиях, проектировании, управлении, производстве: труды Региональной научно-технической конференции. Воронеж: ВГТУ, 2003. С. 79-80.

27. Деркачев А.Н., Ивлева H.A. Разработка нейросетевой модели многомерной классификации со смешанным типом входных переменных // Системы управления и информационные технологии: № 1.1(23), 2006. С. 137-139.

28. Деркачев А.Н., Ивлева H.A., Кремер К.И. Двухпродуктовая модель ценовой банковской конкуренции на олигопольных региональных рынках // Моделирование систем и информационные технологии: Межвуз. сб. науч. тр. Вып. 2. Воронеж: Научная книга, 2005. С. 90-94.

29. Джерк Н. Разработка приложений для электронной коммерции. Санкт-Петербург.Питер, 2001. 512 с.

30. Дуда Р., Харт П. Распознавание образов и анализ сцен.— М.: Мир, 1976.—511 с.

31. Дюбин Г.Н., Суздаль В.Г. Введение в прикладную теорию игр. М.: Наука, 1981.

32. Ежов A.A., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. М.: МИФИ, 1998. 222 с.

33. Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов (Статистические методы классификации и измерения связи).— М.: Статистика, 1977.—144 с.

34. Ерёмин И.И., Мазуров В.Д., Скарин В.Д., Хачай М.Ю. Математические методы в экономике. — Екатеринбург: У-Фактория, 2000. — 280 с.

35. Жамбю М. Иерархический кластерный анализ и соответствия.— М.: Финансы и статистика, 1988.

36. Жданов А. А., Метод автономного адаптивного управления. // Известия Академии Наук. Теория и системы управления, 1999, № 5, с. 127-134.

37. Житков Г. Н. Некоторые методы автоматической классифика-ции//Структурные методы опознавания и автоматическое чтение. М.: ВИНИТИ, 1970.—с. 68-85.

38. Жуковин В. Е. Нечеткие многокритериальные модели принятия решений // Тбилиси, Мецниерба, 1988, 69 с.

39. Журавлев Ю. И., Гуревич И. Б. Распознавание образов и анализ изображений/Искусственный интеллект.— В. 3-х кн. Кн. 2. Модели и методы: Справочник/под ред. Д. А. Поспелова.—М.: Радио и связь, 1990.—304 с

40. Журавлев Ю.И. Избранные научные труды. Изд. Магистр. 1998. - 417 с.

41. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации. // Проблемы кибернетики. М.: Наука. 1978.-вып. 33. с.5-68.

42. Загоруйко Н. Г. Методы распознавания и их применение.— М.: Сов. радио, 1972,—206 с.

43. Загоруйко Н. Г., Елкина В. Н., Лбов Г. С. Алгоритмы обнаружения эмпирических закономерностей.— Новосибирск: Наука, 1985.—110 с.

44. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. // Новосибирск. Изд-во института математики. 1999. 270 с.

45. Заде Л. А. Понятие лингвистической переменной и его применение к принятию приближенных решений.-М.: Мир, 1976. 165 с.

46. Заде Л. А. Размытые множества и их применение в распознавании образов и кластер-анализе. В кн.: Классификация и кластер // Под ред. Дж. Вэн Райзина.-Мир, 1980. - с. 208-247.

47. Заенцев И.В. Нейронные сети: основные модели. Воронеж: ВГУ, 1999. -76 с.

48. Замков О.О., Толстопятенко Л.В., Черемных Ю.Н. Математические методы в экономике. М.:МГУ, 1997.

49. Икрамова Х.З. Алгоритмы распознавания и диагностика. Ташкент: "Фан", 1982, 220 с.

50. Исследование операций в экономике/ Под ред. Н.Ш. Кремера. М.:Юнити,1997.

51. Исследование операций. В 2-х томах/ Под ред. Дж. Моудера, С. Элма-граби. М.: Мир, 1981.

52. Карпова Т.С. Базы данных: модели, разработка, реализация. Санкт-Петербург: Питер, 2001. 304 с.

53. Классификация и кластер/под ред. Дж. Вэн Райзин.— М.: Мир, 1980.— 390 с.

54. Комашинский В. И., Смирнов Д. А., Нейронные сети и их применение в системах управления и связи. М.: Горячая Линия - Телеком, 2002 - 96 с.

55. Конюховский П.В. Математические методы исследования операций в экономике. — СПб.: Питер, 2002. — 208 с.

56. Конюховский П.В. Микроэкономическое моделирование банковской деятельности. — СПб: Питер, 2001. — 224 е.: ил.

57. Королев М.А., Мишенян А.И., Хотяшов Э.Н. Теория экономических информационных систем. М.:Финансы и статистика, 1984.

58. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

59. Кравец О.Я., Деркачев А.Н. Автоматизация скоринг-оценок на основе методов нейросетевого моделирования // Современные проблемы информатизации в непромышленной сфере и экономике: Сб. трудов. Вып. 9 Воронеж: Научная книга, 2004. С. 27-28.

60. Кремер К.И., Ивлева H.A., Деркачев А.Н. Модели банковской конкуренции на олигопольных региональных рынках // Современные социально-экономические проблемы труда: материалы Всероссийской научно-практической конференции. Воронеж: ВГУ, 2005. С. 112-115.

61. Круглов В. В., Дли М. И., Голунов Р. Ю. Нечеткая логика и искусственные нейронные сети. — М.:Физико-математическая литература, 2001. — 224 с.

62. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. — М.: Горячая линия-Телеком, 2002. — 382 с.

63. Кук Н. М., Макдональд Дж. Формальная методология приобретения и представления экспертных знаний//ТИИЭР, 1986, т. 74, № 10.— с. 145155.

64. Купчинский В.А., Улинич A.C. Система управления ресурсами банка. — М.: «Экзамен», 2000 — 224 с.

65. Лаврушин О.И., Афанасьева О.Н., Корниенко СЛ. Банковское дело: современная система кредитования : учебное пособие / Под. ред. Лавру-шина И.О. — 2-е изд. — М:. КНОРУС, 2006. — 256 с.

66. Ларионов А.И., Юрченко Т.И., Новоселов А.Л. Экономико-математические методы в планировании. М:Высшая школа, 1991.

67. Ларичев О. И., Мечитов А. И., Мошкович Е. М., Фуремс Е. М. Выявление экспертных знаний. М.: Наука, 1989. - 128 с.

68. Лбов Г. С. Методы обработки разнотипных экспериментальных данных.— Новосибирск: Наука, 1981.-157 с.

69. Леденева Т. М. Моделирование процесса агрегирования информации в целенаправленных системах. Воронеж: Изд-во ВГТУ, 1999. 155 с. (Моделирование, оптимизация и компьютеризация в сложных системах; Кн. 8)

70. Леденева Т.М. Обработка нечеткой информации. Воронеж: ВГУ, 2006. -217 с.

71. Липаев В.В., Потапов А.И. Оценка затрат на разработку программных средств. М.: Финансы и статистика, 1988.

72. Манита А. Д. Теория вероятностей и математическая статистика: Учебное пособие. М.: Издат. отдел УНЦ ДО, 2001. - 120 с.

73. Масленченков Ю.С. Технология и организация работы банка: теория и практика: — М.: ООО Издательско-Консалтинговая Компания «ДеКА», 1998. —432 с.

74. Минский М., Пейперт С. Перцептроны.— М.: Мир, 1971.— 261 с.

75. Мкртчян С.О. Нейроны и нейронные сети. (Введение в теорию формальных нейронов) — М.: Энергия, 1971. — 232 с.

76. Моисеев H.H. Элементы теории оптимальных систем. М.:Наука, 1977.

77. Моисеева Н.К., Анискин Ю.П. Современное предприятие: конкурентоспособность, маркетинг, обновление. М.:Внешторгиздат, 1993.

78. Назаров A.B., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. М.: Наука и техника, 2003 - 384 с.

79. Нильсон H. Принципы искусственного интеллекта.— М.: Радио и связь, 1985.

80. Ортега Д., Пул У. Введение в численные методы решения дифференциальных уравнений: Пер. с англ. М.:, Наука, 1986 г. - 288 с.

81. Осовский С. Нейронные сети для обработки информации (Пер. с пол. И. Д. Рудинского). — М.: Финансы и статистика, 2002. — 343 с.

82. Патрик Э. Основы теории распознавания образов.— М.: Сов. радио, 1970.—408 с.

83. Поспелов Д. А. Ситуационное управление: теория и практика. М.: Наука, 1986.-228 с.

84. Распознавание образов при помощи цифровых вычислительных машин/под ред. Хармона JI.— М.: Мир, 1974.—234 с.

85. Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткая логика, генетические алгоритмы, нейронные сети. — Винница: УНИВЕРСУМ-Винница, 1999. — 320 с.

86. Рутковская Д., Пилиньский М., Рутковский JI. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая Линия - Телеком, 2005-452 с.

87. Саати Т. Целочисленные методы оптимизации и связанные с ними экстремальные проблемы. М.: Мир, 1973.

88. Соколов Г.А. Чистякова Н.А., Теория вероятностей: Учебник. М.: Экзамен, 2005-416 с.

89. Суровцев И.С., Клюкин В.И., Пивоварова Р.П. Нейронные сети. — Воронеж: ВГУ, 1994. —224 с.

90. Трахтенгерц Э. А. Компьютерная поддержка принятия решений — М.: СИНТЕГ, 1998. —376 с.

91. Ту Дж., Гонсалес Р. Принципы распознавания образов.— М.: Мир, 1978.—412 с

92. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, М.: Мир, 1992. — 184 с.

93. Факторный, дискримннантный и кластерный анализ. Сборник статей. М.: Финансы и статистика, 1989. 215с.

94. Фу К. Структурные методы в распознавании образов: Пер.с англ. -М.: Мир, 1977.-320 с.

95. Фукунага К. Введение в статическую теорию распознавания образов. М.: Наука, 1979.-368 с.

96. Харрингтон Д. Проектирование реляционых баз данных. Просто и доступно. М.:ЛОРИ, 2000. 230 с.

97. Шерер Ф., Росс. Д. Структура отраслевых рынков: Пер с англ.- М.: Ин-фра-М, 1997.

98. Шураков В.В., Дайитбегов Д.М., Мизрохи С. В., Ясеновский С. В., Автоматизированное рабочее место для статистической обработки данных -М.: Финансы и статистика, 1990. 190с.

99. Экономика/ Под ред. А.И.Архипова, А.Н. Нестеренко, А.К. Большакова. М.: «Проспект», 1998. - 792 с.

100. Ярушкина Н.Г. Основы теории нечетких и гибридных систем: Учеб. пособие.- М.: Финансы и статистика, 2004.- 320 с.

101. Duda О., Hart Р.Е., Stork D.G. Pattern Classification. // A Willey-Interscience Publication. John Wiley & Sons, Inc.

102. Kosko B. Neural networks and fuzzy systems. Prentice Hall, Englewood Cliffs. N. J. 1992.

103. Pitts W. Moculloch W. W. 1947. How we know universals. Bulletin of Mathematical Biophysics 9:127-47.

104. Rosenblatt F. Principle of neurodynamics. N.Y.:Spartan, 1992.

105. Zadeh L. Fuzzy logic, Neural networks, and Soft Computing. //Communications of the ACM. Vol. 37, No.3, March, 1994.

106. Zadeh L.A. A computational approach to fuzzy quantifiers in natural languages // Computers and Mathematics with Applications. -1983. № 9. - P. 149-184.

107. Zadeh L.A. Fuzzy sets // Information and Control. -1965. -№ 8. P. 338-353.