автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Использование методов принятия решения при проектировании нейросетевых структур обработки данных

На правахрукоп иси

СОЛОДОВНИКОВ Владимир Игоревич

Использование методов принятия решения при проектировании нейросетевых структур обработки данных

Специальность: 05.13.12 - Системы автоматизации проектирования

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва - 2004

Работа выполнена в Московском Государственном институте электроники и математики (Техническом университете) на кафедре «Информационные технологии в автоматизированных системах».

Научный руководитель:

Доктор технических наук, профессор

Шрамков Игорь Григорьевич

Официальные оппоненты:

Доктор технических наук, профессор Кандидат технических наук, доцент

Макаров Валерий Федорович Ульянов Михаил Васильевич

Ведущая организация:

Государственный научно-исследовательский институт информационных технологий и телекоммуникаций «Информика»

Защита диссертации состоится «V? » МАЛ 2004 года в часов на

заседании диссертационного совета Д 212.133.03 Московского государственного института электроники и математики (Технического университета) по адресу: 109028 Москва, Большой Трехсвятительский переулок, 1-3/12 стр. 8.

С диссертацией можно ознакомиться в государственного института электроники и математики.

библиотеке Московского

Автореферат разослан «_/6_» ОПАЯЛА

2004 г.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Стремительное развитие хранилищ данных и рост объемов хранимой информации в самых различных областях человеческой деятельности предъявляет новые требования к системам обработки информации, в частности, все большую актуальность приобретают системы, способные не просто складировать данные, но и позволяющие осуществлять их анализ и обработку, находить закономерности, производить прогнозирование и выдавать результат в виде доступном человеку. При этом одна из основных проблем заключается в том, что данные могут быть разнотипными (количественными, качественными, текстовыми), многомерными, возможны пробелы в данных, отсутствие априорной информации, сложность зависимостей.

Методы обработки данных могут быть разделены на три категории. К первой относятся методы использующие средства формирования простых запросов и отчетов, позволяющие осуществлять выборку тех данных, которые удовлетворяют некоторым, заранее определенным условиям, т.е. помогают в отыскании фактов, которые произошли в прошлом и были зафиксированы. Вторая включает в себя средства OLAP (On-Line Analyzing Processing - Системы оперативной аналитической обработки) позволяющие осуществить комплексный взгляд на собранную в хранилище данных информацию, ее обобщение, получение итогов и сравнений путем экстраполяции, агрегации, построения сводных отчетов и гиперкубического представления. Более глубокий анализ данных осуществляется методами Data Mining или, как их еще называют, методами «интеллектуального» анализа данных. Эта технология направлена на обнаружение в «сырых» данных предварительно неизвестных, практически полезных и доступных интерпретации знаний. Ее важным положением является нетривиальность разыскиваемых шаблоноз, которые представляют собой правила и закономерности, свойственные выборкам данных. Таким образом, найденные шаблоны могут отражать неочевидные, неожиданные регулярности в данных, составляющие так называемые скрытые знания.

Data Mining является мультидисциплинарной областью, возникшей и развивающейся на базе достижений прикладной статистики, распознавания образов, методов искусственного интеллекта, теории баз данных и др. Особенностью алгоритмов и методов, применимых при «интеллектуальном» анализе данных, является отсутствие ограничительных рамок априорных предположений о структуре выборки и виде распределений значений анализируемых показателей, чему наилучшим образом соответствует использование подхода, основанного на нейросетевых технологиях обработки данных или нейросетевой Data Mining. Это обусловлено способностью нейронных сетей к моделированию нелинейных процессов, работе с зашумленными данными, адаптивностью (обучение и самообучение), возможностью работы с малым объемом или полным отсутствием априорной информации.

В настоящее время существует достаточно большое количество систем, включающих в себя элементы нейросетевых технологий. Однако, их недостатком может служить то обстоятельство, что в большинстве своем они напрямую не предназначены для анализз информации, накопленной в базе данных, и требуют от пользователя специальной подготовки и понимания в какой ситуации и для каких целей может использоваться та или иная к у и

кодирование данных. Кроме того, многие ci дин вид

нейросети (например: многослойный персептрон с возможностью изменять количество внутренних слоев и нейронов в слоях). В информационных системах наибольшее распространение нейронные сети нашли в информационных хранилищах для решения задач прогнозирования. Однако, в таких системах они являются элементом программного обеспечения, к которому пользователь фактически не имеет доступа, и решают ограниченный, заранее определенный класс задач.

В связи с вышеизложенным, актуальной становится задача разработки подсистемы нейросетевой обработки информации, которая предоставляет механизмы, позволяющие осуществлять проектирование и нахождение необходимых параметров сети для решения различных задач Data Mining на имеющихся данных.

Целью диссертационной работы является разработка методов, математических моделей и алгоритмов подсистемы принятия решений для автоматизированного проектирования нейросетевых структур обработки баз данных в зависимости от требозаний предъявляемых пользователем и имеющихся у него исходных данных.

Для достижения указанной цели были решены следующие основные задачи.

- Формирование критериев применимости нейронных сетей для решения различных задач Data Mining, а также анализ зависимостей архитектуры сетей, количества слоев и нейронов в каждом слое, от исходных данных.

- Разработка и совершенствование средств и методов принятия решений при выборе и автоматизированном проектировании нейросетевых структур обработки данных в зависимости от поставленной задачи и исходных данных

- Разработка информационной и объектно-ориентированной моделей нейронных сетей, структуры фрагмента базы данных (БД) для хранения деревьев решения, семантических сетей, а так же шаблонов и уже построенных нейросетей.

Объект исследования. Объектом исследования являются вопросы использования методов принятия решений для автоматизированного проектирования нейросетевых структур обработки данных в зависимости от требований предъявляемых пользователем и исходных данных.

Предмет исследования. Предметом исследования настоящей работы является анализ и разработка подсистемы «интеллектуальной» обработки информации хранящихся в БД с использованием нейросетевых технологий.

Научная новизна и результаты, выносимые на защиту:

- Разработаны модифицированные деревья решений и операции над ними для применения в качестве инструментария в подсистемах поддержки принятия решений.

- Разработаны алгоритмы формирования правил, прямого и обратного вывода для модифицированных деревьев решения, а также алгоритм представления деревьев решения в виде фактов семантической сети.

- Разработана методика для повышения эффективности выбора и автоматизированного проектирования нейросетевых структур обработки данных с помощью модифицированных деревьев решения.

- Разработаны информационная модель нейросетевых структур для хранения в базе данных и объектно-ориентированная модель, представляющая собой иерархию классов, для программной реализации, что позволяет осуществлять их гибкое и эффективное конструирование.

Методы исследования. Исследование и решение поставленных в диссертации задач проводилось на основе комплексного использования теории вероятности, теории графов теории принятия решений, искусственных нейронных сетей, теории

систем. В разработке программного обеспечения использовалась технология объектно-ориентированного программирования.

Практическая ценность полученных результатов.

- Сформированы критерии применимости искусственных нейронных сетей для решения различных задач «интеллектуального» анализа данных. Проведен анализ зависимостей архитектуры сетей и их структурных компонентов от исходных данных.

- Разработаны алгоритмы и методы использования модифицированных деревьев решений и семантических сетей в качестве инструментария поддержки принятия решений в системах Data Mining.

- На основании разработанных информационной и объектно-ориентированной моделей нейросетей, определена структура базы данных приложения для хранения, как шаблонов, так и уже построенных нейросетей, деревьев решений и семантических сетей, а также результатов их использования.

- Реализовано приложение, осуществляющее автоматизированное проектирование нейросетевых структур обработки данных в зависимости от информации, хранящейся в базе данных, и требований предъявляемых пользователем.

- Разработанные методы и алгоритмы могут стать основой для создания интеллектуальных средств поддержки принятия решений.

Реализация и внедрение результатов исследований.

Результаты диссертационной работы используются в Центре информационных технологий Б проектировании РАН по проекту «Развитие методов математического моделирования для оценки и прогнозирования действия факторов риска на деятельность человека» в рамках Программы фундаментальных научных исследований ОИТВС РАН «Фундаментальные основы информационных технологий и систем» и были отражены в сводном отчете РАН за 2003 год в томе 2 «Основные результаты в области естественных, технических, гуманитарных и общественных наук» (приложение 1).

Для использования в учебном процессе кафедры ИТАС МИЭМ разработано приложение, осуществляющее проектирование нейросетевых структур в зависимости от требований предъявляемых пользователем и имеющихся исходных данных. Результаты работы используются при изучении дисциплин «Базы данных», «Методы принятия решений», «Интеллектуальные подсистемы САПР». Подготовлены (в соавторстве) и изданы методические указания к практическим занятиям по курсу «Банки данных» (приложение 2).

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на научно-практических семинарах «Новые информационные технологии» (Москва, 2000-2004 гг.), научно-технических конференциях студентов, аспирантов и молодых специалистов МИЭМ (Москва, 2001» 2003 гг.), всероссийской научно-технической конференции «Аэрокосмические технологии» (Реутов, НПО машиностроения, 2002 г.), научно-технической конференции «Информационные технологии в проектировании, производстве и образовании» (Ковров, 2002 г.).

Публикации по теме. По теме диссертации опубликовано 11 печатных работ.

Объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 83 наименований и приложений. Основное содержание диссертации изложено на 134 страницах и содержит 43 рисунка и 19 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы. Формулируются цели и задачи исследований, приводится перечень основных результатов, выносимых на защиту, и излагается краткое содержание глав диссертации.

В первой главе обсуждаются вопросы современного состояния и тенденции развития методов и систем обработки информации, хранящейся в базах данных и информационных хранилищах. Проведен анализ различных типов возможных закономерностей в данных и методов применимых в Data Mining. Обосновывается выбор нейросетевых методов «интеллектуального» анализа данных, осуществляется выбор нейропараднгм. Рассматриваются принципы теории принятия решений, а также возможности ее использования при проектировании, обучении и анализе нейросетевых структур в зависимости от требований предъявляемых пользователем и имеющихся исходных данных.

Основными задачами, для решения которых используются методы «интеллектуального» анализа данных, являются:

- ассоциация - поиск связанных друг с другом событий;

- последовательность - поиск цепочек связанных во времени событий;

- классификация - выявление признаков, наборов правил, характеризующих группу, путем анализа уже классифицированных объектов;

- кластеризация - выделение однородных групп данных;

- прогнозирование - попытка найти шаблоны, адекватно отражающие динамику поведения системы, т.е. предсказание поведения системы в будущем на основе исторической информации;

- аномалии - выявление аномальных значений в данных;

- визуализация - графическое представление данных или результатов работы системы, что способно помочь улучшить понимание структуры данных, упростить процесс восприятия и интерпретации нового знания человеком.

Особенностью алгоритмов и методов, применимых для решения задач Data Mining, является отсутствие ограничительных рамок априорных предположений о структуре выборки, зависимостей и виде распределений значений анализируемых показателей. Анализ различных методов обработки данных выявил их недостатки и показал, что одним из наиболее перспективных является нейросетевой подход, что обусловлено основными, характерными свойствами, присущими нейронным сетям. Таковыми являются:

- адаптируемость - возможность обучения и подстройки параметров в зависимости от условий функционирования;

- обобщение - является следствием распределенности и ассоциативности памяти нейронной сети и проявляется в способности нейросетевых систем давать рациональный выход на ранее неизвестный вход;

- универсальность - нейросетевой подход применим для решения широкого класса задач в различных предметных областях;

- отказоустойчивость - сеть способна функционировать даже тогда, когда некоторое количество нейронов и/или их связей выведено из строя.

Данные свойства определяют способность нейросетей к моделированию нелинейных процессов, воспроизведению чрезвычайно сложных зависимостей, • работе с зашумленными данными и малым объемом априорной информации.

Основной сложностью применения нейросетевого подхода является проблема выбора оптимальной топологии, объема сети, значений весовых коэффициентов, которые бы наилучшим образом удовлетворяли решаемой задаче на имеющихся исходных данных. Это еще связано с тем фактом, что различные нейросети с различными весовыми коэффициентами, могут показывать очень близкие результаты на примерах обучающей выборки и существенно различающиеся при работе с новыми, еще не предъявлявшимися данными. В связи с этим, пользователю необходимы средства, способные помочь в выборе топологии сети и нахождении значений ее параметров. Данное обстоятельство потребовало использования методов теории принятия решений, которые представляют собой набор понятий и систематических методов, позволяющих всесторонне анализировать проблемы принятия решений в условиях неопределенности, при автоматизированном проектировании нейросетевых структур в зависимости от требований предъявляемых пользователем и имеющихся исходных данных.

Деревья решений являются основным подходом, применимым в теории принятия решений, и представляют собой иерархическую структуру классифицирующих правил типа if-then (если-то). Их достоинством является простота и наглядность описания процесса принятия решений, который может быть представлен, как последовательность ответов на вопросы, при этом, формируется некоторая естественная цепочка рассуждений. Так же, данный подход обеспечивает гибкость и удобство расширения системы при добавлении новых нейросетевых парадигм или изменении условий проектирования уже существующих сетей.

Для иллюстрации предложенного подхода в диссертационной работе рассмотрены такие нейросетевые парадигмы как: многослойный персептрон, RBF-сеть, сеть динамических ядер, самоорганизующиеся карты Кохонена. - Их выбор обусловлен тем фактом, что они достаточно хорошо изучены и способны решать большинство рассматриваемых задач Data Mining. В случае необходимости, набор используемых нейросетей может быть расширен, что позволит увеличить, как число решаемых задач, так и методов их решения.

Вторая глава посвящена вопросам использования деревьев решения в качестве инструментария при проектировании нейросетевых структур «интеллектуальной» обработки данных. В ней рассмотрены различные варианты деревьев решения, определены модифицированные деревья и операции над ними. Проведен анализ используемых нейросетевых парадигм, направленный на формулировку правил построения наиболее оптимальных сетей, сформированы критерии их применимости для решения конкретных задач, тем самым, осуществлено построение модифицированных деревьев решений. Рассмотрены вопросы предобработки, кодирования и визуализации исходных данных, а также проверки их на непротиворечивость. Определен способ ускорения процесса принятия решений и придания дополнительных возможностей в конструировании механизмов вывода с помощью семантических сетей.

Деревья, использующиеся в теории принятия решений, оперируют такими понятиями, как распределения условных вероятностей различных состояний, исходов, последствий, при этом лицо, принимающее решение (ЛПР), должно руководствоваться принципом максимизации ожидаемой полезности при выборе той или иной альтернативы. Это требует от пользователя информации, которая может

быть ему неизвестна или недоступна в силу его квалификации, т.е. в таком виде данный подход при проектировании нейросетевых структур обработки данных хоть и применим, но слишком сильно усложняет задачу. В искусственном интеллекте используются упрощенные деревья решений, которые представляют собой способ представления правил в иерархической, последовательной структуре и основаны на алгебре высказываний. Но такая конструкция является упрощенной и не способна полностью описать весь процесс принятия решений при проектировании архитектуры и вычислении параметров нейросети для решения поставленной задачи на имеющихся данных.

Данное обстоятельство потребовало разработки модифицированных деревьев решения, способных использовать логику предикатов первого порядка, обеспечивающих необходимую гибкость при принятии решений и позволяющих:

- производить вычисления, как в узлах дерева, так и на его ребрах и на основе полученных результатов принимать решение,

- использовать операции разбиения для выделения фрагментов из общего дерева для подробного рассмотрения отдельных подзадач,

- в случае необходимости осуществлять уточнение полученного решения с помощью дальнейшего раскрытия вершин вывода,

- создавать многоуровневую модель принятия решений, как для опытного, так и для неподготовленного пользователя, путем подстановки большинства значений по умолчанию и минимального уточнения полученных решений.

Область определения и значений модифицированного дерева решений включает в себя следующие переменные:

- переменные вывода £)={£/,,.„,</,}, где с!,- переменная, определенная на

домене (множестве значений)

- переменные решений X = > где х1- переменная, определенная на домене X¡, у = 1 ,п.

Дерево решений состоит из вершин двух типов, представленных на рисунке 1, 1) Вершина "решение" 2) Вершина "вывод"

Рис. 1. Тип вершин модифицированного дерева решений где ак(х;) - отношение, определенное на домене переменной решений ¿ = 1,г,

- отношение, определенное на домене переменной вывода отношение, определенное на множестве значений, удовлетворяющих отношению П,

На множестве таких вершин была введена операция раскрытия вершины, которая предполагает пару родительская-дочерняя и зависит от их типа. Существуют следующие ситуации:

1. Родительской является вершина "решение", а дочерней вершина "вывод".

Родитель: вершина "решение". Потомок: вершина "вывод".

. Решение-»вывод

Формальной записью такой операции является: и может быть

трактована как: «Если а^х^, ТО П(£/()».

2. Как родительской, так и дочерней являются вершины "решение".

Родитель: вершина "решение". Потомок: вершина "решение". Рис.3. Решение->решение

Формально эта ситуация может быть записана как: 0г4(х()па,(ху). Трактовкой является выражение: (Если ак{х,)) и (Если а,(ху)), которое определяет пару условий, причем второе условие обусловлено выбором дуги второй вершины.

3. Как родительской, так и дочерней являются вершины "вывод".

ВД)

Родитель: вершина "вывод". Потомок: вершина "вывод".

Рис.4. Вывод->вывод

Формально можно записать: сг(П,)) П2((/у). Трактовкой служит выражение:

которое определяет уточнение вывода. 4. Родительской является вершина "вывод", а дочерней вершина "решение".

п(4)

Родитель: вершина "вывод". Потомок: вершина "решение".

Ркс.5. Вывод-» ]

> решение

Формальной записью операции является: ^(Щс/,))-* (ац(Х;)...), что может трактоваться как: «Если <т(П(<^,)), то (Если ац(ху), то ...)». Данная операция определяет формальное дерево решений.

Таким образом, имеющиеся вершины и введенные на них операции раскрытия позволяют построить дерево. Процедура принятия решения происходи1 сверху вниз от корня к листьям. Результаты работы дерева решений формулируются в виде фактов. Могут быть выделены три вида фактов.

1. Общий факт - пути от корня до вершин вывода, листьев дерева решения, в которых значения переменной вывода совпадают. Формальной записью общего факта является выражение вида:

2. Факт - экземпляр общего факта, т.е. для каждого отношения выбрано конкретное значение, удовлетворяющее отношению.

3. Частичный факт - путь до вершины "вывод", не являющийся листом.

Над пространством деревьев решений были определены операции разбиения и объединения. Операция разбиения направлена на выделение частных деревьев из полного дерева решений, что аналогично разбиению глобальной задачи на подзадачи с определенными ограничениями. В свою очередь, разбиение подразделяется на две составляющие.

1. Вертикальное разбиение.

- Выделение поддерева, в котором все вершины листья, содержат одну и ту же переменную вывода, т.е. поддерево для определения различных значений определенной переменной вывода.

- Выделение поддерева, в котором все вершины листья содержат одинаковые ограничения (отношения) для переменной вывода.

- Выделение поддеревьев, в которых вершины листья содержат одинаковые значения переменной вывода, что соответствует нахождению общих фактов для данной переменной вывода и ее значений.

2. Горизонтальное разбиение, соответствующее разбиению от корня до ближайших вершин "вывод" и от каждой промежуточной вершины "вывод" (как корня) до следующих.

Операция объединение является обратной разбиению и осуществляет формирование общего дерева решений из его фрагментов (поддеревьев). Могут быть выделены такие виды объединений как:

1. Объединение дополнение

2. Объединение уточнение.

Объединение дополнение заключается в увеличении количества альтернатив выбора исходов из вершины "решение" с дальнейшим их выводом (прикрепление соответствующего поддерева к дереву по определенному значению параметра). Данное действие соответствует дополнительному разбиению множества возможных значений X на подмножества.

Объединение уточнение сопоставляет вершине "вывод" некоторого дерева решений другое дерево, корень которого соответствует выбранной вершине "вывод". Таким образом, происходит дальнейшее раскрытие вершины "вывод", н она из факта трансформируется в частичный факт.

Определенные таким образом деревья, в частности, позволяют решать задачи выбора и проектирования нейросетевых структур. Упрощается процесс определения значений параметров нейросетей, в связи с возможностью разбиения общего дерева решений на фрагменты, что позволяет осуществлять решение отдельных подзадач в рамках глобальной задачи.

Построение деревьев решения осуществляется на основе правил, характеризующих объекты предметной области. Для этого был проведен анализ ряда нейросетевых парадигм, направленный на формулировку правил построения в некотором смысле оптимальных сетей, сформированы критерии их применимости для решения конкретных задач. Проанализированы зависимости архитектуры сети (количество слоев и нейронов в каждом слое) от входных данных. Для каждого этапа проектирования строились частные деревья решения. Первым этапом нейросетевой обработки информации, вне зависимости от решаемой задачи и используемой архитектуры, является подготовка имеющихся данных. Общий принцип предобработки, состоит в таком кодировании и нормировке непротиворечивых данных, чтобы добиться максимизации энтропии входов и выходов. Следующий этап включает в себя выбор структуры и параметров нейросети в зависимости от задач, ставящихся пользователем и уже предобработанных данных. Причем от уловия задачи главным образом зависит выбор нейросетевой парадигмы, тогда как выборка данных, определяющая общее число примеров и размерность пространства входных признаков, влияет на число нейронов в слоях.

Для решения задач классификации, прогнозирования, аппроксимации функциональных зависимостей применимы сети прямого распространения. Главным представителем сетей такого класса является многослойный персептрон. Этот вид нейросетей получил широкое распространение для решения задач распознавания образов, фильтрации шумов, предсказания временных рядов, идентификации, адаптивного или нелинейного управления. Причина популярности персептронов обусловлена широким кругом доступных им задач, для которых они являются: во-первых, универсальными, а во-вторых - эффективными устройствами.

Круг задач решаемых RBF-сетью близок к многослойному персептрону, но основным ее отличием является другой способ представления пространства входных признаков, т.е. ей соответствует групповое представление, тогда как многослойному персептрону - плоскостное. В следствии чего, RBF-сеть не умеет экстраполировать свои выводы за область известных данных, а значит способна отслеживать аномалии. Также стоит отметить и лучшую скорость обучения и возможность быстрого дообучения в режиме реального времени (on-line) по сравнению с многослойным персептроном. Но перед использованием RBF-сети желательно выделение классов в имеющихся данных, т.е. решение задачи кластеризации.

В наиболее общей форме задача кластеризации может быть сформулирована следующим образом:

Пусть Е - пространство векторов данных {у^}, В - пространство ядер и каждому классу соответствует некоторое ядро Ь. Для каждых уеЕ И ЬеВ определяется мера близости d(y,b). Требуется найти набор из&дер bj,...,bt и разбиение наклассов

{/} = Р, иР2 и... иРк минимизирующее D = D(bx,b2,...,bt,Pt,..;Pt)=^^d(y,b,).

Другими словами, необходимо найти оптимальное разбиение имеющейся выборки данных на некоторое, необязательно изначально определенное, количество классов, при этом классом будет являться группа векторов, расстояние между которыми внутри этой группы меньше, чем расстояние до соседних групп.

Для решения задач кластеризации в работе используются сеть динамических ядер и самоорганизующиеся карты Кохонена. Отличительной особенностью таких сетей является способность к самообучению, т.е. они обучаются понимать саму структуру данных, самостоятельно выделяют во входном множестве группы (классы) схожих объектов и выявляют признаки, характеризующие ту или иную группу. Так сеть динамических ядер обладает тем свойством, что наряду с настройкой весовых коэффициентов, позволяет корректировать число нейронов кластерного слоя, осуществлять проверку классов на слияние, выявлять новые и удалять не удовлетворяющие некоторым критериям классы. В свою очередь, особенность структуры кластерного слоя самоорганизующихся карт Кохонена позволяет использовать их для визуального представления данных.

Визуализация данных предполагает получение тем или иным способом отображения совокупности объектов на числовую ось, на плоскость или трехмерный объем, максимально отражающего особенности распределения этих объектов в многомерном пространстве в рамках поставленной задачи. В работе рассматривается отображение n-мерного пространства входных признаков на двумерное пространство карты Кохонена с последующей ее раскраской.

Таким образом, введенная структура деревьев решений ориентирована на модели нейронных сетей с частью характеристик, известных заранее, некоторые значения параметров могут формироваться автоматически, осуществляя запросы к базе

данных, другие вводятся в процессе взаимодействия с пользователем, причем это взаимодействие зависит от вида сети. Стоит отметить, что процесс принятия решения достаточно нагляден, так как отображается в виде естественной цепочки рассуждений.

Однако, это справедливо лишь для небольших по объему деревьев решений. Чем больше дерево, чем сложнее его структура, тем сложнее отследить логику проводимых рассуждений. Поэтому возникает задача выделения поддеревьев (частных деревьев решений), которые отображают отдельные аспекты вывода решений. При этом возникает ряд проблем:

- как разбить исходное дерево на поддеревья;

- какое из поддеревьев наиболее информативно для пользователя с точки зрения обоснования принимаемого решения и т.д.

Также бывает неудобно каждый раз проходить всю цепочку рассуждений по дереву решений. Это особенно актуально в случае, когда решение для аналогичных условий уже было получено, и новый вывод по дереву будет характеризоваться запросами к базе данных, количество которых зависит от глубины дерева, и вычислениями уже выполненными ранее, что замедляет процесс принятия решений и напрасно использует вычислительные ресурсы. Для избежания дублирования действий и упрощения решения целого ряда задач в работе используются семантические сети.

Простая семантическая сеть, называемая иногда вычислительной семантической сетью, представляет собой фактически двудольный граф.

Пусть задано конечное множество А = {А1.....Аг}, называемых атрибутами, и

конечное множество R = {R1, . . ., Rn} отношений. Схемой или интенсионалом отношения называют набор пар:

- имя отношения, - домен т.е. множество значений атрибута

отношения Ri Объединение всех доменов называется базовым множеством модели или множеством объектов, на которых задаются отношения R.

Экстенсионалом отношения Ri называют множество EXT(Ri) = {F1, . , Fp}, где Fk (k = l,p) - факт отношения Ri. Факт задается совокупностью пар атрибут -значение, называемых атрибутивными парами. Под факгом понимается конкретизация определенного отношения между указанными объектами. В графической • интерпретации факт - это подграф семантической сети, имеющий звездообразную структуру. Корень подграфа - вершина предикатного типа, помеченная уникальной меткой, включающей имя соответствующего отношения. Из вершины факта выходят ребра, помеченные именами атрибутов данного факта, ведущие в вершины базового множества, которые являются значениями этих атрибутов.

Таким образом, представляется целесообразным сочетать в единой системе представление в виде деревьев решений и класса семантических сетей, что дает возможность наглядного отображения процесса принятия решений и дополнительные возможности в конструировании механизмов вывода.

Стоит отметить, что уже построенные деревья решений могут быть изменены или дополнены, тем самым, определяя необходимую гибкость в использовании уже имеющихся нейросетевых структур, а также, обеспечивая возможность добавления новых. Причем такой же порядок описания может быть использован и при формировании правил для других технологий Data Mining.

В третьей главе приведены результаты исследований и разработки методов принятия решений, а также структуры фрагмента БД для автоматизированного проектирования нейросетевых структур обработки данных. Определена структура подсистемы проектирования и принципы взаимодействия между ее основными блоками. Разработаны информационная и объектно-ориентированная модели нейронных сетей, а также структура фрагмента БД для хранения используемых шаблонов и уже построенных сетей. Разработаны алгоритмы формирования правил, прямого и обратного вывода для модифицированных деревьев решения, а также алгоритм представления деревьев решения в виде фактов семантической сети.

Подсистема принятия решений для проектирования нейросетевых структур обработки данных состоит из следующих блоков.

1. Исходное хранилище данных.

2. Блок запросов.

3. Блок принятия решений и проектирования.

4. База данных подсистемы.

5. Блок исполнения.

Схематично структура подсистемы представлена на рисунке 6.

Рис.6. Структура подсистемы проектирования

Блок запросов обеспечивает формирования запросов к хранилищу исходных данных, результаты выполнения которых после последующей предобработки и кодирования сохраняются в таблицах базы подсистемы.

Блок принятия решений и проектирования отвечает за ввод и формирование пользователем деревьев решений, позволяет производить прямую и обратную цепочки рассуждений, имеет возможность преобразования уже сформированных деревьев решений в семантические сети в виде двудольного графа. В нем так же осуществляется процесс принятия решений, целью которого является определение структуры, значений параметров и автоматизированное проектирование необходимых нейросетевых структур. Исходными данными для функционирования блока принятия решений и проектирования являются выходные данные блока запросов (сохраненные в базе данных) и данные, полученные от пользователя.

База данных подсистемы разделена на две составляющие. Первая из них служит для хранения предобработанных данных (выходные данные блока запросов). Во второй хранится следующая информация:

1) Деревья решений и семантические сети.

2) Шаблоны используемых нейросетей.

3) Построенные нейронные сети.

Блок исполнения обеспечивает проведение экспериментов с построенными нейросетевыми структурами.

Такая архитектура позволила упростить весь процесс создания нейронных сетей, избавив пользователя от написания кода. Требуется только сформировать описание в ходе диалога. Она так же дает возможность осуществлять анализ сети и результатов ее работы средствами, предоставляемыми базой данных. Таким образом, создание, модификация и анализ нейронной сети осуществляется в режиме взаимодействия с базой данных, а испытания сети осуществляются в режиме эксперимента.

Предложенная структура подсистемы потребовала разработки информационной модели нейронной сети для ее хранения в базе данных и объектно-ориентированной модели для ее программной реализации.

С точки зрения объектно-ориентированного подхода нейросеть представляет собой иерархию классов: сеть, слой, нейрон и т.д. Фактически, именно, описание этой иерархии и хранится в базе данных.

Рис.7. Иерархия классов для описания нейросеги.

Класс КеигоКе1 представляет собой общее описание сети, включающее идентификатор, вид сети, назначение и область применения, а также другие наиболее общие характеристики.

Класс Кешс^гий задает архитектуру сети: количество входов, слоев и выходов, определяет связи (в общем случае выделяется в отдельный класс) и т.д.

Класс КеигоШиса1е предназначен для описания характеристик обучения и содержит такие атрибуты как: вид алгоритма обучения, объем обучающей и тестовой последовательности, источник данных.

Класс Кеигс^гаШш является описанием слоев нейронной сети и содержит информацию о количестве нейронов в слое и др.

Класс Neuro Result используется для описания получаемых результатов и определяет вид получаемых результатов, критерии их обработки и т.д.

Класс Neuron задает основные характеристики нейрона.

Класс Activation определяет вид функции активации.

Класс InAct задает правила вычисления входа функции активации.

Класс Weights задает весовые коэффициенты.

В рамках данной модели, разработаны принципы формирования нейросетей, заключающиеся в поэтапном движении сверху вниз по иерархии классов. Таким образом, сначала создаются объекты классов определяющих наиболее общие характеристики сети. Затем определяются все более мелкие, характерные фрагменты строящейся модели, т.е. построение происходит от общего к частному.

Разработана структура базы данных для хранения используемых нейросетей, которая, в свою очередь, может быть разбита на две составляющие. Первая предназначается для хранения шаблонов, из которых происходит проектирование моделей. Вторая предназначена для хранения уже спроектированных и построенных нейронных сетей. Она во многом схожа с составляющей для хранения шаблонов, но в ней содержатся и дополнительная информация, характеризующая конкретную сеть. Разработанная структура базы данных позволяет осуществлять хранение, добавление новых и изменение существующих, как шаблонов, так и уже спроектированных и построенных нейросетей, а также их весовых коэффициентов.

Формирование деревьев решения осуществляется в два этапа. На первом этапе задаются используемые переменные решения и вывода, а также события, определяющие все возможные состояния этих переменных, а именно их значения, ограничения и т.д. Тем самым, задается область определения и значений дерева решений и набор возможных действий. На втором, происходит создание вершин и объединение их в необходимую структуру. Для хранения сформированных деревьев решений, а точнее их экстенсионалов, используются соответствующие таблицы разработанной БД.

Использование модифицированных деревьев решений в качестве инструментария подсистемы принятия решений основано на разработанных алгоритмах прямого и обратного вывода, а также формирования правил. Прямой вывод по такому дереву направлен на определение нейросетевой архитектуры, ее параметров, алгоритма обучения в зависимости от поставленной задачи, имеющихся данных, представлений и предпочтений пользователя, априорной информации, что соответствует нахождению последствий по известным условиям. Также возможно осуществление обратного вывода. Обратная цепочка рассуждений используется для того, чтобы по известному результату найти причины его вызвавшие. При этом каждый шаг по дереву решений записывается в таблицу вывода. В соответствии с этими записями и значениями переменных вывода и решения можно проследить весь пройденный путь по дереву и проанализировать полученный результат.

Чтобы избежать прохождения каждый раз всей цепочки вывода, целесообразно преобразование уже сформированных деревьев решений в семантические сети в виде двудольного графа, что обеспечивает представление дерева решений в виде таблицы фактов, где для каждого значения переменной вывода присутствует своя запись значений атрибутов факта. Поскольку существует отображение одного представления в другое, эти представления с формальной точки зрения тождественны. Это позволяет осуществлять быстрый поиск решения по известным атрибутам фактов, но в тоже время, существует возможность проследить всю цепочку рассуждений,

воспользовавшись таблицей деревьев решений. Для этого был разработан алгоритм преобразования деревьев решений в семантическую сеть. Хранение полученных семантических сетей, а точнее их экстенсионалов, осуществляется в соответствующих таблицах разработанной БД подсистемы.

Четвертая глава посвящена вопросам реализации приложения, позволяющего осуществлять автоматизированное проектирование нейронных сетей с помощью модифицированных деревьев решения, с учетом имеющихся исходных данных и требовании, предъявляемых пользователем. Разработаны алгоритмы функционирования приложения и выполнена их программная реализация. Обоснован выбор использованного программного обеспечения и системы управления базами данных. Рассмотрен принцип поэтапного построения нейронных сетей с точки зрения объектно-ориентированного подхода с описанием основных компонентных данных и методов разработанной системы классов.

Представлены интерфейсы пользователя для ввода и формирования деревьев решения, предобработки данных и проектирования нейросетей. Процесс формирования деревьев решения происходит в интерактивном режиме и состоит из несколько этапов. На первом, задаются используемые переменные решения и вывода. Далее определяются все возможные события, характеризующие поведение заданных переменных. После этого формируются вершины дерева решений и вводятся отношения между ними, путем указания вершины родителя и условий на дуге между родительской и текущей, что позволяет связать вершины в древовидную структуру. Построенные деревья решений сохраняются в таблицах БД приложения.

Рассмотрены варианты представления отчетов о результатах вывода по дереву решения и полученных правилах. Создание отчета происходит в несколько этапов. Сначала отчет формируется в таблицах БД и уже затем, приводится к форме доступной пользователю. Один из способов представления отчетов приближен к табличной форме хранения результатов. В нем приводится название и идентификатор дерева решений, для которого осуществлялся вывод, номера решений (вариантов вывода) и правила, принадлежащие этим решениям. Второй способ является следствием обработки табличной формы хранения результатов и представления правил в виде продукций «если... то...».

Разработанная структура базы данных была приведена к нормальной форме Бойса-Кодда (НФБК), которая наряду с исключением частичных или транзитивных зависимостей от первичного ключа, также учитывает функциональные зависимости, в которых участвуют все потенциальные ключи отношения, что позволило устранить избыточность данных и исключить аномалии обновления.

Для реализации приложения был использован язык программирования Visual Basic, а в качестве СУБД блока базы данных подсистемы - MS Access 2000, что обусловлено их широким распространением и доступностью. Так Visual Basic представляет собой основной подход компании Microsoft к разработке приложений баз данных для конечного пользователя. Он играет основную роль в стратегии доступа к данным, как для больших, так и для малых организаций, причем в большинстве систем используются соединения с реляционными базами данных (РСУБД) Jet (Access) и Microsoft SQL Server. Использование указанных программных средств позволило осуществить отладку алгоритмов и оценить удобство работы пользователя.

ЗАКЛЮЧЕНИЕ

В диссертационной работе получены следующие основные результаты:

1. Проведен анализ существующих систем и методов «интеллектуальной» обработки данных и обосновано использование нейросетевого подхода в качестве инструментария для решения задач Data Mining. Сформированы критерии применимости нейронных сетей. Проведен анализ зависимостей архитектуры сети, количества слоев и нейронов в каждом слое от исходных данных. Определено, что основной сложностью применения нейросетевого подхода является проблема выбора оптимальной топологии и объема сети, которые бы наилучшим образом удовлетворяли решаемой задаче на имеющихся исходных данных. Это обусловило использование методов принятия решений для автоматизированного проектирования нейросетевых структур обработки и анализа данных.

2. Разработаны модифицированные деревья решений и операции над ними для применения в качестве инструментария в подсистеме поддержки принятия решений при выборе и автоматизированном проектировании нейросетей. Такая структура деревьев решения ориентирована на модели нейронных сетей с частью характеристик, известных заранее, некоторые значения параметров могут формироваться автоматически, осуществляя запросы к базе данных, другие вводятся в процессе взаимодействия с пользователем, причем это взаимодействие зависит от вида сети. Для проверки используемого подхода было рассмотрено использование таких характерных нейросетевых парадигм как: многослойный персептрон, RBF-сеть, метод динамических ядер и самоорганизующаяся карта Кохонена.

3. Разработаны алгоритмы формирования правил, прямого и обратного вывода для модифицированных деревьев решения, а также алгоритм представления деревьев решения в виде фактов семантической сети.

4. Разработаны информационная модель нейронной сети для хранения в базе данных и объектно-ориентированная модель, представляющая собой иерархию классов, для программной реализации, что позволяет осуществлять ее гибкое и эффективное конструирование. На основании разработанных моделей рассмотрены принципы формирования нейросетей, определена структура базы данных приложения для хранения, как шаблонов, так и уже построенных нейросетей, деревьев решений и семантических сетей, а также результатов их использования.

5. Разработано и реализовано приложение, осуществляющее автоматизированное проектирование нейросетевых структур обработки данных в зависимости от информации, хранящейся в базе данных, и требований предъявляемых пользователем.

6. Результаты диссертационной работы используются в Центре информационных технологий в проектировании РАН в рамках Программы фундаментальных научных исследований ОИТВС РАН «Фундаментальные основы информационных технологий и систем» и были отражены в сводном отчете РАН за 2003 год в томе 2 «Основные результаты в области естественных, технических, гуманитарных и общественных наук», а также в учебном процессе кафедры ИТАС МИЭМ при изучении дисциплин «Базы данных», «Методы принятия решений», «Интеллектуальные подсистемы САПР».

Основное содержание диссертации отражено в следующих работах:

1. Солодовников В.И., Солодовников И.В. Модель деревьев решений, использующая логику предикатов // Новые информационные технологии: материалы седьмого научно-практического семинара. -МИЭМ. М., 2004. - сс.43-47.

2. Солодовников В.И. Нейронные сети как средство извлечения и анализа информации баз данных. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М. ~:МИЭМ, 2003.-c.176.

3. Солодовников В.И. Использование нейросетевых моделей для извлечения и анализа информации баз данных. // Новые информационные технологии: материалы шестого научно-практического семинара. - МИЭМ. М., 2003. - сс.3-7.

4. Давыдов СВ., Солодовников В.И. Подсистема имитационного моделирования локальных вычислительных сетей и инженерные основы ее реализации. // Новые информационные технологии: материалы шестого научно-практического семинара. - МЙЭМ. М., 2003. - ее. 104-113.

5. Зародов А.Ф., Солодовников В.И., Солодовников И.В., Шрамков И.Г. Использование нейросетевой модели тестирования для прогнозирования поведения технических систем. // Информационные технологии в проектировании, производстве и образовании. Сборник трудов Российской научно-технической конференции. Ковров: КГТА, 2002. - сс.7-8.

6. Солодовников В.И. Использование графовых моделей принятия решений для разработки ВС. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М. ~:МИЭМ, 2002. - с. 188.

7. Солодовников В.И., Солодовников И.В. Разработка ВС с использованием графовых моделей принятия решений. // Новые информационные технологии: материалы пятого научно-практического семинара. - МИЭМ. М., 2002. - сс.63-68.

8. Солодовников ВЛ., Солодовников И.В. Использование баз данных для построения нейросетевых моделей. // Всероссийская научно-техническая конференция «Аэрокосмические технологии», г. Реутов, НПО машиностроения, 2002.-СС.256-258.

9. Солодовников В.И. Построение OLAP систем для управления транспортными моделями. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М. ~:МИЭМ, 2001. - ее. 145-146.

10. Солодовников В.И. Подход к разработке подсистемы выбора решений в системе управления динамическим объектом. // Материалы третьего научно-практического семинара Новые информационные технологии - М., МИЭМ., 2000. - сс.28-34.

11. Солодовников В.И. Использование нейросетевых моделей в системе управления динамическим объектом. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М. ~:МИЭМ, 2000.-ее. 139-140.

Подписано к печати " 14 " 04 2004 г. Отпечатано в типографии МИЭМ. Москва, ул. М. Пионерская, 12 Заказ № <53 .. Объем ЬО п.л. Тираж 100 экз.

Р- 78 9 0

ВВЕДЕНИЕ.

ГЛАВА 1. Методы определения закономерностей в системах обработки данных.

1.1. Типы возможных закономерностей и способы обработки данных

1.2. Методы «интеллектуального» анализа данных (Data Mining)

1.3. Нейросетевой подход «интеллектуального» анализа данных.

1.3.1. Математическая модель нейрона.

1.3.2. Искусственная нейронная сеть, принципы функционирования

1.3.3. Анализ существующих систем, использующих нейросетевые технологии.

1.3.4. Выбор нейропарадигм для решения задач Data Mining.

1.4. Принципы теории принятия решений

1.4.1. Использование деревьев решений и семантических сетей

1.5. Выводы.

ГЛАВА 2. Автоматизированное проектирование нейросетевых структур обработки данных с использованием деревьев решений

2.1. Использование деревьев решений в качестве инструментария теории принятия решений

2.1.1. Модифицированная модель деревьев решений.

2.1.2. Операции над деревьями решений.

2.2. Предобработка и кодирование данных.

2.2.1. Проверка данных на непротиворечивость.

2.2.2. Кодирование входов-выходов.

2.2.3. Нормировка данных.

2.3. Нейросетевые структуры обработки данных.

2.3.1. Многослойный персептрон.

2.3.2. RBF- сеть.

2.3.3. Структура сети динамических ядер.

2.3.4. Алгоритм определения количества классов в данных.

2.3.5. Самоорганизующиеся карты Кохонена.

2.3.6. Визуализация данных. 2.4. Прямой и обратный вывод. Семантические сети.

2.5. Выводы.

ГЛАВА 3. Модели и алгоритмы представления деревьев решений и нейронных сетей в подсистеме принятия решений и проектирования.

3.1. Структура подсистемы.

3.2. Информационная и объектно-ориентированная модели нейронных сетей

-33.2.1. Разработка системы классов для описания НС. Создание объектно-ориентированной модели.

3.2.2. Алгоритм формирования НС в рамках объектно-ориентированной модели.

3.2.3. Разработка структуры фрагмента БД для хранения НС и результатов их работы.

3.3. Осуществление вывода и формирование правил на основании модифицированных деревьев решения.

3.3.1. Структура фрагмента БД для деревьев решения.

3.3.2. Алгоритм прямого вывода.

3.3.3. Алгоритм обратного вывода. Формирование правил.

3.4. Представление деревьев решения в виде фактов семантической сети.

3.4.1. Алгоритм преобразования деревьев решений в семантическую сеть.

3.4.2. Структура фрагмента БД для семантических сетей.

3.5. Выводы.

ГЛАВА 4. Разработка программного и информационного обеспечения.

4.1. Выбор программных средств и СУБД.

4.2. Конструирование НС с помощью разработанной системы классов

4.3. Программная реализация приложения.

4.3.1. Ввод и построение деревьев решения.

4.3.2. Представление результатов прямой и обратной цепочек рассуждений.

4.3.3. Формирование выборки и предобработка данных.

4.3.4. Построение нейросетей.

4.4. Выводы.

Стремительное развитие хранилищ данных и рост объемов хранимой информации в самых различных областях человеческой деятельности предъявляет новые требования к системам обработки информации, в частности, все большую актуальность приобретают системы, способные не просто складировать данные, но и позволяющие осуществлять их анализ и обработку, находить закономерности, производить прогнозирование и выдавать результат в виде, доступном человеку. Это обусловлено тем фактом, что «сырые» данные хранят в себе большие потенциальные возможности по извлечению полезной аналитической информации, на основе которой можно выявлять скрытые тенденции, строить стратегию развития, находить новые решения.

Методы обработки данных могут быть разделены на три категории. К первой относятся методы использующие средства формирования простых запросов и отчетов, позволяющие осуществлять выборку фактов произошедших в прошлом и удовлетворяющих некоторым, заранее определенным условиям. Вторая включает в себя средства OLAP (On-Line Analyzing Processing - системы оперативной аналитической обработки), которые позволяют производить комплексный анализ имеющейся в хранилище информации, осуществлять ее обобщение, получение итогов и сравнений путем экстраполяции, агрегации, построения сводных отчетов и гиперкубического представления. Более глубокий анализ данных осуществляется методами Data Mining или, как их еще называют, методами «интеллектуального» анализа данных. Эта технология направлена на обнаружение в «сырых» данных, предварительно неизвестных, практически полезных и доступных интерпретации знаний. Ее важным положением является нетривиальность разыскиваемых шаблонов, которые представляют собой правила и закономерности, свойственные выборкам данных. Таким образом, найденные шаблоны могут отражать неочевидные, неожиданные регулярности в данных, составляющие так называемые скрытые знания.

Data Mining является мультидисциплинарной областью, возникшей и развивающейся на базе достижений прикладной статистики, распознавания образов, методов искусственного интеллекта, теории баз данных и др. Особенностью алгоритмов и методов, применимых при «интеллектуальном» анализе данных, является отсутствие ограничительных рамок априорных предположений о структуре выборки и виде распределений значений анализируемых показателей, чему наилучшим образом соответствует использование подхода, основанного на нейросетевых технологиях обработки данных или нейросетевой Data Mining. Это обусловлено способностью нейронных сетей к моделированию нелинейных процессов, работе с зашумленными данными, адаптивностью (обучение и самообучение), возможностью работы с малым объемом или полным отсутствием априорной информации.

В настоящее время существует достаточно большое количество систем, включающих в себя элементы нейросетевых технологий. Однако, их недостатком может служить то обстоятельство, что в большинстве своем они напрямую не предназначены для анализа информации, накопленной в базе данных, и требуют от пользователя специальной подготовки и понимания в какой ситуации и для каких целей может использоваться та или иная сеть, как произвести предобработку и кодирование данных. Кроме того, многие системы содержат всего один вид нейросети (например: многослойный персептрон с возможностью изменять количество внутренних слоев и нейронов в слоях). В информационных системах наибольшее распространение нейронные сети нашли в информационных хранилищах для решения задач прогнозирования. Однако, в таких системах они являются элементом программного обеспечения, к которому пользователь фактически не имеет доступа, и решают ограниченный, заранее определенный класс задач.

-6В связи с вышеизложенным, актуальной становится задача разработки подсистемы нейросетевой обработки информации, которая предоставляет механизмы, позволяющие осуществлять проектирование и нахождение необходимых параметров сети для решения различных задач Data Mining на имеющихся данных.

Целью диссертационной работы является разработка методов, математических моделей и алгоритмов подсистемы принятия решений для автоматизированного проектирования нейросетевых структур обработки баз данных в зависимости от требований предъявляемых пользователем и имеющихся у него исходных данных.

Указанная цель потребовала решения следующих задач:

- Формирование критериев применимости нейронных сетей для решения различных задач Data Mining, а также анализ зависимостей архитектуры сетей, количества слоев и нейронов в каждом слое, от исходных данных;

- Разработка и совершенствование средств и методов поддержки принятия решений при выборе и автоматизированном проектировании нейросетевых структур обработки данных в зависимости от поставленной задачи и имеющихся исходных данных;

- Разработка информационной и объектно-ориентированной моделей нейронных сетей, структуры фрагмента базы данных (БД) для хранения деревьев решения, семантических сетей, а так же шаблонов и уже построенных нейросетей.

Методы исследования. Исследование и решение поставленных в диссертации задач проводилось на основе комплексного использования теории вероятности, теории графов, теории принятия решений, искусственного интеллекта, теории систем. В разработке программного обеспечения использовалась технология объектно-ориентированного программирования.

Так, в первой главе обсуждаются вопросы современного состояния и тенденции развития методов и систем обработки информации, хранящейся в базах данных и информационных хранилищах. Анализируются различные типы возможных закономерностей в данных и методы применимые в Data Mining. Обосновывается выбор нейросетевых методов «интеллектуального» анализа данных, осуществляется выбор нейропарадигм. Рассматриваются принципы теории принятия решений, а также возможности ее использования при проектировании, обучении и анализе нейросетевых структур в зависимости от требований, предъявляемых пользователем и имеющихся исходных данных.

Вторая глава посвящена вопросам использования деревьев решения в качестве инструментария теории принятия решений при проектировании нейросетевых структур «интеллектуального» анализа данных. Рассматриваются различные варианты деревьев решения, определяются модифицированные деревья и операции над ними. Проводится анализ используемых нейросетевых парадигм, направленный на формулировку правил построения в некотором смысле оптимальных сетей, и формируются критерии их применимости для решения конкретных задач. Так же анализируются зависимости архитектуры сети (количество слоев и нейронов в каждом слое) от входных данных, тем самым, осуществляется построение модифицированных деревьев решений. Рассматриваются вопросы предобработки, кодирования и визуализации исходных данных, а также проверки их на непротиворечивость. Определяются способы ускорения процесса принятия решений и обеспечения дополнительных возможностей в конструировании механизмов вывода с помощью семантических сетей.

В третьей главе приведены результаты исследований и разработки методов принятия решений, а также структуры фрагмента БД для автоматизированного проектирования нейросетевых структур обработки данных. Определена структура подсистемы проектирования и принципы взаимодействия между ее основными блоками. Разработаны информационная и объектно-ориентированная модели нейронных сетей, а также структура фрагмента БД для хранения используемых шаблонов и уже построенных сетей. Рассмотрены принципы формирования правил, осуществления прямого и обратного выводов на основании модифицированных деревьев решения и представления деревьев решений в виде фактов семантической сети

Четвертая глава посвящена вопросам реализации приложения, позволяющего осуществлять автоматизированное проектирование нейронных сетей с помощью модифицированных деревьев решения, с учетом имеющихся исходных данных и требований, предъявляемых пользователем. Разработаны алгоритмы функционирования приложения и выполнена их программная реализация. Обоснован выбор использованного программного обеспечения и системы управления базами данных. Рассмотрен принцип поэтапного построения нейронных сетей с точки зрения объектно-ориентированного подхода. Представлены интерфейсы пользователя для ввода и формирования деревьев решения, предобработки данных и проектирования нейросетей. Рассмотрены варианты представления отчетов о результатах вывода по дереву решения и полученных правилах. Научная новизна и результаты, выносимые на защиту:

Разработаны модифицированные деревья решений и операции над ними для применения в качестве инструментария в подсистемах поддержки принятия решений.

- Разработаны алгоритмы формирования правил, прямого и обратного вывода для модифицированных деревьев решения, а также алгоритм представления деревьев решения в виде фактов семантической сети.

Разработана методика для повышения эффективности выбора и автоматизированного проектирования нейросетевых структур обработки данных с помощью модифицированных деревьев решения.

- Разработаны информационная модель нейронной сети для ее хранения в базе данных и объектно-ориентированная модель, представляющая собой иерархию классов, для программной реализации, что позволяет осуществлять ее гибкое и эффективное конструирование.

Практическая ценность полученных результатов.

Сформированы критерии применимости нейронных сетей для решения различных задач «интеллектуального» анализа данных. Проведен анализ зависимостей архитектуры сетей, количества слоев и нейронов в каждом слое, от исходных данных.

Разработаны алгоритмы и методы использования модифицированных деревьев решений и семантических сетей в качестве инструментария под держки принятия решений в системах Data Mining.

На основании разработанных информационной и объектно-ориентированной моделей нейросетей, определена структура базы данных приложения для хранения, как шаблонов, так и уже построенных нейросетей, деревьев решений и семантических сетей, а также результатов их использования.

Реализовано приложение, осуществляющее автоматизированное проектирование нейросетевых структур обработки данных в зависимости от информации, хранящейся в базе данных, и требований, предъявляемых пользователем.

Разработанные методы и алгоритмы могут стать основой для создания интеллектуальных средств поддержки принятия решений.

Реализация и внедрение результатов исследований. Результаты диссертационной работы используются в Центре информационных технологий в проектировании РАН по проекту «Развитие методов математического моделирования для оценки и прогнозирования действия факторов риска на деятельность человека» в рамках Программы фундаментальных научных исследований ОИТВС РАН «Фундаментальные основы информационных технологий и систем» и были отражены в сводном отчете РАН за 2003 год в томе 2 «Основные результаты в области естественных, технических, гуманитарных и общественных наук» (приложение 1).

Для использования в учебном процессе кафедры ИТАС МИЭМ разработано приложение, осуществляющее проектирование нейросетевых структур в зависимости от требований предъявляемых пользователем и имеющихся исходных данных. Результаты работы использованы при изучении дисциплин «Базы данных», «Методы принятия решений», «Интеллектуальные подсистемы САПР». Подготовлены (в соавторстве) и изданы методические указания к практическим занятиям по курсу «Банки данных» (приложение 2).

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на научно-практических семинарах «Новые информационные технологии» (Москва, 2000-2004 гг.), научно-технических конференциях студентов, аспирантов и молодых специалистов МИЭМ (Москва, 2001-2003 гг.), всероссийской научно-технической конференции «Аэрокосмические технологии» (Реутов, НПО машиностроения, 2002 г.), научно-технической конференции «Информационные технологии в проектировании, производстве и образовании» (Ковров, 2002 г.).

Объем и структура диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 83 наименований и приложений. Основное содержание диссертации изложено на 134 страницах и содержит 43 рисунка и 19 таблиц.

4.4. Выводы

Разработанное приложение, позволяет осуществлять автоматизированное проектирование нейронных сетей с помощью модифицированных деревьев решения, с учетом имеющихся исходных данных и задач, ставящихся пользователем. Это потребовало разработки и программной реализации алгоритмов формирования деревьев решения, а так же принципов поэтапного построения нейронных сетей с точки зрения иерархии классов и объектно-ориентированного подхода. Представлены интерфейсы пользователя для ввода и формирования деревьев решения, предобработки данных и проектирования нейросетей. Рассмотрены варианты представления отчетов о результатах вывода по дереву решения и полученных правилах. Обоснован выбор использования программных средств, таких как: язык программирования Visual Basic и MS Access 2000, что обусловлено их широким распространением, простотой использования, доступностью. Они представляют собой основной подход компании Microsoft в стратегии доступа к данным, как для больших, так и для малых организаций. Таким образом, использование указанных программных средств позволило осуществить отладку алгоритмов и внедрение в учебный процесс. Результаты диссертационной работы также используются в Центре информационных технологий в проектировании РАН в рамках Программы фундаментальных научных исследований ОИТВС РАН «Фундаментальные основы информационных технологий и систем».

ЗАКЛЮЧЕНИЕ

В диссертационной работе получены следующие основные результаты:

1. Проведен анализ существующих систем и методов «интеллектуальной» обработки данных и обосновано использование нейросетевого подхода в качестве инструментария для решения задач Data Mining. Сформированы критерии применимости нейронных сетей. Проведен анализ зависимостей архитектуры сети, количества слоев и нейронов в каждом слое от исходных данных. Определено, что основной сложностью применения нейросетевого подхода является проблема выбора оптимальной топологии и объема сети, которая бы наилучшим образом удовлетворяла решаемой задаче на имеющихся данных. Это обусловило использование методов принятия решений для автоматизированного проектирования нейросетевых структур обработки и анализа данных.

2. Разработаны модифицированные деревья решений и операции над ними для применения в качестве инструментария в подсистеме поддержки принятия решений при выборе и автоматизированном проектировании нейросетей. Такая структура деревьев решения ориентирована на модели нейронных сетей с частью характеристик, известных заранее, некоторые значения параметров могут формироваться автоматически, осуществляя запросы к базе данных, другие вводятся в процессе взаимодействия с пользователем, причем это взаимодействие зависит от вида сети. Для проверки используемого подхода было рассмотрено использование таких характерных нейросетевых парадигм как: многослойный персептрон, RBF-сеть, сеть динамических ядер и самоорганизующаяся карта Кохонена.

3. Разработаны алгоритмы формирования правил, прямого и обратного вывода для модифицированных деревьев решения, а также алгоритм представления деревьев решения в виде фактов семантической сети.

4. Разработаны информационная модель нейронной сети для хранения в базе данных и объектно-ориентированная модель, представляющая собой иерархию классов, для программной реализации, что позволяет осуществлять ее гибкое и эффективное конструирование. На основании разработанных моделей рассмотрены принципы формирования нейросетей, определена структура базы данных приложения для хранения, как шаблонов, так и уже построенных нейросетей, деревьев решений и семантических сетей, а также результатов их использования.

5. Разработано и реализовано приложение, осуществляющее автоматизированное проектирование нейросетевых структур обработки данных в зависимости от информации, хранящейся в базе данных, и требований предъявляемых пользователем.

6. Результаты диссертационной работы используются в Центре информационных технологий в проектировании РАН по проекту «Развитие методов математического моделирования для оценки и прогнозирования действия факторов риска на деятельность человека» в рамках Программы фундаментальных научных исследований ОИТВС РАН «Фундаментальные основы информационных технологий и систем» и были отражены в сводном отчете РАН за 2003 год в томе 2 «Основные результаты в области естественных, технических, гуманитарных и общественных наук», а также в учебном процессе кафедры ИТАС МИЭМ при изучении дисциплин «Базы данных», «Методы принятия решений», «Интеллектуальные подсистемы САПР».

1. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Статистическое оценивание зависимостей. — М.: Финансы и статистика, 1985.

2. Арнольд В.И. О представлении функций нескольких переменных в виде суперпозиции функций меньшего числа переменных // Математическое просвещение. № 19. - С. 41-61.

3. Баркер Скот Ф. Профессиональное программирование в Microsoft Access 2002.f М.: Издательский дом «Вильяме», 2002.

4. Боровиков В.П. , Популярное введение в программу STATISTICA, КомпьютерПресс, 1998.

5. Бэстенс Д.-Э., Ван Ден БергВ.М., Вуд Д., Нейронные сети и финансовые рынки. Принятие решений в торговых операциях. 1995.

6. Васильев В.И. Распознающие системы. Справочник. Киев: Наукова думка, 1983.

7. Галушкин А.И. Теория нейронных сетей. М.: Радиотехника, 2000.

8. Галушкин А.И. Нейрокомпьютеры. М.: ИПРЖР, 2000.

9. Гарнаев А.Ю. и др. Microsoft Office 2000: разработка приложений. СПб.: БХВ - Санкт-Петербург, 2000.

10. О.Головко В* А. Нейронные сети: обучение, организация и применение. -М.: Радиотехника, 2001.

11. П.Горбань А.Н., Дунин-Барковский B.JI., Кирдин А.Н. и др. Нейроинформатика. — Новосибирск: Наука. Сибирское предприятие РАН, 1998.

12. Горбунов В.Н. Особенности нейросетевого решения задачи распознавания; образов в условиях малой обучающей выборки. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. М. ~:МИЭМ, 2003. - сс. 120-122.

13. Городецкий В.И, Самойлов В.В., Малов А.О. Современное состояние технологии извлечения знаний из баз и хранилищ данных. // AI News. Новости искусственного интеллекта. № 4, 2002.

14. Давыдов С.В., Солодовников В.И. Подсистема имитационного моделирования локальных вычислительных сетей и инженерные основы ее реализации. // Новые информационные технологии: материалы шестого научно-практического семинара. МИЭМ. М., 2003. — сс.104-113.

15. Демиденко Е.З. Линейная и нелинейная регрессия. — М.: Финансы и статистика, 1981.

16. Дженнингс Роджер Руководство разработчика баз данных на Visual Basic 6.: Пер. с англ. К.; М.; СПб.; Издательский дом «Вильяме», 2000.

17. Дж. Ван Гик. Прикладная общая теория систем. М.: Мир, 1981.

18. Дюк В.А. Обработка данных на ПК в примерах. СПб.: Питер, 1997.

19. Дюк В., Самойленко A. Data Mining: учебный курс. -СПб: Питер, 2001.

20. Ежов А., Шумский С., Нейрокомпьютинг и его применение в экономике и бизнесе, 1998.

21. Зиновьев А.Ю. Визуализация многомерных данных. Красноярск: ИПЦ КГТУ, 2000.

22. Интернет ресурс компании StatSoft, Inc., 1984-2001.

23. Искусственный интеллект: В 3 кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова. М.: Радио и связь, 1990.

24. Каллан Р. Основные концепции нейронных сетей. М.: Издательский дом «Вильяме», 2001.

25. Киселев М., Соломатин Е., Средства добычи знаний в бизнесе и финансах // Открытые системы. 1997. №4. С. 41-44.

26. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных // Докл. ФН СССР.-1956. Т. 108, №2. - С. 179-182.

27. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного // Докл. ФН СССР.-1957. Т. 114, №5. - С. 953-956.

28. Конелли Т., Бегг К. Базы данных. Проектирование, реализация и сопровождение. Теория и практика. М.: Изд. «Вильяме», 2000

29. Корн Г., Корн Т., Справочник по математике для научных работников и инженеров. М., Наука, 1974.

30. Корячко В.П., Курейчик В.М., Норенков И.П. Теоретические основы САПР. М.: Энергоатомиздат, 1987.

31. Кохонен Т. Ассоциативные запоминающие устройства. М.: Мир, 1982.

32. Кулаичев А.П. Средства и программные системы анализа данных // Мир ПК, 1994. № 10.

33. Кузин Л.Т. Основы кибернетики. Т.1. Математические основы кибернетики. М. «Энергия», 1973.

34. Кузин Л.Т. Основы кибернетики: В 2-х т. Т.2. Основы кибернетических моделей. М. «Энергия», 1979.

35. Левин Р., Дранг Д., Эделсон Б. Практическое введение в технологию искусственного интеллекта и экспертных систем с иллюстрацией на Бейсике. М., Финансы и статистика, 1991.

36. Лорьер Ж.-Л. Системы искусственного интеллекта. М.: Мир, 1991.

37. Майзер X., Эйджин Н., Тролл Р. и др. Исследование операций: в 2-х томах. Методологические основы и математические методы. Пер. с англ./Под И88 ред. Дж. Моудера, С. Элмаграби. М.: Мир, 1981. Т. 1.

38. Мак-Каллок У.С., Питтс В., Логическое исчисление идей, относящихся к нервной активности. Нейрокомпьютер №3, №4, 1992.

39. Медведев B.C., Потемкин В.Г. Нейронные сети. Matlab 6. / Под общ. Ред. К.т.н. В.Г. Потемкина. М.: Диалог-МИФИ, 2002.

40. Минский М., Пайперт С. Персептроны. М.: Мир, 1971.

41. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия. М.: Финансы и статистика, 1982.

42. Новалис Сьюзанн Access 2000 руководство по VBA. М.: Издательство «Лори», 2001.45.0суга С- Обработка знаний. М.: Мир, 1989.

43. Робототехника и гибкие автоматизированные производства. В 9-ти книгах. Кн. 6. Техническая имитация интеллекта / В.М. Назаретов, Д.П. Ким. Под ред. ИМ. Макарова. М., Высшая школа, 1986.

44. Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983.

45. Розенблат Ф., Принципы нейродинамики. М. Мир, 1964

46. Сайт компании BaseGroup Labs© 1995, 2002.

47. Скурихин A.H. Нейронные сети: определения, концепции, применение. — М.: ЦНИИ управления экономики и информатики, 1991.

48. Солодовников В.И., Солодовников И.В. Модель деревьев решений, использующая логику предикатов // Новые информационные технологии: материалы седьмого научно-практического семинара. МИЭМ. М., 2004. -сс.43-47.

49. Солодовников В.И. Нейронные сети как средство извлечения и анализа информации баз данных. // Научно-техническая конференция студентов,аспирантов и молодых специалистов МИЭМ. Тезисы докладов. М. ~:МИЭМ, 2003.-с. 176.

50. Солодовников В.И. Использование нейросетевых моделей для извлечения и анализа информации баз данных. // Новые информационные технологии: материалы шестого научно-практического семинара. МИЭМ. М., 2003. -сс.3-7.

51. Солодовников В.И. Использование графовых моделей принятия решений для разработки ВС. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. М. ~:МИЭМ, 2002.

52. Солодовников В.И., Солодовников И.В. Разработка ВС с использованием графовых моделей принятия решений. // Новые информационные технологии: материалы пятого научно-практического семинара. МИЭМ. М., 2002. — сс.63-68.

53. Солодовников В.И. Подход к разработке подсистемы выбора решений в системе управления динамическим объектом. // Материалы третьего научно-практического семинара Новые информационные технологии — М., МИЭМ., 2000. сс.28-34.

54. Солодовников В.И. Использование нейросетевых моделей в системе управления динамическим объектом. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. М. ~:МИЭМ, 2000. - сс.139-140.

55. Справочник по теории автоматического управления / под ред. A.A. Красковского.-М.: Наука, 1987.

56. Тьюки Дж. Анализ результатов наблюдений. Разведочный анализ. М.: Мир, 1981.

57. Тюрин Ю.Н., Макаров A.A. Анализ данных на компьютере. М.: ИНФРА-М, Финансы и статистика, 1997.

58. Уоссермен Ф., Нейрокомпьютерная техника. М. Мир, 1992

59. Уэно X., Кояма Т., Окамото Т. и др. Представление и использование знаний. М.: Мир, 1989.

60. Феррари Д. Оценка производительности вычислительных систем. М.: Мир, 1981.

61. Хант Э. Искусственный интеллект. М. Мир, 1978.

62. Хювенен Э., Сеппянен И. Мир ЛИСПА. Методы и системы программирования. М., Мир, 1990.

63. Bishop С.М. Neural Networks and Pattern Recognition. Oxford Press. 1995.

64. Bradley P., Fayyad U., Mangasarian O. Data Mining: Overview and Optimization Opportunity //http://www.research.microsoft.com/datamine/.

65. Cabena P., Hadjinian P., Stadler R., et al. Discovering Data Mining/ From Conceptto Implementation. Prentice Hall PTR, 2000.

66. Codd E., Codd S., Salley C. Providing OLAP (On-line Analytical Processig) to User-Analysts: An IT Mandate // E.F.Codd & Associates, 1993.

67. Fayyad U., Piatetsky-Shapiro G., Smyth P. From Data Mining to Knowledge Discovery: An Overview //Advances in Knowledge Discovery and Data Mining/ Cambridge; Mass: MIT Press, P. 1-34.1996.

68. Funahashi K.I., On the approximate realization of continuos mapping by neural networks. Neural Networks 2,1989.

69. Han J., Kamber M. Data Mining. Concept and Techniques. Morgan Kaufman Publishers, 2000.

70. Harris C.J., Moore C.G., Brown M., Intelligent Control: Aspects of Fuzzy logic and Neural Nets, World Scientific Publishing, 1993.

71. Haykin S., Neural Networks: A Comprehensive Foundation, MacMillan College Publishing Co., New York, 1994.

72. Holland J. Adaptation in natural and artificial systems. Cambridge: MIT Press, MA, 1992.

73. Kohonen Т., "Self-Organizing Maps"(2-nd edition), Springer, 1997.

74. Kohonen Т., "Self-Organizing Maps", Springer, 1995.

75. McDowell D.M., Irwin G.W., McConnell G., Online neural control applied to a bank-to-turn missile autopilot. Control Engineering Research Group, The Queen's University of Belfast, Northern Ireland, UK, 1995.

76. Mueller J.-A., Lemke F. Self-organizing Data Mining. Berlin, Dresden, 1999.82.+Riedmiller M., Braun H. A direct adaptive method for faster backpropagation learning: The RPROP algorithm. San Francisco, 1993.

77. Visual Basic 6.0. СПб.: БХВ - Санкт-Петербург, 2000.