автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Решение задач кластеризации на основе хаотической нейронной сети

На правах рукописи

ЖУКОВА Софья Витальевна

РЕШЕНИЕ ЗАДАЧ КЛАСТЕРИЗАЦИИ НА ОСНОВЕ ХАОТИЧЕСКОЙ НЕЙРОННОЙ СЕТИ

Специальность 05 13 01 Системный анализ, управление и обработка

информации (информатика)

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 2007

□ □ЗОВ 134В

003061348

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный политехнический университет»

Научный руководитель кандидат технических наук, доцент

Бендерская Елена Николаевна

Официальные оппоненты доктор технических наук, профессор

Шкодырев Вячеслав Петрович

кандидат технических наук, доцент Станкевич Лев Александрович

Ведущая организация Вычислительный центр имени А А Дородницына

Российской академии наук, г Москва

Защита состоится «27» сентября 2007 года в 16 00 часов на заседании диссертационного совета Д 212 229 18 ГОУ ВПО «Санкт-Петербургский государственный политехнический университет» по адресу 195251, Санкт-Петербург, ул Политехническая, д 21, ауд 325

С диссертацией можно ознакомиться в фундаментальной библиотеке ГОУ ВПО «Санкт-Петербургский государственный политехнический университет»

Автореферат разослан " ¿22," ¿А/р/р _2007 г

Ученый секретарь диссертационного совета

доктор технических наук, профессор ¡//'/ Шашихин В Н

{¿'—у

ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИОННОЙ РАБОТЫ Актуальность работы обусловлена как актуальностью решаемой задачи кластерного анализа и актуальностью развития соответствующей области приложения результатов ее решения - автоматизированных и автоматических систем обработки и анализа информации, так и актуальностью исследования предлагаемых методов решения, связанных с активно развиваемыми в настоящее время теориями хаоса, синхронизации и синергетики

Несмотря на наличие общей постановки задачи кластеризации, попытки учесть при ее решении ту или иную специфику обрабатываемых данных приводят к различного рода ограничениям и заведомо лишают универсальности предлагаемые методы решения Кроме того, существующие методы кластеризации требуют привлечения эксперта на тех или иных этапах решения задачи, что препятствует разработке автоматических систем обработки информации При этом особенно сильно назрела потребность именно автоматической сортировки и систематизации больших объемов информации различного назначения Требуется привлечение новых принципов обработки информации для решения задачи кластеризации с высокими показателями качества в условиях отсутствия априорной информации о кластеризуемых объектах

Предметная область исследования лежит на стыке нескольких научных направлений и относится с одной стороны к области «выявления знаний» (Data mining) и распознаванию образов, с другой стороны к нелинейной динамике и синергетике Основные достижения в области теории и практики распознавания образов принадлежат научным школам М А Айзермана, В И Васильева, А И Галушкина, Ю И Журавлева, Н Г Загоруйко, В В Рязанова, Я 3 Цыпкина и другим, а из наиболее известных зарубежных разработчиков математических методов распознавания - У Гренандер, Р Дуда, Т Кохонен, К Фукунага, Г Хакен, Дж Хопфилд, К Фу и другие Значительные результаты в исследовании нелинейной динамики и хаоса достигнуты в работах В С Анищенко, В С Афраймовича, В В Астахова, Г Н Борисюка, А С Дмитриева, А П Кузнецова, С П Кузнецова, С П Курдюмова, А Ю Лоскутова, Г Г Малинецкого, И С Пригожина, М Г Розенблюма, Д И Трубецкова, A JI Фрадкова и других, а также в исследованиях научных лабораторий под руководством JI Ангелшш, К Канеко, JI Майстренко, А Михайлова, А Пиковского, М Романо, Н Рулькова Последние разработки и исследования в данных областях характеризуются их взаимным проникновением и, как указывается во многих работах, новые решения могут быть получены именно при системном и междисциплинарном подходах

/

1 ^ »

и <

Основное внимание в работе уделено развитию методов обработки информации и раскрытию их связи с законами функционирования объектов различной природы, в которых проявляется существование общего механизма упорядочивания, несмотря на присутствие хаоса в функционировании отдельных элементов системы Тема исследований связана с приоритетным направлением развития науки, технологий и техники Российской Федерации, утвержденным Президентом Российской Федерации и Правительством Российской Федерации в 2006 году - «Информационно-телекоммуникационные системы», и относится к области разработки математического и программного обеспечения систем анализа и обработки информации, а также визуализации и анализа информации на основе компьютерных методов обработки информации

Цель работы заключается в разработке метода кластеризации не требующего привлечения эксперта при решении задачи кластеризации и ориентированного на обработку данных любого происхождения в условиях отсутствия какой-либо априорной информации об обрабатываемых данных Достижение указанной цели позволит осуществлять разработку современных систем автоматической обработки информации и принятия решений

В качестве объекта исследования выступает хаотическая нейронная сеть, а предметом исследования является явление кластеризации и возможность его использования для решения задач кластерного анализа

Методы исследования Методы теории распознавания образов, методы нелинейной динамики, методы теории информации, методы имитационного моделирования, методы системного анализа, методы матричных вычислений, методы теории вероятностей и математической статистики

Обоснованность и достоверность полученных результатов обусловлена: всесторонним анализом поставленной цели и подходов к ее достижению, корректностью используемого математического аппарата, согласованностью полученных экспериментальных результатов с предполагаемыми результатами качественного анализа условий экспериментов, всесторонней проверкой предлагаемых методов путем экспериментальных исследований на различных исходных данных, охватывающих различные варианты сложности задачи кластеризации, практическим применением разработанных методов для решения задач информационного поиска и кластеризации текстовых документов специального корпуса документов русского языка, апробацией работы на 17-ти международных и всероссийских конференциях

Основные научные результаты и их новизна

1 Предложен новый способ расчета масштабирующей константы в предлагаемом методе решения задачи кластеризации на основе ХНС, основывающийся на построении триангуляции Делоне и позволяющий преодолеть априорную неопределенность о пространственной конфигурации кластеров Этот способ обеспечивает выход динамики ХНС в «упорядоченный» режим и позволяет обеспечить за счет этого требуемое качество кластеризации — отсутствие ошибок кластеризации при использовании соответствующих методов обработки выходов ХНС

2 Предложены новые методы обработки информации с выходов ХНС, позволяющие добиться решения задачи кластеризации с существенным уменьшением ошибок при условии непротиворечивости исходных данных и отсутствия сильной разреженности данных в пространстве признаков метод выявления фазовой синхронизации на основе конечных разностей и метод выявления фрагментарной хаотической синхронизации па основе анализа мгновенных значений выходов в системах большой размерности

3 Предложен новый метод представления текстовых документов, основанный на учете структуры документа посредством учета распределения ключевых слов по документу и позволяющий повысить качество решения задачи категоризации документов

Теоретическая значимость полученных результатов

1 Предложен новый метод кластеризации, позволяющий решать задачу кластеризации для условных изображений высокой сложности (кластеры могут быть пространственно не разнесены и могут иметь общий центр кластеров) и при этом не требующий априорной информации о числе и топологии кластеров Предлагаемый новый метод кластеризации на основе хаотической нейронной сети, включающий новый способ вычисления масштабирующей константы и новые методы выявления синхронизации в хаотических сигналах, имеют большое значение для развития теоретических основ систем автоматической обработки информации и принятия решений

2 Предложенные в данной работе методы обработки хаотических последовательностей позволяют выявлять фазовую синхронизацию хаотических сигналов и кластерную фрагментарную синхронизацию, а также определять границы возникновения и разрушения синхронизации в динамических системах большой размерности, что важно для развития теории нелинейной динамики и хаоса

Практическая значимость работы

1 Разработанный метод кластеризации на основе ХНС позволяет добиться решения задачи кластеризации с существенным уменьшением ошибок и может быть использован как база для разработки систем автоматической обработки информации и принятия решений (обработка изображений любой природы, 2Б, ЗБ, а также Ы-мерных образов, сегментация изображений, выделение объектов на изображении и др) в составе информационных систем и информационно-управляющих комплексов

2 Показано, что предложенный метод кластеризации и способ представления текстовых документов применимы для решения задачи информационного поиска, и могут дополнить существующие подходы в системах информационного поиска для повышения качества их работы

3 Разработанная имитационная модель ХНС и программное средство для исследования динамических систем на базе дискретных отображений могут быть использованы как в учебных целях, так и для проведения НИР

Апробация работы. Результаты работы докладывались и обсуждались на 17-ти международных и всероссийских конференциях, опубликованы в 23-х печатных работах, в том числе статья в издании из списка ВАК Результаты работы отмечены дипломом Политехнического симпозиума «Молодые ученые - промышленности Северо-Западного региона» (2005 г), дипломом Саикт-Петербургского конкурса компьютер - центра «Кей» за лучшую научную работу (2005 г ), дипломом I степени Международной Балтийской олимпиады по управлению (2006 г), дипломом победителя конкурса «Молодые таланты - будущее науки Политехнического университета» (2006 г), дипломом лауреата стипендии Правительства РФ (2006 г ) По результатам работы получен грант фонда «Научный потенциал» ( 2007 г)

Внедрение. Результаты работы использованы для решения научно-исследовательских и практических задач, что подтверждается двумя актами о внедрении - из МГУ им Ломоносова и НПО «Импульс»

Структура и объем работы Работа состоит из введения, пяти глав и заключения, содержит 187 стр , 19 табл и 63 рис , список использованной литературы содержит 140 наименований

СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность темы диссертации, сформулирована цель, определены объект и предмет, а также поставлены задачи исследования, дана краткая характеристика содержания работы

В первой главе рассмотрено место кластерного анализа в задачах обработки информации и раскрыто содержание предметной области «выявление знаний» За-

дача кластеризации формулируется, как задача поиска разбиения К множества объектов A'ira 'заранее заданное или неизвестное число i» непересекающихся подмножеств множества X в соответствии с некоторым критерием меры сходства между объектами: К = \К^К2.....Кт}, Кç X,i = \.m,

m

U^i = KtCiKj =o, ¿v-д

где X - = ,лг,2—,jt^д - число кластеризуемых объектов.

р число признаков, которыми описывается каждый объект. Каждый объект представляется как точка в многомерном пространстве признаков и участвует в формировании условного изображения.

При отсутствии какой-либо априорной информации о кластеризуемых объектах, когда в об Lite м виде не удастся сформировать критерий качества кластеризации исходя из предположений о вероятностно-статистической организации кластеров или их структурной организации, а также при невозможности привлечения критерия минимизации потерь через функцию риска, отражающую специфику дальнейшего использования результатов решения задачи кластеризации, критерии качества кластеризации строятся таким образом, чтобы удовлетворить следующие логически целесообразные неформальные требования: внутри групп объекты должны быть тесно связаны между собой; объекты разных групп должны быть далеки друг от друга; при прочих равных условиях распределения объектов по группам должны быть равномерными.

Именно для таких случаев для проверки различных методов кластеризации, учеными различных стран были сформированы тестовые наборы двухмерных и трехмерных данных, а также многомерных данных, подлежащих кластеризации. На этих данных принято проверять новые методы кластеризации для определения областей их использования и степени универсальности. В общем случае выделяют простые задачи кластеризации, в которых кластеры компактны и пространственно разнесены и сложные задачи кластеризации, в которых кластеры пространственно не разнесены и имеют сложную топологию ( рис. I ).

О

Рис. 1, Некоторые примеры тестовых изображений (Для наглядности цветами отмечена требуемая принадлежность точек-объектов к кластерам).

Нацеленность многих алгоритмов кластерного анализа на определенную структуру групп объектов в пространстве признаков может приводить к неправильным результатам кластеризации, если гипотеза о типе групп или виде распределений неверна При этом сами методы, на основе которых построены алгоритмы кластеризации, удовлетворяют сформированным критериям качества

Сравнительный анализ результатов работы классических методов кластеризации позволяет говорить о том, что все рассмотренные методы кластеризации обладают ограничениями, связанными с необходимостью наличия априорной информации о структуре кластеров и об их числе Поэтому необходимо привлечение новых принципов обработки информации, основанных на исследовании системных связей и закономерностей функционирования объектов

Во второй главе раскрыта связь нелинейной динамики и хаотических систем с задачами кластеризации путем представления связи явления синхронизации в нелинейных динамических системах из большого числа элементов и феномена образования кластеров Для решения поставленной задачи кластеризации наибольший интерес представляет модель, предложенная японским физиком К Канеко, состоящая из большого числа элементов Каждый индивидуальный элемент функционирует в соответствии с логистическим отображением, порождающим сложную динамику и хаос Динамика системы описывается системой разностных уравнений

/оо=1 -¿у2, (1)

п 1

где N - число элементов в системе, г. - параметр связи, а Л - параметр логистической функции

В работах К Канеко, С П Кузнецова для системы с диссипативной и инерционной глобальной связью было обнаружено, что имеет место феномен кластеризации Он состоит в том, что при соответствующих условиях динамика системы может характеризоваться самопроизвольным распределением элементов по группам — кластерам, так что, в пределах кластера мгновенные состояния элементов в любой момент точно совпадают Для характеристики режимов функционирования, возникающих в зависимости от параметров в системе с глобальной связью К Канеко было проделано большое количество экспериментов на основе системы разностных уравнений (1) при разных соотношениях параметров е и X и со случайно выбранными начальными условиями, в результате была введена концепция режимов когерентный режим (один кластер), упорядоченный режим (малое число кластеров), частично упорядоченный режим (сосуществуют кластеры с

б

большой и малой населенностью), турбулентный режим (число кластеров порядка числа элементов в системе)

Принципиальной особенностью модели К Канеко является тот факт, что в упорядоченном режиме независимо от начальных условий образуются определенное число кластеров, но состав самих кластеров зависит от начальных условий Группа итальянских физиков во главе с Л Аигелини заинтересовавшись именно феноменом кластеризации, обнаруженным и исследованным К Канеко, провела исследования, целью которых было управление абстрактной кластеризацией, которая возникает в системе логистических отображений Ими было предложено использовать модель К Канеко для решения задачи кластеризации в ее классической постановке и была разработана новая модель - хаотическая нейронная сеть (ХНС)

По структуре ХНС представляет собой однослойную рекуррентную сеть, в которой элементы связаны «каждый с каждым», без образования связи «сам на себя» В начальный момент времени на выходе нейронов случайные числа из диапазона [-1,1] и они определяют начальное состояние сети В качестве передаточной функции нейрона используется логистическая функция с параметром 1=2 Входной образ инициализирует ХНС, и как результат, формируется матрица весовых коэффициентов взаимного влияния пар объектов друг на друга Таким образом, обучение ХНС заключается в формировании один раз весовых коэффициентов сети, которые в течение работы сети не изменяются

=ехр(-|лг, |2 /2а2) , (2)

где \xj-Xj |— евклидово расстояние между двумя объектами, а — масштабирующая константа, рассчитывается как среднее расстояние между ^-ближайшими соседями Математическая модель, описывающая функционирование ХНС

уЛ' + 1) = -?г11*.1АУ,(.0), (3)

где с, = 2* ».л = 1.лг, а /(у) определяется как в (1)

В третьей главе проведено аналитическое исследование ХНС как динамической системы с хаосом Рассмотрены существующие подходы к анализу динамическим систем с хаосом В решетках связанных осцилляторов, в частности в ХНС, при определенных параметрах системы могут возникать ансамбли синхронно колеблющихся элементов Под аттрактором в таких системах понимается колебательный кластер Если происходит образование нескольких кластеров, говорят о нескольких аттракторах

Анализ работ итальянских ученых позволил сделать вывод о том, что на качество кластеризации будут влиять различные составляющие метода, качественный анализ всех составляющих метода позволил выявить следующее

1 Расчет весовых коэффициентов проводится при условии определения масштабирующей константы через априорно неизвестное число ^-ближайших соседей и с учетом взаимного расстояния между элементами Анализ результатов кластеризации, полученных с помощью классических методов, позволяет сделать вывод о том, что использование только меры близости, определяемой по расстоянию, не позволяет решить задачу кластеризации сложных изображений Поэтому этот недостаток, возможно, повлияет и на результаты кластеризации с помощью ХНС

2 При используемом методе обработки значений выходов нейронов ХНС на некотором периоде наблюдения Тн осуществляется замена непрерывных значений из диапазона [-1,1] дискретными значениями из {0,1}, для последующего расчета энтропии Шеннона и информации, которую несет каждый нейрон о каждом Это приводит к потере информации о динамике ХНС, поскольку на значение энтропии влияет число изменений уровня сигналов, но пе учитывается порядок их следования Поэтому, скорее всего, такой метод обработки будет показывать хорошие результаты только в случае кластеризации простых изображений Кластеризация сложных изображений окажется невозможной из-за потери информации о «тонкой структуре» аттрактора

3 При различных сочетаниях параметров весовых коэффициентов ХНС может попадать либо в когерентный, либо в упорядоченный, либо в неупорядоченный режимы Попадание в тот или иной режим зависит от значения масштабирующей константы а При этом только в упорядоченном режиме возможно решение задачи кластеризации Управление динамикой ХНС в модели Ангелиии путем варьирования числа ближайших соседей для установления факта независимости результатов кластеризации от начальных условий требует проведения очень большого объема экспериментов

Предложенный итальянскими учеными подход очень интересен, но его воплощение переводит задачу преодоления априорной неопределенности о числе и топологии кластеров в задачу определения параметров ХНС путем многократного повторения экспериментов с целью получения устойчивого разбиения при кластеризации конкретного изображения Независимость образования кластеров от начальных условий в упорядоченном режиме не только с точки зрения числа кластеров, но и их состава становится возможным за счет перехода от одинаковой силы связи между элементами к индивидуальным силам связи, которые и определяют уникальность динамики ХНС при кластеризации каждого конкретного изображения От определения устойчивости в классическом смысле осуществляется переход к определению устойчивости синхронизации хаотических сигналов Установ-

леиие факта устойчивой синхронизации взаимосвязанных хаотических осцилляторов удается аналитически только в случае их полной синхронизации В случае большого количества точек, а, следовательно, и большого числа глобально связанных хаотически колеблющихся нейронов, вычисление формальных характеристик каждой из хаотических последовательностей оказывается нецелесообразным с точки зрения решения задачи кластеризации Поэтому динамику ХНС необходимо рассматривать в целом для того, чтобы выявить уникальную «музыку» колебаний каждого из кластеров

В четвертой главе проведено всестороннее экспериментальное исследование ХНС на базе разработанной имитационной модели ХНС Основными инструментами исследования являлись различные способы визуализации результатов работы ХНС При реализации алгоритма работы ХНС, была отмечена его высокая вычислительная сложность, вызванная характером глобальной связи между элементами Соотношение (3) означает, что динамика ХНС описывается системой разностных уравнений, изменение состояния одного выхода системы зависит от всех остальных выходов, что сильно влияет на время решения задачи в случае кластеризации изображений, состоящих из нескольких тысяч точек В данной работе предлагается путем перехода к матричному представлению значительно сократить время решения задачи кластеризации Г(/ + 1) = С*(Ж*/(Г«)]], У(0 = (*('),УЖ), УЛО),

С = (С„С2, ,С„), (4)

В ходе имитационного моделирования выполнена проверка зависимости результатов кластеризации от начальных условий, от времени наблюдения, от времени переходного процесса, от числа ближайших соседей Подтвердились предположения, выдвинутые в третьей главе относительно возможных недостатков базового метода кластеризации на основе ХНС Дальнейшие исследования были направлены на их преодоление

- снятие неопределенности относительно топологии входного условного изображения (поиск способа определения масштабирующей константы без использования априорно неизвестного числа соседей),

- поиск причины недостаточного качества кластеризации сложных изображений,

- поиск способов улучшения качества кластеризации сложных изображений

Для определения ближайших соседей в соответствии с топологией изображения предлагается использовать построение триангуляции Делоне

Предлагаемый способ расчета масштабирующей константы. Шаг 1,Для подлежащего кластеризации изображения строится триангуляция Делоне с использованием общеизвестных математических моделей. Шаг 2. Для каждой точки формируется вектор В1, содержащий номера ^¡ближайших по топологии точек в соответствии с полученной в шаге 1 триангуляцией, В, аЬ, ¡,- множество номеров всех N элементов во входном изображении.

Шаг 3. Для каждой точки формируется список расстояний = Ч, е от р.

ой точки до ее (/,ближайших точек, список которых В, получен в шаге 2.

Шаг 4. Для каждой точки находится среднее расстояние V< до вссх ее <]\ ближайших соседей: V! =— X V,¡

— „ и qi.SK

где ¡=1,Ы, ц, число ближайших по топологии точек для /-ои точки.

Шаг 5. Вычисляется константа <т, как среднее арифметическое и з всех средних V',.

Сравнение экспериментальных и аналитических значений масштабирующей константы а (см. табл.) для разных изображений показало работоспособность предложенного подхода.

Таблица. Значения масштабирующей константы а и результаты кластеризации

Теоретическое 2.5 1.1 1.7 2.4

Экспериментальное 3.0 - 6.5 0.6-1.2 1.3 -3.0 2.3-3.1

Результаты • ...........■I.........;; [ »"У 1 ; А 1; *А, - .. 2 # * 41 й'

кластери за-ции ... * 1 & # > € ] ( / * > ' * * 4* ¿и % и # : «V1,1н;1к Щ '

1 1 т ::......._ Ф...........! к , М > > ■ $ [Л * ( ® " г

В коллективах слабо связанных объектов, в случае, когда все объекты коллектива идентичны, то есть их динамика описывается одним и тем же функциональным преобразованием, выделяют следующие типы внутренней синхронизации: синфазнуК» синхронизацию; противофазную синхронизацию; фазовую синхронизацию; обобщенную синхронизацию, когда удастся выявить некоторую функциональная зависимость одного сигнала от другого. В данной работе предлагается новый метод выявления фазовой синхронизации, который можно кратко охарактеризовать как метод «горок». Его основная идея - сравнение направлений динамики и

каждый момент времени для всех выходов нейронов Алгоритм реализации предлагаемого нового метода определения фазовой синхронизации

Шаг 1. Получение характеристического вектора приращений На этом шаге каждый из полученных хаотических сигналов

Шаг 2. Получение характеристического вектора приращений хаотического сигнала 0 , ' =Л' с помощью единичной ступенчатой функции 1(Л,(0)

Шаг 3. Проводится поэлементное сравнение пар л, (0 и «,(/), результатом которого является матрица схожести 5" = {Би}

Если векторы полностью совпадают, то это означает, что их динамика имеет одинаковый характер — значения выходов либо одновременно увеличиваются, либо одновременно уменьшаются Наличие синхронизации соответствует в матрице схожести единичным значениям Предложенный метод «горок» является равноценным с точки зрения качества кластеризации по отношению к методу обработки на основе вычисления информации, но оказывается более эффективным с точки зрения вычислительных затрат

Как было выявлено в данной работе фазовая синхронизация колебаний нейронов является характерной при кластеризации простых изображений При кластеризации сложных изображений в ХНС возникает более сложная синхронизация - кластерная фрагментарная синхронизация, выявленная в данной работе Под фрагментарной синхронизацией понимается синхронизация в том смысле, что каждый кластер характеризуется некоторой уникальной «мелодией» колебаний, «рисунком» колебаний (см рис 2)

Многочисленные попытки выявить «мелодии колебаний», соответствующие разным кластерам, в результате привели к следующим выводам Новый метод выявления хаотической синхронизации должен основываться на сравнении абсолютных значений выходов нейронов, а не на сравнении затрубленных тем или иным способом значений Нейроны, отвечающие за соседние точки одного кластера, ко-

где Тн — период наблюдения за динамикой ХНС, Ы— число выходов ХНС преобразуется в вектор приращений А, (О

леблются синхронно, имеет место фазовая синхронизация. Значения выходов пей-ронов, отвечающих за соседние точки одгюго кластера, которые пс являются непосредственным соседями, мог ут колебаться асинхронно. Можно говорить о том, что в целом между точками одного кластера распространяется волна кластеризации. Объединение не соседних точек, в одни кластер происходит за счет динамики находящихся между ними соседей.

Дшшита хаовгаескон нейронной сети

Дгаеыгасз каминяноЛ нейронной сета

■Ив

тт

¿и № Г

ШШ

4ГО

5Ш Тн

ею

1000

Рис. 2. Фрагментарная синхронизация. Алгоритм реализации предлагаемого нового метода нмяплемия фрагментарной синхронизации.

Шаг 1. 11олучить т матриц невязок А/, абсолютных значениях выходов ХНС по всему периоду наблюдения для каждого /-го нейрона по соотношению:

ти=1у|(з)-ук(з)|, к = Щ ¡=ГЯк>1'

где л номер отсчета дискретного времени в диапазоне периода наблюдения I - номер нейрона, относительно которого расчитываются невязки со всеми другими к нейронами. В результате получим, что А-ая строка в 1-ой матрице - это вектор невязок в значениях выходов к-ого и /-ого нейронов. Шаг 2.Определить для каждой к-ой строки-вектора во всех матрицах невязок А/, насколько вее его элементы меньше, чем некоторая допустимая невязка £', получив в результате матрицы бинарный вектор = {ц^}: 1, т^ й с

ёь =

0, т'кч > с

, к, 1=1,14, ы = 1, ТМ, к > \

п

где g[s - 5-ый элемент в ¿-ой строке /-ой матрицы невязок Шаг 3. Рассчитать процент отсчетов, в которых нарушается граница,

установленная допустимой невязкой, т е определить процент нулевых

элементов р[ для каждой строки в каждой из матриц ^ Шаг 4. Принять решение о том, что /-ый иу-ый нейрон относятся к одному

кластеру, если различие в их динамике меньше, чем абсолютное значение допустимой невязки е и это требование нарушается не больше чем в р процентах от общего числа отсчетов, т е если р'к < р,1 = й?Д = 1Д к > 1 Предложенный в данной работе метод выявления хаотической фрагментарной синхронизации позволил решить правильно все тестовые задачи кластеризации без привлечения эксперта

В пятой главе представлен пример практического использования ХНС В качестве приложения ХНС выбрана актуальная задача категоризации документов, как подзадача информационного поиска Анализ причин неудовлетворительной работы поисковых систем показал, что одним из существенных факторов предопределяющих результаты обработки и выбора текстовой информации является упрощенное представление документов и формальное описание их в соответствии с частотой употребления слов, представленных в тексте

В данной работе предлагается новый метод представления документов, основанный на распределении ключевых слов по документам Для этого каждый документ разбивается на М групп слов Число групп М определяется в соответствии с правилом Стерджеса, т е правилом выбора числа интервалов разбиения для построения гистограммы распределения (для каждого документа находится свое М) Далее рассчитывается частота встречаемости каждого из ключевых слов в каждой из М групп Чем больше документ, тем больше слов в группе Преимущество распределенного частотного представления текста заключается в том, что при минимальных вычислительных затратах при формальном представлении документа на вход системы кластеризации происходит минимальная потеря информации о специфике документа Таким образом, выявляя корреляцию употребления отдельных групп слов в тексте, удастся выявить и внутреннюю структуру текста и значит в какой-то мере его содержание-смысл

Для проверки работы ХНС на /»-мерных данных в работе рассматривается задача информационного поиска как задача рубрикации документов на английском языке, что позволяет легче сформировать корректные тестовые наборы документов и становится проще оценивать качество кластеризации Выделим интересующую

пас тематику из предметной области artificial intelligence (искусственный интеллект) - neural networks (нейронные сети) Для того чтобы смоделировать ситуацию, близкую к реальной задаче информационного поиска, кроме документов из рубрики neural networks в множество документов, подлежащих кластеризации включим документы из двух смежных рубрик - fuzzy logic (нечеткая логика) и machine learning Из сформированного множества документов необходимо выделить документы, относящиеся к тематике neural networks В данной постановке задачи в качестве признакового пространства будут выступать множество ключевых слов рубрики neural networks Исходными данными для кластеризации будут являться представления документов, сформированные на основе выбранного признакового пространства

В результате работы ХНС удалось получить решение задачи кластеризации, совпадающее па 80% с заранее сформированными кластерами Кроме того, были проведены эксперименты по проверке влияния способа представления документов на качество кластеризации Анализ полученных результатов позволяет сделать заключение, что предложенный способ частотного распределения ключевых слов дает лучшие результаты по сравнению с классическим частотным способом Результаты правильной кластеризации выше на 3-5%

Заключение включает перечисление решенных задач, полученные научные результаты, отмечается их новизна и достоверность, теоретическая и практическая значимость, внедрение, сделан вывод о достижении цели исследования В работе получены следующие научные результаты:

1 На основе проведенной систематизации существующих методов кластеризации и выявленных ограничений по их применению путем проверки работы на известных тестовых задачах кластеризации различной степени сложности определены причины неудовлетворительного решения задач кластеризации при отсутствии априорной информации о структуре и числе кластеров и показана необходимость привлечения новых принципов обработки информации. Полученные результаты могут служить основой для определения состава математического обеспечения систем автоматической обработки информации

2 На основе проведенной систематизации результатов работ, связанных с исследованием нелинейных динамических систем большой размерности на базе логистического отображения, показана возможность и обоснована целесообразность их применения для решения задач кластеризации

3 Определены диапазоны значений параметров метода кластеризации иа основе ХНС, при которых достигается высокое качество кластеризации, что позволило сформулировать рекомендации по настройке ХНС

4 Предложена новая математическая интерпретация модели ХНС в терминах матричных вычислений, позволяющая значительно уменьшить время получения результата кластеризации при программной реализации Предложенная модель может служить основой для разработки аппаратной поддержки ХНС

5 Предложен новый способ расчета масштабирующей константы в предлагаемом методе решения задачи кластеризации на основе ХНС, основывающийся на построении триангуляции Делоне и позволяющий преодолеть априорную неопределенность о пространственной конфигурации кластеров Этот способ обеспечивает выход динамики ХНС в «упорядоченный» режим и позволяет обеспечить за счет этого требуемое качество кластеризации - отсутствие ошибок кластеризации при использовании соответствующих методов обработки выходов ХНС

6 Предложены новые методы обработки информации с выходов ХНС, позволяющие добиться решения задачи кластеризации с существенным уменьшением ошибок при условии непротиворечивости исходных данных и отсутствия сильной разреженности данных в пространстве признаков метод выявления фазовой синхронизации на основе конечных разностей и метод выявления кластерной фрагментарной синхронизации хаотических сигналов на основе анализа мгновенных значений выходов в системах большой размерности

7 Показана применимость ХНС для решения задачи информационного поиска А также предложен новый метод представления текстовых документов, основанный на учете структуры документа посредством учета распределения ключевых слов по документу и позволяющий повысить качество решения задачи категоризации документов

Основные научные работы, опубликованные по теме диссертации

1 Бендерская E.H., Жукова C.B. Хаотическая нейронная сеть в задачах кластерного анализа //Научно-технические ведомости СПбГТУ, 2006.- № 4(46).

- С.14-18. (из перечня ВАК РФ)

2 Бендерская Е H , Жукова С В Современные методы кластеризации на основе нейронных сетей и нечеткой логики //Труды международной научно-практической конференции «Системный анализ в проектировании и управлении» - СПб, 2004 - Ч 2 - С 159-160

3 Бендерская Е H, Жукова С В Применение хаотической нейронной сети для решения задач кластеризации //Сб докладов второй всероссийской конференции «Управление и информационные технологии» - Пятигорск, 2004 - Т 1 - С 306-309

4 Бендерская Е Н , Жукова С В Решение задач кластеризации с использованием хаотической нейронной сети //Сб науч тр 7-ой всероссийской научно-технической конференции «Нейроинформатика-2005» -Москва, 2005 —Ч 1 -С 54-60

5 Бендерская Е Н , Жукова С В Сравнительный анализ хаотической нейронной сети и нейронной сети Кохонена //Материалы международной научно-технической конференции «Интеллектуальные и многопроцессорные системы» - Таганрог-Донецк-Минск, 2005 - Т 2 - С 228-232

6 Жукова С В Решение задачи информационного поиска с использованием хаотической нейронной сети // Труды политехнического симпозиума «Молодые ученые — промышленности Северо-Западного региона» -СПб Изд-во Политехи ун-та, 2005 - С 28-31

7 Бендерская Е Н , Жукова С В Обработка текстовой информации с использованием хаотической нейронной сети //Материалы Всероссийской научной конференции «Квантитативная лингвистика исследования и модели» - Новосибирск,

2005 -С 271-282

8 Жукова С В , Бендерская Е Н Применение методов нелинейной динамики в задачах кластерного анализа //Материалы Всероссийской межвузовской научно-технической конференции «XXXIV неделя науки СПбГПУ» - СПб, 2006 -4 5-С 3-5

9 Бендерская Е Н , Жукова С В Кластеризация текстовых документов с применением хаотической нейронной сети //Вычислительные, измерительные и управляющие системы Сб науч тр - СПб Изд-во СПбГПУ, 2005 - С 6-9

10 Бендерская Е Н , Жукова С В Сравнительный анализ методов обработки результатов работы хаотической нейронной сети //Материалы IX международной конференции «Интеллектуальные системы и компьютерные науки» - М МГУ,

2006 - Т 2 - Ч 1 - С 60-62

11 Жукова С В Решение задач информационного поиска на основе современных методов кластеризации //Сб материалов Всероссийского конкурса инновационных проектов аспирантов и студентов по приоритетному направлению развития науки и техники "Информационно-телекоммуникационные системы" / Под ред АО Сергеева -М ГНИИ ИТТ "Информика", 2006 - С 156-157

12 Жукова С В Матричная интерпретация математической модели хаотической нейронной сети //Материалы конференций Политехнического симпозиума «Молодые ученые - промышленности Северо-Западного региона» - СПб Изд-во Политехи ун-та, 2006 - С 76-77

13 Бендерская Е Н , Жукова С В Использование триангуляции Делоне для управления динамикой хаотической нейронной сети // «Системный анализ в проектировании и управлении» - СПб, 2007 - Ч 3 - С 45-47

14 Бендерская Е Н , Жукова С В Методы формального представления текстовых документов для анализа в автоматических системах //Труды и материалы III международного конгресса исследователей русского языка «Русский язык исторические судьбы и современность» - М МГУ, 2007 - С 613-614

Лицензия ЛР №020593 от 07 08 97

Подписано в печать 19 06 2007 Формат 60x84/16 Печать цифровая Уел печ л 1,0 Тираж 100 Заказ 1753Ь

Отпечатано с готового оригинал-макета, предоставленного автором, в Цифровом типографском центре Издательства Политехнического университета 195251, Санкт-Петербург, Политехническая ул , 29 Тел 550-40-14 Тел/факс 297-57-76

ВВЕДЕНИЕ.

1. КЛАСТЕРНЫЙ АНАЛИЗ В ЗАДАЧАХ ОБРАБОТКИ ИНФОРМАЦИИ.

1.1. Предметная область «извлечение знаний» и задачи кластерного анализа.

1.2. Актуальность задачи кластеризации.

1.3. Формальная постановка задачи кластеризации.

1.4. Классические методы кластеризации.

1.5. Оценка качества решения задачи кластеризации.

1.6. Тестовые наборы данных.

1.7. Сравнительный анализ методов кластерного анализа и нерешенные задачи

1.8. Постановка задач диссертационной работы.

ВЫВОДЫ.

2. СИСТЕМАТИЗАЦИЯ ТЕОРЕТИЧЕСКИХ ОСНОВ МОДЕЛИ ХАОТИЧЕСКОЙ НЕЙРОННОЙ СЕТИ С УЧЕТОМ СПЕЦИФИКИ ЗАДАЧИ КЛАСТЕРИЗАЦИИ.

2.1. Анализ связи между хаотической динамикой и решением задачи кластеризации.

2.1.1. Связь явления синхронизации с феноменом образования кластеров.

2.1.2. Исследование явления синхронизации в задачах обработки информации.

2.1.3. Анализ возможности использования хаотических колебаний для решения задач кластеризации.

2.2. Структура алгоритм функционирования хаотической нейронной сети.

2.3. Сравнение хаотической нейронной сети с другими нейронными сетями.

2.3.1. Принцип функционирования соревновательной сети и результаты ее работы

2.3.2. Алгоритм функционирования сети Кохонена.

2.3.3. Анализ различий между хаотической нейронной сетью и сетью Кохонена.

2.3.4. Результаты имитационного моделирования нейронной сети Кохонена на тестовых наборах данных.

Выводы.

3. АНАЛИТИЧЕСКОЕ ИССЛЕДОВАНИЕ ХНС КАК ДИНАМИЧЕСКОЙ СИСТЕМЫ С ХАОСОМ.

3.1. Существующие подходы к анализу динамических систем с хаосом.

3.2. Исследование возможностей управления хаотической синхронизацией.

3.4. Аттрактор как колебательный кластер.

3.5. Анализ возможности использования модели Л. Ангелини для решения задачи кластеризации.

Выводы.

4. РАЗРАБОТКА И ИССЛЕДОВАНИЕ НОВОГО МЕТОДА КЛАСТЕРИЗАЦИИ НА ОСНОВЕ ХНС.

4.1. Имитационное моделирование ХНС по модели Ангелини.

4.1.1 Разработка имитационной модели ХНС.

4.1.2. Разработка плана экспериментов.

4.1.3. Принцип функционирования ХНС на примере простейшего изображения.

4.1.4. Исследование зависимости результатов кластеризации от начальных условий

4.1.5. Исследование зависимости результатов кластеризации от времени наблюдения

4.1.6. Исследование зависимости результатов кластеризации от времени переходного процесса.

4.1.7. Исследование зависимости результатов кластеризации от числа ближайших соседей.

4.1.8. Кластеризация сложных изображений с помощью хаотической нейронной сети.

4.2. Разработка нового метода кластеризации на основе ХНС.

4.2.1. Использование триангуляции Делоне для управления динамикой ХНС.

4.2.2. Недостатки существующего метода обработки значений выходов ХНС.

4.2.3. Типы синхронизации в хаотической нейронной сети.

4.2.4. Новый метод выявления фазовой синхронизации хаотических сигналов.

4.2.5. Новый метод выявления кластерной фрагментарной синхронизации хаотических сигналов в динамических системах большой размерности.

4.2.7. Анализ полученных результатов.

Выводы.

5. ПРАКТИЧЕСКОЕ ПРИЛОЖЕНИЕ ХАОТИЧЕСКОЙ НЕЙРОННОЙ СЕТИ.

5.1. Задача информационного поиска.

5.2. Кластеризация в задаче информационного поиска.

5.3. Анализ полученных результатов.

Выводы.

Актуальность работы обусловлена как актуальностью решаемой задачи кластерного анализа и актуальностью развития соответствующей области приложения результатов ее решения - автоматизированных и автоматических систем обработки и анализа информации, так и актуальностью исследования предлагаемых методов решения, связанных с активно развиваемыми в настоящее время теориями хаоса, синхронизации и синергетики.

Несмотря на наличие общей постановки задачи кластеризации, попытки учесть при ее решении ту или иную специфику обрабатываемых данных приводят к различного рода ограничениям и заведомо лишают универсальности предлагаемые методы решения. Кроме того, существующие методы кластеризации требуют привлечения эксперта на тех или иных этапах решения задачи, что препятствует разработке автоматических систем обработки информации. При этом особенно сильно назрела потребность именно автоматической сортировки и систематизации больших объемов информации различного назначения. Требуется привлечение новых принципов обработки информации для решения задачи кластеризации с высокими показателями качества в условиях отсутствия априорной информации о кластеризуемых объектах.

Предметная область исследования лежит на стыке нескольких научных направлений и относится с одной стороны к области «выявления знаний» (Data mining) и распознаванию образов, с другой стороны к нелинейной динамике и синергетике. Основные достижения в области теории и практики распознавания образов принадлежат научным школам М.А. Айзермана, В.И.Васильева, А.И. Галушкина, Ю.И. Журавлева, Н.Г. Загоруйко, В.В. Рязанова, Я.З. Цыпкина и другим, а из наиболее известных зарубежных разработчиков математических методов распознавания - У. Гренандер, Р. Дуда, Т. Кохонен, К. Фукунага, Г. Хакен,

Дж. Хопфилд, К. Фу и другие. Значительные результаты в исследовании нелинейной динамики и хаоса достигнуты в работах B.C. Анищенко, В.В. Астахова, Г.Н. Борисюка, A.C. Дмитриева, A.A. Короновского, А.П. Кузнецова, С.П. Кузнецова, А.Ю. Лоскутова, И.С. Пригожина, A.B. Шабунина, А.Е. Храмова и других, а также в исследованиях научных лабораторий под руководством JL Ангелини, К.Канеко, Дж. Куртса, JI. Майстренко, А. Михайлова, А. Пиковского, М. Романо, Н. Рулькова. Последние разработки и исследования в данных областях характеризуются их взаимным проникновением и, как указывается во многих работах, новые решения могут быть получены именно при системном и междисциплинарном подходах.

Анализ задачи кластеризации выполнен с системных позиций целостности и выявления общих закономерностей в существующем в природе явлении кластеризации. Как обобщающие системный и информационный подходы к анализу и решению задачи кластеризации привлекаются основные положения синергетики, изучающей процессы самоорганизации в различных системах.

Основное внимание в работе уделено развитию методов обработки информации и раскрытию связи с законами функционирования объектов различной природы (физической, химической и других), в которых также проявляется существование общего механизма упорядочивания, несмотря на присутствие хаоса в функционировании отдельных элементов системы. Проведенная систематизация и обобщение используются для решения задачи кластеризации и извлечения неочевидных знаний о наличии общности между объектами, а также могут быть полезны для решения задач прогнозирования и принятия других решений. Тема исследований связана с приоритетным направлением развития науки, технологий и техники Российской Федерации «Информационно-телекоммуникационные системы», утвержденным Президентом Российской Федерации и Правительством Российской

Федерации в 2006 году и относится к области разработки математического и программного обеспечения систем анализа и обработки информации, а также визуализации и анализу информации на основе компьютерных методов обработки информации.

Цели и задачи диссертационной работы. Цель данной работы заключается в разработке метода кластеризации не требующего привлечения эксперта при решении задачи кластеризации и ориентированного на обработку данных любого происхождения в условиях отсутствия какой-либо априорной информации об обрабатываемых данных. Достижение указанной цели позволит осуществлять разработку современных систем автоматической обработки информации и принятия решений.

Для этого необходимо решить следующие задачи.

1. Осуществить систематизацию существующих методов кластеризации и определить возможности методов и их ограничения, провести экспериментальную проверку на общепринятых тестовых задачах различной степени сложности.

2. Выполнить аналитическое исследование возможности применения теории нелинейных систем и хаоса для решения задач кластеризации.

3. Провести анализ теоретической базы хаотической нейронной сети и значимости явления синхронизации в функционировании хаотической нейронной сети.

4. Разработать план экспериментов для определения влияния параметров хаотической нейронной сети на динамические свойства сети и качество решения задачи кластеризации и разработать имитационную модель для экспериментального исследования динамики хаотической нейронной сети.

5. Провести экспериментальное исследование функционирования хаотической нейронной сети (ХНС) для определения диапазона ее параметров, при котором будет достигаться заданное качество кластеризации.

6. Провести анализ полученных результатов кластеризации для изображений различной степени сложности.

7. Определить, какие из возможных способов описания динамических процессов наиболее информативны (наглядны, применимы) в случае ХНС.

8. Определить влияние метода обработки информации на качество решения задач кластеризации и предложить новые методы, если применение имеющихся окажется недостаточным для получения результатов кластеризации с заданным качеством.

9. Определить области предпочтительного использования хаотической нейронной сети на основе обобщения полученных результатов.

В качестве объекта исследования выступает хаотическая нейронная сеть, а предметом исследования является явление кластеризации и возможность его использования для решения задач кластерного анализа.

Методы исследования. Методы теории распознавания образов, методы нелинейной динамики, методы теории информации, методы имитационного моделирования, методы системного анализа, методы матричных вычислений, методы теории вероятностей и математической статистики.

Обоснованность и достоверность полученных результатов обусловлена: всесторонним анализом поставленной цели и подходов к ее достижению; корректностью используемого математического аппарата; согласованностью полученных экспериментальных результатов с предполагаемыми результатами качественного анализа условий экспериментов; всесторонней проверкой предлагаемых методов путем экспериментальных исследований на различных исходных данных, охватывающих различные варианты сложности задачи кластеризации; практическим применением разработанных методов для решения задач информационного поиска и кластеризации текстовых документов специального корпуса документов русского языка; апробацией работы на 17-ти международных и всероссийских конференциях.

Основные научные результаты и их новизна

1. Предложен новый способ расчета масштабирующей константы в предлагаемом методе решения задачи кластеризации на основе ХНС, основывающийся на построении триангуляции Делоне и позволяющий преодолеть априорную неопределенность о пространственной конфигурации кластеров. Этот способ обеспечивает выход динамики ХНС в «упорядоченный» режим и позволяет обеспечить за счет этого требуемое качество кластеризации - отсутствие ошибок кластеризации при использовании соответствующих методов обработки выходов ХНС.

2. Предложены новые методы обработки информации с выходов ХНС, позволяющие добиться решения задачи кластеризации с существенным уменьшением ошибок при условии непротиворечивости исходных данных и отсутствия сильной разреженности данных в пространстве признаков: метод выявления фазовой синхронизации на основе конечных разностей и метод выявления фрагментарной хаотической синхронизации на основе анализа мгновенных значений выходов в системах большой размерности.

3. Предложен новый метод представления текстовых документов, основанный на учете структуры документа посредством учета распределения ключевых слов по документу и позволяющий повысить качество решения задачи категоризации документов.

Теоретическая значимость полученных результатов

1. Предложен новый метод кластеризации, позволяющий решать задачу кластеризации для условных изображений высокой сложности кластеры могут быть пространственно не разнесены и могут иметь общий центр кластеров) и при этом не требующий априорной информации о числе и топологии кластеров. Предлагаемый новый метод кластеризации на основе хаотической нейронной сети, включающий новый способ вычисления масштабирующей константы и новые методы выявления синхронизации в хаотических сигналах, имеют большое значение для развития теоретических основ систем автоматической обработки информации и принятия решений.

2. Предложенные в данной работе методы обработки хаотических последовательностей позволяют выявлять фазовую синхронизацию хаотических сигналов и кластерную фрагментарную синхронизацию, а также определять границы возникновения и разрушения синхронизации в динамических системах большой размерности, что важно для развития теории нелинейной динамики и хаоса.

Практическая значимость работы

1. Разработанный метод кластеризации на основе ХНС позволяет добиться решения задачи кластеризации с существенным уменьшением ошибок и может быть использован как база для разработки систем автоматической обработки информации и принятия решений (обработка изображений любой природы; 2Т>, ЗЭ, а также Ы-мерных образов, сегментация изображений, выделение объектов на изображении и др.) в составе информационных систем и информационно-управляющих комплексов.

2. Показано, что предложенный метод кластеризации и способ представления текстовых документов применимы для решения задачи информационного поиска, и могут дополнить существующие подходы в системах информационного поиска для повышения качества их работы.

3. Разработанная имитационная модель ХНС и программное средство для исследования динамических систем на базе дискретных отображений могут быть использованы как в учебных целях, так и для проведения НИР.

Апробация работы. Результаты работы докладывались и обсуждались на 17-ти международных и всероссийских конференциях, опубликованы в 23-х печатных работах, в том числе статья в издании из списка ВАК. Результаты работы отмечены: дипломом Политехнического симпозиума «Молодые ученые - промышленности Северо-Западного региона» (2005 г.), дипломом Санкт-Петербургского конкурса компьютер - центра «Кей» за лучшую научную работу (2005 г.), дипломом I степени Международной Балтийской олимпиады по управлению (2006 г.), дипломом победителя конкурса «Молодые таланты - будущее науки Политехнического университета» (2006 г.), дипломом лауреата стипендии Правительства РФ (2006 г.). По результатам работы получен грант фонда «Научный потенциал» (2007 г.).

Внедрение. Результаты работы использованы для решения научно-исследовательских и практических задач, что подтверждается двумя актами о внедрении - из МГУ им. Ломоносова и НПО «Импульс».

Структура и объем работы. Работа состоит из введения, пяти глав и заключения, содержит 187 стр., 19 табл. и 63 рис., список использованной литературы содержит 140 наименований.

Основные результаты работы состоят в следующем:

1. На основе проведенной систематизации существующих методов кластеризации и выявленных ограничений по их применению путем проверки работы на известных тестовых задачах кластеризации различной степени сложности определены причины неудовлетворительного решения задач кластеризации при отсутствии априорной информации о структуре и числе кластеров и показана необходимость привлечения новых принципов обработки информации. Полученные результаты могут служить основой для определения состава математического обеспечения систем автоматической обработки информации.

2. На основе проведенной систематизации результатов работ, связанных с исследованием нелинейных динамических систем большой размерности на базе логистического отображения, показана возможность и обоснована целесообразность их применения для решения задач кластеризации.

3. Определены диапазоны значений параметров метода кластеризации на основе ХНС, при которых достигается высокое качество кластеризации, что позволило сформулировать рекомендации по настройке ХНС.

4. Предложена новая математическая интерпретация модели ХНС в терминах матричных вычислений, позволяющая значительно уменьшить время получения результата кластеризации при программной реализации. Предложенная модель может служить основой для разработки аппаратной поддержки ХНС.

5. Предложен новый способ расчета масштабирующей константы в предлагаемом методе решения задачи кластеризации на основе ХНС, основывающийся на построении триангуляции Делоне и позволяющий преодолеть априорную неопределенность о пространственной конфигурации кластеров. Этот способ обеспечивает выход динамики ХНС в «упорядоченный» режим и позволяет обеспечить за счет этого требуемое качество кластеризации - отсутствие ошибок кластеризации при использовании соответствующих методов обработки выходов ХНС.

6. Предложены новые методы обработки информации с выходов ХНС, позволяющие добиться решения задачи кластеризации с существенным уменьшением ошибок при условии непротиворечивости исходных данных и отсутствия сильной разреженности данных в пространстве признаков: метод выявления фазовой синхронизации на основе конечных разностей и метод выявления кластерной фрагментарной синхронизации хаотических сигналов на основе анализа мгновенных значений выходов в системах большой размерности.

7. Показана применимость ХНС для решения задачи информационного поиска. А также предложен новый метод представления текстовых документов, основанный на учете структуры документа посредством учета распределения ключевых слов по документу и позволяющий повысить качество решения задачи категоризации документов.

8. Разработана имитационная модель ХНС и программное средство для исследования динамических систем на базе дискретных отображений.

Дальнейшие исследования должны быть направлены на разработку аппаратной поддержки ХНС, математическую основу для которой может составить предложенная матричная интерпретации модели ХНС, а также направлены на поиск подходов к сокращению вычислительных затрат разработанного метода выявления хаотической синхронизации в системах большой размерности.

ЗАКЛЮЧЕНИЕ

Проведенное системное исследование классических подходов к решению поставленной задаче и выполненный анализ возможных взаимосвязей решаемой задачи с другими активно развиваемыми направлениями нелинейной динамики и теории хаоса с учетом существования общего явления образования кластеров, как в живой, так и в неживой природе, позволили предложить метод кластеризации на основе хаотической нейронной сети и таким образом решить важную научно-техническую задачу и достичь цели данной работы - разработать новый метод кластеризации, не требующего привлечения эксперта при решении задачи кластеризации и ориентированного на обработку данных любого происхождения в условиях отсутствия какой-либо априорной информации об обрабатываемых данных. Достижение указанной цели позволяет осуществлять разработку современных систем автоматической обработки информации и принятия решений.

1. Дюк В. Data mining: учебный курс.- СПб.: Питер, 2001. 370 с.

2. Бехтерева Н.П. О мозге человека. XX век и его последняя декада в науке о мозге человека,- СПб.: Нотабене, 1997. 70 с.

3. Хакен Г. Принципы работы головного мозга: Синергетический подход к активности мозга, поведению и когнитивной деятельности.- М.: PerSe, 2001.-350 с.

4. Пригожин И., Стегнерс И. Порядок из хаоса,- М.: УРСС, 2001. 310 с.

5. Мучник Г.Ф. Порядок и хаос // Наука и жизнь.- №3.- 1988.- С. 45-60 .

6. Потапов А. Б., Али М. К. Нелинейная динамика обработки информации в нейронных сетях // Сборник «Новое в синергетике: Взгляд в третье тысячелетие».- М.: Наука, 2002. С. 315-362 .

7. Журавлев Ю.И., Рязанов В.В, Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения.- М.: Фазис, 2006. 160 с.

8. Баргесян A.A., Куприянов М.С., Степаненко В.В., Холод H.H. Методы и модели анализа данных: OLAP и Data Mining.- СПб.: БХВ-Петербург, 2004. 336 с.

9. Васильев В.И. Распознающие системы. Киев: Наукова Думка, 1984. -420 с.

10. Горелик A.JL, Скрипкин В.А. Методы распознавания. М.: Высшая школа, 2004. - 260 с.

11. Батурин A.B. Методические материалы и документация по пакетам прикладных программ. Вып. 37. Пакет прикладных программ «Кластер». М.:МЦМТИ, 1988. - 114 с.

12. Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов. -М.: Статистика, 1977. 143 с.

13. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы кибернетики. М.: Наука, 1978.- вып. 33.- С. 23-56.

14. Morchen У., Ultsch F., Nocker A., Stamm М. Databionic visualization of music collections according to perceptual distance // In Proceedings 6th International Conference on Music Information Retrieval (ISMIR 2005).-London, 2005,- pp. 396-403.

15. Ultsch A. Density estimation and visualization for data containing clusters of unknown structure // Proceedings 28th Annual Conference of the German Classification SocietyK).- Dortmund, 2005.- pp. 232-239.

16. Загоруйко H. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. 203 с.

17. Мандель И. Д. Кластерный анализ. М.: Финансы и статистика, 1988. - 254 с.

18. Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. Киев: Наукова думка, 2004. - 163 с.

19. Chin-Teng Lin, С. S. George Lee. Neural fuzzy systems: a neuro-fuzzy synergism to intelligent systems.- Prentice-Hall, 1996.- 797 p .

20. Jyh-Shing, Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence. Prentice-Hall, 2000.- 614 p.

21. Люгер Дж. Искусственный интеллект: стратегии и методы решения сложных проблем: 4-е издание: Пер. с англ. М.: Издательский дом 'Вильяме', 2003. - 864 с.

22. Потапов А. Б., Али М. К. Нелинейная динамика обработки информации в нейронных сетях // Сб. «Новое в синергетике: Взгляд в третье тысячелетие».- М.: Наука, 2002. С. 320-412.

23. Головко В.А. Нейронные сети: обучение, организация, применение.-М.: Радиотехника, 2001. -215 с.

24. Малинецкий Г. Г., Потапов А.Б. Современные проблемы нелинейной динамики,- М: УРСС, 2002. 357 с.

25. Лоскутов А.Ю., Михайлов А.С. Основы теории сложных систем. -М.: РХД, 2007. 612 с.

26. Лоскутов А.Ю., Михайлов А.С. Введение в синергетику. М: УРСС, 1990.-272 с.

27. Безручко Б.П., Короновский А.А., Трубецков Д.И., Храмов А.Е. Путь в синергетику. Экскурс в десяти лекциях. Серия "Синергетика: от прошлого к будущему". М: УРСС, 2005. - 304 с.

28. Пиковский А., Розенблюм М., Курте Ю. Синхронизация. Фундаментальное нелинейное явление. М.: Техносфера, 2002. - 496 с.

29. Блехман И.И. Синхронизация в природе и технике,- М.: Наука, 1981. -351 с.

30. Ухтомский А.А. Доминанта. М.: Наука, 1966.- 130 с.

31. Ухтомский А.А. Избранные труды, Л.: Наука, 1978.- 205 с.

32. Ливанов М.Н. Нейронные механизмы памяти // Успехи физиол. Наук.-1975.- Т.6.- С. 66-89.

33. Basar Е. EEG-brain dynamics. Relation between EEG and brain evoked potentials. Amsterdam:Elsevier, 1980.- 543 p.

34. Виноградова O.C. Гиппокамп и память. M.: Наука, 1975.- 311 с.

35. Баев К.В. Нейронные механизмы программирования спинным мозгом ритмических движений. Киев: Наукова думка, 1984.- 179 с.

36. Фриман У.Дж. Динамика мозга в восприятии и сознании: творческая роль хаоса // Синергетика и психология. Тексты. Выпуск 3. Когнитивные процессы. М.: Когито-центр, 2004.- С. 34-61.

37. Freeman WJ, Vitiello G. Nonlinear brain dynamics as macroscopic manifestation of underlying many-body field dynamics //Physics of Life, 2006.- Reviews 3.-pp. 93-118.

38. Stephens G.J., S. Neuenschwander, J.S. George, W. Singer and G.T. Kenyon. See globally, spike locally: oscillations in a retinal model encode large visual features // Biol Cybern. Epub, 2006.- V.95(4).- pp. 327-348.

39. Rodriguez R., Kallenbach U., Singer W., Munk M.H.J. Short- and long-term effects of cholinergic modulation on gamma oscillations and response synchronization in the visual cortex // J Neurosci, 2004,- V. 17(46).- pp. 10369-10378.

40. Abeles M. Local cortical circuits. An electrophysiological study. Berlin: Springer, 1982,- 490 p.

41. Atiya A., Baldi P. Oscillations and synchronizations in neural networks: an exploration of the labelling hypothesis // Intern. J. Neural Systems, 1989.-V. l.-N2.-pp. 103-124.

42. Norman K., Newman E., Detre G., Polyn S. How inhibitory oscillations can train neural networks and punish competitors // Neural computations, July 2006.- Vol. 18.- No.7. pp. 1577-1610.

43. Douglas A., Byrne J. Complex oscillations in simple neural networks //Biol. Bull., 1997.-V.192.-pp. 167-169.

44. Ward L. Synchronous neural oscillations and cognitive processes // TRENDS in Cognitive Sciences.- 2003.-V.7.- N.12.- pp. 34-78.

45. Crick F., Koch C. Consciouesness and neuroscience // Cerebral Cortex, 1998.- N8.- pp. 97-107.

46. GreyW. The Living Brain.-London, 1967.- 322 p.

47. Malsburg C. Binding in models of perception and brain function //Current Opinion in Neurobiology. 1995. - v. 5. - pp. 520-526.

48. Варфоломеев С.Д., Евдокимов Ю.М. Островский М.А. Сенсорная биология, сенсорные технологии и создание новых органов чувств человека // Вестник РАН, 2000.- Т.70.- №2,- С. 99-108.

49. Haken H. Information and Self-Organization. A Macroscopic approach to complex systems.- Berlin:Springer, 1999,- 643 p.

50. Кузнецов С.П. Динамический хаос. М.: Физматлит, 2001. - 296 с.

51. Рабинович М.И., Трубецков Д.И. Введение в теорию колебаний и волн.- М.: Наука, 2001. 560 с.

52. Динамические системы. Т.1-8. М.: ВИНИТИ, 1985-1992.- 754 с.

53. Дмитриев А. С., Панас А. И. Динамический хаос. Новые носители информации для систем связи. М: Физматлит, 2002.- 324 с.

54. Шустер Г. Детерминированный хаос. Введение. М.: Мир, 1988.-312с.

55. Берже П., Помо И., Видаль К. Порядок в хаосе. М.: Мир, 1991.- 402с.

56. Mikhailov A. S., Loskutov A. Yu. Chaos and Noise. Berlin: Springer, 1996.-356 p.

57. Ott E. Chaos in dynamical systems.- Cambridge University Press, 1993. 385 p.

58. Шарковский A.H., Майстренко Ю.А., Романенко Е.Ю. Разностные уравнения и их приложения. Киев: Наукова Думка, 1986. - 280 с.

59. Kaneko К. Phenomenology of spatio-temporal chaos // Directions in chaos.- Singapore, 1987.-pp. 272-353.

60. Kaneko K. Chaotic but regular posi-nega switch among coded attractors by cluster-size variations // Phys. Rev. Lett., 1989,- N63(14).- pp. 219-223.

61. Junji Ito, Kaneko K. Spontaneous structure formation in a network of dynamic elements // Phys. Rev. E., 2003.- N67(14).- pp.119-129.

62. Fujisaka H., Yamada T. Collective chaos indused by structures of complex networks // Prog. Theor. Phys., 1983.- N7,- pp. 171-219.

63. Fujisaka H., Yamada T. Stability theory of synchronized motion in coupled-oscillator systems // Prog. Theor. Phys., 1985.- N74.- pp. 918-921.

64. H. Daido. Population dynamics of randomly interacting self-oscillators // Prog. Theor. Phys., 1987.- N77.- pp. 622- 672.

65. Kapitaniak T., Maistrenko L. Yu. Chaos synchronization and riddled basins in two coupled one-dimensional maps // Chaos Solit. Fract., 1988.- N9.- pp. 271-282.

66. Zanette D. H., Mikhailov and A. S. Mutual synchronization of globally coupled neural networks // Phys. Rev. E, 1998.- N58.- pp. 872-895.

67. Manrubia, S.C., Mikhailov, A.S. Mutual synchronization and clustering in randomly coupled chaotic dynamical networks // Phys. Rev. E, 1999.-N60.- pp. 34-67.

68. Afraimovich V.S., Nekorkin V.I., Osipov G.V., Shalfeev V.D. Stability, structures and chaos in nonlinear synchronization networks.- Singapore World Scientific, 1994,- 763 p.

69. Anishenko V.S., Vadisova T.V., Postnov D.E., Safonova M.A. Synchronization of chaos // Int. J. Bifurc. Chaos, 1992.-N2.- pp. 633-644.

70. Blechman I.I., Landa P.S., Rosenblum M.G. Synchronization and chaotization in interacting dynamical systems // Appl. Mech. Rev., 1995.-N48(11).- pp.733 -752.

71. Brown R., Rulkov N. Designing a coupling that guarantees synchronization between identical chaotic systems //Phys. Rev. Lett., 1997a. N78(22).-pp. 4189-4192.

72. Chate H., Manneville P. Collective behaviors in spatially extended systems with local interactions and synchronous updating //Prog. Theor. Phys., 1992.-N87(1).- pp. 1-60.

73. Choi M.Y., Kim H.J., Hong H. Synchronization in a system of globally coupled oscillators with time delay // Phys. Rev. E, 2000.- N61(1). -pp. 371-381.

74. Gonzales-Miranda J.M. Communications by synchronization of spatially symmetric chaotic systems // Phys. Lett. A, 1999.- N251(2).- pp.115-120.

75. Graussberer P. Synchronization of coupled systems with spatiotemporal chaos // Phys. Lett. E, 1999.- N59(3).- pp. 2520-2522.

76. Kosarev L., Parlitz U. Synchronizing spatiotemporal chaos of partial differential equations // Phys. Rev. Lett., 1997.- N79(1).- pp. 51-54.

77. Pecora L.M., Caroll T.L., Johnson G.A., Mar D.J. Fundamentals of synchronization in chaotic systems, concepts and applications // Chaos, 1997.- N7(4).-pp. 520-543.

78. Иванова А.С., Кузнецов С.П. Волна кластеризации в цепочке систем, каждая из которых содержит набор элементов с внутренней глобальной связью // Известия вузов .'Прикладная нелинейная динамика, 2003.- т.11.- №4-5,- С. 80-88.

79. Blatt М., Wiseman S., Domany Е. Supermagnetic clustering //Phys. Rev. Lett., 1999.- N4.- pp. 763-825.

80. Angelini L., Carlo F., Marangi C., Pellicoro M, Nardullia M., Stramaglia S. Clustering data by inhomogeneous chaotic map lattices // Phys. Rev. Lett.,2000.- N85.-pp. 78-102.

81. Angelini L., Carlo F., Marangi C.,. Pellicoro M, Nardullia M., Stramaglia S. Clustering by inhomogeneous chaotic maps in landmine detection // Phys. Rev. Lett., 2001.- N86.- pp. 89-132.

82. Angelini L., Carlo F., Mannarelli M., Marangi C., Nardulli G., Pellicoro M., S. Stramaglia Chaotic neural networks clustering: application to antipersonnel mines detection by dynamical IR imaging // Proceeding of SPIE,2001.- V. 4170,-pp. 54-78.

83. Angelini L. Antiferromagnetic effects in chaotic map lattices with a conservation law. arXiv:cond-mat/0207136, Jul 2002.-V.1. (23/06/2007)

84. Haykin S. Neural networks: A comphensive foundation.-Prentice Hall, 1999.- 654 p.

85. Kohonen T. Self-Organizing Maps.- Berlin:Springer Verlag, 1995.- 412p.

86. Шкодырев В.П. Нейроинформатика и нейротехнологии. СПб.: Изд-во СПбГПУ, 2001,- 4.2.

87. Станкевич JI.A. Интеллектуальные технологии и представление знаний. Интеллектуальные системы. Учебное пособие.-СПб.:Изд-во СПбГТУ, 2000.

88. Анищенко B.C. Аттракторы динамических систем //Изв. вузов.: Прикладная нелинейная динамика,- 1997.- Т.5.- №1.- С. 109 127.

89. Ижикевич Е.М., Малинецкий Г.Г. О возможной роли хаоса в нейросистемах // ДАН, 1992.- Т.326.- С. 627-632.

90. Фрадков АЛ. Кибернетическая физика. СПб: Наука, 2003. - 207 с.

91. Андриевский Б.Р., Фрадков A.JI. Элементы математического моделирования в программных средах Matlab 5 и Scilab. СПб: Наука, 2001.-286 с.

92. Магницкий H.A., Сидоров C.B. Новые методы хаотической динамики. М.: УРСС, 2004. - 320 с.

93. Анищенко B.C., Астахов В.В., Вадивасова Т.Е. и др. Нелинейные эффекты в хаотических и стахостических системах. Москва-Ижевск: Институт компьютерных исследований, 2004. - 544 с.

94. B.C. Анищенко. Знакомство с нелинейной динамикой. Учеб. пособие. Москва-Ижевск: Институт компьютерных исследований, 2002. 146 с.

95. Чернавский Д.С. Синергетика и информация: Динамическая теория информации.- М.:УРСС, 2004. 288 с.

96. ПригожинИ., НиколисГ. Познание сложного. Введение. М.: УРСС, 2003.-311 с.

97. Кузнецов С.П. Система двух связанных отображений. Два типа связи. -http://www.sgtnd.narod.ru/science/cml/rus/index.htm (23/06/2007).

98. Шабунин А.В., Демидов В.В., Астахов В.В., Анищеко B.C. Количество информации, как мера синхронизации хаоса // Письма в ЖТФ, 2001 Т. 27, вып. 11. С. 78-85.

99. Maistrenko Y., Yanchuk S., Mosekilde E. Synchronization of time-continuous oscillators. Chaos, 2003,- V.13.- N 1,- pp. 388-400.

100. ЮЬКороновский A.A., M.K. Куровская, Храмов A.E. О соотношении фазовой синхронизации хаотических осцилляторов и синхронизации временных масштабов // Письма в ЖТФ, 2005.- Т. 31, вып. 19.- С. 5476.

101. Nikolaev S.M., Shabunin A.V., Astakhov V.V. Multistability of partially synchronous regimes in a system of three coupled logistic maps // PhysCon., 2005,- V.2.- pp. 432-465.

102. Belykh V.N., Belykh I.V., Mosekilde E. Cluster synchronization modes in an ensemble of coupled chaotic oscillators // Phys. Rev. E, 2001,- N63.-pp.98-102.

103. Купцов П.В. Кузнецов С.П.Синхронизация и коллективное поведение цепочки однонаправленно связанных отображений с периодическими граничными условиями// Изв. Вузов: ПНД, 2004.- Т. 12.- № 3.- С. 45-67.

104. Collins J.J., Chow C.C., Imhoff T.T. // Phys. Rev. E, 1995.- N52.-pp. 3321-3389.

105. Freund J.A., Schimansky-Geier // Phys. Rev. E, 1999.- N60.-pp. 1304-1334.

106. Shimada T. Kikuchi K. Periodic cluster attractors and their stabilities //

107. Symposium on Artificial Life and Robotics, 2001.- pp. 16-19.

108. Kaneko K., Willebooordse F. Kaneko K. Externally controlled attractor selection in a high-dimensional system // Phys. Rev. E, 2005.- N72.- pp. 1-7.

109. Kirill V. Nikitin, Sophya V. Zhukova. Pattern Recognition Control by Synergetic Computer // 11th International Student Olympiad on Automatic Control.-St. Petersburg, 2006.- pp. 173-177.

110. Ю.Бендерская E.H., Жукова C.B. Современные методы кластеризации на основе нейронных сетей и нечеткой логики // Труды международной научно-практической конференции «Системный анализ в проектировании и управлении».- СПб, 2004.- 4.2. С. 159-160.

111. Ш.Бендерская E.H., Жукова C.B. Сравнительный анализ хаотической нейронной сети и нейронной сети Кохонена // Материалы международной научной молодежной школы «Нейроинформатика и системы ассоциативной памяти Нейро-2005».- Москва-Таганрог, 2005-С. 172-176.

112. Жукова C.B., Бендерская E.H. Применение методов нелинейной динамики в задачах кластерного анализа // XXXIV неделя науки СПбГПУ. Материалы Всероссийской межвузовской научно-технической конференции.- 2006.- Ч. 5 С. 3-5.

113. И4.Бендерская E.H., Жукова C.B. Отражение динамики внешней среды в моделях самообучения хаотической нейронной сети // Труды международной научно-практической конференции «Компьютерное моделирование 2006».- СПб.: Изд-во СПбГПУ, 2006.- С. 134-135.

114. Пб.Бендерская E.H., Жукова C.B. Хаотическая нейронная сеть в задачах кластерного анализа // Научно-технические ведомости СПбГТУ, 2006.-№4(46).-С. 14-18.

115. П.Жукова C.B. Матричная интерпретация математической модели хаотической нейронной сети // Молодые ученые промышленности Северо-Западного региона: Материалы конференций Политехнического симпозиума 2006 года.- СПб.: Изд-во Политехи, унта, 2006.- С. 76-77.

116. Скворцов A.B., Костюк Ю.Л. Эффективные алгоритмы построения триангуляции Делоне // Геоинформатика. Теория и практика. Вып. 1.-Томск: Изд-во Том. ун-та, 1998.- С. 22-47.

117. Скворцов A.B. Триангуляция Делоне и её применение. Томск: Изд-во Том. ун-та, 2002. - 128 с.

118. Ш.Шабунин A.B., Демидов В.В., Астахов В.В., Анищеко B.C. Количество информации, как мера синхронизации хаоса // Письма в ЖТФ, 2001.Т. 27, Вып. 11.-С. 78-85.

119. Romano М.С., Thiel M., Kurths J., Kiss I.Z., Hudson J.L. // Europhys. Lett., 2005.- V. 71 (3).- pp. 466-487.

120. H.B. Золотова, Д.И. Понявин. Метод обнаружения скрытой синхронизации // Письма в ЖТФ, 2006.- Т. 32.- Вып. 21.- С. 34-65.

121. Короновский A.A., М.К. Куровская, Москаленко O.A., Храмов А.Е. Два сценария разрушения режима хаотической фазовой синхронизации // Письма в ЖТФ, 2007.- Т. 77.- Вып. 1.- С. 23-43.

122. Fujisaka H., Shimada Т. Phase synchronization and nonlinearity decision in the network of chaotic flows // Phys. Rev. E , 1997.- N55(3).- pp. 24262433.

123. Kapitaniak Т., Maistrenko Y. Different types of chaos synchronization in coupled chaotic oscillators // Phys. Rev. E, 1996.- N54(4).- pp. 3285-3292.

124. Kurths J., Pikovsky A., Rosenblum M. From phase to lag synchronization in coupled chaotic oscillators // Phys. Rev. Lett., 1997b.- N78.- pp. 41934196.

125. Кириченко K.M, Герасимов М.Б. Обзор методов кластеризации текстовой информации. -www.dialog-21.ru/Archive/2001/voIume2/ 226.htm (23/06/2007).

126. Некрестьянов И., Павлова Е. Обнаружение структурного подобия HTML- документов. http://meta.math.spbu.ru/ (23/06/2007).

127. Добрынин В.Ю. Методические указания к курсу «Теория информационно-логических систем». Информационный поиск. -http://ir.apmath.spbu.ru/ (23/06/2007)

128. Шейко Д. Технология поиска информации в Интернет. -http://www.limtu.ru/vt/zone/release-gold/pub/04.htm (23/06/2007).

129. Федотов A.M. Введение в Internet. Документация по Интернет технологиям. http://www.sbras.ru/rus/docs/html-gd/metawhat.html (23/06/2007).

130. Ш.Сегалович И.В. Как работают поисковые системы. www.dialog-21.ru/segalovich.htm (23/06/2007).

131. Бендерская Е.Н., Жукова С.В. Решение задач кластеризации с использованием хаотической нейронной сети // Сборник научных трудов 7-ой всероссийской научно-технической конференции «Нейроинформатика-2005».- Москва, 2005 г. чЛ, С. 54-60.

132. Бендерская E.H. Жукова C.B. Кластеризация текстовых документов с применением хаотической нейронной сети // Вычислительные, измерительные и управляющие системы. Сборник научных трудов, СПб.: Изд-во СПбГПУ, 2005,- С. 6-9.

133. Бендерская E.H., Жукова C.B. Применение хаотической нейронной сети для решения задач кластеризации // Сборник докладов второй всероссийской конференции «Управление и информационные технологии УИТ-2004».- Пятигорск, 2004.- Т.1.- С. 306-309.

134. МО.Бендерская E.H., Жукова C.B. Обработка текстовой информации с использованием хаотической нейронной сети // Материалы Всероссийской научной конференции «Квантитативная лингвистика: исследования и модели (КЛИМ-2005)».- Новосибирск, 2005. С. 271282.