автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка и исследование методов и алгоритмов кластеризации для систем анализа данных

На правах рукописи

Елизаров Сергей Иванович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДОВ И АЛГОРИТМОВ КЛАСТЕРИЗАЦИИ ДЛЯ СИСТЕМ АНАЛИЗА

ДАННЫХ

Специальность: 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург —

003459673

Работа выполнена в Санкт-Петербургском государственном электротехническом университете "ЛЭТИ" имени В.И. Ульянова (Ленина).

Научный руководитель -

доктор технических наук, профессор Куприянов Михаил Степанович.

Официальные оппоненты -

доктор технических наук, профессор Сенилов М. Л. кандидат технических наук, доцент Балтрашевич В. Э.

Ведущая организация - ОАО 'Интелтех" (г. Санкт-Петербург).

Защита состоится 200#\ в /^^часов на заседании совета

по защите докторских и кандидатских диссертаций Д 212.23 8.01 Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" имени В .И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" имени В.И. Ульянова (Ленина).

Автореферат разослан

Ученый секретарь совета по защите докторских и кандидатских диссертаций к.т.н, доцент / \ М. Г. Пантелеев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Настоящая работа посвящена разработке и исследованию методов и алгоритмов кластеризации, широко используемой в системах интеллектуального анализа данных. Синонимами термина интеллектуальный анализ данных являются добыча данных (data mining), обнаружение знаний (knowledge discovery). Интеллектуальный анализ данных связан с поиском в данных скрытых нетривиальных и полезных закономерностей, позволяющих получить новые знания об исследуемых данных. Особенный интерес к методам анализа данных возник в связи с развитием средств сбора и хранения данных, позволившим накапливать большие объемы информации. Перед специалистами из разных областей человеческой деятельности встал вопрос об обработке собираемых данных, превращения их в знания. Известные статистические методы покрывают лишь часть нужд по обработке данных, и для их использования необходимо иметь четкое представление об искомых закономерностях. В такой ситуации методы интеллектуального анализа данных приобретают особую актуальность. Их основная особенность заключается в установлении наличия и характера скрытых закономерностей в данных, тогда как традиционные методы занимаются главным образом параметрической оценкой уже установленных закономерностей. Среди методов интеллектуального анализа данных особое место занимают классификация и кластеризация. Классификация, при известной заранее группировке данных на подмножества (классы), устанавливает закономерность, по которой данные группируются именно таким образом. Кластеризация же, основываясь на установленном отношении схожести элементов, устанавливает подмножества (кластеры), в которые группируются входные данные. В широком круге задач нашли свое применение методы нечеткой кластеризации, в которых элементы входного множества относят к тому или иному кластеру на основании значения функции принадлежности. Нечеткая кластеризация одна из наиболее проработанных методик интеллектуального анализа данных. Однако, традиционные методы нечеткой кластеризации не дают приемлемых решений на данных со сложной внутренней структурой. Это связано с рядом допущений, закладываемых в эти методы: кластеры имеют заданную форму и особую

\

внутреннюю точку - центр кластера; разбиение определяется, исходя из взаимосвязей между данными и центрами кластеров. Так как кластеры в общем случае могут быть произвольной формы и не иметь центров, актуальной является разработка метода кластеризации, свободного от указанных допущений и обеспечивающего разбиение только на базе отношений на исследуемых данных.

Задача кластеризации имеет различные способы решения. Сложность заключается в отсутствии на момент начала анализа какой-либо дополнительной информации о данных. В связи с этим возможное множество решений по мощности сопоставимо с входным множеством, что на практике неприемлемо. Для качественного и быстрого решения задачи кластеризации необходимы методики выбора наилучших решений. Поэтому особую актуальность имеет разработка методики адаптивной кластеризации, при которой выбор наилучшего решения осуществляется формально, по заданным критериям.

Целью Диссертационного исследования является разработка методов и алгоритмов кластеризации, не требующих предварительной информации о кластерах, для систем анализа данных.

В процессе достижения поставленной цели решались следующие задачи:

1) анализ проблем, возникающих при применении методов кластеризации;

2) разработка метода и алгоритма кластеризации на базе нечеткого отношения эквивалентности;

3) разработка критериев качества кластеризации, пригодных для построения адаптивной системы;

4) разработка методики адаптивной кластеризации.

Методы исследования. Методологической базой явились работы по методам кластеризации, в том числе посвященные практическим аспектам их применения. В работе использован математический аппарат теории нечетких множеств, методы дискретной и вычислительной математики.

Основные положения, выносимые на защиту: 1) Определения нечетких отношений, порождаемых только на основании свойств исследуемых данных.

2) Метод и алгоритм кластеризации данных на базе нечеткого отношения эквивалентности, не требующие дополнительной информации о кластерах и не привлекающие понятий центра и формы кластера.

3) Методика адаптивной кластеризации, формализующая решение задачи, в том числе, оценку качества каждого разбиения и выбор наилучшего из них.

Научную новизну работы составляют:

1) определения нечетких отношений толерантности и эквивалентности, позволяющие порождать их из свойств исследуемых данных;

2) метод и алгоритм кластеризации на базе нечеткого отношения эквивалентности, основанные на отношениях, порождаемых данными, и не делающие допущений о форме кластеров и наличии в них центров, и, следовательно, лишенные недостатков традиционных методов;

3) критерии качества кластеризации, пригодные для построения адаптивной системы;

4) методика адаптивной кластеризации, основанная на использовании критериев оценки качества решения и позволяющая полностью формализовать решение задачи кластеризации. Отличительной особенностью методики является оценка качества каждого разбиения и выбор наилучшего из них. Кроме того, данная методика и рекомендации по ее применению позволяют значительно сократить ресурсы, затрачиваемые на анализ данных.

Обоснованность и достоверность полученных результатов обеспечивается корректностью применяемого математического аппарата, строгими доказательствами предложенных теорем и утверждений; согласованностью получаемых результатов при использовании предложенных, методов и алгоритмов с результатами применения известных подходов на тестовых примерах и задачах.

Практическая значимость работы состоит в том, что предложенные метод и алгоритм кластеризации на базе нечеткого отношения эквивалентности позволяют эффективно выявлять в данных кластеры произвольной формы; приведенные в работе критерии позволяют оценить качество решений задачи кластеризации, получаемых как при помощи традиционных методов, так и при помощи нового метода предлагаемого в работе; описанная в работе методика адаптивной кластеризации и рекомендации по ее применению позволяют

значительно формализовать анализ данных и сократить затрачиваемые на него ресурсы; реализованная в составе системы мобильных агентов методика адаптивной кластеризации позволяет повысить уровень эффективности применения системы для решения задач интеллектуального анализа данных.

Реализация и внедрение результатов работы. Результаты диссертационного исследования внедрены в отделе контроля качества петербургского филиала ЗАО «Моторола ЗАО», что подтверждено актом о внедрении. Кроме того, результаты работы использованы в рамках реализации проекта министерства образования и науки Российской Федерации по теме: «Многоагентная технология интеллектуального анализа данных и извлечения знаний», код проекта 75103, а также проекта «Разработка теории и методов исследования самовосстанавливающихся систем» аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы» министерства образования и науки Российской Федерации, код проекта 2.1.2.7828.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на международных конференциях по мягким вычислениям и измерениям 8СМ'2006 и БСМ'2007, Санкт-Петербург, 2006-2007 г.г, конференциях профессорско-преподавательского состава СПбГЭТУ «ЛЭТИ», Санкт-Петербург, 2004-2007 г.г.

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 4 работах, среди которых 1 работа в ведущих рецензируемых изданиях, рекомендуемых в действующем перечне ВАК, 2 -разделы книг, 1 работа - в материалах международной конференции.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав с выводами и заключения. Она изложена на 147 листах машинописного текста и содержит 61 рисунок, 5 таблиц, 2 приложения, список литературы из 59 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность, научная новизна и практическая значимость работы, изложены цели, задачи и методы диссертационного исследования.

Первая глава носит обзорный характер. Раздел 1.1 посвящен рассмотрению задач интеллектуального анализа данных. Интеллектуальный анализ данных -область знаний, относящаяся к обработке данных, изучающая поиск и описание скрытых, нетривиальных и практически полезных закономерностей в исследуемых данных. Среди задач интеллектуального анализа данных выделяют задачи классификации, кластеризации, регрессии, в том числе задачи прогнозирования, и поиска ассоциативных правил.

В разделе 1.2 даны формальные постановки задач интеллектуального анализа данных.

В задачах регрессии и классификации требуется определить значение зависимой переменной объекта на основании значений других переменных, характеризующих данный объект.

Пусть дано конечное множество объектов /= {Л,/г,.../„}. Каждый из объектов характеризуется некоторым признаковым описанием (х^г.-.-Л.-.-Л^т+О-Пусть значения признаков (х^.-.Л.-.-Лл) известны. Тогда задача заключается в определении неизвестного признака хт+]. Если его множество значений конечно, то задачу называют классификацией, а если счетно или имеет мощность континуума, то говорят о задаче регрессии.

Задача поиска ассоциативных правил заключается в обнаружении часто встречающихся наборов объектов в большом множестве таких наборов, а также закономерностей в их появлении.

Дано конечное множество объектов /= {('1,12,. ..,(),.../„} и каждому наблюдаемому событию соответствует некоторое подмножество 7* множества I, которое назовем событием. Рассмотрим множество О всех наблюдаемых событий. Пусть мощность О равна т. Множество событий, в которых наблюдался объект /,, обозначим £>| = {Г,: ¡/бГ„/= 1...п, г = 1...т}сО. Множество событий, в которые входит набор объектов Р, обозначим йр = {Тг: РсТ„ г= 1...пг}сО. Отношение количества событий, при которых наблюдался набор объектов Р, к общему количеству событий называют поддержкой набора Р и обозначают 8ирр(Р). Задача поиска ассоциативных правил состоит в поиске наборов Р, поддержка которых превышает некоторое минимальное пороговое значение: Ь = {Р: Бирр(Р) > Яирртт}-

Одним из частных случаев рассматриваемой задачи является анализ последовательностей. Его основным отличием от поиска ассоциативных правил является задание отношения порядка на множестве объектов I.

Задача кластеризации заключается в разбиении множества объектов на группы по некоторым признакам. Полученные группы называют кластерами.

Дано конечное множество объектов 1= {/1,12,...,/},.../„}. Каждый из объектов характеризуется т-компонентным признаковым описанием

где Хк - допустимое множество значений признака. Требуется построить множество кластеров С и отображение Я/-»С. Кластер с/,еС имеет структуру с/, = {(,,(?: (,,/Ре/, ¿(¡¿¡р)<а}, т.е. кластер состоит из объектов, находящихся в пространстве признаков рядом в смысле метрики (1 и определяется величиной ст.

Раздел 1.3 посвящен обзору методов интеллектуального анализа данных. Методы интеллектуального анализа данных опираются на математический аппарат классической теории множеств, теории нечетких множеств, математической статистики, нейронных сетей, а также разнообразные эмпирические методики. Алгоритмическое решение формализованной задачи интеллектуального анализа данных связано с различными задачами поиска: экстремума целевой функции, вида целевой зависимости.

В разделе 1.4 поясняется особое место кластеризации среди прочих задач интеллектуального анализа данных, рассматриваются известные методы кластеризации, выявляются недостатки и их причины.

На практике часто возникает задача первичного анализа, когда о внутренних зависимостях в данных ничего неизвестно. В таких условиях первой задачей анализа, требующей решения, является задача кластеризации, т.е. выявление внутренней структуры в данных, на основании которой в дальнейшем можно будет формулировать более детальные задачи о поиске зависимостей, влияющих на группировку данных в исходном множестве.

Известно большое число методов кластеризации, которые делятся на иерархические и неиерархические, среди которых наибольшее распространение получили методы разбиения. Общими для методов разбиения являются: расстояние как метод сравнения данных, множество центров кластеров и матрица принадлежности как основные результаты работы алгоритма, функционал,

минимизация которого определяет решение, а также набор ограничений. Среди методов разбиения наиболее известны методы k-средних, Fuzzy C-Means и кластеризация по Гюстафсону-Кесселю. Первый отличается тем, что получаемые с его помощью значения матрицы принадлежности являются четкими (принимают значения из множества {0,1}). Fuzzy C-Means и кластеризация по Гюставсону-Кесселю — нечеткие методы кластеризации, в них матрица принадлежности состоит из соответствующих значений функций принадлежности нечетким кластерам. Отличие этих методов проявляется в форме кластеров, которыми они оперируют. Fuzzy C-Means порождает кластеры сферической формы, а кластеризация по Гюстафсону-Кесселю - эллипсоиды.

Данные алгоритмы, несмотря на различия, очень сходны и обладают общими недостатками: извлечение кластеров только заданной алгоритмом формы, что не позволяет обнаруживать другие кластеры; использование в решении понятия центра кластера, хотя в ряде задач они могут отсутствовать; построение разбиений, исходя из отношений между элементами данных и центрами кластеров.

Глава 2 посвящена разработке метода нечеткой кластеризации, призванного преодолеть недостатки известных методов. Данная цель достигается при помощи привлечения аппарата нечетких отношений.

В разделе 2.1 производится рассмотрение нечетких отношений и их свойств. Вводятся специальные нечеткие множества и отношения.

Мера сходства по расстоянию (1) и нормальная мера сходства (2) порождают нечеткие множества точек близких к у

где х,у,геХ.

Достоинство нормальной меры сходства заключаются в том, что для каждою хеХ существует, по крайней мере, один образец данных, который абсолютно схож с ним (при этом цу{х) = 1) и один образец данных, максимально отличающийся от х (при этом !1у(х) = 0).

(1)

1-

d(y,x)

(2)

max(d(y,zj)

Опираясь на нормальную меру можно определить относительную меру сходства двух образцов данных относительно третьего (3).

= (3)

где х,у,геХ, а /лу - нормальная мера сходства.

Легко показать, что каждое отношение из данного семейства отношений является нечетким отношением толерантности.

Через относительную меру сходства можно определить меру сходства двух образцов данных на всем множестве X, которая определяется через следующее высказывание: «если два образца сходны относительно у\ и ... и сходны относительно ущ, то два образца данных сходны относительно всего множества X» и записывается как (4)

= (4)

где Т - ыюрма, §>,(хё) - относительная мера сходства,у\еХ, /'= \,...Щ, х^еХ. Таким образом, построено нечеткое отношение толерантности, которое объективным образом показывает сходство между объектами из множествах

Нечеткое отношение эквивалентности получается путем вычисления транзитивного замыкания нечеткого отношения толерантности. Для этого доказан ряд теорем и утверждений.

Теорема 1. Если отношение Я - отношение нечеткой толерантности, то справедливо следующее утверждение . ..

Теорема 2. Транзитивное замыкание Я, вычисляемое как наименьшая верхняя граница объединения отношений Я', для отношения нечеткой толерантности Я на множестве Xравно отношению й1^.

Теорема 3. Объединение отношений нечеткой толерантности есть также отношение нечеткой толерантности.

Утверждение 1. Транзитивное замыкание отношения нечеткой толерантности порождает отношение нечеткой эквивалентности на множестве X.

Утверждение 2. Задание уровня нечеткой эквивалентности порождает разбиение множества X на классы эквивалентных элементов таким образом, что каждый элемент Xпринадлежит точно одному классу эквивалентности.

и

Учитывая вышесказанное, был предложен алгоритм кластеризации (рис. 1), использующий нечеткое отношение эквивалентности и состоящий из следующих шагов:

1) построить для каждого образца данных нормальную меру сходства (2);

2) построить относительно каждого образца данных на основании нормальной меры сходства относительную меру сходства (3) для пар образцов данных;

3) построить меру сходства образцов данных на множестве X (4), взяв в качестве Ь нормы тт-норму:

= тт(&,(х^).....

которая является нечетким отношением толерантности на множестве X, Ух.у^еХ, I = 1.....1Х\;

4) построить транзитивное замыкание отношения нечеткой толерантности, вычисляемое в следующему цикле:

где = \tx.zeX, /' = 2,..„И; в результате получим

ЫЛ1

>

которое по утверждению 1 является отношением нечеткой эквивалентности;

5) построить для отношения нечеткой эквивалентности шкалу, как упорядоченное по возрастанию множество различных элементов матрицы этого отношения.

Рис. 1. Схема работы алгоритма.

Шкала отношения нечеткой эквивалентности порождает семейство отношений эквивалентности в классическом смысле, каждое из которых разбивает исходное множество на классы эквивалентности. Для более высокого уровня отношения свойственно более детальное разбиение множествах

Глава 3 посвящена преодолению сложностей, возникающих при использовании алгоритмов кластеризации. Эти сложности в большой степени связаны с необходимостью указывать количество кластеров до начала анализа, что не всегда можно сделать обоснованно. В связи с этим особое значение имеют критерии оценки качества решения задачи кластеризации.

Разделы 3.2 и 3.3 посвящены анализу известных критериев, применяемых для центроидной кластеризации. Первый рассматриваемый критерий -коэффициент разбиения:

где щ - соответствующий элемент матрицы принадлежности, X - входное множество, С - множество кластеров. Данный критерий принимает значения из [|С|"',1], причем значению |С|"' соответствует худший случай разбиения (максимальной неопределенности), а значению 1 - максимально четкое разбиение. Было замечено, что на малых значениях количества кластеров, коэффициент разбиения дает ошибочные результаты, что связано с его областью значений. Не меняя характера критерия, его область значений была сдвинута таким образом, чтобы зависимость от количества кластеров была связана не началом указанного отрезка, а с его окончанием. Это сделано путем вычитания из коэффициента разбиения |С| "'. Полученный критерий

- модифицированный коэффициент разбиения, область его значений лежит в отрезке [О, (|С| -1 )!С\.

m я

Z5X ,

м j=i i

м___

m ici

Далее в работе рассматривается энтропия разбиения:

££

«¿Ж)

т

где щ - соответствующий элемент матрицы принадлежности, X - входное множество, С - множество кластеров. Диапазон значений критерия - [0, 1п |С|], причём наилучшему разбиению соответствует 0, а наихудшему - 1п |С|. Сравнивать разные решения при помощи этого критерия некорректно, поскольку его диапазон значений для каждой кластеризации будет разным. Более правильным будет использовать модифицированную энтропию разбиения:

Ее диапазон значений не связан с количеством кластеров и лежит в отрезке [0,1]. Таким образом, при помощи данного критерия можно сравнивать кластеризации с разным количеством кластеров.

Последним в группе центроидных критериев рассматривается эффективность разбиения:

где х - среднее значение элементов входного множества, с, - центр кластера }. Критерий состоит из двух частей: первая показывает межкластерные отличия, чем они выше, тем лучше выполнена кластеризация, а вторая - внутрикластерные отличия, чем они меньше, тем лучше выполнена кластеризация. Таким образом, чем больше значения критерия, тем лучше выполнена кластеризация.

При анализе критериев было сделан вывод о целесообразности использования на практике модифицированного коэффициента разбиения, модифицированной энтропии разбиения, эффективности разбиения.

Разделы 3.4 и 3.5 посвящены проблеме выбора наилучшего решения задачи кластеризации, выполненной с использованием нечеткого отношения эквивалентности. Для этой цели был разработан критерий, названный качеством разбиения. При разработке критерия было введено понятие практически полезного кластера - кластера, входящего в группу наиболее мощных кластеров.

.-I м_ г&

|*|1п]С| 1п|С|

Р1 =

И т ч И ЦГ| |С| \х\

М /=1

м

Необходимость введения этого понятия вытекает из того, что классы эквивалентности значительно различаются по мощности (особенно в начале шкалы нечеткой эквивалентности), причем большее число из них состоит из небольшого количества элементов. Группа практически полезных кластеров определяется как:

С = {Vc.eC: \с,\>ТЩ,

где с, - класс эквивалентности, С - множество классов эквивалентности, а 77/ -порог мощности, вычисляемый при помощи специальной процедуры.

Определив группу практически полезных кластеров, вычисляется коэффициент разбиения - отношение суммарной мощности практически полезных кластеров к общей мощности множества.

Используя понятия уровня отношения эквивалентности, практически полезных кластеров и коэффициента разбиения формулируется критерий оценки качества: наилучшим разбиением назовем такое разбиение, для которого качество разбиения (5) достигает максимума.

2>.|

I . е.гС. /с\

где ЕЬ - уровень эквивалентности, Сс = {сс} - множество практически полезных кластеров, а последний множитель - коэффициент разбиения. Данный критерий учитывает следующее:

1) чем выше этот уровень эквивалентности, тем более схожи объекты внутри классов эквивалентности, тем качественнее разбиение;

2) чем мощнее множество практически полезных кластеров, тем лучше разбиение;

3) чем он выше коэффициент разбиения, тем больше элементов вошли в результирующее разбиение, что повышает качество разбиения.

В разделе 3.6 формулируется методика адаптивной кластеризации, состоящая из 6 шагов:

1) предварительная подготовка данных;

2) определение целей анализа;

3) определение средств анализа и способа представления результатов;

4) нормирование данных;

5) формулирование ограничений, выбор критериев оценки качества решения;

6) применение адаптивной кластеризации и анализ результатов.

Предварительная подготовка данных заключается в выборе множества для анализа и выделении атрибутов, по которым будет производиться анализ. Эти атрибуты должны кратко и полно описывать исследуемое множество, остальные же, как не несущие полезной для анализа информации, исключаются из рассмотрения.

Цели анализа выбираются из следующего набора:

1) Определение кластерного состава данных. При этом определяются количество и состав кластеров. Как правило, это основная цель решения задачи кластеризации.

2) Выявление отклонений, т.е. поиск элементов множества, которые нельзя отнести ни к одному из кластеров. Они указывают на аномалии в процессе, породившие исследуемые данные.

3) Подготовка к решению задачи классификации, которая в дополнение к определению кластерного состава данных предполагает обязательную постобработку результатов с целью дать названия и описания полученным кластерам. Поименованные и описанные кластеры - классы, а установление зависимостей между значениями атрибутов элементов множества и их принадлежностью кластерам - решение задачи классификации.

Определение средств анализа и способа представления результатов. Средствами анализа могут выступать различные программные системы. Например, для проведения исследования критериев использовалась среда Ма11аЬ, для решения задачи анализа распределенных данных использовалась многоагентная система и библиотека алгоритмов ХЕЬОРЕЗ.

Способ представления результатов может быть одним из нижеследующих.

1) Простое перечисление. Каждый кластер описывается перечислением своих элементов. Применимо при использовании любого метода кластеризации.

2) Дендрограмма. Получается естественным образом при использовании иерархических методов, а также метода нечеткого отношения эквивалентности. Для центроидиой кластеризации, в общем случае, данный способ представления результатов неприменим.

3) Матрица принадлежности. Представляет результаты кластеризации в виде таблицы, где строки соответствуют элементам, а столбцы кластерам. Ячейки

таблицы содержат значения соответствующих функций принадлежности. Этот способ представления результатов является естественным для центроидной кластеризации.

Подготовка данных. Подготовка данных - технологический этап, состоящий из перевода категориальных данных в числовые и нормирования числовых данных в диапазоне [0,1]. Перевод категориальных данных в числовые производится взвешиванием или упорядочиванием. Взвешивание производится экспертом предметной области путем приписывания числовых значений категориальным атрибутам. Упорядочивание менее эффективная стратегия, но не требует привлечения эксперта. При ее использовании каждому из значений категориального атрибута приписывается порядковый номер. В случае сомнения в правильности использования стратегии упорядочивания и невозможности использовать знания эксперта, возможно, лучше исключить атрибут из рассмотрения. Нормирование числовых данных необходимо, чтобы каждый из атрибутов имел равный вес при сравнении данных. В случае, когда вес атрибутов разный, это необходимо учитывать при нормировании.

Формулировка ограничений, критериев оценки качества решения. Ограничения накладываются на возможное значение числа кластеров, получаемых в результате кластеризации. Это полезно с точки зрения сокращения ресурсов, затрачиваемых на кластеризацию. Выбор критерия, для оценки качества решения задачи, может быть сделан на основании рекомендаций, данных в диссертации.

Применение адаптивной кластеризации и анализ результатов. Основной по затрачиваемым ресурсам частью адаптивной кластеризации является выполнение алгоритма, который, последовательно перебирая значения количества кластеров из заданного диапазона, выполняет кластеризацию и вычисляет значения выбранных критериев. Производится анализ множества экстремумов каждого из критериев и выбирается наилучшее разбиение. Таким образом, получается основной результат адаптивной кластеризации - разбиение на кластеры. Далее, в зависимости от поставленных целей может быть выполнен поиск отклонений, проведена подготовка к классификации. Если результаты анализа удовлетворяют поставленным целям, анализ завершается, иначе, производится новая итерация, начиная с одного из предыдущих этапов.

Глава 4 посвящена применению полученных в работе результатов. Подробно описано применение методики адаптивной кластеризации в рамках анализа данных о процессе разработки программного обеспечения в петербургском филиале ЗАО «Моторола ЗАО». Кроме того, разрабатывается миогоагентная система для интеллектуального анализа данных, в ходе реализации которой были использованы положения диссертации, в частности, критерии оценки качества решения задачи кластеризации и методика адаптивной кластеризации.

ЗАКЛЮЧЕНИЕ

Данная диссертационная работа посвящена разработке и исследованию методов и алгоритмов кластеризации. Особое внимание было уделено адаптивной кластеризации. Итогом работы стали следующие основные1 научные и практические результаты:

1) определения нечетких отношений толерантности и эквивалентности, порождаемых из свойств исследуемых данных и составляющих основу предложенного метода кластеризации;

2) метод и алгоритм кластеризации на базе нечеткого отношения эквивалентности, которые не делают допущений о форме кластеров и наличии в них центров и лишены недостатков традиционных методов; алгоритм кластеризации на базе нечеткого отношения эквивалентности позволяет эффективно выявлять в данных кластеры произвольной формы; отношения, используемые в ходе решения задачи кластеризации, задаются в соответствии с конструктивными определениями, предложенными в работе.

3) критерии качества кластеризации, пригодные для построения адаптивной системы;

4) методика адаптивной кластеризации, основанная на использовании критериев оценки качества решения и позволяющая полностью формализовать решение задачи кластеризации. Отличительной особенностью методики является оценка качества каждого разбиения и выбор наилучшего из них. Кроме того, данная методика и рекомендации по ее применению позволяют значительно сократить ресурсы, затрачиваемые на анализ данных;

5) многоагентная система интеллектуального анализа данных, в ходе реализации которой были использованы положения диссертации, в частности, критерии оценки качества решения задачи кластеризации и методика адаптивной кластеризации. Экспериментальное исследование, проведенное с использованием данной системы, подтвердило достоверность и эффективность результатов, полученных в работе.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях, рекомендованных ВАК России:

1. Елизаров С. И., Куприянов М. С., Холод И. И. Самонастраивающиеся агенты для интеллектуального анализа распределенных данных // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И.Ульянова (Ленина) №2 2006.-СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2006.-С. 3-7. (Личный вклад: адаптивная методика для самонастройки агентов).

В других изданиях:

2. Елизаров С. И. Кластеризация данных при помощи нечетких отношений // Баргесян А. А., Куприянов М. С., Степаненко В. В., Холод И. И. Методы и модели анализа данных: OLAP и Data Mining. - СПб.: БХВ-Петербург, 2004. -С.174-207.

3. Елизаров С. И. Адаптивные методы кластеризации // Баргесян А. А., Куприянов М. С., Степаненко В. В., Холод И. И. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP. - СПб.: БХВ-Петербург, 2007. - С. 168-174.

Материалы конференций:

4. Елизаров С. И. Адаптивные методы нечеткой кластеризации // Сб. докл.: Международная конференция по мягким вычислениям и измерениям. - СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2007. - Т.2. - С.234-237.

Подписано в печать 09.12.08. Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Тираж 100 экз. Заказ 76.

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ "ЛЭТИ"

Издательство СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

Содержание.

Введение.

Глава 1. Интеллектуальный анализ данных и задача кластеризации.

1.1 Понятие об интеллектуальном анализе данных.

1.2 Формальное описание задач интеллектуального анализа данных.

1.2.1 Задачи регрессии и классификации.

1.2.2 Задача поиска ассоциативных правил.

1.2.3 .Задача кластеризации.

1.3 Методы интеллектуального анализа данных.

1.3.1 Математический аппарат интеллектуального анализа данных

1.3.2 Алгоритмические особенности решения задач интеллектуального анализа данных.

1.4. Первичный анализ данных и задача кластеризации.

1.4.1 Сравнение данных.

1.4.2 Методы и алгоритмы кластеризации.

Выводы.

Глава 2. Разработка метода нецентроидной нечеткой кластеризации.

2.1 Анализ свойств нечетких бинарных отношений применительно к анализу данных.

2.1.1 Отношения и свойства отношений.

2.1.2 Сравнение данных.

2.1.3 Нечеткое отношение толерантности.

2.1.4 Нечеткое отношение эквивалентности.

2.2 Построение шкалы нечеткого отношения эквивалентности как алгоритм анализа данных.

Выводы.

Глава 3. Адаптивная кластеризация.

3.1 Выбор параметров решения задачи кластеризации.

3.1.1 Расстояние.

3.1.2 Целевая функция, алгоритм.

3.1.3 Количество кластеров.

3.2 Критерии оценки качества решения задачи кластеризации (центроидные методы).

3.2.1 Коэффициент разбиения.

3.2.2 Энтропийные критерии.

3.2.3 Эффективность разбиения.

3.3 Исследование критериев на предопределенных наборах (центроидные методы).

3.3.1 Искусственный набор данных.

3.3.2 Ирисы (Fisher's irises).

3.4 Критерий оценки качества решения задачи кластеризации (метод нечеткого отношения эквивалентности).

3.4.1 Представление результатов решения задачи кластеризации при использовании нечеткого отношения эквивалентности.

3.4.2 Построение критерия оценки качества разбиения, полученного с использованием нечеткого отношения эквивалентности.

3.5 Исследование критериев на предопределенных наборах (метод нечеткого отношения эквивалентности).

3.5.1 Искусственный набор данных.

3.5.2 Ирисы (Fisher's irises).

3.6 Методика адаптивной кластеризации.

3.6.1 Предварительная подготовка данных.

3.6.2 Определение целей анализа.

3.6.3 Определение средств анализа и способа представления результатов.

3.6.4 Подготовка данных.

3.6.5 Формулировка ограничений, критериев оценки качества решения.

3.6.6 Применение адаптивной кластеризации и анализ результатов

Выводы.

Глава 4. Практическое применение адаптивной кластеризации.

4.1 Контроль качества программного обеспечения.

4.2 Методики анализа данных как необходимый элемент зрелости организации.

4.3 Пример применения методики адаптивной кластеризации.

4.3.1 Постановка задачи анализа данных.

4.3.2 Уточнение целей и инструментария.

4.3.3 Нормировка данных, подготовка к кластеризации.

4.3.4 Формулировка ограничений, критериев оценки качества решения.

4.3.5 Адаптивная кластеризация.

4.3.6 Анализ результатов, корректировка исходных данных, повторная кластеризация, заключение по анализу.

4.4 Многоагентная система интеллектуального анализа данных.

4.4.1 Системы мобильных агентов.

4.4.2 Описание методики проектирования многоагентной системы

4.4.3 Задача интеллектуального анализа распределенных данных.

4.4.4 Разработка многоагентной системы интеллектуального анализа данных.

Выводы.

Актуальность. Настоящая работа посвящена разработке и исследованию методов и алгоритмов кластеризации, широко используемой в системах интеллектуального анализа данных. Синонимами термина интеллектуальный анализ данных являются добыча данных (data mining), обнаружение знаний (knowledge discovery) [1,2]. Интеллектуальный анализ данных связан с поиском в данных скрытых нетривиальных и полезных закономерностей, позволяющих получить новые знания об исследуемых данных. Особенный интерес к методам анализа данных возник в связи с развитием средств сбора и хранения данных, позволившим накапливать большие объемы информации. Перед специалистами из разных областей человеческой деятельности встал вопрос об обработке собираемых данных, превращения их в знания. Известные статистические методы покрывают лишь часть нужд по обработке данных, и для их использования необходимо иметь четкое представление об искомых закономерностях. В такой ситуации методы интеллектуального анализа данных приобретают особую актуальность. Их основная особенность заключается в установлении наличия и характера скрытых закономерностей в данных, тогда как традиционные методы занимаются главным образом параметрической оценкой уже установленных закономерностей. Среди методов интеллектуального анализа данных особое место занимают классификация и кластеризация. Классификация, при известной заранее группировке данных на подмножества (классы), устанавливает закономерность, по которой данные группируются именно таким образом. Кластеризация же, основываясь на установленном отношении схожести элементов, устанавливает подмножества (кластеры), в которые группируются входные данные. В широком круге задач нашли свое применение методы нечеткой кластеризации, в которых элементы входного множества относят к тому или иному кластеру на основании значения функции принадлежности. Нечеткая кластеризация одна из наиболее проработанных методик интеллектуального анализа данных. Однако, традиционные методы нечеткой кластеризации не дают приемлемых решений на данных со сложной внутренней структурой. Это связано с рядом допущений, закладываемых в эти методы: кластеры имеют заданную форму и особую внутреннюю точку - центр кластера; разбиение определяется, исходя из взаимосвязей между данными и центрами кластеров. Так как кластеры в общем случае могут быть произвольной формы и не иметь центров, актуальной является разработка метода кластеризации, свободного от указанных допущений и обеспечивающего разбиение только на базе отношений на исследуемых данных.

Задача кластеризации имеет различные способы решения. Сложность заключается в отсутствии на момент начала анализа какой-либо дополнительной информации о данных. В связи с этим возможное множество решений по мощности сопоставимо с входным множеством, что на практике неприемлемо. Для качественного и быстрого решения задачи кластеризации необходимы методики выбора наилучших решений. Поэтому особую актуальность имеет разработка методики адаптивной кластеризации, при которой выбор наилучшего решения осуществляется формально, по заданным критериям.

Целью диссертационного исследования является разработка методов и алгоритмов кластеризации, не требующих предварительной информации о кластерах, для систем анализа данных.

В процессе достижения поставленной цели решались следующие задачи:

1) анализ проблем, возникающих при применении методов кластеризации;

2) разработка метода и алгоритма кластеризации на базе нечеткого отношения эквивалентности;

3) разработка критериев качества кластеризации, пригодных для построения адаптивной системы;

4) разработка методики адаптивной кластеризации.

Методы исследования. Методологической базой явились работы по методам кластеризации, в том числе посвященные практическим аспектам их применения. В работе использован математический аппарат теории нечетких множеств, методы дискретной и вычислительной математики.

Основные положения, выносимые на защиту:

1) Определения нечетких отношений, порождаемых только на основании свойств исследуемых данных.

2) Метод и алгоритм кластеризации данных на базе нечеткого отношения эквивалентности, не требующие дополнительной информации о кластерах и не привлекающие понятий центра и формы кластера.

3) Методика адаптивной кластеризации, формализующая решение задачи, в том числе, оценку качества каждого разбиения и выбор наилучшего из них.

Научную новизну работы составляют:

1) определения нечетких отношений толерантности и эквивалентности, позволяющие порождать их из свойств исследуемых данных;

2) метод и алгоритм кластеризации на базе нечеткого отношения эквивалентности, основанные на отношениях, порождаемых данными, и не делающие допущений о форме кластеров и наличии в них центров, и, следовательно, лишенные недостатков традиционных методов;

3) критерии качества кластеризации, пригодные для построения адаптивной системы;

4) методика адаптивной кластеризации, основанная на использовании критериев оценки качества решения и позволяющая полностью формализовать решение задачи кластеризации. Отличительной особенностью методики является оценка качества каждого разбиения и выбор наилучшего из них. Кроме того, данная методика и рекомендации по ее применению позволяют значительно сократить ресурсы, затрачиваемые на анализ данных.

Обоснованность и достоверность полученных результатов обеспечивается корректностью применяемого математического аппарата, строгими доказательствами предложенных теорем и утверждений; согласованностью получаемых результатов при использовании предложенных методов и алгоритмов с результатами применения известных подходов на тестовых примерах и задачах.

Практическая значимость работы состоит в том, что предложенные метод и алгоритм кластеризации на базе нечеткого отношения эквивалентности позволяют эффективно выявлять в данных кластеры произвольной формы; приведенные в работе критерии позволяют оценить качество решений задачи кластеризации, получаемых как при помощи традиционных методов, так и при помощи нового метода предлагаемого в работе; описанная в работе методика адаптивной кластеризации и рекомендации по ее применению позволяют значительно формализовать анализ данных и сократить затрачиваемые на него ресурсы; реализованная в составе системы мобильных агентов методика адаптивной кластеризации позволяет повысить уровень эффективности применения системы для решения задач интеллектуального анализа данных.

Реализация и внедрение результатов работы. Результаты диссертационного исследования внедрены в отделе контроля качества петербургского филиала ЗАО «Моторола ЗАО», что подтверждено актом о внедрении. Кроме того, результаты работы использованы в рамках реализации проекта министерства образования и науки Российской Федерации по теме: «Многоагентная технология интеллектуального анализа данных и извлечения знаний», код проекта 75103, а также проекта «Разработка теории и методов исследования самовосстанавливающихся систем» аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы» министерства образования и науки Российской Федерации, код проекта 2.1.2.7828.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на международных конференциях по мягким вычислениям и измерениям 8СМ'2006 и 8СМ'2007, Санкт-Петербург, 2006-2007 г. г, конференциях профессорско-преподавательского состава СПбГЭТУ «ЛЭТИ», Санкт-Петербург, 2004-2007 г.г.

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 4 работах, среди которых 1 работа в ведущих рецензируемых изданиях, рекомендуемых в действующем перечне ВАК, 2 -разделы книг, 1 работа - в материалах международной конференции.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав с выводами и заключения. Она изложена на 147 листах машинописного текста и содержит 61 рисунок, 5 таблиц, 2 приложения, список литературы из 59 наименований.

ВЫВОДЫ.

1) Адаптивная кластеризация является важным этапом первичного анализа данных, в частности, помогает в выработке методов анализа данных для целей контроля качества программного обеспечения.

2) Разработанная методика адаптивной кластеризации успешно справляется с решением задачи интеллектуального анализа, при этом вмешательство эксперта в ход решения - минимально.

3) Методика адаптивной кластеризации внедрена в отделе контроля качества петербургского филиала ЗАО «Моторола ЗАО», что подтверждает ее востребованность.

4) Методика адаптивной кластеризации и критерии оценки качества решения задачи кластеризации нашли свое применение в рамках реализации многоагентной системы интеллектуального анализа. Экспериментальное исследование, проведенное с использованием данной системы, подтвердило достоверность и эффективность результатов, полученных в работе.

120

ЗАКЛЮЧЕНИЕ.

Данная диссертационная работа посвящена разработке и исследованию методов и алгоритмов кластеризации. Особое внимание было уделено адаптивной кластеризации. Итогом работы стали следующие основные научные и практические результаты:

1) определения нечетких отношений толерантности и эквивалентности, порождаемых из свойств исследуемых данных и составляющих основу предложенного метода кластеризации;

2) метод и алгоритм кластеризации на базе нечеткого отношения эквивалентности, которые не делают допущений о форме кластеров и наличии в них центров и лишены недостатков традиционных методов; алгоритм кластеризации на базе нечеткого отношения эквивалентности позволяет эффективно выявлять в данных кластеры произвольной формы; отношения, используемые в ходе решения задачи кластеризации, задаются в соответствии с конструктивными определениями, предложенными в работе.

3) критерии качества кластеризации, пригодные для построения адаптивной системы;

4) методика адаптивной кластеризации, основанная на использовании критериев оценки качества решения и позволяющая полностью формализовать решение задачи кластеризации. Отличительной особенностью методики является оценка качества каждого разбиения и выбор наилучшего из них. Кроме того, данная методика и рекомендации по ее применению позволяют значительно сократить ресурсы, затрачиваемые на анализ данных;

5) многоагентная система интеллектуального анализа данных, в ходе реализации которой были использованы положения диссертации, в частности, критерии оценки качества решения задачи кластеризации и методика адаптивной кластеризации. Экспериментальное исследование, проведенное с использованием данной системы, подтвердило достоверность и эффективность результатов, полученных в работе.

1. Negnivitsky М. Artificial Intelligence A Guide to Intelligent Systems Текст. -Harlow: Addison-Wesley, Pearson Education Limited, 2002. 394 c.

2. Data Mining, Web Mining, Text Mining, and Knowledge Discovery Электронный ресурс. :KDnuggets Электрон, дан. - KDnuggets - Режим доступа: http://kdnuggets.com. — Загл. с экрана.

3. Барсегян А. А. Методы и модели анализа данных: OLAP и Data Mining Текст. / Барсегян А. А., Куприянов М. С., Степаненко В. В., Холод И. И. СПб.: БХВ-Петербург, 2004. 336с.

4. Балтрашевич В. Э. Методы оптимизации Текст. / Балтрашевич В. Э., Барабанов Н. Е. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2001. 80с

5. Holland J. Н. Adaptation in Natural and Artificial Systems Текст. -Cambridge, MA: MIT, 1992. 211 c.

6. Ю.Уиллиамс У. Т., Ланс Д. Н. Методы иерархической классификации Текст. // Статистические методы для ЭВМ / Под ред. М. Б. Малютов -М.: Наука, 1986. С. 269-301.

7. Nelles О. Nonlinear System Identification: From Classical Approaches to Neural Networks and Fuzzy Models Текст. Berlin: Springer, 2001. 785 c.

8. Jang J.-S.R. Neuro-fuzzy and Soft Computing. A Computational Approach to Learning and Machine Intelligence Текст./ Jang J.-S.R., Sun C.-T., Mizutani E. New Jersey: Prentice Hall, 1997. 614 c.

9. Miyamoto S. Algorithms for Fuzzy Clustering: Methods in C-Means Clustering with Applications Текст. / S. Miyamoto, H. Ichihashi, K. Honda Berlin: Springer, 2008. 260 c.

10. Fuller R. Neural Fuzzy Systems Электронный ресурс. / Fuller R. -Электрон, дан. Abo: Abo Akademi University, 1995. - Режим доступа: http://www.cs.elte.hu/~rfuller/lnl.pdf- Загл. с экрана.

11. Носов В.А. Комбинаторика и теория графов Электронный ресурс.: учебное пособие / Носов В.А. — Электрон, дан. М: МИЭМ, 1999 -Режим доступа: http://intsys.msu.ru/staff/vnosov/combgraph.zip - Загл. с экрана.

12. Musat G. Fuzzy Clustering Электронный ресурс. / Musat G. Электрон, дан. - Laboratoire Leprince-Ringuet, 2002. - Режим доступа: http://web.archive.org/web/20050415100541/http://polywww.m2p3 .fr/activites /info/doc/glast/fc.htm - Загл. с экрана.

13. Kan S. Metrics and Models in Software Quality Engineering, Second Edition Текст. Addison Wesley, 2002. 528 c.

14. Humphrey W. Managing the Software Process Текст. Addison-Wesley, 1989. 494 c.

15. Capability Maturity Model Integration (CMMI) Электронный ресурс.: CMMI Models and Reports Электрон, дан. - Pittsburgh: CMU/SEI, 2007. -Режим доступа: http://www.sei.cmu.edu/cmmi/models/index.html - Загл. с экрана.

16. Елизаров С. И. Адаптивные методы нечеткой кластеризации Текст. // Сб. докл.: Международная конференция по мягким вычислениям и измерениям SCM, 2007. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2007. - Т.2. -С.234-237.

17. Барсегян А. А. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP. 2-ое издание Текст. / Барсегян А. А., Куприянов М. С., Степаненко В. В., Холод И. И. СПб.: БХВ-Петербург, 2007. 384 с.

18. Tryllian Mobile Agents:Going beyond the Web. Электронный ресурс.: A Commercial White Paper, Version 1.0, Tryllian Solutions BV Электрон, дан. - 2000. - Режим доступа: http://www.tryllian.com - Загл. с экрана.

19. White J. Mobile Agents White Paper Электронный ресурс. / White J. — Электрон, дан. General Magic, 1996 - Режим доступа: http://www.cis.upenn.edu/~bcpierce/courses/629/papers/White-Telescript.ps.gz- Загл. с экрана.

20. Sundsted Т. Agents on the move Электронный ресурс // Java World 7/98 — Электрон. дан. Java World, 1998. - Режим доступа: http://www.javaworld.com/jw-07-1998/jw-07-howto.html - Загл. с экрана.

21. Chandy К. М. Parallel Program Design: A Foundation Текст. / Chandy К. М., Misra J. Massachusetts: Addison-Wesley, 1988. 516 c.

22. Modeling early requirements in Tropos: a transformation based approach Текст. / Bresciani P., Perini A., Giorgini P. и др. // Agent-Oriented Software Engineering. Montreal, 2001. - C. 67-75.

23. Johansen D., Schneider F. В., Renesse R. What TACOMA Taught Us Текст. // Mobility, Mobile Agents and Process Migration An edited Collection. -NY, Addison Wesley Publishing Company, 1999. C. 564 - 566

24. CRISP-DM 1.0. Step-by-step data mining guide Электронный ресурс. / Chapman P., Clinton J., Kerber R. и др. Электрон, дан. - SPSS, 2000. -Режим доступа: http://www.crisp-dm.org/CRISPWP-0800.pdf - Загл. с экрана.

25. Agent Technology in ОМА Электронный ресурс.: OMG Request For Information, OMG Document # ec/99-03-10 Электрон, дан. - OMG, 1999. -Режим доступа: ftp://ftp.omg.org/pub/docs/ec/99-03-10.htrn - Загл. с экрана.

26. Sundsted Т. An introduction to agents Электронный ресурс. / Sundsted Т. // Java World 6/98 — Электрон, дан. JavaWorld, 1998. - Режим доступа: http://www.javaworld.com/javaworld/jw-06-1998/jw-06-howto.html - Загл. с экрана.

27. Flores-Mendez R. Towards a Standardization of Multi-Agent System Frameworks Электронный ресурс. / Flores-Mendez R. — Электрон, дан. -2001. Режим доступа: www.acm.org/crossroads/xrds5-4/multiagent.html -Загл. с экрана.

28. FIPA Abstract Architecture Specification Электронный ресурс.: Foundation for Intelligent Physical Agents. Электрон, дан. - FIPA, 2001. - Режим доступа: http://www.fipa.org/specs/fipa00001 - Загл. с экрана.

29. Mobile Agent Facility Specification Электронный ресурс. Mobile Agent Facility VI.0 Электрон, дан. - IBM, 2000. - Режим доступа: ftp://ftp.omg.org/pub/docs/fornial/00-01-02.pdf- Загл. с экрана.

30. Caire G. Agent Oriented Analysis using MESSAGE/UML Текст. / Caire G., Leal F., Chainho P. и др. // Agent-Oriented Software Engineering. Montreal. 2001.-C. 101-108.

31. Jazayeri M. Gypsy: A Component-based Mobile Agent System / Jazayeri M., Lugmayr W.// Technical report TUV-1841-99-09. Distributed Systems Group -Vienna: Technical University of Vienna, 1999. 10 c.

32. Common Warehouse Metamodel (CWM) Specification Электронный ресурс.: Catalog of OMG Modeling and Metadata Specifications. Электрон, дан. - OMG, 2001. - Режим доступа: http://www.omg.org/technology/ documents/modelingspeccatalog.htm - Загл. с экрана.

33. Фомичев В. С. Проблемы построения систем мобильных агентов Текст. / Фомичев В. С., Холод И.И. // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В. И. Ульянова (Ленина), №1 2002. СПбГЭТУ «ЛЭТИ», 2002.

34. Farley S. Mobile Agent System Architecture / Farley S. // Java Report, 5/97 -SIGS Publications, 1997.

35. FIPA Agent Communication Language Specifications Электронный ресурс.: Foundation for Intelligent Physical Agents. Электрон, дан. - FIPA, 2002. -Режим доступа: http://fipa.org/repository/aclspecs.html — Загл. с экрана.

36. PMML Version 3.0 Электронный ресурс.: Data Mining Group Электрон, дан. - DMG - Режим доступа: http://www.dmg.org/pmml-v3-0.html - Загл. с экрана.