автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Совершенствование самоорганизующихся нейронных сетей Кохонена для систем поддержки принятия решений

РЫЖКОВ ВЛАДИМИР АЛЕКСАНДРОВИЧ

СОВЕРШЕНСТВОВАНИЕ САМООРГАНИЗУЮЩИХСЯ НЕЙРОННЫХ СЕТЕЙ КОХОНЕНА ДЛЯ СИСТЕМ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ

Специальность: 05.13.01 - Системный анализ, управление и обработка информации (технические системы)

0 СЕН

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва-2010

004607956

Работа выполнена в ГОУ ВПО Московском государственном технологическом университете "СТАНКИН"

Научный руководитель: кандидат физико-математических наук, доцент Лычкин Евгений Николаевич

Официальные оппоненты: доктор технических наук, Дубинина Вера Гавриловна, доктор технических наук, доцент Демидова Лилия Анатольевна

Ведущая организация: ГОУ ВПО Московский государственный университет печати

Защита состоится 5 октября 2010 г. в 1100 часов на заседании диссертационного совета Д 212.142.03 при ГОУ ВПО Московском государственном технологическом университете "СТАНКИН" по адресу: 101472, Москва, Вадковский пер., д. ЗА.

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО Московского государственного технологического университета "СТАНКИН".

Автореферат разослан" 5 " августа 2010 г.

Ученый секретарь диссертационного совета Д 212.142.03

к.т.н., доцент

СемячковаЕ.Г.

Актуальность работы

В настоящее время в разных областях науки и деятельности человека (экономика, финансы, медицина, телекоммуникации, химия, биология, физика и т.п.) сформированы большие массивы разнородной информации. Такая информация может представлять собой переменные состояния каких-либо наблюдаемых объектов или процессов, например, машин, станков, комплексов и целых предприятий и храниться в виде электронных таблиц в базах данных.

В связи с этим актуальными становятся задачи анализа данных и получения в кратчайшие сроки информации о качественном распределении показателей, признаков и состояний изучаемых или используемых объектов на основании уже имеющейся о них информации с целью дальнейшего построения стратегии их применения и развития.

Специфика современных задач анализа данных такова, что часто для их решения предоставляется либо чрезмерно большой массив разнородных данных, либо, наоборот, количество данных для анализа мало и значения в некоторых их признаках отсутствуют или пропущены.

Для решения таких задач используются методы хранилищ данных, статистические методы, эволюционные алгоритмы, стохастические методы, методы нечеткой логики, методы искусственных нейронных сетей. ■

В настоящей работе развивается метод самоорганизующихся нейронных сетей Кохонена, основными отличиями которого от перечисленных методов являются: универсальность относительно размерности анализируемых данных, встроенная возможность распараллеливания расчетов; кластеризация данных, наглядная визуализация образа анализируемых данных. .,

Большой вклад в развитие и применение нейронных сетей в разных областях науки и деятельности человека в нашей стране внесли Галушкин А. И. (теория и практическое применение нейронных сетей, системы распознавания образов), Горбань А. Н. (нейросетевые экспертные системы), Терехов С. А. (моделирование сложных инженерных систем с помощью нейронных сетей, машинное обучение, анализ данных), Шумский С. А. (теория и практическое применение нейронных сетей) и другие. , :■.."■,

Предлагаемая в диссертации модель нейронной сети, основанная на методе самоорганизующихся карт Кохонена (СОКК), позволяет решить такие известные проблемы этих сетей, как "граничный эффект" и наличие "мертвых"

нейронов. За счет повышения точности и качества анализа данных новая модель нейронной сети позволяет повысить эффективность принятия решений в задачах анализа данных с помощью систем поддержки принятая решений (СППР).

Объект исследования

Самоорганизующаяся нейронная сеть Кохонена как эффективное средство кластерного анализа данных в системах поддержки принятия решений.

Цель диссертационной работы

Повышение эффективности систем поддержки принятия решений за счет применения усовершенствованной модели самоорганизующейся нейронной сети Кохонена.

Для достижения поставленной цели были решены следующие научные и практические задачи:

- исследование алгоритма работы классической модели самоорганизующейся нейронной сети Кохонена, его недостатков и существующих способов их устранения;

- разработка и исследование усовершенствованной модели нейронной сети Кохонена для устранения недостатков сетей этого типа: граничного эффекта и появления "мертвых" нейронов;

- повышение алгоритмической эффективности применения самоорганизующихся нейронных сетей при решении задач анализа данных в системах поддержки принятия решений;

- обеспечение встраиваемости полученных программно-алгоритмических результатов в различные системы поддержки принятия решений.

Методы исследования

При решении задач, поставленных в работе, были использованы методы теории нейронных сетей. Для анализа качества работы нейронных сетей использовался критерий энтропии, используемый в теории информации. Для программной реализации использованы методы структурного и объектно-ориентированного анализа и программирования.

Научная новизна работы заключается в следующих положениях:

- разработана и исследована усовершенствованная модель нейронной сети Кохонена, которая, устраняет недостатки нейронных сетей этого типа, а также повышает точность и качество аппроксимации анализируемых данных;

- предложен новый метод установки связей между нейронами в решетке сети разработанной модели, который упрощает алгоритм установления размеров топологических областей соседства;

- определена и доказана эффективность применения усовершенствованной модели сети Кохонена в задачах кластерного анализа.

Практическая ценность работы заключается в:

- разработке методики анализа данных с помощью предложенной модели нейронной сети Кохонена;

- разработке программного решения в виде динамической библиотеки функций с открытым интерфейсом, которая обеспечивает возможность встраивания и использования разработанной модели нейронной сети в системах поддержки принятия решений.

Достоверность положений

Достоверность научных положений настоящей работы подтверждена сравнением оценок точности и качества аппроксимации данных нейронными сетями разработанной и классической моделей Кохонена. В качестве критерия точности использовался критерий ошибки квантования из теории нейронных сетей, а в качестве критерия качества - критерий энтропии. Достоверность полученных результатов подтверждается также итогами применения разработанных алгоритмов на практике.

Апробация работы

Основные положения диссертационной работы докладывались и обсуждались на расширенных заседаниях кафедры "Теоретической механики" и научных семинарах в ГОУ ВПО МГТУ "Станкин", а также - международных и всероссийских научно-технических конференциях: УШ-ая научная конференция ГОУ ВПО МГТУ "Станкин" и "Учебно-научного центра математического

моделирования ГОУ ВПО МГТУ "Станкин" - ИММ РАН", Москва, 2005 г.; Х-я Международная открытая научная конференция "Современные проблемы информатизации в технике и технологиях" (Воронеж, Воронежский государственный технический университет, 2005 г.); VIII Международная научно-техническая конференция "Информационно-вычислительные технологии и их приложения" (Пенза, МНИЦ ПГСХА, 2008 г.); Научно-методическая конференция "Машиностроение - традиции и инновации" (Москва, ГОУ ВПО МГТУ "Станкин", 2008 г.).

Реализация работы

Разработанное в настоящей диссертационной работе программное обеспечение (ПО), реализующее работу новой модели нейронной сета Кохонена, применялось для решения двух разнородных практических задач:

- разработанное ПО внедрено как модуль в систему менеджмента качества автоматизированной информационной системы управления производством шовного хирургического материала "ИГЛА" на ОАО "Московский завод координатно-расточных станков" (ОАО "МЗКРС") с целью выявления причин и скрытых закономерностей в появлении высокого процента брака готовой продукции. Имеется акт о внедрении в промышленную эксплуатацию;

- разработанное ПО использовалось на кафедре "Теоретическая механика" ГОУ ВПО МГТУ "Станкин" для анализа результатов моделирования работы конических зубчатых передач с круговыми зубьями в программном комплексе (ПК) "ЭКСПЕРТ", разработанном на кафедре, с целью выявления характеристик этих передач, влияющих на необходимость изготовления нестандартного режущего инструмента.

Публикации. По теме диссертационной работы опубликовано 7 научных работ, включая 2 научные работы в рецензируемых журналах из Перечня ВАК РФ, а также тезисы докладов, подготовленных для международных и региональных научно-технических конференций.

Структура и объем. Диссертация состоит из введения, 4 глав, основных результатов и выводов, списка используемой литературы из 68 наименований, изложена на 145 страницах машинописного текста, включая 54 рисунка и 11 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность применения современных методов интеллектуального анализа данных в СППР с целью повышения эффективности принятая решений. Характеризуются основные преимущества нейронных сетей перед другими методами анализа данных. Обосновывается выбор модели самоорганизующихся карт Кохонена (СОКК), как основы для разработки новой усовершенствованной модели сети этого вида, позволяющей увеличить эффективность ее применения в задачах анализа данных. Приводится научная новизна работы, формулируются цель и задачи исследования.

В первой главе приводится описание классической модели СОКК, рассматриваются основные элементы модели, такие как сеть нейронов, обучающее множество, алгоритм обучения. Рассматриваются методы предварительной подготовки данных для анализа с помощью СОКК, а также способы построения визуальных топографических карт сети.

Алгоритм математической модели классической СОКК определяет отображение векторов данных Хк ={х1,х2,...,х^} из некоторого входного пространства X еЯт с системой координат (х\...,хт) на решетку узлов (сеть нейронов) иц={щ,и2.....и.,,}, расположенную в двумерном пространстве и еЯ2 с системой координат (и1,к2), где И - евклидово пространство, т - размерность входного пространства, К - количество входных векторов, N - количество нейронов сета, х,еХ, х,■ =(х},...,х"), ¡ = \.....К, «¿еи, и!=(и),и2),

Каждому нейрону и: сети ставится в соответствие параметрический вектор, называемый весовым вектором те, = (ус',..., и»™) б Л™. Для обучения СОКК из X выбирают подмножество /, = {х1,х2,...,хр}еобучающих векторов,

которое, может совпадать с X. Каждый обучающий вектор хр =(х]р,...,Хр)еР связывается одновременно со всеми нейронами сета через их веса , где р -количество обучающих векторов.

После подготовки структуры нейронной сети начинается процесс перемещения весовых векторов нейронов во входном пространстве К"1 - обучение нейронной сети. При этом из Р случайным образом выбирается элемент X, для

которого в СОКК происходит поиск нейрона-победителя, вектор весов которого в наименьшей степени отличается от соответствующих компонент вектора X. В работе различие между векторами рассчитывается с помощью евклидовой метрики:

¿(x,wj = |x-

(Xj-Kjf, 0)

где ww - вектор весов uw-ro нейрона-победителя. Вокруг нейрона-победителя образуется топологическая область соседства:

SW = {щ = (»!."/) е UN\d(uw,Ut) < a(t),uw = (u]w,ul) е UN,i = 1.....N), (2)

которая состоит из uw и нейронов-соседей и,. Количество нейронов-соседей, попадающих в эту область, зависит от коэффициента радиуса соседства сг(<), который является функцией, принимающей значение из промежутка [0,ст0) :

a(t) = a0(l-t/T), (3)

где <т0 - начальный радиус обучения, задаваемый перед обучением нейронной

сети, / = 1.....Т - текущая итерация (эпоха) обучения, Т - общее количество

эпох обучения сети. В диссертационной работе предлагается устанавливать

(т0=. Как видно из (2), в область соседства для uw попадают только те нейроны-соседи, для которых выполняется неравенство d(uw,ut) <cr(t). Расстояние d(uw,uj) между нейронами в решетке сети рассчитывается по (1).

Нейрон-победитель и все нейроны-соседи, лежащие в пределах топологической области соседства Sw, подвергаются адаптации, в ходе которой их весовые векторы изменяются в направлении вектора х по правилу Кохонена:

w„. (/+1)=w„. (/)+t]Uj (t)[x - w„. «Jw, eSw,le [1, A'], (4)

где t]Uj (f) обозначает коэффициент обучения и, -го нейрона и является функцией, принимающей значения из промежутка [0,1) :

rju.(t)=a(t)-hjt), (5)

где a(t) - функция скорости обучения, Awi(;) - функция соседства. В настоящей

работе для вычисления этих функций используются формулы:

' 1 N d (u„,ut

a(t)=a0(\-tlT), hm(l) = exp

2<r2(t) )

(6)

где а0 - начальная скорость обучения, задается перед началом обучения и в диссертации рекомендована как а0 = 0,75.

Алгоритм обучения СОКК выполняется для каждого следующего входного вектора из Р. Если все входные векторы становятся предъявленными сети, то запускается следующая эпоха и входная выборка Р обучающих векторов снова подается сети.

В процессе обучения СОКК весовые векторы нейронов настраиваются таким образом, чтобы нейроны располагались в местах локальных сгущений входных данных, то есть описывали кластерную структуру облака данных. В это же время связи между нейронами соответствуют отношениям соседства между соответствующими кластерами во входном пространстве. После обучения нейронная сеть способна классифицировать поданный ей на вход испытуемый вектор, находя ближайший к нему нейрон-победитель, и, тем самым, определяя кластер, к которому этот нейрон-победитель принадлежит.

По истечении всех Т эпох процесс обучения СОКК останавливается и выполняется оценка точности ее обучения с помощью критерия ошибки квантования:

1 Р Ц ц2

Ры1] 11

При этом каждый вектор х,|/ = 1 ,.,.,р из Р подается по очереди уже обученной нейронной сети, для него отыскивается ы^-ый нейрон-победитель и вычисляется квадрат расстояния между х, и вектором весов №„,<-,) победителя.

Выбор определенного уровня значимости ошибки квантования, выше которого результаты обучения СОКК отвергаются как ложные, обычно зависит от того, был ли результат предсказан априори или обнаружен апостериорно в результате обучения СОКК. В работе приемлемыми значениями ошибки квантования считаются значения меньшие или равные 0,05 {Еч < 0,05).

Для решения задач с помощью нейронных сетей необходима предобработка входных данных, которые будут предоставлены ей для обучения. Основными этапами предобработки данных являются: кодирование входных векторов (нейронная сеть работает только с числовыми данными); нормировка входных векторов для возможности сравнения их друг с другом; очистка данных от ре-гулярностей и нетривиальных закономерностей.

В конце главы приводится описание способов построения визуальных топографических карт СОКК, с помощью которых исследователь может проводить анализ результатов ее обучения и выявлять найденные закономерности и классы (кластеры) во входных данных.

Во второй главе приводится анализ влияния известных проблем классической модели СОКК на качество ее обучения. Для решения этих проблем предлагаются новая модель самоорганизующейся нейронной сети, использующая правило обучения Кохонена (4), и новый метод определения соседства между нейронами в такой решетке. Выполняется сравнение результатов обучения новой и классической моделей СОКК по двум критериям: ошибки квантования и энтропии. В конце главы приводятся результаты сравнительного анализа по этим же критериям между разработанной сетью и ее существующим аналогом, разработанным австралийскими учеными.

"Граничный эффект" для СОКК состоит в том, что в идеале в результате ее обучения все входные векторы из Р в равной степени представлены нейронам в сети. При этом соседние области нейронов в решетке UN имеют тенденцию моделировать похожие области входного пространства. Однако на краях решетка UN нейроны имеют меньшее количество соседей, чем те, которые находятся внутри UN. Эти внутренние нейроны, часто выигрывая, захватывают нейроны с краев сети в области соседства, адаптируя их весовые векторы в свою сторону. Таким образом, входное пространство, отображенное на сета, "сминается" к ее центру, образуется "граничный эффект".

Различные авторы предлагают решать проблему граничного эффекта, выполняя внешние воздействия на граничные нейроны в процессе обучения. Например, можно использовать правило взвешивания1, когда входные векторы снабжают условными весами, которые, в свою очередь, по-разному воздействуют на коэффициент скорости обучения для нейронов, находящихся на краях решетки сети и внутри нее. Либо использовать виртуальные нейроны2, которые располагаются рядом с граничными нейронами и компенсируют своим присутствием при обучении недостающие нейроны на границах решетки сети.

1 Kohonen Т. Self-organizing Maps II Springer Series in Information Sciences, V.30, Springer, Berlin, Heidelberg, New York, 2001. - 501 p.

2 Нечаева О.И. Сглаживание адаптивных сеток, построенных методом самоорганизующихся карт II Вестник Томского государственного университета, N4(5), 2008.- с. 51-60.

и

В настоящей диссертационной работе предлагается вариант структуры решетки нейронной сети, который был назван замкнутым. Путем соединения краев решетки сети с прямоугольной топологией по следующему алгоритму предлагается решать проблему "граничного эффекта" для СОКК.

1. Преобразование плоской решетки сети в циливдр (рис. 1(а)). При этом соединяются друг с другом ее левый и правый края. Таким образом, часть нейронов сети, располагавшихся слева и справа на плоской решетке, приобретают соседей.

2. На образовавшихся основаниях цилиндрической решетки нейроны соединяются связями соседства по двум предложенным ниже схемам.

Схема № 1: "Каждый с каждым" (рис. 1(6)). Все нейроны каждого основания цилиндра решетки сети соединяются между собой единой связью соседства так, что становятся соседями друг для друга в радиусе соседства <7 = 1 в пределах каждого основания.

Схема № 2: "Противолежащие" (рис. 1(в)). В этом варианте также происходит соединение нейронов в пределах каждого основания цилиндра решетки сети, однако связей соседства на каждом полюсе становится несколько.

В результате такой трансформации образуется решетка замкнутой сети (рис. 1(г)).

решетка с каждым" щие" решетка

Рис. 1. Трансформация плоской решетки в замкнутую решетку Классический алгоритм СОКК (4) на каждой итерации обучения выполняет изменение значений весовых векторов для нейронов сети, попавших в топологическую область соседства (2). В настоящей работе для разработанной модели сети предложен следующий метод соединения нейронов и определения отношения соседства между ними:

1. Для каждого нейрона в решетке сети создается список его ближайших нейронов-соседей. Такими ближайшими соседями для нейрона щ в радиусе

а = 1 являются только 4 нейрона, два из которых находятся в том же столбце и}, но в соседних по вертикали и горизонтали строках решетки сети, а другие два нейрона находятся в той же строке и2, но в соседних слева и справа столбцах от рассматриваемого нейрона ц в решетке сети. Таким образом, область соседства радиуса а = 1 дяя каждого нейрона щ в сети с шагом / = 1 обозначим как:

= {и; = («и2)е= {«'-Ни] +/},и2 = {и2-/;м2+/},1 = 1,...,Лг}. (8)

В радиус соседства <т = 0 попадает только сам нейрон , что соответствует значению /=0 в (8):

= (9)

2. Для поиска соседних нейронов, находящихся в решетке сети в радиусе соседства <т, необходимо выполнить а шагов, на каждом из которых найти ближайших соседей по вертикали и горизонтали (8) для уже найденных нейронов-соседей на предыдущем а -1 шаге:

и А',<7(021. (10)

В (10) для расчета используются нейроны-соседи и1 из области соседства

которая также рассчитывается по формуле (10). Рекурсивный поиск нейронов-соседей прекращается при <т(/) <1, При этом для ст(<) = 1 множества нейронов-соседей и в (10) определяются по формулам (8) и (9), соответственно.

При обучении нейронных сетей обеих предложенных схем разработанной модели по правилу Кохонена (4) области соседства для нейронов-победителей определяются на основании (10).

В конце четвертой главы диссертации приводится сравнение двух алгоритмов поиска нейронов-соседей в СОКК по критерию ресурсной эффективности: алгоритма (2), используемого в классической модели сети, и предлагаемого алгоритма (10). Доказывается, что второй имеет меньшую трудоемкость выполнения по сравнению с первым.

В работе приводится анализ влияния изменения структуры решетки нейронной сети на граничный эффект по критерию асимметрии, предложенному Нечаевой О. И. (ссылка на работу приведена по сноске № 2, на стр. 10):

= (П)

м

который для каждого нейрона представляет собой сумму значений функций соседства (б) со всеми другими нейронами из области соседства . На рис. 2 приведены графики величины 31, построенной для классической модели СОКК и схемы "противолежащие" для разработанной замкнутой сети.

Рис. 2. Характеристика асимметричности нейронных связей для СОКК Графики на рис. 2 приведены для сетей одинакового размера при радиусе соседства <т = 1. В решетке СОКК классической модели (рис. 2(а)) для нейронов на всех границах сета в указанном радиусе обучения не хватает нейронов-соседей, поэтому характеристика 5i убывает по периметру решетки сети. Замкнутая решетка сети увеличивает количество соседей у граничных нейронов. Так схема "Противолежащие" (рис.2 (б)) выполняет практически полную балансировку граничного эффекта.

Во второй части второй главы описываются результаты проведенных исследований разработанной замкнутой сети, которые позволяют обосновать эффективность ее применения в задачах анализа данных.

Для исследований использовались классическая и разработанная модели сетей, обученные по правилу Кохонена при прочих равных условиях: одинаковый размер сетей (37x27 = 999 нейронов, начальная скорость обучения сетей а = 0,8, начальный радиус обучения ст = 10, функция соседства гауссовского (6) типа). В качестве классической модели сети Кохонена использована сеть из

некоммерческого пакета программ "БОМ РАК", созданного в Лаборатории вычислительной техники и информатики Хельсинского технологического университета. Обе сети были обучены на одном и том же входном наборе данных, представляющем собой 2000 случайных точек трехмерного пространства ХУг, координаты которых распределены относительно начала координат (0,0,0) по нормальному закону с нулевым математически ожиданием и среднеквадратиче-ским отклонением, равным 1.

Результаты работы сетей оценены по критерию точности аппроксимации - ошибке квантования (7), и по критерию качества - энтропии.

Для самоорганизующейся нейронной сети энтропия - есть степень равномерности распределения ошибки квантования по нейронам сети. Чем выше значение этого критерия, тем больше в сети нейронов, которые аппроксимируют входные векторы с низкой ошибкой квантования:

Н = -

N

ы

(12)

где Н - энтропия сети, N - количество нейронов в сети, е, - ошибка квантования каждого нейрона сети. Ошибка е,||=1,...,ЛГ рассчитывается для д входных векторов Ху|; = 1,...,9, для которых этот /-ый нейрон с весовым вектором становился победителем за все время обучения:

Ч'-г-Ь— (13)

¿=1

где

н

и К - количество входных векторов.

На рис. 3 приведены графики ошибки квантования (7) и энтропии (12) для сетей разработанной (замкнутой) и классической моделей.

Обе схемы замкнутой сети ("противолежащие" и "каждый с кавдым") представлены одним графиком модели в целом, потому что по критериям ошибки квантования и энтропии они дают одинаковые результаты.

Значения ошибки квантования и энтропии для рассматриваемых сетей показывают, что разработанная модель сети в 3,6 раза точнее и на 31 % качест-

веннее аппроксимирует входное пространство анализируемых данных, чем классический аналог.

Увеличение точности и качества аппроксимации входного пространства данных разработанной сетью происходит из-за более равномерного распределения векторов входного пространства по нейронам сети. В подтверждение этого на рис. 4 построена гистограмма плотности распределения ошибки квантования (13) по нейронам сети.

100 Эпохи

100 Эпохи

(а) Ошибка квантования (б) Энтропия

—Д— Классическая сеть Кохонена; —□— Замкнутая сеть

Рис.3. Графики ошибки квантования и энтропии сетей

500

х о о.

15

400 -300 -200 -! 100 -! о

П Классическая сеть Кохонена О Замкнутая сеть

ДА

~ГЧ—Г"1—1111

1

4 7 10 13 16 19 22 25 28 31 34

-з

Ошибка квантования нейронов сети е • 10 Рис. 4. Плотность распределения ошибки квантования по нейронам сети

Выше было указано, что размеры нейронных сетей, участвующих в исследовании, одинаковы и равны 999 нейронов. Справа на гистограмме видно, что около 497 нейронов классической модели и только 72 нейрона модели замкнутой сети имеют самое высокое значение ошибки квантования из рассчитанных. Такое значение ошибки квантования присвоено нейронам сетей, кото-

рые за все время обучения ни разу не становились победителями ни для одного входного вектора. Левая часть гистограммы показывает, что 925 нейронов замкнутой модели сети имеют малую и приемлемую ошибку квантования: е < 0,05, а для классической сети Кохонена такое значение этой ошибки имеют только 449 нейронов, т.е. на 476 или на 49 % нейронов меньше.

Таким образом, в разработанной модели самоорганизующейся нейронной сети происходит более равномерное распределение входных векторов по нейронам сети по сравнению с классической моделью сети Кохонена.

В конце главы приводятся результаты сравнения работы двух замкнутых нейронных сетей: сета с прямоугольной топологией решетки, разработанной в настоящей работе и сети с треугольной топологией3. Обучение сетей проводилось при одинаковых настройках: одинаковые размеры сетей, начальные условия и функции изменения значений в процессе обучения для скорости и радиуса обучения. Сети были обучены на одном и том же наборе входных данных, состоящем из 2000 точек трехмерного пространства, который использовался выше и при разном количестве эпох обучения.

О 50 10» 150 200 о 50 100 150 200

Эпохи Эпохи

(а) Ошибка квантования (б) Энтропия

—Д—Модель с треуг. топологией; —О— Модель с прямоуг. топологией

Рис. 5. Сравнение работы замкнутых сетей На рис. 5 приведены графики ошибки квантования (7) и энтропии (12) этих сетей. Средняя разница в значениях ошибки квантования для них составляет 0,003, а разница в значениях энтропии - около 0,122. Такой разницей в значениях критериев качества и точности можно пренебречь. В диссертацион-

3 Wu Y., Takatsuka M. Fast spherical self organizing map-use of indexed geodesic data structure // WSQM05,2005. - pp. 455-462.

ной работе делается вывод о том, что рассматриваемые модели замкнутых сетей не уступают друг другу по этим критериям.

Преимущество модели сети с прямоугольной топологией решетки состоит в более простой реализации по сравнению с треугольной топологией, а также в возможности построения наглядных плоских карт-разверток замкнутой сети.

В третьей главе приводится описание примеров практического применения разработанной модели самоорганизующейся нейронной сети в двух разнородных задачах.

Решение первой задачи проводилось в рамках подсистемы менеджмента качества управления производством шовного хирургического материала в автоматизированной системе "ИГЛА" на ОАО "Московский завод координатно-расточных станков" с целью выявления причин и скрытых закономерностей в появлении высокого процента брака готовой продукции завода.

Разработанное в настоящей работе программное решение было внедрено в систему менеджмента качества управления производством продукции завода. Это позволило выявить закономерности появления высокого процента брака в продукции завода на стадии производства.

Для этого был проанализирован входной набор данных, содержащий информацию о производстве продукции за 2005 год, разбитую на 12 месяцев. Входные данные конвертировались в электронную таблицу в формате Microsoft Excel. Таблица имела около 4500 записей или векторов входных данных. Каждый вектор состоял из 7 компонент: диаметр производимой одноразовой хирургической иглы (интервал изменения значений от 0,4 до ¡,2 ми), ее дайна (от 16 до 50 мм), развертка иглы {]/2 или % оборота окружности), заточка иглы (колющая или режущая), тип завальцованной нити (около 16 видов), месяц производства (от 1 до 12), процент брака в готовой продукции. На этапе предобработки во входной набор данных для сети были выбраны те векторы, для которых значения в колонке "процент брака" готовой продукции составляли более 10%.

В результате анализа обученной сета и построения ее карт-разверток (рис. 6) было выявлено, что в основном высокий процент брака в готовой продукции (брак > 10 %) возникал при малых диаметрах (0,4-0,8 мм) и дайнах игл (16-25 мм). При этом значения остальных параметров игл, входящих в состав

компонент входного набора векторов, варьируются во всем диапазоне возможных значений, то есть на величину процента брака влияния не оказывают. Проверка специалистами завода технологического процесса производства игл указанных диаметров и длин показала, что при завальцовке нити в их ложементах часто возникали трещины. В дальнейшем на заводе была выработана методика увеличения пластичности стали вблизи ложемента игл, которая была защищена патентом на изобретение.

Кластеры

% Брака

к/" Го1 10

Нить

-Я.-' ■

•3 4 'М!М>'4 Месяцы

¡10 10 С М /8 5Л.'Л«; 118

Рис. 6. Карты-развертки нейронной сети при анализе брака Второй задачей для применения разработанной модели нейронной сети стала задача анализа результатов моделирования работы конических зубчатых передач с круговыми зубьями. Моделирование выполнялось с помощью ПК "ЭКСПЕРТ". Целью анализа было выявление геометрических характеристик этих передач, влияющих на необходимость изготовления нестандартного режущего инструмента - зуборезной головки.

Исследования выполнялись на стадии проектирования. Для получения входных данных для сети был разработан программный интерфейс, позволивший на основе ПК "ЭКСПЕРТ" в автоматизированном режиме выполнить расчеты большого количества зубчатых передач с круговыми зубьями. В результате входной набор данных для нейронной сети содержал около 15 ООО векторов.

Кластеры

Развод резцов

Л

О 166 332

Число зубьев шестерни Число зубьев колеса Передаточное число

... 35 з|С 93

35

V ¿Г Ь V

■ «Ч 35

Ширина зубчатого венца (Ширина зуб. венца)/Модуль

5-5 60

5К 5 , 6 5.5 5 «

6 / 5 ' 50

6 6 7 7 т 55

45 55

30

35

5° 45 108

6-7 0 10 10

45

45

4 5,5 7 20

Угол наклона спирали

40

Коэфф. суж. вершинной ленточки зуба колеса

60 5 7.5 10

Номер резца головки

1

1 м

20 35 35 30 30 35 35 35 35

I ,, « .. 35 35 25 3025 35 35

" 20 Зр 30*30 35 *

15 25 35 0.9 1 1.1 2 6 10

Рис. 7. Каргы-развертки нейронной сети при анализе расчетов

зубчатых передач

Каждый входной вектор имел 10 компонент, а входной наборе векторов

представлял собой различные сочетания значений этих компонент: число зубь-

ев шестерни г] (интервал изменения значений от 15 до 35), число зубьев колеса

г2 (от 15 до 100), средний нормальный модуль передачи тп (от 4 до 7 мм), ши-

рина зубчатого венца колеса и шестерни Ь (от 5 • тп до 14 • т„ мм), угол накло-

на спирали шестерни и колеса р (от 15° до 35°), передаточное число и = г2/г1

(от 1 до 6,3), отношение ширины зубчатого венца к модулю Ытп (вычисляемый параметр), коэффициент сужения вершинной ленточки зуба колеса КI (от 0.9 до 1.1), номер резца резцовой головки N, развод резцов резцовой головки W.

В результате анализа обученной сети и построения ее карт-разверток (рис. 7) был выявлен ранее не формализованный класс конических зубчатых передач, для изготовления которых необходимо применение нестандартных резцовых головок номинальным диаметром 18 дюймов. Эти головки имеют значения образующих диаметров для внутренних резцовых головок меньшие, чем образующие диаметры для наружных резцовых головок. С помощью них должны нарезаться передачи, обладающие следующими характеристиками: передаточное число пары и s [2,3], число зубьев шестерни zt е [30,35].

Сделанные выводы подтверждаются на практике в уже разработанной конической зубчатой передаче с круговыми зубьями 31:73, которая производится на заводе "Красный октябрь" в городе Санкт-Петербург. Это передача, которая крутит его основной винт в трансмиссии вертолета и передает большой крутящий момент порядка 15000 Н-Метр.

Выявлены также дополнительные ограничения на характеристики этих передач, позволяющие нарезать и колесо, и шестерню одной двусторонней резцовой головкой, что уменьшает расходы на их производство. Для этих передач к вышеперечисленным ограничениям добавляются еще два: средний нормальный модуль передачи должен быть в интервале тп 6 [5,7] мм, ширина зубчатого венца колеса и шестерни - в интервале b е [30,60] мм.

В четвертой главе приводится описание разработанного программного решения с открытым интерфейсом в виде динамически присоединяемой библиотеки для обеспечения возможности встраивания в СППР. Библиотека реализует работу самоорганизующейся нейронной сети разработанной и классической моделей. При этом пользователем выбирается форма сети (плоская или замкнутая), ее размеры, начальные параметры инициализации и количество эпох обучения. В результате запуска главной обучающей процедуры создается текстовый файл, содержащий все необходимые параметры обученной нейронной сети. Динамическая библиотека разработана с использованием языка программирования "С++".

Во второй части главы описывается еще одно приложение, разработанное в универсальном табличном редакторе Microsoft Excel, которое использует раз-

работанную библиотеку. Его роль заключается в обеспечении интерфейса пользователя при подготовке данных к анализу, а также для визуального отображения и навигации по картам-разверткам и глобусам обученной нейронной сети. Передвигаясь по ячейкам любой из отображаемых карт компонент или кластеров (каждая ячейка любой карты соответствует определенному нейрону в сети), исследователь в автоматизированном режиме получает информацию о том, к какому найденному сетью кластеру данных относится текущий нейрон, какие значения принимают другие компоненты весов этого нейрона, каковы максимальное, минимальное и среднее значения выбранной компоненты нейрона в области того кластера, к которому он принадлежит. В диссертационной работе приводится блок-схема алгоритма принятия решения с помощью СОКК.

В конце главы приведено описание расчетов и оценки ресурсной эффективности4 двух алгоритмов поиска нейронов-соседей в решетке сети в процессе обучения для каждого нейрона-победителя:

1. Алгоритм поиска нейронов-соседей в классической модели СОКК (2).

Рассчитанная функция трудоемкости выполнения алгоритма:

/(Л0 = 113-ЛЧ2. (15)

Рассчитанная функция объема памяти алгоритма:

Ку(ЛГ) = 7'А' + 14. (16)

Как видно из (15) и (16) обе функции зависят от параметра N - количества

нейронов в сети.

2. Алгоритм поиска нейронов-соседей, предложенный в настоящей рабо-

те(Ю).

Рассчитанная функция трудоемкости выполнения алгоритма:

^(Лг,сг) = 10ст+(2<т2-2<т + 1)(64-——За)-2>/АЧ28ЛГ, (17)

N ■ч/лг

где N - количество нейронов в сети, <т- радиус соседства.

Функция трудоемкости (17) зависит не только от количества нейронов в сети, но и от значения радиуса соседства на каждой итерации алгоритма обучения.

Рассчитанная функция объема памяти алгоритма:

4 Ульянов М. В. Ресурсно-эффективные компьютерные алгоритмы. Разработка и анализ. - М: ФИЗМАТЛИТ, 2008. - 304 с.

(АО = 15-N + 12. (18)

По количеству требуемой памяти алгоритм, предлагаемый в настоящей работе, требует на Ш-2 ячеек памяти больше, чем алгоритм классической модели СОКК.

Однако по трудоемкости своего выполнения алгоритм поиска нейронов-соседей в классической модели СОКК будет уступать предлагаемому алгоритму при любом количестве нейронов N сети и таких значениях радиуса соседства а, которые удовлетворяют неравенству:

д>-х{/№,<г),М,<г))йО, (19)

где /(Ж,а) = ПЗ-/У+2 + 0-а - функция трудоемкости (15) с нулевой зависимостью от радиуса соседства а, - угловая мера близости ресурсных оценок3 функций /(Л', сг) и а) в каждой точке выбранного для исследования в работе интервала 0 < N < 100000 значений количества нейронов сети:

л(/(М, <х), а)) = - (20)

<р = я/32 а 0,0981 - допустимый порог расхождения значений функций трудоемкости сравниваемых алгоритмов для всех значений N на выбранном интервале.

о

В диссертационном исследовании была рассчитана угловая мера (20) в каждой точке интервала 0 < N <100000 (Рис. 8). Определены такие значения а

5 Ульянов М. В. Классификация и методы сравнительного анализа вычислительных алгоритмов. - М.: Издательство физико-математической литературы, 2004.-212 с.

и /V, при которых выполняется условие (19) и предлагаемый алгоритм поиска нейронов-соседей более эффективен по трудоемкости, чем аналог в классической модели СОКК.

На рис. 9 показаны графики зависимости радиуса соседства от количества нейронов сети для двух описываемых алгоритмов.

N, кол-во нейронов в сети Рис. 9. Графики и области эффективности алгоритмов: <7| (N) - алгоритм, предлагаемый в диссертационной работе; <т2(Л0 • алгоритм классической модели СОКК

Области значений а, находящиеся выше графика cr2(N), содержат такие значения радиуса соседства a>cF,(N), при которых эффективнее по трудоемкости является алгоритм поиска нейронов-соседей (2) классической модели СОКК. Области значений а, находящиеся ниже графика <т,(Лг), содержат такие значения радиуса соседства ст < стДЛ'), при которых эффективнее по трудоемкости является предложенный (10) в диссертационной работе алгоритм поиска нейронов-соседей. В области значений ст,(Л0<(т<ст2(Л0 оба алгоритма одинаковы по эффективности в заданном допустимом пороге <р = ж/32.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

1. Решена актуальная научная задача, имеющая существенное значение дня повышения эффективности систем поддержки принятия решений за счет применения усовершенствованной модели самоорганизующейся нейронной сети Кохонена с замкнутой решеткой.

2. Установлены связи между способами соединения нейронов на границах решетки сети Кохонена и эффективностью аппроксимации ею входного на-

бора анализируемых данных.

3. Разработан новый метод установки связи между нейронами в решетке замкнутой сети и описана его математическая модель, упрощающая алгоритм установления размеров топологических областей соседства.

4. На основании проведенных исследований подтверждено, что разработанная модель нейронной сети решает проблемы "граничного эффекта" и появления "мертвых" нейронов, свойственные классической модели сети этого типа, а также увеличивает точность и качество аппроксимации анализируемых данных.

5. Разработано программное обеспечение в виде динамической библиотеки функций с открытым интерфейсом, обеспечивающей встраивание и возможность использования разработанных программных инструментов интеллектуального анализа данных в системах поддержки принятия решений.

6. Разработан программный интерфейс пользователя, позволяющий наряду с подготовкой данных и обучением нейронной сети выполнять автоматизированный поиск закономерностей в данных на основе результатов ее обучения.

7. Получены практические результаты, иллюстрирующие актуальность и результативность применения новой модели сети Кохонена в задачах выявления скрытых закономерностей в данных, учитываемых при принятии решений на этапе массового производства шовного хирургического инструмента и этапе конструкторской разработки мелкосерийного производства конических зубчатых передач с круговыми зубьями.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Рыжков В.А, Лычкин E.H. Исследование моделей сферической топологии для устранения граничного эффекта в самоорганизующихся нейронных сетях Кохонена // М.: Издательство "Радиотехника", "Нейрокомпьютеры: разработка, применение", 2009. - №10. - с. 73 - 83.

2. Рыжков В.А. Применение моделей сферической топологии в самоорганизующихся нейронных сетях Кохонена для выявления закономерностей в появлении бракованной продукции при массовом производстве. Научно-

технический журнал "Системы управления и информационные технологии" // Воронеж: Издательство "Научная книга", 2009. - № 2.1 (36). - с. 176 - 179.

3. Лычкин E.H., Рыжков В.А. Применение самообучающихся нейронных сетей для выявления закономерностей при расчете параметров зуборезного инструмента. Вестник МГТУ "Станкин". Научный рецензируемый журнал // М.: МГТУ "Станкин", 2009. - №1 (5). - с. 45- 50.

4. Рыжков В.А, Лычкин E.H. Применение самоорганизующихся нейронных сетей для определения расчетных параметров зацепления конических передач с круговыми зубьями, влияющих на геометрию зуборезного инструмента. Сборник докладов и тезисов VIII-ой Международной научно-технической конференции "Информационно-вычислительные технологии и их приложения" // Пенза: РИО ПГСХА, 2008. - с. 94- 99.

5. Лычкин E.H., Рыжков В.А. Исследование алгоритма обработки данных на основе самоорганизующихся нейронных сетей для управления производством шовного хирургического инструмента. Сборник докладов и тезисов VIII-ой научной конференции МГТУ "Станкин" и "Учебно-научного центра математического моделирования МГТУ "Станкин" - ИММ РАН" II М.: ЯНУС-К, ИЦ ГОУ МГТУ "Станкин", 2005. - с. 109-112.

6. Рыжков В.А., Концепции и технологии построения хранилища данных на основе автоматизированной информационной системы "Игла", как части системы менеджмента качества на ОАО "Московский завод координатно-расточных станков". Сборник трудов Х-ой Международной открытой научной конференции "Современные проблемы информации в технике и технологиях" // Воронеж: Издательство "Научная книга", 2005. - с. 233- 234.

7. Рыжков В.А. Концепции и технологии построения хранилищ данных на основе автоматизированной информационной системы поддержки принятия решений. ОБЪЕДИНЕНИИ НАУЧНЫЙ ЖУРНАЛ № 3 (131) // м.: Фонд научных публикаций, 2005. - с. 58- 60.

Введение.

Глава 1. Самоорганизующиеся карты Кохонена как метод аналитической обработки данных.

1.1. Анализ современных методов интеллектуального анализа данных.

1.2. Классическая модель СОКК и алгоритм ее обучения.

1.3. Подготовка и предобработка данных для нейронной сети.

1.4. Построение визуальных топографических карт для СОКК.

Выводы по главе 1.

Глава 2. Модель сети Кохонена с замкнутой решеткой, оценка ее точности и качества.

2.1. Проблемы применения классической модели СОКК.

2.2. Способы устранения граничного эффекта.

2.3. Новый метод связи соседних нейронов сети.

2.4. Новые модели СОКК с замкнутой решеткой для устранения граничного эффекта.

2.5. Оценка точности и качества обучения сети с замкнутой решеткой.

2.6. Сравнение с замкнутой сетью треугольной топологии.

Выводы по главе 2.

Глава 3. Применение методики анализа данных с помощью разработанной нейронной сети.

3.1. Методика анализа данных с помощью СОКК с замкнутой решеткой,

3.2. Анализ данных о производстве готовой продукции на ОАО "МЗКРС".

3.3. Анализ результатов конструкторских расчетов конических зубчатых передач с круговыми зубьями.

Выводы по главе 3.

Глава 4. Комплекс программ для анализа данных с применением карт Кохонена и расчет алгоритмической эффективности.

4.1. Основные модули комплекса программ.

4.2. Динамически присоединяемая библиотека, ее параметры и методы.

4.3. Разработанное приложение для Microsoft Excel.

4.4. Алгоритм принятия решений с помощью СОКК.

4.5. Алгоритм построения объемной сферической поверхности для визуального отображения глобуса замкнутой СОКК.

4.6. Расчет и оценка алгоритмической эффективности нового алгоритма поиска нейронов-соседей.

Выводы по главе 4.

Современный уровень развития аппаратных и программных средств с некоторых пор сделал возможным повсеместное ведение баз данных оперативной информации на всех уровнях управления. В процессе своей деятельности промышленные предприятия, корпорации, органы государственной власти и управления накопили большие объемы разнородных данных. Эти данные хранят в себе большие потенциальные возможности по извлечению полезной аналитической информации, на основе которой можно выявлять скрытые тенденции, строить стратегию развития, находить новые решения.

В последние годы используются следующие концепции накопления и анализа данных:

• хранилища данных (англ.: Data Warehouse) [1, 2, 3];

• оперативная аналитическая обработка данных (англ.: On-Line Analytical Processing, OLAP) [4];

• интеллектуальный анализ данных (англ.: Data Mining) [5].

Целью построения хранилища данных является интеграция, актуализация и согласование оперативных данных из разнородных источников для формирования единого непротиворечивого взгляда на объект управления в целом.

Задачами оперативной аналитической обработки данных является обобщение, агрегация, многомерный анализ и гиперкубическое представление информации, собранной в хранилище данных [7].

Интеллектуальный анализ данных — это процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей

5].

Системы обработки данных разделяются на два класса:

• системы, ориентированные на транзакционную обработку данных (СОД);

• системы, ориентированные на аналитическую обработку данных

- системы поддержки принятия решений (СППР).

СОД предназначены для решения хорошо структурированных задач, по которым имеются входные данные, известные алгоритмы, ведущие к решению задач. Система работает с минимальным участием человека. Основными функциями СОД являются сбор данных и перенос их на машинные носители, передача в места хранения и обработки, хранение, обработка информации по стандартным алгоритмам, вывод и представление информации пользователю в виде регламентных форм [6].

СППР используются для решения в режиме диалога плохо структурированных задач, для которых характерна неполнота входных данных, частичная ясность целей и ограничений. Участие человека в работе системы велико, он может вмешиваться в ход решения, модифицировать входные данные, процедуры обработки, цели и ограничения задачи, выбирать стратегии оценки вариантов решений. СППР используется на уровне стратегического планирования, оперативного и управленческого контроля [6].

Настоящая диссертационная работа посвящена вопросам повышения эффективности принятия решений с использованием*современных методов интеллектуального анализа данных в СППР.

С помощью современных методов интеллектуального анализа данных можно решаются следующие категории задач [8]:

1. Задачи классификации. Использование методов позволяет выявить признаки, характеризующие однотипные группы объектов - классы,

- для того чтобы по известным значениям этих характеристик можно было отнести новый объект к тому или иному классу. Методами решения задачи классификации являются: метод к-средних [9], байесовые сети [10], деревья решений [11], нейронные сети [12].

2. Задачи кластеризации. Логически продолжают идею классификации на более сложный случай, когда сами классы заранее не определены. Результатом использования методов, выполняющих кластеризацию, является определение тех присущих исследуемым данным признаков, которые разбивают их на группы. Такие группы данных называются кластерами. Объекты данных внутри кластеров "похожи" друг на друга и "отличаются" от объектов данных других кластеров. Методами решения задачи кластеризации являются нейронные сети, обучаемые без учителя - самоорганизующиеся карты Кохонена [13].

3. Задачи ассоциации. Методы выполняет поиск ассоциаций не на основе значений свойств одного объекта или события, а между двумя или несколькими одновременно наступающими событиями. При этом производимые правила указывают на то, что при наступлении одного события с той или иной степенью вероятности наступает другое.

4. Задачи выявления шаблонов последовательностей. Подобно ассоциациям, последовательности имеют место между событиями, но наступающими не одновременно, а с некоторым определенным разрывом во времени. Таким образом, ассоциация есть частный случай шаблона последовательности с нулевой временной задержкой.

5. Задачи прогнозирования. Методы выполняют оценку определенных будущих численных показателей системы на основе особенностей поведения текущих и исторических данных. Методами решения задачи являются методы получения статистических закономерностей, методы регрессионного и корреляционного анализа.

В диссертационной работе используются современные методы интеллектуального анализа данных, решающие задачи кластеризации, а именно самоорганизующиеся нейронные сети Кохонена.

Целью диссертационной работы является повышение эффективности систем поддержки принятия решений за счет применения усовершенствованной модели самоорганизующейся нейронной сети Кохонена.

Для достижения поставленной цели были решены следующие научные и практические задачи:

- исследование алгоритма работы классической модели самоорганизующейся нейронной сети Кохонена, его недостатков и существующих способов их устранения;

- разработка и исследование усовершенствованной модели нейронной сети Кохонена для устранения недостатков сетей этого типа: граничного эффекта и появления "мертвых" нейронов;

- повышение алгоритмической эффективности применения самоорганизующихся нейронных сетей при решении задач анализа данных в системах поддержки принятия решений; обеспечение встраиваемости полученных программно-алгоритмических результатов в различные системы поддержки принятия решений.

Методы исследования

При решении задач, поставленных в работе, были использованы методы теории нейронных сетей. Для анализа качества работы нейронных сетей использовался критерий энтропии, используемый в теории информации. Для программной реализации использованы методы структурного и объектно-ориентированного анализа и программирования.

Научная новизна работы заключается в следующих положениях:

- разработана и исследована усовершенствованная модель нейронной сети Кохонена, которая, устраняет недостатки нейронных сетей этого типа, а также повышает точность и качество аппроксимации анализируемых данных;

- предложен новый метод установки связей между нейронами в решетке сети разработанной модели, который упрощает алгоритм установления размеров топологических областей соседства;

- определена и доказана эффективность применения усовершенствованной модели сети Кохонена в задачах кластерного анализа.

Практическая ценность работы заключается в:

- разработке методики анализа данных с помощью предложенной модели нейронной сети Кохонена;

- разработке программного решения в виде динамической библиотеки функций с открытым интерфейсом, которая обеспечивает возможность встраивания и использования разработанной модели нейронной сети в системах поддержки принятия решений.

Достоверность положений

Достоверность научных положений настоящей работы подтверждена сравнением оценок точности и качества аппроксимации данных нейронными сетями разработанной и классической моделей Кохонена. В качестве критерия точности использовался критерий ошибки квантования из теории нейронных сетей, а в качестве критерия качества — критерий энтропии. Достоверность полученных результатов подтверждается также итогами применения разработанных алгоритмов на практике.

Апробация работы

Основные положения диссертационной работы докладывались и обсуждались на расширенных заседаниях кафедры "Теоретической механики" и научных семинарах в ГОУ ВПО МГТУ "Станкин", а также - международных и всероссийских научно-технических конференциях: VIII-ая научная конференция ГОУ ВПО МГТУ "Станкин" и "Учебно-научного центра математического моделирования ГОУ ВПО МГТУ "Станкин" - ИММ РАН", Москва, 2005 г.; Х-я Международная открытая научная конференция "Современные проблемы информатизации в технике и технологиях" (Воронеж, Воронежский государственный технический университет, 2005 г.); VIII Международная научно-техническая конференция "Информационно-вычислительные технологии и их приложения" (Пенза, МНИЦ ПГСХА, 2008 г.); Научно-методическая конференция "Машиностроение -традиции и инновации" (Москва, ГОУ ВПО МГТУ "Станкин", 2008 г.).

Реализация работы

Разработанное в настоящей диссертационной работе программное обеспечение (ПО), реализующее работу новой модели нейронной сети Ко-хонена, применялось для решения двух разнородных практических задач:

- разработанное ПО внедрено как модуль в систему менеджмента качества автоматизированной информационной системы управления производством шовного хирургического материала "ИГЛА" на ОАО "Московский завод координатно-расточных станков" (ОАО "МЗКРС") с целью выявления причин и скрытых закономерностей в появлении высокого процента брака готовой продукции. Имеется акт о внедрении в промышленную эксплуатацию;

- разработанное ПО использовалось на кафедре "Теоретическая механика" ГОУ ВПО МГТУ "Станкин" для анализа результатов моделирования работы конических зубчатых передач с круговыми зубьями в программном комплексе (ПК) "ЭКСПЕРТ", разработанном на кафедре, с целью выявления характеристик этих передач, влияющих на необходимость изготовления нестандартного режущего инструмента.

Публикации. По теме диссертационной работы опубликовано 7 научных работ, включая 2 научные работы в рецензируемых журналах из Перечня ВАК РФ, а также тезисы докладов, подготовленных для международных и региональных научно-технических конференций.

Структура и объем. Диссертация состоит из введения, 4 глав, основных результатов и выводов, списка используемой литературы из 68 наименований, изложена на 150 страницах машинописного текста, включая 54 рисунка и 12 таблиц.

Выводы по главе 4

Разработанное программное решение с открытым интерфейсом в виде динамически присоединяемой библиотеки обеспечивает возможность его встраивания в системы поддержки принятия решений для обеспечения возможности анализа данных с применением самоорганизующихся нейронных сетей Кохонена разработанной и классической моделей.

Новый метод поиска нейронов-соседей в решетке нейронной сети Кохонена, разработанный в настоящей диссертационной работе, является алгоритмически более эффективным по сравнению с классическим методом поиска нейронов-соседей в сети Кохонена при любом количестве нейронов в сети и при заданном диапазоне изменения значений радиуса соседства.

Заключение

В диссертационной работе получены следующие результаты:

Решена актуальная научная задача, имеющая существенное значение для повышения эффективности систем поддержки принятия решений за счет применения усовершенствованной модели самоорганизующейся нейронной сети Кохонена с замкнутой решеткой.

Установлены связи между способами соединения нейронов на границах решетки сети Кохонена и эффективностью аппроксимации ею входного набора анализируемых данных.

Разработан новый метод установки связи между нейронами в решетке замкнутой сети и описана его математическая модель, упрощающая алгоритм установления размеров топологических областей соседства.

На основании проведенных исследований подтверждено, что разработанная модель нейронной сети решает проблемы граничного эффекта и появления "мертвых нейронов", свойственные классической модели сети этого типа, а также увеличивает точность и качество аппроксимации анализируемых данных.

Разработано программное обеспечение в виде динамической библиотеки функций с открытым интерфейсом, обеспечивающей встраивание и возможность использования разработанных программных инструментов интеллектуального анализа данных в системах поддержки принятия решений.

Разработан программный интерфейс пользователя, позволяющий наряду с подготовкой данных и обучением нейронной сети выполнять автоматизированный поиск закономерностей в данных на основе результатов ее обучения.

Получены практические результаты, иллюстрирующие актуальность и эффективность применения новой модели сети Кохонена в задачах выявления скрытых закономерностей в данных, учитываемых при принятии решений на этапе массового производства шовного хирургического инструмента и этапе конструкторской разработки мелкосерийного производства конических зубчатых передач с круговыми зубьями.

1. 1.mon W. H. Building The Data Warehouse (Second Edition) // New York, NY: John Wiley, 1993.

2. Сахаров А. А. Концепция построения и реализации информационных систем, ориентированных на анализ данных // СУБД. 1996. - № 4. - С. 55-70.

3. Рыжков В.А. Концепции и технологии построения хранилищ данных на основе автоматизированной информационной системы поддержки принятия решений. ОБЪЕДИНЕННЫ НАУЧНЫЙ ЖУРНАЛ № 3 (131) // М.: Фонд научных публикаций, 2005. — с. 58- 60.

4. Codd Е. F., Codd S. В., Salley С. Т. Providing OLAP (On-Line Analytical Processing) to User-Analysts: An IT Mandate // E. F. Codd & Associates, 1993.

5. Parsaye K. A Characterization of Data Mining Technologies and Processes // The Journal of Data Warehousing, 1998. № 1.

6. Системный анализ и принятие решений: Словарь-справочник: Учебное пособие для вузов / Под ред. В. Н. Волковой, В. Н. Козлова. — М.: Высшая школа, 2004. 616 с.

7. Сахаров А. А. Принципы проектирования и использования многомерных баз данных (на примере Oracle Express Server) // СУБД, 1996. № 3. - С. 44-59.

8. Баин А. М. Современные информационные технологии систем поддержки принятия решений: учебное пособие // М.: ИД "ФОРУМ", 2009. 240 с.

9. Aha D. W., Salzberg S. L. Learning to Catch: Applying Nearest Neighbor Algorithms to Dynamic Control Tasks / In P. Cheesman & R. W. Oldford (Eds.) Selecting Models from Data: Artificial Intelligence and Statistics // New York, NY: Springer-Verlag, 1993.

10. Heckerman D. Bayesian Networks for Data Mining // Data Mining and Knowledge Discovery, 1997. № 1. - pp. 79-119.

11. Hunt E.B., Marin, J., Stone, P.J. Experiments in induction // New York: Academic Press, 1966.

12. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика // М.: Мир, 1992.

13. Kohonen Т. Self-organizing Maps // Springer Series in Information Sciences, V.30, Springer, Berlin, Heidelberg, New York, 2001. 501 p.

14. Болотова JI.С., Комаров М.Я., Смольянинов А. А. Системы искусственного интеллекта: Теоретически основы СИИ и формальные модели представления знаний: Учебное пособие // М.: Издательство МИРЭА (ТУ), 1998.-108 с.

15. Девятков В. В. Системы искусственного интеллекта: Учебное пособие // М.: Издательство МГТУ им. Н. Э. Баумана, 2001. 352 с.

16. Villman Т., Der R., Hermann M., Martinetz Т. M. Topology preservation in self-organizing maps: exact definition and measurement // IEEE Transactions on Neural Networks, 8, 1997. pp. 256-266.

17. Rodrigues J. S., Almeida L. B. In Proc. INN'90, Int. Neural Networks Conference // Kluwer, Dordrecht, Netherlands, 1990. — p. 813.

18. Rodrigues J. S., Almeida L. B. In Neural Networks: Advances and Applications, / ed. by Gelenbe E. — North-Holland, Amsterdam, Netherlands, 1991. -p.63

19. Fritzke B. In Proc. IJCNN'91, Int. Joint Conf. on Neural Networks // IEEE Service Center, Piscataway, NJ, 1991. p. 531.

20. Fritzke B. In Artificial Neural Networks / ed. by Kohonen T., Makisara K.,

21. Simula O., Kangas J. — North-Holland, Amsterdam, Netherlands, 1991. p.l-403.

22. Fritzke B. Arbeitsbericht des IMMD // Universität Erlangen-Nurnberg 25, 9, 1992.

23. Fritzke B. In Artificial Neural Networks / ed. by Aleksander I., Taylor J. -North-Holland, Amsterdam, Netherlands, 1992. p. 11-1051.

24. Fritzke B. PhD Thesis // Technische Fakultat, Universität Erlangen-Nurnberg, Erlangen, Germany, 1992.

25. Fritzke B. In Advances in Neural Information Processing Systems 5 / ed. by

26. Giles L., Hanson S., Cowan J. Morgan Kaufmann, San Mateo, CA, 1993. — p. 123.

27. Fritzke B. In Proc. 1993 IEEE Workshop on Neural Networks for Signal Processing // IEEE Service Center, Piscataway, NJ, 1993.

28. Fritzke B. Technical Report TR-93-026 // Int. Computer Science Institute, Berkeley, CA, 1993.

29. Fritzke B. In Proc. ICANN'93, Int. Conf. on Artificial Neural Networks / ed. by Gielen S., Kappen B. Springer, London, UK, 1993. - p. 580.

30. Blackmore J., Miikulainen R. Technical Report TR AI 92-192 // University of Texas at Austin, Austin, TX, 1992.

31. Blackmore J., Miikulainen R. In Proc. ICNN'93, Int. Conf. on Neural Networks // IEEE Service Center, Piscataway, NJ, 1991. p. 1-450.

32. Szepesvari S., Lurinez A.: In Proc. ICANN-93. Int. Conf. on Artificial Neural Networks / ed. by Gielen S., Kappen B. — Springer, London, UK 1993. p. 678.

33. Szepesvari S., Lurinez A.: In Proc. WCNN'93, World Congress on Neural Networks // INNS, Lawrence Erlbaum, Hillsdale, NJ, 1993. p. 11-497.

34. Allinson N. M., Brown M. Т., Johnson М. J.: In IEE Int. Conf. on Artificial Neural Networks, Publication 313 // IEE, London, UK , 1989. p. 261.

35. Allinson N. M., Johnson M. J.: In New Developments in Neural Com-putting, / ed. by Taylor J. G., Mannion C. L. T. Adam-Hilger, Bristol, UK, 1989.-p. 79.

36. Flexer A. On the Use of Self-Organizing Maps for Clustering and Visualization // Principles of Data Mining and Knowledge Discovery, 1999. pp. 80-88.

37. Нечаева О. И. Сравнительный анализ нейросетевых алгоритмов кластеризации символьных последовательностей // Автометрия. Том 41, №1, 2005. с. 57-70.

38. Ong J. Data Mining Using Self-Organizing Kohonen Maps: A Technique for Effective Data Clustering & Visualization // International Conference on Artificial Intelligence (IC-AI'99), 1999.

39. Mao J., Kraaijveld M. A., Jain A. K. A nonlinear projection method based on Kohonen's topology preserving maps // IEEE Transactions on Neural Networks, 1995. 6(3). - pp. 548-559.

40. Hammer В., Micheli A., Neubauer N., Sperduti A., Strickert M. Self Organizing Maps for Time Series // Proceedings of WSOM 2005, Paris, France. pp. 115-122.

41. Dar Ren Chen, Ruey Feng Chang, Yu Len Huang. Breast cancer diagnosis using Self-organizing Map for sonography // Ultrasound in Medicine and Biology, Vol. 26, 2000. pp. 405- 411.

42. Дебок Г., Кохонен Т. Анализ финансовых данных с помощью самоорганизующихся карт / Пер. с англ.- М.: Издательский Дом "АЛЬПИНА", 2001.-317 с.

43. Haykin S. Neural networks, a comprehensive foundation // N.Y.: Macmillan College Publishing Company, 1994.

44. Linsker R. From basic network principles to neural architecture // Proc. of National. Academy of Sciences of the USA, 1986. Vol. 83.

45. Оссовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. — М.: Финансы и статистика, 2004. 344 с.

46. Erwin Е., К. Obermayer and К. Schulten. "II: Self-organizing maps: Ordering, convergence properties and energy functions" // Biological Cybernetics, vol. 67, 1992. pp. 47-55.

47. ЕжовА.А., Шумский C.A. Нейрокомпьютинг и его применения в экономике и бизнесе (серия "Учебники экономико-аналитического института МИФИ" под ред. проф. В.В. Харитонова) // М.: МИФИ, 1998. 224 с.

48. Gorban A., Kegl В., Wunsch D., Zinovyev A. Principal Manifolds for Data Visualisation and Dimension Reduction // LNCSE 58, Springer, Berlin, Heidelberg, New York, 2007.

49. Ultsch A., Siemon H. Technical Report 329 // Univ. of Dortmund, Dortmund, Germany, 1989.

50. Kraaijveld M. A., Mao J., Jain A. K. In Proc. 11ICPR, Int. Conf. on Pattern Recognition // IEEE Comput. Soc. Press. Los Alamitos, CA, 1992. p. 41.

51. DeSieno D. Adding a conscience to competitive learning // Neural Networks, 1988.-Vol. l.-pp. 117-124.

52. Нечаева О.И. Сглаживание адаптивных сеток, построенных методом самоорганизующихся карт // Вестник Томского государственного университета, N4(5), 2008. с. 51-60.

53. Рыжков В.А, Лычкин E.H. Исследование моделей сферической топологии для устранения граничного эффекта в самоорганизующихся нейронных сетях Кохонена // М.: Издательство "Радиотехника", "Нейрокомпьютеры: разработка, применение", 2009. — №10. — с. 73 83.

54. Shannon С.Е., "A mathematical theory of communication" // Bell Systems Technival Journal, vol. 27, 1948. pp. 379-423, 623-656.

55. Gray R. M. Entropy and Information Theory, New York: Springer-Verlag, 1990.

56. Шевелева Г. И., Волков А. Э., Медведев В. И. Программный комплекс для подготовки производства спирально-конических зубчатых передач // Вестник машиностроения, 2005. № 9. - с. 6-14.

57. Кедринский В. Н., Писманик К. М. Станки для обработки конических зубчатых колес // М.: Машиностроение, 1967. 584 с.

58. Лычкин E.H., Рыжков В.А. Применение самообучающихся нейронных сетей для выявления закономерностей при расчете параметров зуборезного инструмента. Вестник МГТУ "Станкин". Научный рецензируемый журнал // М.: МГТУ "Станкин", 2009. №1 (5). - с. 45- 50.

59. Ульянов М. В. Ресурсно-эффективные компьютерные алгоритмы. Разработка и анализ. М: ФИЗМАТЛИТ, 2008. - 304 с.

60. Головешкин В. А., Ульянов М.В. Теория Рекурсии для программистов. М.: ФИЗМАТЛИТ, 2006. - 296 с.

61. Ульянов М. В. Классификация и методы сравнительного анализа вычислительных алгоритмов. М.: Издательство физико-математической литературы, 2004. — 212 с.модуля интеллектуального анализа данных в ООО «МЗКРС Шовные материалы»г.Москва "6" августа 2007 г.

62. Настоящий акт составлен в двух экземплярах, для каждой стороны.

63. Генеральный директор ООО «МЗКРС Исполнитель:по одному экземпляруУ