автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методика применения многомерного шкалирования и кластеризации при анализе кредитоспособности заемщиков

I тшавах рукопи

:опис>(

Костенко Степан Александрович

МЕТОДИКА ПРИМЕНЕНИЯ МНОГОМЕРНОГО ШКАЛИРОВАНИЯ И КЛАСТЕРИЗАЦИИ ПРИ АНАЛИЗЕ КРЕДИТОСПОСОБНОСТИ

ЗАЕМЩИКОВ

Специальность 05.13.01 - системный анализ, управление и обработка информации (информационные и технические системы)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

005542560

5 ДЕК 2013

Краснодар - 2013

005542560

Работа выполнена в ФГБОУ ВПО «Кубанский государственный

технологический университет»

Научный руководитель: доктор технических наук, профессор

Видовский Леонид Адольфович

Официальные оппоненты: доктор физико-математических наук,

профессор

Усатиков Сергей Васильевич

ФГБОУ ВПО «Кубанский государственный технологический университет»

кандидат технических наук, профессор Бухоиский Михаил Иванович

ФГБОУ ВПО «Военная академия связи имени Маршала Советского Союза С.М. Буденого» Министерства обороны РФ (филиал), г. Краснодар

Ведущая организация: ФГБОУ ВПО «Кубанский

государственный аграрный университет»

Защита состоится « 25 » декабря 2013 года в 16:00 на заседании диссертационного совета Д 212.100.04 в ФГБОУ ВПО «Кубанский государственный технологический университет» по адресу: 350072, г. Краснодар, ул. Московская, 2, ауд. Г-248

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Кубанский государственный технологический университет» Автореферат разослан « 23 » ноября 2013 года.

Ученый секретарь диссертационного совета, канд. техн. наук, доцент

А.В. Власенко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В современных условиях наибольший научный интерес привлекают методы системного анализа. Все чаще системные исследования встречаются в экономике, а именно в деятельности банковских учреждений, так как именно это направление занимает одно из лидирующих мест по доходности.

Принимая во внимание сложившиеся обстоятельства на банковском рынке, в том числе кризис 2008 года, в связи с чрезмерным увеличением кредитного портфеля и как следствие этого роста угрозы неплатежеспособности банка, необходима разработка новых методов, позволяющих аналитикам принимать более взвешенные решения о возможности кредитования.

Внедрение методики в качестве информационной системы в банках позволит последним уменьшить количество принятых решений кредитными комитетами о выдаче потенциально невозвратных кредитов и как следствие этого сократится рост просроченной задолженности в будущем.

Разработка пошаговой методики применения многомерных методов, является серьёзным вкладом в развитие направления создания информационных систем в банковской сфере.

Применение предложенной методики возможно в различных сферах деятельности, в том числе в медицине, политике, биологии и других науках. Главным ее преимуществом является выявление скрытых знаний, предоставляя пользователю информацию в удобном графическом виде.

Степень разработанности темы. Вопросами развития методов системного анализа, в том числе комплексного применения многомерных методов шкалирования, регрессионного и кластерного анализа занимались К. Адачи, С. Цннца, М. Молинеро, Г. Ларраз, Л. Брейман, Д. Фридман, Ч. Стоун, Р. Ол-сон и др. В их исследованиях был применен системный подход к формализации проблемы, выбором эффективных методов и средств ее решения. Однако, в России вопросами системного анализа занимались только в части применения многомерных методов шкалирования, регрессионного и кластерного анализа независимо друг от друга.

Целью исследования является разработка методики применения многомерных методов шкалирования и кластеризации для определения латентных признаков кредитоспособности заемщика.

Задачи исследования.

- Применение системного подхода с целью анализа имеющихся теоретических и практических техник, применяемых в банковской сфере.

- Разработка методики пошагового выполнения статистических процедур с использованием методов многомерного шкалирования, кластерного и регрессионного анализа для оценки кредитоспособности заемщиков.

- Апробация методики и её практическое применение на реальных данных заемщиков.

- Отработка технологии первичной обработки, сбора и стандартизации первичных данных о заемщиках.

- Оценка достоверности и практической значимости, полученных результатов, на основе данных о заемщике.

Научная новизна выполненного в диссертации исследования заключается в следующих результатах:

- с помощью системного анализа, разработана пошаговая методика, позволяющая использовать многомерное шкалирование, кластерный и регрессионный анализ для оценки финансового состояния потенциальных заемщиков банка, в том числе реализован системный подход для выявления сильных и слабых сторон предприятий. Методика отличается от известных методов пошаговым применением статистических процедур и дает следующие преимущества:

- применение кластерного анализа наряду с многомерным шкалированием позволило нанести на многомерную плоскость контуры, которые в свою очередь упрощают интерпретацию полученной многомерной карты;

- совпадение результатов, полученных как с использованием кластерного анализа, так и с помощью методов многомерного шкалирования доказывает достоверность разработанной пошаговой методики;

- применение регрессионного анализа наряду с многомерными методами шкалирования позволяет установить связь между положением исследуемого объекта и его характеристиками в многомерном пространстве;

Методика структурирования сложных систем практически апробирована на реальных данных предприятий Краснодарского края и рекомендуется к использованию при принятии решения банками о возможности кредитования компаний. Результаты, полученные с её помощью, совпали с данными о банкротствах, полученных из официальных источников информации по анализируемым организациям, что подтверждает эффективность методики.

Теоретическая значимость состоит в том, что расширен спектр методов анализа таких как модель Альтмана, Давыдовой-Беликова, Чессера и коэффициентный метод. Предлагаемая методика, позволяет прогнозировать экономическое развитие предприятия с большей долей вероятности, чем при использовании существующих методов анализа.

Практическая значимость. На основе принципов применения статистических многомерных методов предложена методика, позволяющая оперативно сделать вывод о возможности кредитования клиента банка. Так же методика позволяет выявить сильные и слабые стороны банка, тем самым, снижая потенциальные убытки, связанные с не возвратом кредитных средств. Главным преимуществом перед существующими методами финансового анализа является то, что внедрение предложенной методики полезно как для банков, так и для предприятий. Предприятиям - необходимо знать и давать правильную оценку своего бизнеса, правильно распределять долговую нагрузку, что позволит в дальнейшем получить дополнительное финансирование со стороны кредитных учреждений, а также определить свои сильные и слабые стороны по отношению к конкурентам. В свою очередь для банков, полученные результаты помогут сформировать качественный кредитный портфель и минимизировать риски, связанные с невозвратностью или несвоевременным погашением основного долга.

На основе предложенной методики создан макрос, разработанный средствами STATISTICA VISUAL BASIC, позволяющий автоматизировать процесс выполнения всех этапов методики, имеющих практическую ценность.

Методы исследования. В диссертационной работе используются методы теории вероятности и прикладной статистики, эконометрики, теории

принятия решений в среде STATISTICA 8.0, в том числе с использованием языка STATISTICA VISUAL BASIC.

Реализация и внедрение результатов работы. Разработанная методика с использованием многомерного шкалирования и кластерного анализа для оперативного принятия решения использовалась в качестве модуля ранжирования компаний в Краснодарском Филиале ОАО «Банк Москвы».

Апробация работы. Результаты диссертационной работы докладывались на III Международной научной конференции «Технические и технологические системы» (Краснодар, 2011 г.), на VIII Международной научно-практической конференции «Новости научной мысли - 2012» (Чехия, Прага, 2012 г.), на кафедре «Информационных систем и программирования» ФГБОУ ВПО «Кубанский государственный технологический университет» (февраль, 2013 г.).

Основные положения, выносимыс на защиту:

- системный подход с использованием многомерных методов шкалирования и регрессионного анализа для целей визуальной интерпретации связи между положением исследуемого объекта и его характеристиками в многомерном пространстве;

- методика применения кластерного анализа для решения проблемы объединения объектов в группы на многомерной карте с целью упрощения интерпретации и проверки достоверности результатов, полученных с помощью многомерного шкалирования.

- результаты апробации разработанной методики на примере предприятий Краснодарского края.

Публикации. Основные результаты диссертационной работы опубликованы в 9 научных работах, из них 4 в журналах, рекомендованных ВАК при Минобрнауки России для публикации научных работ.

Имеется свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем диссертации. Диссертационная работа состоит из введения, трех глав, заключения и библиографического списка, содержащего 74 наименования. Работа изложена на 143 страницах, содержит 22 рисунка, 11 таблиц и 3 приложения.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во Введении обоснована актуальность исследуемой темы, оценена степень ее научной разработанности, определены объект и предмет исследования, изложены его цели и задачи, дана характеристика теоретических и методологических основ, охарактеризована эмпирическая база исследования, сформулированы основные положения, выносимые на защиту, выявлена теоретическая и практическая значимость работы, изложены основные результаты исследования, их научная новизна и апробация ключевых положений исследования.

В первой главе рассмотрены вопросы системного анализа сложных систем. Обосновывается необходимость развития методов системного анализа, а также целесообразность разработки универсальной методики. Значительные массивы информации в одном случае и информационная неопределенность, в другом, требуют для анализа использования всего известного арсенала методов. В связи С этим произведен сравнительный анализ методов, базирующихся на идеологии системного анализа и технологии data mining, что дает возможность эффективного решения задач идентификации и прогнозирования. Все задачи, в которых используется обработка данных согласно системного анализа и идей data mining, в своем решении базируются на определении цели исследования, сборе и подготовке начальных данных, применении статистических и математических методов, непосредственном анализе данных, идентификации и прогнозировании.

Также в первой главе представлен обзор программных продуктов. Самыми популярными, известными и востребованными в бизнесе и финансах являются такие программы финансового анализа как Audit Expert, 1С: Консолидация, ИНЭК-Аналитик, АБФИ-предприятие. Менее известные, но имеющие более широкую сферу применения, в том числе в медицине, политике, биологии и других науках, в отличие от указанных выше программных пакетов являются MINISSA, K.YST (реализованы алгоритмы Дж. Краскала и JI. Гуттмана - Дж. Лингоса), INDSCAL (реализована модель индивидуального многомерного шкалирования Дж.Д. Керроллом и Дж.-Дж. Чангом), ALS-CAL (алгоритм Форрест Юнга), HICLUS (алгоритм, разработанный

С. Джонсоном). Главным их преимуществом является выявление скрытых знаний, предоставляя пользователю информацию в удобном графическом виде.

Обосновывается необходимость практической реализации предлагаемой методики анализа данных с помощью ППП STATISTICA. С целью автоматизации процесса, автором написан макрос с помощью STATISTICA VISUAL BASIC.

Во второй главе с целью расширения методов системного анализа рассмотрена пошаговая методика, включающая в себя комплексную реализацию методов многомерного шкалирования, регрессионного анализа и кластеризации. В качестве объекта исследования выбраны предприятия, а именно анализ кредитоспособности заемщиков. Несмотря на выбранный объект исследования, методика является универсальной и может быть использована для поиска в данных скрытых закономерностей в медицине для лечения заболеваний и их симптомов, в маркетинге для классификации потребителей, поставщиков и выявления схожих производственных ситуаций, при которых возникает брак, а также в других сферах человеческой жизни.

Предложен метод, основная идея которого состоит в изменении сложившихся стереотипов исследования кредитоспособности заемщиков и перехода к модели, использующей некий тандем (симбиоз) технического и интуитивного уровня. Технический уровень подразумевает под собой результат, сведенный к графическому представлению. Интерпретация результата производится с помощью других статистических инструментов, которая и приводит к развитию интуитивного уровня суждения и получения новых качественных знаний.

Реализация предложенной методики кратко изложена на рисунке 1.

В качестве объекта исследования выступают предприятия. Для более глубокого исследования объекта существует необходимость выявления наибольшего количества информации о нем. Это могут быть следующие сведения: балансовые данные предприятия, финансовая отчетность, его работоспособность и. т.д.

После сбора информации об объектах исследования обосновывается идея необходимости выполнения процедуры стандартизации параметров и

свойств объекта в случае измерения его в различных единицах, например, килограммы, метры и литры. Самый простой путь сделать это - приведение каждого параметра всех рассматриваемых объектов к нулевому среднему и единичной дисперсии.

Применение кластерного анализа к полученным данным

и

Обозначение размерностей и интерпретация конфигураций точек на пространственной карте

Оценка надежности и достоверности

Рисунок 1 - Методика многомерного анализа

Особенностью третьего этапа становится применение метода многомерного шкалирования к полученным данным па втором этапе, предлагаемой методики. В связи с этим строится произвольный тип матрицы сходства объектов: расстояния, корреляции и другие на выбор в зависимости от области исследования. Производится выбор метода многомерного шкалирования. Существуют неметрические и метрические методы многомерного шкалирования. Неметрические - используются в случае порядковых данных (интервальная или относительная шкала), метрические - используются в случае числовых данных.

На выходе алгоритма многомерного шкалирования, получаются числовые значения координат, приписывающиеся каждому объекту в системе координат (признаковое пространство), шкалы которой связаны с латентными переменными, определяющиеся в дальнейшем с помощью применения регрессионного анализа. Схематично процедура изображена на рисунке 2.

Объекты А В С О

А 0,0 1,2 2,6 2,8

В 1,2 0,0 3,8 4,0

С 2,6 3,8 0,0 0,3

э 2,8 4,0 0,3 0,0

Матрица различий

Объекты г)1т 1 с«т 2

А 0,8 0,5

В 1,0 -0,5

С -0,8 0,3

о -(.0 -0,4

-0,3 •0.7

С

О

А

О

О

О

в

о

-1.3 -0,7 0 0,7 (.3 2.0

Признаковое пространство

-

Координаты объектов

Рисунок 2 - Схема работы алгоритма многомерного шкалирования

Метод многомерного шкалирования предполагает работу с географической картой в обратном порядке. Так, географическая карта имеет оси координат, которые указывают на местонахождение точки посредством данных координат. Оси могут ассоциироваться с широтой, долготой и высотой над уровнем моря. Географические карты также имеют ориентацию, например, точка расположенная внизу считается южной, вверху северной. В результате работы с картой делается вывод, что можно вычислить расстояния между двумя различными точками и построить таблицу расстояний между этими точками. В многомерном шкалировании в точности до наоборот - из таблицы расстояний строится карта из осей координат.

Характерной чертой следующего этапа является принятие решения о числе размерностей пространства, в котором будут отражены результаты выполнения методов многомерного шкалирования.

После выполнения многомерного шкалирования становится актуальным вопрос интерпретации полученного пространства стимулов. Иногда это возможно с помощью простого визуального осмотра. Однако в отдельных случаях визуальный осмотр носит достаточно сложный исследовательский характер и не дает интуитивно понятных результатов без применения математического анализа. В этом случае предлагается использовать для интерпретации регрессионный анализ. Для этого необходимо иметь в распоряжении не только информацию о сходствах или различиях объектов, но и информацию о свойствах каждого объекта (ликвидность, оборачиваемость, рентабельность и т.д.).

Обосновывается идея о том, что, применение регрессионного анализа позволяет выделить свойства объектов, которые являются более описательными и на их основе строилась матрица различий. Результаты применения регрессионного анализа могут быть представлены в форме вектора через полученную конфигурацию точек с помощью методов многомерного шкалирования, также как если бы была добавлена ось восток-запад на географической карте. Пример такой реализации представлен на рисунке 3.

Опенка степени обладания свойством для каждого объекта

Рисунок 3 - Векторная модель

Ключевым моментом использования многомерного шкалирования является интуитивный уровень - необходимо дать название размерностям (осям координат) и интерпретировать конфигурацию точек па карте. Также немаловажно на данном этапе оценить достоверность и надежность полученных результатов.

На рисунке 3 с помощью регрессионного анализа найден вектор в пространстве объектов, являющийся направлением возрастания одного из свойств. Данная модель предполагает, что пространство стимулов определено с помощью одного из методов многомерного шкалирования.

Доказывается, что направление свойства объекта это линия через пространство, на которой проекция каждого объекта соответствует уровню значимости свойства для объекта насколько это возможно. На рисунке прописными буквами обозначены 5 стимулов (А-Е). Жирным вектором изображено одно из свойств объекта. Проекция каждого стимула на вектор свойств изображена в виде пунктирного вектора. Эти проекции также воспроизведены внизу рисунка на горизонтальной шкале. Тонкими параллельными линиями изображены единицы измерения свойства объектов (1-9). Эти шкалы могут представлять, например, усредненный рейтинг пяти финансово благополучных компаний или субъективную оценку компаний аналитиками. Для вычисления использовалось уравнение регрессии (1).

Р, =bn + b1Cx¡l)+... + br{xir), (1)

где

P¡- значение свойства р для стимула i;

x¡,, xir- координаты стимула i, где 1 и г - размерность;

b,, Ьг- коэффициенты регрессии;

Ь0- свободный член.

С целью подтверждения полученных результатов, предлагается использовать кластерный анализ в качестве дополняющего метода, так как кластерный анализ и многомерное шкалирование используют разные представления структур, проясняющие разные черты стимулов. В результате выполнения кластерного анализа образуются «кластеры» или группы очень похожих объектов.

В третьей главе предложена реализация разработанной методики в финансовой сфере на примере анализа кредитоспособности предприятий, как потенциальных или фактических заемщиков банка. Таким образом, реализовано разбиение потенциальных заемщиков на тех, которые испытывают финансовые трудности и тех, которые успешны. От этого и зависит решение банка о возможности финансирования компании.

В исследовании были использованы данные, взятые из финансового портала СКРИН (http://www.skrin.ru), базы данных Контрагент (http://www.k-agcnt.ru), а также из официально публикуемой отчетности открытых акционерных обществ. Были выбраны 30 основных коэффициентов, охватывающие 6 основных категорий: обеспеченность основными средствами/оборотными активами, показатели ликвидности, финансовой устойчивости, рентабельности, деловой активности и структуры капитала.

Коэффициенты были посчитаны по 100 компаниям, осуществляющих свою деятельность на территории Краснодарского края, из которых 30 были признаны банкротами, либо в отношении их начата процедура банкротства. Информация по банкротствам была взята из Интернет-портала издательского дома «Коммерсантъ» (www.kommersant.ru), а также с Интернет-ресурса Арбитражного суда Краснодарского края (http://krasnodar.arbitr.ru/).

В результате данные были поделены на две части: одна - это компании, которые перестали работать в период с 2009 по 2011 годы и другая - те, которые продолжают работать (70 компаний).

Согласно предложенной методике, после сбора доступной информации о компаниях, были стандартизированы рассчитанные коэффициенты, так как используемые финансовые показатели измеряются в различных единицах.

Следующим этапом являлось вычисление мер близостей. Мера близости оценивает насколько компания I похожа или отличается от компании Если рассчитанные финансовые коэффициенты компаний практически не отличаются, то мера различия будет не существенной, в свою очередь высокий уровень различия говорит о том, что компании сильно отличаются исходя из их финансовых показателей. Степень сходства или различий компаний предлагается определить с помощью распространенного Евклидового расстояния по формуле (2), либо с помощью Манхеттенского расстояния по формуле (3).

\(Хи-Х/)г ,

8„ш = Т1\х11-хл I,

(3)

где

8т- элемент матрицы различий Д размером 1x1, соответствует оценке различия между объектами где х,, и это стандартизированные значения финансового коэффициента ш для компании 1 и]; 1,] = 1,..., 100, ш= 1, ..., п, ..., 30. Чтобы получить полную матрицу различий, величииы рассчитываются для всех пар компаний. Таким образом, генерируется квадратная симметричная матрица сходства (различий) 100x100, на которой и основан метод многомерного шкалирования, где число строк, равно как и число столбцов, равно количеству компаний используемых в анализе. В результате каждая компания будет представлена в виде точки в пространстве, размерность которого далее будет определена с помощью статистически процедур. В полученном пространстве далее будет необходимо определить области, где концентрируются компании близкие к банкротству и предприятия которые продолжают существовать. Если расстояние между двумя компаниями не большое, тогда многомерное шкалирование расположит компании на карте близко друг к другу. Но если различия существенны, то компании расположатся на графике по разные стороны.

Следующим шагом является принятие решения относительно размерности пространства объектов (предприятий), где будут представлены результаты многомерного шкалирования. Для этого, строится график зависимости меры соответствия от размерности, который также называется критерием каменистой осыпи. В связи с этим были проведены последовательные вычисления стресса для размерностей от максимально возможного в ППП 8.0 девятимерном пространстве до одномерного, по формуле Дж. Краскала:

где

g^ - оценка различий для пары стимулов i и j; оценка расстояния.

Дальнейшая цель построения графика и нахождение такого места на нем, где убывание меры соответствия слева направо максимально замедляется. На рисунке 4 можно увидеть, что для воспроизведения расстояний между анализируемыми предприятиями необходимо выбрать двумерное пространство, так как в точке с абсциссой 2 максимально замедляется уменьшение стресса, что подтверждается диаграммой Шепарда (см. Рисунок 5), так как большинство воспроизведенных результирующих расстояний легло на ступенчатую линию.

ISO 140 120 100 1. во 60 40 20 о

0123456789 10 Размерность

Рисунок 4 - График стресса относительно размерностей

На рисунке 5 изображена зависимость воспроизведенных расстояний от исходных расстояний, где по вертикальной оси откладываются воспроизведенные расстояния, а по горизонтальной - данные о сходстве между объектами. На рисунке 5 также построен график ступенчатой функции, линия которой представляет собой результат монотонного преобразования исходных данных.

Данные о сходстве, 8||

Рисунок 5 - Диаграмма Шепарда

Если бы все воспроизведенные результирующие расстояния легли на эту ступенчатую линию, то ранги наблюдаемых расстояний (сходств) были бы в точности воспроизведены полученным решением (пространственной моделью). Отклонения от этой линии показывают на ухудшение качества согласия (т.е. качества подгонки модели).

В результате выполнения алгоритма многомерного шкалирования вычисляются координаты стимулов, которым соответствуют анализируемые компании. Таким образом, ввиду того, что размерность, полученная с помощью критерия каменистой осыпи, равна двум, то компания будет иметь две координаты.

Визуально, координаты, полученные с помощью многомерного шкалирования, были транслированы на двумерную конфигурацию, см. рисунок 6. Здесь каждая точка карты представлена компанией с хорошим финансовым положением в виде кружка или имеющей финансовые затруднения в виде закрашенного квадрата. На графике видно, что финансово благополучные и неблагополучные компании находятся по разные стороны карты. Следовательно, что компании с плохим финансовым положением находятся по пра-

вую сторону, с хорошим - по левую. Данное наблюдение позволяет сделать вывод о том, что горизонтальная ось намного сильнее и является самым важным индикатором в прогнозировании устойчивости бизнеса компаний. Более того, можно представить кривую линию, разделяющую успешные компании от приближающихся к банкротству, что подтверждает утверждение о том, что линейный дискриминантный анализ не предпочтителен для анализа финансового состояния заемщиков, так как предполагает, что между этими двумя категориями могла бы быть проведена прямая линия.

Коорд. 1

Рисунок 6 - Диаграмма Рассеяния

Рассмотрев рисунок 6 можно сделать вывод о том, что компании дислоцируются в определенных частях двумерного пространства в зависимости от их финансового положения, а также о том, что двух осей координат вполне достаточно для представления данных относительно финансового благополучия или проблемное™ компаний. Наличие этой информации можно расширить с помощью многомерного регрессионного анализа, определив, какое имеют отношение разные области карты к главным характеристикам предприятий, таким как доходность, кредитная нагрузка и т.п.

В первую очередь необходимо описать общий тренд (направление) изменение зависимой переменной (в нашем случае их тридцать, т.к. в исследовании компании оцениваются по тридцати коэффициентам). В результате чего будут решены тридцать уравнений регрессии, используя каждый финансовый коэффициент поочередно, как зависимую переменную и две координаты, которые позволяют разместить компании в пространстве как независимые переменные.

Результаты, полученные с помощью многомерной регрессии представлены в 1. Таблица содержит координаты тридцати финансовых коэффициентов (стандартизированные регрессионные коэффициенты), коэффициент детерминации (Я2), I - значение критерия Стьюдента для проверки гипотезы о значимости коэффициентов регрессии, Р - используется для проверки гипотезы о значимости регрессии и р - уровень значимости регрессии или регрессионных коэффициентов.

Проанализировав полученные результаты, доказано, что в одиннадцати случаях координата 1 и в четырнадцати координата 2 статистически не значимы, о чем свидетельствует уровень значимости р. В программе 8ТАТ18Т1СА приемлемой границей статистической значимости приняты значения р меньше либо равно 0,05, только в этом случае результат считается статистически значимым. В таблице 1 статистические значимые результаты выделены жирным шрифтом. Таким образом, все статистические незначимые результаты можно отвергнуть без потери общности.

Таблица 1 - Координаты финансовых коэффициентов

Финансовые коэффициенты Г Р I*2 Коорд, 1 1 Р Коорд. 2 1 Р

К1 2,115 <0,126 0,023 -0,703 -1,394 0,166 -0,711 -1,564 0,121

К2 8.414 <0.000 0,136 0,623 2,433 0,017 0,782 3,392 0,001

КЗ 9.4706 <0,000 0,153 -0,997 -4,321 0,000 0,075 0,359 0,721

К4 16,517 <0,000 0,248 -0,994 -5,726 0,000 -0,112 -0,717 0,475

К5 14,631 <0.000 0.225 -0,971 -5,266 0,000 -0,239 -1,437 0,154

...

К29 18,012 <0,000 0,266 0,497 2,707 0,008 -0,868 -5,250 0,000

КЗО 3,9484 <0,023 0,059 0,435 1,106 0,272 -0,900 -2,540 0,013

Результатом многомерного регрессионного анализа будут векторы через двумерное пространство. Так как длина вектора не играет никакой роли и

только направление, которое он указывает, является важным критерием, векторы были нормированы к единичной длине и нарисованы через центр конфигурации многомерного шкалирования к нормированным координатам финансовых коэффициентов (см. рисунок 7).

Коорд,1

Рисунок 7 - Векторы финансовых коэффициентов в пространстве стимулов

В работе оценена надежность и достоверность полученных результатов путем включения показателей компаний, не входящих в выборку изначально, с целью тестирования предложенной модели.

В исследовании рассмотрены два способа включения в полученную конфигурацию новых компаний. Первый - это непосредственное включение в уже действующую конфигурацию координат точек новой компании, где каждый вектор, полученный с помощью регрессионного анализа будет играть роль шкалы оценки компаний и может быть использован только как приблизительный, но одновременно простой и эффективный способ. Так как точный результат не всегда носит обязательный характер, этот способ может быть использован аналитиком для примерной оценки финансовой позиции

компании. Для получения более точного результата необходимо заново пересчитать регрессии для каждого коэффициента с учетом добавления новых компаний в исследование, так как стандартизированные данные, коэффициенты регрессии, следовательно, и направление векторов могут измениться.

Многомерное шкалирование предлагается использовать и в другом ключе, позволив улучшить качество интерпретации доступной информации и получить в результате нечто большее, чем индикатор платежеспособных и/или финансово неблагополучных компаний. Предлагается метод оценки определенной компании среди окружающих других предприятий, где в качестве точек на плоскости кроме расположения всех компаний будет отражен путь выбранной компании за анализируемый период. Анализируя такой график можно увидеть траекторию, по которой движется компания из одного периода в другой и понять негативные или позитивные тенденции.

В качестве объекта исследования, была выбрана компания ЗЛО «Ку-бань-Металлобаза», анализируемые периоды - 2004-2008 годы. Каждый год был нанесен на карту в виде отдельной точки (см. рисунок 8).

а

Ч 00

о о 0 о о* т

о о ° I

о° °200р о° •

о ---___ ^ 2008°

о 2004 0 2006о

Рисунок 8 - Временной разрыв на примере ЗАО «Кубань-Металлобаза»

Если точка исследуемой фирмы окажется среди компаний имеющих проблемы, то вероятнее всего ее финансовое положение схоже с другими предприятиями, испытывающими финансовые трудности или находящимися

в стадии банкротства, что говорит о необходимости пристального внимания к изучению деятельности исследуемой компании, так как это может сигнализировать о серьезных проблемах в бизнесе, которые в последствии могут привести к неплатежеспособности и банкротству. Если же точка окажется среди благополучных компаний - причин для опасения нет.

В диссертационной работе также рассмотрен кластерный анализ с целью дополнения результатов полученных с помощью методов многомерного шкалирования. Предложена модель, одновременно совмещающая многомерное шкалирование и кластерный анализ (см. рисунок 9).

жоязрин»еотстрои"

ООО "Горго»ый Дом "АСФО"

. - ОАО "Сахарный л»од "Лзбинский^ "у

ООО "АРМАВИРСКИЙ МПЗ 6АКДЯ"

:/ ш \ / /

Г*'*." /У

В ■ ^ ' .000 "РГРО-ЮГ

О О • ..... у/--

ООО "Молочный торго#ыЛом" V,. • Ф . «-С. ^ ? ' <2>'~)> - ■ ' ЗАО "Кубанская финянсо»»* компания'

ООО'ТД-ПИНО" : \ ^Ь °Ов° ^

,"1 АО "Промюяплегтсери

..... ................... О .....

ООО "Пиц«*ыо т«нолотми И Ко" о

•'! 1 >. .. и I

ЗАО "П»р«яоло»ско«"

ООО "Группа гомпэний "Фдвори?"

Коорд. 1

Рисунок 9 - Многомерное шкалирование и кластер анализ

В заключении подводятся основные итоги диссертационного исследования, формулируются основные выводы.

В приложениях представлена детальная информация рассчитанных показателей, используемая в исследовании и полученная с помощью ППП Б^^гса 8.0 и листинг макроса, реализующего предложенную методику.

Основные результаты и выводы.

Проделанная в рамках диссертации работа с использованием системного анализа позволила ответить на поставленные вопросы, цели и задачи иссле-

дования. Основной задачей исследования являлась разработка методики пошагового выполнения статистических процедур с использованием методов многомерного шкалирования, кластерного и регрессионного анализа применительно к экономике предприятий. Разработанная методика и ее реализация позволили сделать следующие выводы:

1. для достоверной интерпретации многомерных методов шкалирования необходимо использование кластерного и регрессионного анализа. Результаты проведенного исследования показали, что комплексное использование этих методов позволяет сформировать набор критериев эффективности предприятий и определить их сильные и слабые стороны.

2. Применение методов многомерного шкалирования позволяет определить латентные признаки сходств и различий предприятий, построить пространство этих признаков, которое может служить в качестве «ориентиров» для принятия решения о кредитовании компании.

3. Практическая реализация методики, позволила сделать вывод об ее эффективности и значимости, что подтверждено сравнением с результатами кластерного анализа, добавлением в исследование новых данных, а также юридической информацией о начавшихся и фактических банкротствах предприятий.

4. На основе предложенной методики создан макрос, разработанный средствами STATISTICA VISUAL BASIC, позволяющий автоматизировать процесс выполнения всех этапов методики, имеющих практическую ценность.

Полученные теоретические и практические результаты работы дают основание сделать вывод, что предложенная методика пошагового применения методов многомерного шкалирования, регрессионного и кластерного анализа позволит в течение небольшого периода времени отнести потенциального заемщика в одну из двух групп и выявить сильные и слабые стороны на ранней стадии рассмотрения кредитных заявок.

Предложенная методика является удобным и доступным инструментом для исследования и использования многомерных методов, а также реализации их в различных сферах человеческой жизни, таких как информационные технологии, медицина, политика, маркетинг и др.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ АВТОРОМ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в журналах, рекомендованных ВАК при Минобрнауки России:

1. Костенко С.А. Технология применения методов многомерного шкалирования, регрессионного анализа и кластеризации с целью выявления про-блемности потенциальных заемщиков банка / С.А. Костенко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. -Краснодар: КубГАУ, 2012. - №02(076). С. 801 - 813. - Шифр Информреги-стра: 0421200012\0164, IDA [article ID]: 0761202065. - Режим доступа: http://cj.kubagro.ru/2012/02/pdf/65.pdf, 0,812 у.п.л.

2. Костенко С.А. Технология применения многомерного шкалирования и кластерного анализа // Фундаментальные исследования. - 2012. - № 11 (часть 4). - С. 927-930.

3. Костенко С.А. Сравнительный анализ существующих технологий оценки эффективности предприятий // Вопросы современной науки и практики. Университет им. В.И. Вернадского. - 2012. - № 4(42).2012. - С. 241248.

4. Костенко С.А. Обзор программных средств, использующих многомерные методы шкалирования и кластеризации // Вестник компьютерных технологий. - 2013. -№ 1.-С. 44-46.

Публикации в сборниках по материалам международных и всероссийских конференций:

5. Костенко С.А. Применение многомерных методов для обеспечения финансовой безопасности // III Международная научная конференция «Технические и технологические системы» (Краснодар, 2011 г.)

6. Костенко С.А. Развитие технического и интуитивного уровня в программном обеспечении банковского сектора // VIII Международная научно-практическая конференция «Новости научной мысли - 2012» (Чехия, Прага, 2012 г.)

Другие издания:

7. Бабенко Г.В., Костенко С.Л. Анализ финансового состояния банков на основе определения значимости нормативов // Труды Кубанского Технологического Университета. - 2005. Том XXV. - С. 6-9.

8. Бабенко Г.В., Костенко С. А. Анализ финансового состояния банков с использованием технологий искусственного интеллекта // Труды Кубанского Технологического Университета. - 2005. Том XXV. - С. 25-28.

Свидетельства о государственной регистрации программ для

ЭВМ:

9. Костенко С.А., Видовский JI.A. Свидетельство о государственной регистрации программы для ЭВМ «Многомерное шкалирование, регрессионный анализ и кластеризация заемщиков банка» №2013617384 , 2013г.

Подписано в печать 22.11.2013. Печать трафаретная. Формат 60x84 Усл. печ. л. 1,35. Тираж 100 экз. Заказ № 1021. ООО «Издательский Дом-Юг» 350072, г. Краснодар, ул. Московская 2, корп. «В», оф. В-120

тел. 8-918-41-50-571 e-mail: olfomenko@yandex.ru Сайт: hltp://id-yug.com

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Кубанский государственный технологический университет»

На правах рурюписи

04201АЭ7

Костенко Степан Александрович

МЕТОДИКА ПРИМЕНЕНИЯ МНОГОМЕРНОГО ШКАЛИРОВАНИЯ И КЛАСТЕРИЗАЦИИ ПРИ АНАЛИЗЕ КРЕДИТОСПОСОБНОСТИ

ЗАЕМЩИКОВ

Специальность: 05.13.01 - Системный анализ, управление и обработка информации (информационные и технические системы)

диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор Видовский Л.А.

Краснодар - 2013

СОДЕРЖАНИЕ

ВВЕДЕНИЕ..............................................................................................................4

ГЛАВА 1 МЕТОДЫ И ПРОГРАММНЫЕ ПРОДУКТЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПРЕДПРИЯТИЙ...............................................................10

1.1 Сравнительный анализ существующих методов.......................10

1.1.1 Коэффициентный метод...............................................................11

1.1.2 Модель Альтмана..........................................................................11

1.1.3 Метод экспертных оценок............................................................13

1.1.4 Нечетко-множественная модель..................................................13

1.1.5 Нейронные сети.............................................................................15

1.1.6 Дискриминантный анализ............................................................16

1.1.7 Множественная линейная регрессия...........................................17

1.1.8 JI огит-модель.................................................................................17

1.1.9 Факторный и компонентный анализ...........................................18

1.1.10 Кластеризация................................................................................20

1.1.11 Многомерное шкалирование........................................................22

1.1.12 Анализ соответствий.....................................................................24

1.1.13 Достоинства и недостатки распространенных методов оценки эффективности.......................................................................................................25

1.2 Обзор программных продуктов...................................................32

1.1.14 MINISSA.........................................................................................34

1.1.15 KYST...............................................................................................34

1.1.16 INDSCAL........................................................................................35

1.1.17 ALSCAL.........................................................................................36

1.1.18 HICLUS...........................................................................................36

1.1.19 Cluster 3.0.......................................................................................36

1.3 Выводы по главе 1.........................................................................37

ГЛАВА 2 МЕТОДИКА ПРИМЕНЕНИЯ МНОГОМЕРНЫХ МЕТОДОВ.......41

2.1 Системный подход........................................................................41

2.2 Подготовка и обработка исходных данных................................43

2.3 Стандартизация..............................................................................44

2.4 Многомерное шкалирование........................................................44

2.4.1 Метрические методы....................................................................46

2.4.2 Неметрические методы.................................................................47

2.4.3 Определение размерности............................................................54

2.4.4 Интуитивный уровень и проверка достоверности модели.......55

2.5 Регрессионный анализ...................................................................57

2.6 Кластерный анализ........................................................................61

2.6.1 Метод ближайшего соседа...........................................................63

2.6.2 Полная связь (метод наиболее удаленных соседей)..................63

2.6.3 Невзвешенное попарное среднее.................................................63

2.6.4 Взвешенное попарное среднее.....................................................64

2.6.5 Невзвешенный центроидный метод............................................64

2.6.6 Взвешенный центроидный метод (медиана)..............................64

2.6.7 Метод Варда...................................................................................64

2.6.8 Двувходовое объединение............................................................64

2.6.9 Метод К средних...........................................................................65

2.7 Выводы по главе 2.........................................................................66

ГЛАВА 3 РЕАЛИЗАЦИЯ МЕТОДИКИ ПРИМЕНЕНИЯ МНОГОМЕРНОГО ШКАЛИРОВАНИЯ И КЛАСТЕРИЗАЦИИ.......................................................68

3.1 Многомерное шкалирование........................................................72

3.2 Регрессионный анализ...................................................................79

3.3 Анализ новых компаний...............................................................85

3.4 Временной разрыв.........................................................................93

3.5 Кластерный анализ........................................................................96

3.6 Выводы по главе 3.......................................................................107

ЗАКЛЮЧЕНИЕ....................................................................................................109

СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ.................................................111

ПРИЛОЖЕНИЯ...................................................................................................117

ВВЕДЕНИЕ

Актуальность темы. Начало 2000-х годов ознаменовано значительным увеличением объемов цифровой информации в различных дисциплинах, охватывающих биологические, медицинские, физические, экономические и другие смежные науки. В связи с этим темпы развития человеческого понимания получаемой информации зависят от организации процессов систематизации и сжатия большого количества информации. В результате необходима правильная классификация информации.

Все более актуальными становятся разработка и применение новых методик и программных продуктов с целью автоматизации анализа огромных массивов полученных в прошлом и получаемых в настоящем данных. Разработка новых методик, как правило, основывается на применении статистических методов. В основном, это классические статистические методы, включающие алгоритмы классификации, дискриминантного, дисперсионного и регрессионного анализа.

В современных условиях наибольший научный интерес привлекают методы системного анализа. Все чаще системные исследования встречаются в экономике, а именно в деятельности банковских учреждений, так как именно это направление занимает одно из лидирующих мест по доходности. Соответственно в данную область необходимы определенные теоретические, математические и статистические вложения. Сегодня существует острая необходимость в улучшении функционирования кредитного механизма для качественного анализа кредитоспособности заемщиков, что вызвано не достаточно оправданными вложениями кредитных средств в деятельность предприятий.

По причине недостаточности имеющихся знаний, ограниченности во времени, а также не всегда правильного субъективного мнения человека-аналитика, решения в части вложения кредитных средств в экономику очень часто приводят к невозвратам кредитов.

Принимая во внимание сложившиеся обстоятельства на банковском

рынке, в том числе кризис 2008 года в связи с чрезмерным увеличением кредитного портфеля и как следствие этого рост угрозы неплатежеспособности банка актуальна разработка новых методик, позволяющих аналитикам принимать более взвешенные решения о возможности кредитования.

На современном этапе развития банковской системы уже придумано большое количество методов для оценки кредитоспособности заемщиков, как правило, это расчет совокупности показателей экономической эффективности предприятий и в лучшем случае их рейтинговая оценка. Большинство этих методов обладают рядом недостатков, таких как, отсутствие статистического анализа, не всегда верное субъективное мнение аналитика, потеря важных для исследования исходных данных с целью снижения размерности информации и другие. Для исключения возможного искажения окончательного результата предлагается разработать методику, основанную на математическом моделировании с использованием многомерных статистических методов.

Степень разработанности темы. Вопросами развития методов системного анализа, в том числе комплексного применения многомерных методов шкалирования, регрессионного и кластерного анализа занимались К. Адачи, С. Цинца, М. Молинеро, Г. Ларраз, Л. Брейман, Д. Фридман, Ч. Стоун, Р. Олсон и др. В их исследованиях был применен системный подход к формализации проблемы, выбором эффективных методов и средств ее решения. Однако, в России вопросами системного анализа занимались только в части применения многомерных методов шкалирования, регрессионного и кластерного анализа независимо друг от друга.

Целью работы является разработка методики применения многомерных методов шкалирования и кластеризации для определения латентных признаков кредитоспособности заемщика.

Задачи исследования.

1. Применение системного подхода с целью анализа имеющихся

теоретических и практических техник, применяемых в банковской сфере.

2. Разработка методики пошагового выполнения статистических процедур многомерного шкалирования, кластерного и регрессионного анализа для оценки кредитоспособности заемщиков.

3. Апробация методики и её практическое применение на реальных данных заемщиков.

4. Отработка технологии первичной обработки, сбора и стандартизации первичных данных о заемщиках.

5. Оценка достоверности и практической значимости, полученных результатов, на основе данных о заемщике.

Методы исследования.

В диссертационной работе используются методы теории вероятности и прикладной статистики, эконометрики, теории принятия решений в среде STATISTICA 8.0, в том числе с использованием языка STATISTIC A VISUAL BASIC.

Научная новизна исследования заключается в следующих результатах:

- с помощью системного анализа, разработана пошаговая методика, позволяющая использовать многомерное шкалирование, кластерный и регрессионный анализ для оценки финансового состояния потенциальных заемщиков банка, в том числе реализован системный подход для выявления сильных и слабых сторон предприятий. Методика отличается от известных методов пошаговым применением статистических процедур и дает следующие преимущества:

- применение кластерного анализа наряду с многомерным шкалированием позволило нанести на многомерную плоскость контуры, которые в свою очередь упрощают интерпретацию полученной многомерной карты;

- совпадение результатов, полученных как с использованием кластерного анализа, так и с помощью методов многомерного шкалирования доказывает достоверность разработанной пошаговой методики;

- применение регрессионного анализа наряду с многомерными методами шкалирования позволяет установить связь между положением исследуемого объекта и его характеристиками в многомерном пространстве.

Методика структурирования сложных систем практически

апробирована на реальных данных предприятий Краснодарского края и рекомендуется к использованию при принятии решения банками о возможности кредитования компаний. Результаты, полученные с её помощью, совпали с данными о банкротствах, полученных из официальных источников информации по анализируемым организациям, что подтверждает эффективность методики.

Теоретическая значимость состоит в том, что расширен спектр методов анализа таких как модель Альтмана, Давыдовой-Беликова, Чессера и коэффициентный метод. Предлагаемая методика, позволяет прогнозировать экономическое развитие предприятия с большей долей вероятности, чем при использовании существующих методов анализа.

Практическая значимость диссертационной работы. На основе принципов применения статистических многомерных методов предложена методика, позволяющая оперативно сделать вывод о возможности кредитования клиента банка, выявить его сильные и слабые стороны, тем самым, снижая потенциальные убытки банка, связанные с невозвратом кредитных средств. Применение этой методики может использоваться в любом банке в виде внедрения скоринговой информационной системы.

Главным преимуществом перед существующими методами финансового анализа является то, что внедрение предложенной методики полезно как для банков, так и для предприятий. Предприятиям - необходимо знать и давать правильную оценку своего бизнеса, правильно распределять долговую нагрузку, что позволит в дальнейшем получить дополнительное финансирование со стороны кредитных учреждений, а также определить свои сильные и слабые стороны по отношению к конкурентам. В свою

очередь для банков, полученные результаты помогут сформировать качественный кредитный портфель и минимизировать риски, связанные с невозвратностью или несвоевременным погашением основного долга.

На основе предложенной методики создан макрос, разработанный средствами STATISTICA VISUAL BASIC, позволяющий автоматизировать процесс выполнения всех этапов методики, имеющих практическую ценность.

Внедрение результатов. Разработанная методика с использованием многомерного шкалирования и кластерного анализа для оперативного принятия решения использована в качестве модуля ранжирования компаний в Краснодарском филиале ОАО «Банк Москвы».

Основные положения, выносимые на защиту:

1. системный подход с использованием многомерных методов шкалирования и регрессионного анализа для целей визуальной интерпретации связи между положением исследуемого объекта и его характеристиками в многомерном пространстве;

2. методика применения кластерного анализа для решения проблемы объединения объектов в группы на многомерной карте с целью упрощения интерпретации и проверки достоверности результатов, полученных с помощью многомерного шкалирования.

3. результаты апробации разработанной методики на примере предприятий Краснодарского края.

Апробация работы. Результаты диссертационной работы

докладывались на III Международной научной конференции «Технические и технологические системы» (Краснодар, 2011 г.), на VIII Международной научно-практической конференции «Новости научной мысли - 2012» (Чехия, Прага, 2012 г.), на кафедре вычислительной техники и автоматизированных систем управления Кубанского государственного технологического университета (февраль, 2013 г.).

Соответствие содержания диссертации паспорту специальности.

Работа соответствует следующим положениям паспорта ВАК по

специальности 05.13.01 - «Системный анализ, управление и обработка информации»:

1. Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации.

2. Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации.

3. Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.

Публикации.

Основные результаты диссертационной работы опубликованы в 9 научных работах, из них 4 в журналах, рекомендованных ВАК при Минобрнауки России для публикации научных работ.

Имеется свидетельство о государственной регистрации программы для

ЭВМ.

Структура и объем диссертации.

Диссертационная работа состоит из введения, трех глав, заключения и библиографического списка, содержащего 74 наименования, изложенных на 143 страницах, содержит 22 рисунка, 11 таблиц и 3 приложения.

ГЛАВА 1 МЕТОДЫ И ПРОГРАММНЫЕ ПРОДУКТЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПРЕДПРИЯТИЙ

1.1 Сравнительный анализ существующих методов

На современном этапе развития компьютерных технологий в разных сферах человеческой деятельности одним из направлений в исследовании явлений является системный подход. Он основывается на изучении сложных систем, состоящих из множества элементов с множеством внутренних и внешних связей. В результате системный анализ можно считать главным универсальным методом анализа сложных экономических, технических, социальных и других систем.

Принимая во внимание вышеизложенное, актуальным является вопрос развития методов системного анализа, а также разработки методики, позволяющей делать прогнозы на основе визуального представления данных. Так, в банковской деятельности довольно остро стоит вопрос о совершенствовании системы кредитования.

Существует достаточно методов, применяемых в анализе кредитоспособности заемщиков и большинство из них используют стандартные методы анализа основных критериев (показателей деятельности предприятия), рассчитываемых исходя из первичных данных бухгалтерской отчетности.

Цель диссертационной работы - разработать методику, которая могла бы отчетливо отразить положение того или иного предприятия на рынке. Данная методика должна обладать универсальностью и её применение не должно ограничиваться экономической сферой деятельности человека.

Перед тем как приступить к описанию предлагаемой методики, необходимо рассмотреть методы, использование которых возможно в банковской деятельности, в том числе методы, основывающиеся на столь популярной в наши дни технологии data mining. Таким образом, будут рассмотрены методы экономического анализа, и методы, основанные на поиске в данных скрытых закономерностей. К методам экономического

анализа можно отнести коэффициентный метод, модель Альтмана, модель Давыдовой-Беликова [12], Чессера [47] и др. К методам data mining относятся такие методы как нечетко-множественная модель, регрессионный и кластерный анализ, факторный и компонентный анализ и другие, рассмотренные в данной главе методы.

1.1.1 Коэффициентный метод

Самым распространенным методом является коэффициентный метод, использующийся в анализе кредитоспо