автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Анализ и прогнозирование оттока клиентов в телекоммуникационных компаниях на основе технологии Data Mining

На правах рукописи

Пальмов Сергей Вадимович

»

АНАЛИЗ И ПРОГНОЗИРОВАНИЕ ОТТОКА КЛИЕНТОВ В ТЕЛЕКОММУНИКАЦИОННЫХ КОМПАНИЯХ НА ОСНОВЕ ТЕХНОЛОГИИ DATA

MINING

Специальность 05.13.13 Телекоммуникационные системы и компьютерные сети

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

Самара, 2005

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Поволжская государственная академия телекоммуникаций и информатики» (ГОУВПО ПГАТИ)

Научный руководитель - доктор технических наук,

Ведущая организация - Институт проблем

управления сложными системами РАН.

Защита диссертации состоится » рисадр> 2005 г. в (2- час. на заседании диссертационного совета Д 219.003.02 при Поволжской государственной академии телекоммуникаций и информатики (ПГАТИ) по адресу: 443010, г. Самара, ул. Л. Толстого, 23.

Отзыв на автореферат в двух экземплярах, заверенный печатью учреждения, просим направлять по вышеуказанному адресу.

С диссертацией можно ознакомиться в библиотеке ГОУВПО

ПГАТИ.

профессор Кораблин М.А.

Официальные оппоненты - доктор технических наук,

профессор Карташевский В.Г.,

кандидат технических наук, доцент Михеева 'Г.И.

Автореферат разослан « ^ » иояо^_2005г.

Учёный секретарь

диссертационного совета Д 219.003.02 д.т.н., доцент

Мишин Д.В.

2143497

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

В настоящее время наблюдается интенсивное развитие телекоммуникационных систем, сопровождающееся жёсткой конкурентной борьбой за клиента. При таком состоянии рынка телекоммуникационных услуг, одной из главных проблем компаний-операторов является отток клиентов (churn). Традиционные способы предотвращения вышеуказанного явления (ценовые войны и массовая реклама) уже не эффективны. Поэтому, в последние годы для привлечения и удержания клиентов всё чаще используется концепция CRM (Customer Relationship Management - Управление Взаимоотношениями с Клиентами; её основателями являются Д. Пепперс, М. Роджерс и Ф. Райчхелд).

Вероятность ухода клиента определяется его лояльностью (loyalty) компании. Чтобы спрогнозировать этот показатель необходимо выявить скрытые закономерности между лояльностью и персонифицированным трафиком, который содержит личностные характеристики клиента. В CRM, анализ данных, направленный на выявление скрытых закономерностей, реализуется при помощи методов современной информационной технологии Data Mining (Интеллектуальный Анализ Данных). Одним из её основателей является Г. Пиатецкий-Шапиро. Data Mining является мультидисциплинарной областью, возникшей и развивающейся на основе достижений статистики, распознавания образов, методов искусственного интеллекта, теории баз данных и др. Большой вклад в развитие внесли работы М. Бонгарда, Ф. Ро-зенблатта, Мак-Каллока, Питса, Е.Фикса, Д. Ходжеса, Г.С. Лбова, Фогеля (Fogel), Уолша (Walsh), А.Г. Ивахненко, Бреймана (Breiman), Рип-ли (Repley), Фрейдмана (Freidman), Олшена (Olshen), Стоуна (Stone).

В настоящее время различные методы технология Data Mining (алгоритмы поиска ассоциативных правил, нейронные сети, деревья решений, эволюционные алгоритмы и т.д.) широко применяются для прогнозирования лояльности клиентов в телекоммуникационных компаниях. Наиболее известными являются разработки Сриканта Рамак-ришнана (Ramakrishnan Srikant), Ракеша Агравала (Rakesh Agraval), А. Мейдана, Б. де Виля, В. Дюка, М. Куприянова, В. Степаненко, а также компаний SPSS, StatSoft, WizSoft, Megaputer, BaseGroup, Integral Solutions, Microsoft. Однако эти разработки обладают недостатками (невысокая точность прогнозов, низкая скорость работы, высокая стоимость), что не позволяет широко и в полной мере использовать их для прогнозирования лояльности клиентов. Кроме того, низкая скорость работы препятствуют применению существующих аналитических систем для прогнозирования лояльности на этап^-^гк^точения договора с

ВИБЛ ИОТР.КА | i i. — *

клиентом (обработка данных и формирование прогноза должны производится в реальном масштабе времени). В связи с этим, решение проблемы прогнозирования оттока клиентов в телекоммуникационных системах, является актуальной.

Объектом исследования является персонифицированный трафик клиентов телекоммуникационной компании-оператора.

Целью работы является разработка методов прогнозирования оттока клиентов в телекоммуникациях с использованием технологии Data Mining.

Для достижения поставленной цели требуется решить следующие задачи:

1. Разработать имитационную модель для генерации баз данных на основе выявления скрытых закономерностей.

2. Выявить наиболее перспективные алгоритмы технологии Data Mining для анализа персонифицированного трафика.

3. Проанализировать выявленные алгоритмы с целью определения лучшего из них.

4. Модифицировать выбранный алгоритм для обеспечения большей скорости и точности прогноза.

5. Разработать программное обеспечение системы поддержки принятия решений относительно лояльности клиента, реализующей модифицированный алгоритм.

6. Провести сравнительный анализ разработанной системы с существующими, построенными на базе алгоритмов Data Mining.

Методы исследования

Основные теоретические и экспериментальные исследования диссертационной работы выполнены с применением методов комбинаторного анализа, математической статистики, деревьев решений, ограниченного перебора; статистического пакета STATISTICA 6.0 (StatSoft); аналитических систем WizWhy 3.08 (WizSoft) и Deductor (BaseGroup).

Научная новизна заключается в следующем:

!. Разработана имитационная модель, генерирующая базу данных прецедентов на основе выявления скрытых закономерностей.

2. Предложен новый алгоритм определения лояльности клиента, созданный на основе расслоения базы данных прецедентов с использованием трёх количественных критериев: поддержка (support), достоверность (confidence) и улучшение (improvement).

3. Разработано программное обеспечение системы поддержки принятия решений относительно лояльности клиента, реализующей алгоритм расслоения. Практическая ценность работы

Разработана аналитическая система, позволяющая прогнозировать лояльность потенциального клиента по его личностным характеристикам (для различных тарифных планов) на этапе заключения договора.

Реализация результатов работы

Разработанный в работе алгоритм определения лояльности клиента, а также программное обеспечение системы поддержки принятия решений относительно лояльности клиента приняты к использованию Самарским филиалом ОАО «ВолгаТелеком». Апробация работы

Отдельные законченные этапы работы докладывались и обсуждались на международном форуме «Новые инфокоммуникационные технологии: достижения, проблемы, перспективы» (Новосибирск,

2003). 5й многопрофильной международной конференции молодых учёных и студентов «Актуальные проблемы современной науки» (Самара, 2004), 5й международной научно-технической конференции «Проблемы техники и технологии телекоммуникаций» (Самара, 2004), международной научно-практической конференции «Экономика и менеджмент: проблемы и перспективы» (Санкт-Петербург, 2005), 10й (2003 г.), 11й (2004 г.) и 12й (2005 г.) Российских научных конференциях профессорско-преподавательского состава, научных сотрудников и аспирантов (Самара), межвузовском научно-практическом семинаре «Экономика и конкурентоспособность России» (Санкт-Петербург,

2004).

Публикации

Основное содержание Диссертации отражено в 11 опубликованных работах. Публикации включают 3 статьи в научных изданиях и 8 материалов докладов.

На защиту выносятся:

Алгоритм прогнозирования лояльности клиентов телекоммуникационный компании-оператора.

Система поддержки принятия решений относительно лояльности клиента, построенная на базе вышеуказанного алгоритма. Результаты сравнительного анализа работы разработанной и существующей систем прогнозирования. Структура и объём работы

Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы и приложений. Основная часть работы содержит 117 страниц машинописного текста, 28 рисунков, 18 таблиц. Список литературы содержит 94 наименования.

СОДЕРЖАНИЕ РАБОТЫ

Введение

Здесь обоснована актуальность темы, приведён обзор работ по теме диссертации, сформулированы цель и основные задачи исследования, описан состав и структура работы, определена научная новизна.

Глава 1 посвяшена краткому обзору CRM-стратегии и одного из её компонент - биллинговой системы.

CRM (Customer Relationship Management - Управление Взаимоотношениями с Клиентами) - это бизнес-стратегия, в основе которой лежит клиентоориентированный (customer-oriented) подход. Основная i

задача CRM - повышение эффективности бизнес-процессов, направленных на привлечение и удержание клиентов, независимо от канала, через который происходит контакт с клиентом. Основным источником персонифицированной информации о клиенте для CRM-систем в области телекоммуникаций являются биллинговые системы.

В результате обзора получены следующие выводы:

1) В условиях современной конкуренции грамотное использование компанией-оператором CRM-стратегии для прогнозирования оттока клиентов является одним из гарантов успешной работы на рынке телекоммуникационных услуг.

2) Биллинговая система является неотъемлемой частью современной CRM-стратеги и.

3) Перспективы развития биллинговая система тесно связаны с развитием новых алгоритмов и аналитических методов персонификации клиентов.

Глава 2 посвящена аналитическому обзору технологии Data Mining (интеллектуальный анализ данных), используемой для анализа персонифицированного трафика (прогнозирования лояльности клиентов).

В основу технологии интеллектуального анализа данных положена концепция шаблонов (patterns), отражающих фрагменты многоаспектных взаимоотношений в данных. Эти фрагменты представляют собой закономерности, свойственные подвыборкам данных, которые могут быть компактно выражены в понятной человеку форме. Поиск шаблонов производится методами, не ограниченными рамками априорных предположений о структуре выборки и виде распределений значений анализируемых показателей.

Можно сказать, что интеллектуальный анализ данных - это процесс обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных для интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

В телекоммуникациях технология Data Mining используется для решения различных задач. Однако основной проблемой, для решения которой применяют интеллектуальный анализ данных, является предсказание оттока клиентов. Чтобы сформировать достоверный прогноз, необходимо использовать данные, содержащие не только телекоммуникационный трафик, но и персональные (личностные) характеристики клиентов (такие как возраст, пол, образование, уровень достатка, количестве детей и т.п.), что в целом определяет персонификацию трафика.

Глава 3 содержит описание структуры моделируемой базы данных (БД) персонифицированного трафика клиентов (прецедентов) телекоммуникационной компании и имитационной модели (программа «Генератор»), которая генерирует вышеуказанную базу данных на основе выявления скрытых закономерностей. Здесь также приведено описание сравнительного анализа перспективности использования алгоритмов деревьев решений и ассоциативных правил (алгоритмов ограниченного перебора) для прогнозирования оттока клиентов.

Для решения этой задачи в сфере телекоммуникаций могут быть использованы различные типы алгоритмов технологии интеллектуального анализа данных. Их реальное использование для решения вышеуказанной задачи сопряжено с достаточно большими финансовыми затратами и может сильно повлиять на доходность компании как в положительную, так и в отрицательную сторону. Поэтому возникает проблема выбора наиболее эффективного алгоритма, прогностические возможности которого являются главным критерием выбора. Целью данного исследования является анализ прогностических возможностей алгоритмов ограниченного перебора и деревьев решений на предмет определения перспективности их использования для прогнозирования оттока клиентов (прогнозирования лояльности клиентов на этапе заключения договора) в сфере телекоммуникаций.

Компании-операторы нечасто используют базы данных, которые содержат персонифицированную информацию о клиентах (их личностные характеристики и персональный трафик); кроме этого, информация такого рода является конфиденциальной. Поэтому возникла необходимость моделирования подобной базы данных.

Между личностными характеристиками и персональным трафиком существуют скрытые зависимости, которые имеют нечёткий характер и, поэтому, трудно формализуемы. Для выявления скрытых закономерностей фрагмент реальной базы данных (предоставлен российской телекоммуникационной компанией) был проанализирован при помощи алгоритма ограниченного перебора, который принадлежит к методам технологии интеллектуального анализа данных. В результате было выявлено 275 значимых закономерностей (правил), которые имеют следующую структуру: ЕСЛИ (J1XG. L) ТО (ПТ)1'где ЛХ- личностные характеристики клиента; ПТ - персональный трафик клиента; L - набор личностных характеристик. На основании выявленных значимых закономерностей было сформировано 75 ассоциативных правил установления связей между личностными характеристиками клиента и его персональным трафиком. Также было сформировано 60 правил определения показателя лояльности (ПЛ) клиента. Лояльность интерпретируется как вероятность того, что клиент не откажется от услуг компании (может принимать значения в диапазоне от 0 до 100 %). Она определяется на основании персонифицированного трафика клиента и длительности пребывания клиента в компании. Правила определения лояльности клиента имеют следующую структуру: ЕСЛИ (Т) И (ПТи > (<) X) ТО «Лояльность» - {100 - (Li + RandomfLj)) %}, где Т - длительность пребывания клиента в компании, лет; ПТ0 - размер абонентской платы; X - некоторое пороговое значение абонентской платы; и L2 - параметры, определяющие диапазон для генератора случайных чисел (Random) (см. таблицу 1). На основании сформированных правил мною была разработана имитационная модель, при помощи которой сгенерирована база данных прецедентов, содержащая 5 • Ш4 записей. Процесс генерации состоит из следующих этапов:

I . Генерация личностных характеристик (атрибутов) клиентов. 2. Генерация личностных характеристик (атрибутов) клиентов.

Таблица 1. 3. Генерация времени пребыва-Зависимость ПЛ клиента от дли- ния клиентов в компании (см. тельности пребывания в компании таблицу 1).

4.Генерация персонального трафика клиентов.

5. Расчёт оплаты за услуги (для трёх тарифных планов)

б.Определение показателя лояльности,

Атрибуты личностных характеристик и персонального трафика

Длительность пребывания клиента в компании (7>, лет L1, % L2, %

1 0 50

2 20 50

3 30 50

более 3 40 50

(всего их 16) могут принимать значения указанные в таблицах 2 и 3.

Таблица 2.

Атрибуты личностных характеристик.

№ п/п Значения атрибута Название атрибуга

1 женский/мужской Пол

2 среднее/специальное/высшее/учёная степень Образование

3 состоит в браке/не состоит в браке Семейное положение

4 нет/1/2/З/более 3 Количество детей

5 не работает и не учится/работает и учится/только учится/только работает Работа

6 низкий/средний/высокий Доход в месяц

7 20-30/30-40/40-50/50-60/более 60 Возраст, лег

Сравнительный анализ алгоритмов ограниченного перебора и ^ деревьев решений состоял из двух этапов и заключался в определении

тарифа (Тариф1, Тариф2 и ТарифЗ), при использовании которого потенциальный клиент окажется в группе «ненадёжных». Ненадёжным считается клиент, лояльность которого не превышает определённого

порогового значения Lp. В данном случае Lp = 25%. На первом

этапе сравнивались прогностические возможности бинарных (алгоритм CART - Classification and Regression Tree - Дерево Классификации и

Таблица 3. Регрессии (статистический пакет STATIS-Пример атрибутов TICA 6.0)) и не бинарных (алгоритм С4.5 (аналитическая система Deductor)) деревьев решений. В итоге было установлено, что использование CART для прогнозирования лояльности клиентов практически невозможно, ввиду крайней трудоёмкости вышеуказанной процедуры. На втором этапе производился сравнительный анализ прогностических возможностей алгоритма С4.5 и алгоритма ограниченного перебора (Арпоп(система WizWhy). Для этого на основании модели БД прецедентов при помощи вышеуказанных алгоритмов были построены прогностические модели позволяющие осуществлять прогнозирование лояльности клиентов по семи личностным характеристикам (см. таблицу 2). В случае алгоритма С4.5 прогностическая модель - это древовидная иерархическая структура классифицирующих правил, а

персонального трафика

№ п/п Диапазон значений атрибута Название атрибута

Исходящие

вызовы на

отО ло мобильный

350 телефон (день) в месяц, мин

% Исходящие

вызовы на

2 отО до мобильный

ft 350 телефон (ночь)в месяц, мин

Исходящие

3 от 0 до 350 местные вызовы (день)в месяц, мин

для алгоритма Apriori прогностическая модель представляет собой набор отдельных (независимых) ассоциативных правил. В результате были получены прогнозы с высокой достоверностью (97-98%), т.е. оба типа алгоритмов обладают высокими прогностическими возможностями. Время, затрачиваемое на выполнение анализа, в среднем, составило 2 -3 сек. Однако такая скорость характерна при обработке сравнительно небольших массивов данных (до 1000 записей). С увеличением размера анализируемой базы данных, временные затраты резко возрастают. Таким образом, оба вышеуказанных алгоритма могут ограниченно применятся для прогнозирования лояльности клиента на этапе заключения договора. Но наиболее перспективным представляется использование алгоритма ограниченного перебора, поскольку структура формируемой им прогностической модели, позволяет удалять из неё правила, которые не содержат новых (и практически полезных) знаний, что позволяет повысить скорость обработки данных.

Глава 4 посвящена описанию алгоритма определения лояльности клиента^созданного на основе расслоения базы данных прецедентов, разработанной системы поддержки принятия решений, реализующей алгоритм расслоения и сравнительному анализу двух систем прогнозирования.

В алгоритмах ограниченного перебора, с увеличением количества анализируемой информации, объём вычислений растёт экспоненциально. С целью уменьшения затрачиваемого на анализ времени, разработчики реальных программных продуктов проводят разного рода оптимизации, направленные на линеаризацию функции зависимости количества операций от количества исследуемых данных. Тем не менее, и после введения подобных ограничений на анализ затрачивается достаточно много времени; кроме Рис. I .Блок-схема этою, снижается точность прогноза. Это

Разработанного алгоритма не позволяет использовать данные алго-

ритмы (в «традиционном» их виде) с полной эффективностью для прогнозирования лояльности клиента на этапе заключения договора.

С целью повышения эффективности работы алгоритма ограниченного перебора (алгоритм Арпоп; разработчики - Срикант Рамак-ришнан (НатаклвИпап БпкагП) и Ракеш Агравал (ЛакевИ А§гауа1)) при определении лояльности клиента по личностным характеристикам на этапе заключения договора, мною была произведена модификация вышеуказанного алгоритма, направленная на увеличение скорости формирования прогноза и его достоверности. Блок-схема разработанного алгоритма приведена на рис. 1.

Алгоритм работает следующим образом:

1) В базе данных прецедентов (БД) содержится подготовленная для анализа информация о клиентах (их личностные характеристики (ЛХ) и показатели лояльности (ПЛ)), на основании которой будет осуществляется прогнозирование показателя лояльности анализируемого клиента (АК) по его семи ЛХ (см. таблицу 2).

2) Производится фильтрация БД прецедентов с целью обнаружения «близнецов» АК. «Близнец» - набор атрибутов ЛХ, который по значениям полностью или частично совпадают с соответствующими атрибутами ЛХ АК. Наборы содержаться в алгоритме. В зависимости от степени совпадения, «близнецы» делятся на различные слои (совпадающие по семи атрибутам, по шести атрибутам и т.д.). Всего существует семь слоёв, в каждом из которых находится фиксированное число подслоев. Подслой определяет тип совпадения «близнецов» с АК, т.е. по каким именно атрибутам ЛХ они совпадают (см. таблицу 4).

3Определяется групповая принадлежность «близнецов». В зависимости от значения показателя лояльности, «близнецы» разделяются на две группы: «надёжные» и «ненадёжные». Принадлежность к группе определяется пороговым значением Ьр(т. стр.9), причём «близнецы» одного типа могут находиться в разных группах. В данном случае

Ьр=25%.

__Таблица 4.

Номер слоя №1 №2 №3 №4 №5 №6 №7

Степень совпадения(количество атрибутов ЛХ в стое) 1 2 3 4 5 6 7

Количество подслоев 7 21 35 35 21 7 1

4) Расчёт поддержки. Поддержка (support) - это отношение числа «близнецов» одного типа и находящихся в одной группе (N ) к общему числу клиентов в базе данных (NIH-UII): Suppa, = N0t,/Nm-mi.

5) Расчёт достоверности. Достоверность (confidence) - вероятность принадлежности «близнецов» одного типа к группе («ненадёжных» или «надёжных»): Conf(u, = N-JN., где Л', - общее количество «близнецов» данного типа в обеих группах.

6) Расчёт улучшения. Улучшение (improvement) - это оценка перспективности (полезности) использования «близнецов» данного типа для прогнозирования показателя лояльности анализируемого клиента (если улучшение > 1, то данные «близнецы» одного типа могут быть использованы для прогнозирования показателя лояльности анализируемого клиента): Impr.. = (.V;> ■ )/(N(- ■ N ), где N, - число «близнецов»

разных типов, находящихся в определённой группе.

7) Определяется ПЛ АК, который равен ПЛ «близнецов», которые: а) в наибольшей степени совпадают (по J1X) с АК и б) удовлетворяют следующим условиям: N6. > 1, Confw - 1 (все «близнецы» одного типа принадлежат одной из двух групп) и Impr .,> 1.

В Интегрированной Среде Разработки С++ Builder 6 было разработано программное обеспечение системы поддержки принятия решений относительно лояльности клиента («Forecaster»), реализующей алгоритм расслоения. Система обладает следующими основными характеристиками:

Число обрабатываемых записей - до 50000; Максимальное число условий в условной части правил, на основании которых строится прогноз - 7; Прогноз выражается в виде списка ассоциативных правил; Пользователям системы не требуется специальных знаний в области прикладной статистики; Высокие скорость и точность анализа; Малые размеры (занимает менее 1 Мб на жёстком диске); При прогнозировании учитывается количество условий в условной части правил, что не используется в других подобных системах.

Обнаруживает правила, которые поддерживаются (распространяются) минимум одной записью в исследуемых данных.

Система «Forecaster» позволяет сохранять результаты прогнозов для последующего добавления их к базе данных прецедентов.

Процесс прогнозирования лояльности анализируемого клиента по его личностным характеристикам при помощи системы поддержки принятия решений «Forecaster» состоит из следующих этапов:

1) Загрузка информации из базы данных прецедентов.

2) Ввод личностных характеристик анализируемого клиента.

3) Определение показателя лояльности клиента.

4) Вывод результатов работы в текстовый файл.

Был проведён сравнительный анализ сравнительный анализ систем WizWhy и Forecaster. В результате установлено, что (см. таблицы 5) последняя имеет следующие преимущества: время, затрачиваемое на анализ клиента, примерно в два раза меньше (WizWhy - 2 е., Forecaster - 1 е.); для всех клиентов тестовой группы сформированы достоверные (Conf - 1) прогнозы (WizWhy в ряде случаев не обнаружил достаточного количества правил для формирования прогноза. Используемая в данной работе демо-версия WizWhy может обрабатывать максимум 1000 записей, т.о. сравнительный анализ двух систем при объёмах базы данных персонифицированного трафика клиентов более тысячи записей невозможен. Поэтому, ниже приведены результаты только системы Forecaster (см. табл. 6).

Таблица 5.

Временные характеристики сравниваемых систем.

Время WizWhy Forecaster

Среднее время, затрачиваемое на формирование прогностической модели, с. 15 Прогностическая модель («близнецы») содержится в системе

Среднее время, необходимое для выполнения прогноза на основе прогностической модели, с. 2 1

Рис. 1. Структура прогноза (система «Forecaster»).

Выводы

1) Программные продуты, построенные на основе алгоритмов поиска ассоциативных правил (ограниченного перебора), не могут быть использованы с полной эффективностью для прогнозирования лояльности потенциального клиента на этапе заключения договора из-за ряда недостатков (недостаточно высокие скорость и точность прогноза).

2) Система поддержки принятия решений «Forecaster» лишена подобных недостатков; она позволяет формировать точные прогнозы за достаточно короткое время.

Таблица 6

Временные затраты на формирование мрогнощ системой «Forecaster« при различном количестве записей в БД

Количество записей в БД Время, затраченное на формирование прогноза, с

50000 1

40000 1

30000 1

20000 1

10000 1

5000 1

2500 1

1000 1

3) При прогнозировании системой «Forecaster» значения целевого показателя на основании содержащихся в системе наборов личностных характеристик, учитывается не только их достоверность, поддержка и уровень доверия, но и степень совпадения «близнецов» с анализируемым клиентом.

4) Учёт степени совпадения положительно сказывается на скорости получения результата и его точности, поскольку в этом случае при формировании прогноза используется меньшее количество ассоциативных правил удовлетворяющих условиям.

Заключение. В заключении сформулированы результаты работы. В работе показано, что при современной ситуации на рынке телекоммуникационных услуг, использование CRM-стратегии для прогнозирования оттока клиентов (в т.ч. прогнозирования их лояльности) является необходимым условием успешной деятельности компании, предоставляющей услуги связи.

Выполнен аналитический обзор методов технологии интеллектуального анализа данных (Data Mining), с помощью которой, в большинстве случаев, реализуются аналитические функции CRM. По результатам обзора было установлено, что наиболее перспективными, при решении задачи прогнозирования лояльности клиентов телекоммуникационной компании на этапе заключения договора, являются алгоритмы деревьев решений и ассоциативных правил (ограниченного перебора).

С целью определения наиболее перспективного алгоритма, проведено исследование прогностических возможностей алгоритмов деревьев решений и ограниченного перебора. В качестве материала, на котором выполнялся анализ, использовались БД персонифицированного трафика клиентов телекоммуникационной компании. Эти данные были сформированы разработанной автором программой имитационного моделирования баз данных персонифицированного трафика кли-

ентов («Генератор») По результатам исследования наиболее перспективными (обладающими лучшими прогностическими возможностями) являются алгоритмы ограниченного перебора.

Разработан модифицированный алгоритм ограниченного перебора, который лишён недостатков «традиционных» алгоритмов такого типа. Это достигнуто за счёт того, что все возможные (для заданных условий) ассоциативные правила (наборы личностных характеристик) с ограниченным набором условий идентификации заранее введены в систему.

На базе модифицированного алгоритма разработана система принятия решений («Forecaster»).

В Приложениях приведены тексты программ «Генератор» и «Forecaster».

Публикации:

1. Пальмов C.B., Кораблин М.А. Сравнение прогностических возможностей алгоритмов поддержки принятия решений при определении лояльности клиента компании-оператора сотовой связи. // Мобильные системы. - 2005. - №8. - стр. 32-35.

2. Пальмов C.B., Кораблин М.А. Разработка модели прогноза биллинговых услуг с использованием персонификации клиентов на основе технологии Data Mining. // Инфокоммуникаци-онные технологии, Том1. - 2003. - 2. стр. 28-31.

3. Пальмов C.B., Кораблин М.А. Использование возможностей методов Data Mining для прогнозирования персонального трафика с использованием системы WizWhy. // Электронный журнал «Исследовано в России». - стр. 1717-1723, http://zhurnal.ape.relarn.ru.

4. Пальмов C.B. Исследование возможностей методов Data Mining для прогнозирования лояльности с использованием системы WizWhy. // Межвузовский научно-практический семинар «Экономика и конкурентоспособность России». Межвузовский сборник научных трудов - Санкт-Петербург, 2004. - стр. 723-729.

5. Пальмов C.B. Использование деревьев решений для анализа персонального трафика. // Международная научно-практическая конференция «Экономика и менеджмент: проблемы и перспективы». Сборник трудов. - Санкт-Петербург, 2005.-стр. 676-681.

6. Пальмов C.B., Кораблин М.А. Использование методов Data Mining для прогноза и анализа персонального трафика теле-

£2*3 08 2

коммуникационных услуг. // м««---------- - ■

инфокоммуникационные rexi перспективы, том 3 (Техника ладов международной научн< дентов, аспирантов и молоды восибирск.: Сибирский госу коммуникаций и информатика

7. Пальмов C.B., Кораблин М. системы WizWhy с целью ис анализа трафика телекоммуни екая научная конференция профессорско-преподавательского состава, научных сотрудников и аспирантов. Тезисы докладов. - Самара, 2004. - ПГАТИ. - стр. 221-222.

8. Пальмов C.B., Кораблин М.А. Исследование возможностей прогнозирования персонального трафика методами Data Mining. // 5-я международная многопрофильная конференция молодых учёных и студентов «Актуальные проблемы современной науки». Тезисы докладов. - Самара, 2004. - стр. 70-73.

9. Пальмов C.B. Анализ файла статистики переговорных процессов. // ПГАТИ X Российская научная конференция профессорско-преподавательского состава, научных сотрудников и аспирантов. Тезисы докладов. - Самара, 2003.

10. Пальмов C.B., Кораблин М.А. Применение технологии Data Mining для прогнозирования лояльности клиентов. // 5-я международная научно-техническая конференция «Проблемы техники и технологии телекоммуникаций». Материалы конференции. - ПГАТИ, Самара, 2004. - стр. 76-78.

11. Пальмов C.B. Сравнение возможностей различных методов технологии Data Mining при анализе персонального трафика. // XII Российская научная конференция профессорско-преподавательского состава, научных сотрудников и аспирантов. Тезисы докладов. - Самара, 2005. - ПГАТИ. - стр. 285-287.

Подписано в печать 181105 Формат 60х84'/|6 Бумага писчая № 1 Гарнитура Тайме Печать оперативная Усл. печ. л. 0,93 Физ печ л 1,00 Уч-изд.л 0,52 Тираж! 00 экз Бесплатно

Типография государственного образовательного учреждения высшего профессионального образования «Поволжская государственная академия телекоммуникаций и информатики» 443010. г Самара, ул Л Толстого, 23 Тел/факс (846) 339-11-11,339-11-81

РНБ Русский фонд

2006-4 25956

^»WIUI'

ВВЕДЕНИЕ.

ГЛАВА 1. CRM-СТРАТЕГИЯ В ТЕЛЕКОММУНИКАЦИЯХ.

1.1. Применение CRM для персонификации клиентов.

1.2. Биллинговая система: описание, назначение, функции.

1.2.1. Процедуры тарификации и биллинга.

1.2.2. Структура и функции биллинговой системы.

1.2.3. История развития биллипговых систем.

1.2.4. Тенденции и перспективы развития биллинговых систем.

1.2.5. Требования, предъявляемые к современным биллинговым системам.

1.2.6. Характеристика современного рынка биллинговых систем.

1.3. Выводы.

ГЛАВА 2. ТЕХНОЛОГИЯ DATA MINING - АНАЛИТИЧЕСКИЙ ИНСТРУМЕНТАРИЙ CRM-CHCTEM.

2.1. Определение Data Mining.

2.2. Процесс обнаружения новых знаний с помощью технологии Data Mining.

2.3. Классы систем Data Mining.

2.4. Модели Data Mining.

2.5. Задачи Data Mining.

2.6. Классификация и регрессия.

2.6.1 Постановка задачи.

2.6.2. Представление результатов.

2.6.3. Деревья решений.

2.7. Кластеризация.

2.7.1. Алгоритмы кластеризации.

2.8. Поиск ассоциативных правил (ограниченный перебор).

2.8.1. Постановка задачи.

2.8.2. Алгоритмы поиска ассоциативных правил.

2.8.3. Сиквенциальный анализ.

2.9. Примеры практического применения Data Mining.

2.10. Data Mining в телекоммуникациях.

2.11. Выводы.

ГЛАВА 3. АНАЛИЗ ПЕРСПЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ АЛГОРИТМОВ ДЕРЕВЬЕВ РЕШЕНИЙ И АССОЦИАТИВНЫХ ПРАВИЛ ДЛЯ ПРОГНОЗИРОВАНИЯ ОТТОКА КЛИЕНТОВ.

3.1. Постановка задачи.

3.2. Моделирование базы данных персонифицированного трафика клиентов.

3.3. Краткое описание программы моделирования баз данных персонифицированного трафика («Генератор»).

3.3.1. Рабочее окно программы.

3.3.2. Алгоритм работы программы «Генератор».

3.4. Прогноз лояльности потенциального клиента при помощи алгоритма поиска ассоциативных правил (алгоритм Apriori - система WizWhy).

3.5. Прогноз лояльности потенциального клиента при помощи алгоритма деревьев решений.

3.5.1. Выбор типа алгоритма деревьев решений.

3.5.2. Бинарное дерево решений (алгоритм CART).

3.5.3. Не бинарное дерево решений (алгоритмы ID3 и С4.5).

3.5.4. Прогноз лояльности потенциального клиента.

3.6. Выводы.

ГЛАВА 4. РАЗРАБОТКА СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ДЛЯ ПРОГНОЗИРОВАНИЯ ОТТОКА КЛИЕНТОВ НА ОСНОВЕ ТЕХНОЛОГИИ DATA MINING.

4.1. Описание разработанного алгоритма и системы «Forecaster».

4.2. Структура рабочего окна системы Forecaster.

4.3. Пример прогнозирования лояльности потенциального клиента системой Forecaster.ПО

4.4. Сравнение систем WizWhy и Forecaster.

4.5. Выводы.

В настоящее время наблюдается интенсивное развитие телекоммуникационных систем, сопровождающееся жёсткой конкурентной борьбой за клиента. При таком состоянии рынка телекоммуникационных услуг, одной из главных проблем компаний-операторов является отток клиентов (churn) [66]. Традиционные способы предотвращения вышеуказанного явления (ценовые войны и массовая реклама) уже не эффективны. Поэтому, в последние годы для привлечения и удержания клиентов всё чаще используется концепция CRM (Customer Relationship Management - Управление Взаимоотношениями с Клиентами; её основателями являются Д. Пепперс, М. Роджерс и Ф. Райчхелд).

Вероятность того, что клиент откажется от услуг компании определяется его лояльностью (loyalty) компании [34]. Чтобы спрогнозировать этот показатель необходимо выявить скрытые закономерности между лояльностью и персонифицированным трафиком, который содержит личностные характеристики клиента. В CRM, анализ данных, направленный на выявление скрытых закономерностей, реализуется при помощи методов современной информационной технологии Data Mining (Интеллектуальный Анализ Данных). Одним из её основателей является Г. Пиатецкий-Шапиро. Data Mining является мультидисциплинарной областью, возникшей и развивающейся на основе достижений статистики, распознавания образов, методов искусственного интеллекта, теории баз данных и др. Большой вклад в развитие внесли работы М. Бонгарда, Ф. Розенблатта, Мак-Каллока, Питса, Е.Фикса, Д. Ходжеса, Г.С. Лбова, Фогеля (Fogel), Уолша (Walsh), А.Г. Ивахненко, Бреймана (Breiman), Рипли (Repley), Фрейдмана (Freidman), Олшена (Olshen), Стоуна (Stone).

В настоящее время различные методы технология Data Mining (алгоритмы поиска ассоциативных правил, нейронные сети, деревья решений, эволюционные алгоритмы и т.д.) широко применяются для прогнозирования лояльности клиентов в телекоммуникационных компаниях. Наиболее известными являются разработки Сриканта Рамакришнана (Ramakrishnan Srikant), Ракеша Агравала (Rakesh Agraval), А. Мейдана, Б. де Виля, В. Дюка, М. Куприянова, В. Степаненко, а также компаний SPSS, StatSoft, WizSoft, Megaputer, BaseGroup, Integral Solutions, Microsoft. Однако эти разработки обладают недостатками (невысокая точность прогнозов, низкая скорость работы, высокая стоимость), что не позволяет широко и в полной мере использовать их для прогнозирования лояльности клиентов. Кроме того, низкая скорость работы препятствуют применению существующих аналитических систем для прогнозирования лояльности на этапе заключения договора с клиентом (обработка данных и формирование прогноза должны производится в реальном масштабе времени). В связи с этим, решение проблемы прогнозирования оттока клиентов в телекоммуникационных системах, является актуальной.

Объектом исследования является персонифицированный трафик клиентов телекоммуникационной компании-оператора.

Целью работы является разработка методов прогнозирования оттока клиентов в телекоммуникациях с использованием технологии Data Mining (интеллектуального анализа данных).

Для достижения поставленной цели требуется решить следующие задачи:

1. Разработать имитационную модель для генерации баз данных на основе выявления скрытых закономерностей.

2. Выявить наиболее перспективные алгоритмы технологии Data Mining для анализа персонифицированного трафика.

3. Проанализировать выявленные алгоритмы с целью определения лучшего из них.

4. Модифицировать выбранный алгоритм для обеспечения большей скорости и точности прогноза.

5. Разработать программное обеспечение системы поддержки принятия решений относительно лояльности клиента, реализующей модифицированный алгоритм.

6. Провести сравнительный анализ разработанной системы с существующими, построенными на базе алгоритмов Data Mining.

Методы исследования

Основные теоретические и экспериментальные исследования диссертационной работы выполнены с применением методов комбинаторного анализа, математической статистики, деревьев решений, ограниченного перебора; статистического пакета STATISTICA 6.0 (StatSoft); аналитических систем WizWhy 3.08 (WizSoft) и Deductor (BaseGroup).

Научная новизна заключается в следующем:

1. Разработана имитационная модель, генерирующая базу данных прецедентов на основе выявления скрытых закономерностей.

2. Предложен новый алгоритм определения лояльности клиента, созданный на основе расслоения базы данных прецедентов с использованием трёх количественных критериев: поддержка (support), достоверность (confidence) и улучшение (improvement).

3. Разработано программное обеспечение системы поддержки принятия решений относительно лояльности клиента, реализующей алгоритм расслоения.

Практическая ценность работы

Разработана система поддержки принятия решений, позволяющая прогнозировать лояльность потенциального клиента по его личностным характеристикам (для различных тарифных планов) на этапе заключения договора.

Реализация результатов работы

Разработанный в работе алгоритм определения лояльности клиента, а также программное обеспечение системы поддержки принятия решений относительно лояльности клиента приняты к использованию Самарским филиалом ОАО «ВолгаТелеком», внедрены в учебный процесс в Поволжской государственной академии телекоммуникаций и информатики г.Самара; система поддержки принятия решений «Forecaster» зарегистрирована в отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий.

Апробация работы

Отдельные законченные этапы работы докладывались и обсуждались на международном форуме «Новые инфокоммуникационные технологии: достижения, проблемы, перспективы» (Новосибирск, 2003), 5й многопрофильной международной конференции молодых учёных и студентов «Актуальные проблемы современной науки» (Самара, 2004), 5й международной научно-технической конференции «Проблемы техники и технологии телекоммуникаций» (Самара, 2004), международной научно-практической конференции «Экономика и менеджмент: проблемы и перспективы» (Санкт-Петербург, 2005), 10й (2003 г.), 11й (2004 г.) и 12й (2005 г.) Российских научных конференциях профессорскопреподавательского состава, научных сотрудников и аспирантов (Самара), межвузовском научно-практическом семинаре «Экономика и конкурентоспособность России» (Санкт-Петербург, 2004).

Публикации

Основное содержание диссертации отражено в 11 опубликованных работах. Публикации включают 3 статьи в научных изданиях и 8 материалов докладов.

На защиту выносятся:

- Алгоритм прогнозирования лояльности клиентов телекоммуникационной компании-оператора.

- Система поддержки принятия решений относительно лояльности клиента, построенная на базе вышеуказанного алгоритма.

- Результаты сравнительного анализа работы разработанной и существующей систем прогнозирования.

Структура и объём работы

Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы и приложений. Основная часть работы содержит 117 страниц машинописного текста, 28 рисунков, 18 таблиц. Список литературы содержит 94 наименования.

4.5. Выводы

1) Программные продукты, построенные на основе алгоритмов поиска ассоциативных правил (ограниченного перебора), не могут быть использованы с полной эффективностью для прогнозирования лояльности потенциального клиента на этапе заключения договора из-за ряда недостатков (см. 4.1 и 4.4).

2) Система Forecaster лишена подобных недостатков; она позволяет формировать точные прогнозы за достаточно короткое время.

3) При прогнозировании системой Forecaster значения целевого показателя на основании обнаруженных ассоциативных правил, учитывается не только их достоверность, поддержка и улучшение, но и количество условий в условной части правил.

4) Учёт количества условий в условной части правил положительно сказывается на скорости получения результата и его точности, поскольку в этом случае при формировании прогноза используется меньше правил (они удовлетворяют следующим условиям: DF=XuY> 1, Confmin = 1 и ImprXs>Y >\), чем в WizWhy.

5) Система Forecaster предпочтительна для использования её при прогнозировании лояльности потенциального клиента на этапе заключения договора.

ЗАКЛЮЧЕНИЕ

В заключении сформулированы результаты работы. В работе показано, что при современной ситуации на рынке телекоммуникационных услуг, использование CRM-стратегии для прогнозирования оттока клиентов (в т.ч. прогнозирования их лояльности) является необходимым условием успешной деятельности компании, предоставляющей услуги связи.

Выполнен аналитический обзор методов технологии интеллектуального анализа данных (Data Mining), с помощью которой, в большинстве случаев, реализуются аналитические функции CRM. По результатам обзора было установлено, что наиболее перспективными, при решении задачи прогнозирования лояльности клиентов телекоммуникационной компании на этапе заключения договора, являются алгоритмы деревьев решений и ассоциативных правил (ограниченного перебора).

С целью определения наиболее перспективного алгоритма, проведено исследование прогностических возможностей алгоритмов деревьев решений и ограниченного перебора. В качестве материала, на котором выполнялся анализ, использовались БД персонифицированного трафика клиентов телекоммуникационной компании. Эти данные были сформированы разработанной автором программой имитационного моделирования баз данных персонифицированного трафика клиентов («Генератор»). По результатам исследования наиболее перспективными (обладающими лучшими прогностическими возможностями) являются алгоритмы ограниченного перебора.

Разработан модифицированный алгоритм ограниченного перебора (алгоритм определения лояльности клиента), который лишён недостатков «традиционных» алгоритмов такого типа. Это достигнуто за счёт того, что все возможные (для заданных условий) ассоциативные правила (наборы личностных характеристик) с ограниченным набором условий идентификации заранее введены в систему.

На базе модифицированного алгоритма разработана система поддержки принятия решений («Forecaster»).

1. Албитов А., Соломатин Е. CRM (Customer Relationship Management).: www.cfin.ru/itm/crm-review.shtml.

2. Алексеев А.П., Камышенков Г.Е. Использование ЭВМ для математических расчётов: Учебное пособие для вузов и средних спец. учебных заведений. Самара, ПГАТИ, 1998.-стр. 130-131.

3. Арсеньев С.Б., Бритков В.Б., Маленкова Н.А. Использование технологии анализа данных в интеллектуальных информационных системах.: www.kit.ru.

4. Барсегян А.А., Куприянов М.С. и др. Методы и модели анализа данных: OLAP и Data Mining. СПб.: БХВ-Петербург, 2004.

5. Биллинговые системы.: www.comprice.ru/link/1801.phtml.

6. Биллинговые системы в телекоммуникациях основные тенденции развития (обзор АСР «ГРАД-2.0»).: www.gradsoft.kiev.ua.

7. Биллинговые системы в условиях эволюции мобильных сетей.: www.amobile.ru/billing/development.htm.

8. Биллинговые системы: жизнь в эпоху перемен.: www.connect.ru/article.asp?id=2268.

9. Варко И. Экспертиза клиентов.: www.terrasoft.com.ua.

10. Ю.Введение в анализ ассоциативных правил.: www.basegroup.ru.

11. Выявление знаний из опыта (эмпирических фактов) и интеллектуальный анализ данных (data mining).: www.lc.kubargo.ru/aidos/ASK-Analis/LK-14/lk-14.htm#Toc78426168 1.3.8.

12. Выявление обобщённых ассоциативных правил описание алгоритма. www.basegroup.ru.

13. Дадим слово критикам.: www.sas.com.

14. Деревья решений общие принципы работы.: www.basegroup.ru.

15. Деревья решений С4.5. Математический аппарат. Часть 1.: www.basegroup.ru.

16. Деревья решений С4.5. Математический аппарат. Часть 2.: www.basegroup.ru.

17. Деревья решений CART. Математический аппарат. Часть 1.: www.basegroup.ru.

18. Деревья решений CART. Математический аппарат. Часть 2.: www.basegroup.ru.

19. Дич JT.3. Биллинговые системы в телекоммуникациях. М.: Радио и связь, 2003.

20. Дюк В.А., Асеев М.Г. Поиск if-then правил в данных: проблемы и перспективы.: www.datadiver.nw.ru/Articles/Problems.htm.

21. Дюк В., Самойленко A. Data Mining: Учебный курс. СПб: Питер, 2001.

22. Елисеев И. Биллинг в бизнесе телекоммуникаций.: www.osp.ru/cw/2000/41/0360.htm.

23. Елманова Н. Введение в Data Mining.: www.compress.ru.

24. Киселёв М., Соломатин Е. Средства добычи знаний в бизнесе и финансах. // Открытые системы. 1997. - №4. - стр.41-44.

25. Кловский Д.Д., В.И. Коржик, М.В. Назаров. Теория электрической связи: Учебник для вузов; под ред. Кловского Д.Д. М. Радио и связь, 1998.-стр. 226.

26. Копытько Т. Прямой маркетинг универсальный ключ к лояльности клиента.: www.terrasoft.com.ua.

27. Костров Д. Мошенничество в телефонных сетях: возможные сценарии и методология борьбы. // Мобильные системы. 2004. - №11. - стр. 2126.

28. Костяков С. Анализ клиента и синтез бизнеса.: www.sas.com.

29. Красоткин А. Биллинг и термодинамика.: www.offline.computerra.ru/2004/565/36513/.

30. Кузнецов А., Люлькин Ю. и др. Сделайте правильный выбор. Биллинговые системы в России: состояние и тенденции развития.: www.cboss.ru/press/article5190.html.

31. Кузьменко В.Н. Тарификация в биллинговых системах. // Мобильные системы. 1998. -№3. - стр.28-30.

32. Мазитов Ю.И, Пуха Ю.В. Инновации в CRM: вызовы времени и выгоды реализации. // Вестник связи. 2005. - №3. - стр. 32-35.

33. Марданов А., Мунасыпов Р. Активизация программ лояльности с использованием CRM-систем.: www.terrasoft.com.ua.

34. Муссель K.M. Предоставление и биллинг услуг связи. Системная интеграция. М.: Эко-Трендз, 2003.

35. Назначение систем Data Mining.: www.iso.ru/journal/articles/276.html.

36. Назначение систем Data Mining.: www.citforum.ru.37.0рлов Д. Биллинг для всех, или Сокровенная суть современных биллинговых систем.: www.i2r.ru/static/346/out13035.shtml.

37. Определение Data mining.: www.interface.ru/datamining/datamining.htm.39.0собенности маркетинга в телекоммуникациях.: www.nii-ecos.ru.

38. Отношение с клиентами в практике российских операторов мобильной связи.: www.postyle7.narod.ru/183.htm.

39. Пальмов C.B. Анализ файла статистики переговорных процессов. // ПГАТИ X Российская научная конференция профессорско-преподавательского состава, научных сотрудников и аспирантов, тезисы докладов, Самара, 2003.

40. Пальмов C.B. Использование деревьев решений для анализа персонального трафика. // Международная научно-практическая конференция «Экономика и менеджмент: проблемы и перспективы», Санкт-Петербург, 2005, сборник трудов, стр. 676-681.

41. Пальмов C.B., Кораблин М.А. Разработка модели прогноза биллинговых услуг с использованием персонификации клиентов на основе технологии Data Mining. // Инфокоммуникационные технологии, Том 1. 2003. — 2. стр. 28-31.

42. Пальмов C.B., Кораблин М.А. Использование возможностей методов Data Mining для прогнозирования персонального трафика сиспользованием системы WizWhy. // Электронный журнал «Исследовано в России», стр.1717-1723, http://zhurnal.ape.relarn.ru.

43. Пальмов C.B., Кораблин М.А. Сравнение прогностических возможностей алгоритмов поддержки принятия решений при определении лояльности клиента компании-оператора сотовой связи. // Мобильные системы. 2005. -№8. - стр. 32-35.

44. Развитие безналичных форм расчётов на основе использования средств мобильной связи.: www.5ka.ru/8/26595/l 8.html.

45. Рамзаев М.Управляем клиентами.: www.cio-world.ru/offline/2002/2/23461/page2.html.

46. Русев Д. Мошенничество в мобильных сетях и средства борьбы с ним. // «Мобильные телекоммуникации». 2003. - №2. - стр. 26-33.

47. Рынок программных средств. Продукты для интеллектуального анализа данных.: www.app.rol.ru/it/press/cwm/1497/data.htm.

48. Самсонов М.С. О терминах real-time, prepaid и конвергентное решение. // Мобильные системы. 2005. - №1. стр. 44 - 49.

49. Сотовая связь: на двух россиян один абонент.: www.svyaz.kaliningrad.net.

50. Справочная система аналитического пакета Deductor 3.0 Lite.

51. Справочная система пакета WizWhy 3.08.

52. Справочная система статистического пакета STATGRAFICS Plus 5.0.

53. Справочная система статистического пакета STATISTICA 6.0.

54. Средства и методы анализа данных в технологиях директ маркетинга.: www.crmru.info/libraryarticleview.php?companyid=34&articleid= 101

55. Технологии интеллектуальных вычислений состояние проблемы, новые решения.: www.victoria.lviv.ua/html/oio/html/theme2rus.htm.

56. Технология DM и CRM-системы: синергический эффект.: www.snowcactus.ru/crm.htm.

57. Фелан С. Информация о клиенте стратегический ресурс.: www.citforum.ru.

58. Храбров. В Как удержать абонентов?.: www.sas.com.

59. Цой А. Конвергентный биллинг реального времени следующее поколение систем тарификации. // Вестник связи. - 2004. - №4. — стр. 32-35.

60. Что такое Data Mining.: www.citforum.ru.

61. Что такое Data Mining?.: www.russianenterpriseesolutions.com.

62. Что такое Data Mining?.: www.spc-consulting.ru/dms/aboutframe.htm.

63. Школин A. CRM: управление клиентами.: www.finansmag.ru/9186.

64. Щавелев JI.B. Способы аналитической обработки данных для поддержки принятия решений.: http://infovisor.ivanovo.ru/rus/press/paper04.htm.

65. Anticipating Consumer Behavior With analytics.: www.crm2day.com/library/EEplpkZllyASiURqyN.php.

66. Appendix: The Mathematics behind WizWhy.: www.wizsoft.com.

67. Apriori — масштабируемый алгоритм поиска ассоциативных правил.: www.basegroup.ru.

68. Data Mining в телекоммуникациях. М.: Megaputer Intelligence, 2001, www.megaputer.ru.

69. Data Mining в телекоммуникациях.: www.snowcactus.ru.

70. Data Mining and CRM.: www.crm2day.com/library/EpFEAkAFpuEZkNWvTr.php.

71. Data Mining and Knowledge Discovery.: www.dbmsmag.com/9807m01 .html.

72. Detailed Description.: www.sziami.cs.bme.hu/~bodon/en/apriori/Documetation/html/classApriori. html.

73. Doug Alexander. Data Mining.: www.eco.utexas.edu/~norman/BUS.FOR/course.mat/Alex/.82.1ncreasing Customer Value By Integrating Data Mining and Campaign Management Software.:www.crm2day.com/library/EpFkEEyAZZdwvuxtmS.php.

74. Oracle Data Mining Concepts.: www.docs.nojabrsk.ru/soll0/B1203701/ datamine. 101/bl 0698/4descrip.htm# 100585 7.

75. ГОСУДАРСТВЕННЫЙ КООРДИНАЦИОННЫЙ ЦЕНТР ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

76. ОТРАСЛЕВОЙ ФОНД АЛГОРИТМОВ И ПРОГРАММ

77. СВИДЕТЕЛЬСТВО ОБ ОТРАСЛЕВОЙ РЕГИСТРАЦИИ РАЗРАБОТКИ5307

78. Настоящее свидетельство выдано на разработку:

79. Система принятия решений Forecasterзарегистрированную в Отраслевом фонде алгоритмов и программ. Дата регистрации: 21 октября 2005 года1. Автор: Пальмов С.В.1. Директор1. Руководитель О ФАЛ1. Е.Г. Калинксвич1. А.И.Галкина1. Дата выдачи /?/,

80. УТВЕРЖДАЮ» Заместитель начальника РСЦ Самарского филиала шгаТелеком»1. Иноземцев В.П.1. Актоб использовании

81. Заместитель начальника РСЦv1. Иноземцев В.П.

82. АКТ О ВНЕДРЕНИИ В УЧЕБНЫЙ ПРОЦЕСС

83. Заведующий кафедрой ИВТ д.т.н., профессор1. Акчурин Э.А./