автореферат диссертации по радиотехнике и связи, 05.12.13, диссертация на тему:Исследование и разработка алгоритмов мониторинга и анализа качества работы операторов контакт-центра

На правах рукописи

005047182

Вельская Наталья Михайловна

ИССЛЕДОВАНИЕ И РАЗРАБОТКА АЛГОРИТМОВ МОНИТОРИНГА И АНАЛИЗА КАЧЕСТВА РАБОТЫ ОПЕРАТОРОВ КОНТАКТ-ЦЕНТРА

Специальность 05.12.13 Системы, сети и устройства телекоммуникаций

V

Автореферат диссертации на соискание ученой степени кандидата технических наук

1 з СЕН 2012

Самара —2012

005047182

Работа выполнена в Федеральном государственном образовательном бюджетном учреждении высшего профессионального образования «Поволжский государственный университет телекоммуникаций и информатики» (ФГОБУ ВПО ПГУТИ)

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

Заслуженный работник высшей школы РФ, доктор технических наук, профессор ЛИХТЦИНДЕР Борис Яковлевич ФГОБУ ВПО ПГУТИ профессор кафедры «Мультисервисные сети и информационная безопасность»

доктор технических наук, профессор РОСЛЯКОВ Александр Владимирович ФГОБУ ВПО ПГУТИ, заведующий кафедрой «Автоматическая электросвязь»

доктор технических наук, профессор КОСОЛАПОВ Александр Михайлович ФГБОУ ВПО «Самарский государственный университет путей сообщения», заведующий кафедрой «Информационные системы и телекоммуникации»

ФГБОУ ВПО «Самарский государственный технический университет», г. Самара

Защита состоится «28» сентября 2012 г. в 14 часов на заседании диссертационного совета Д 219.003.02 при Поволжском государственном университете телекоммуникаций и информатики по адресу: 443010, г. Самара, ул. Льва Толстого, 23.

С диссертацией можно ознакомиться в библиотеке Федерального государственного образовательного бюджетного учреждения высшего профессионального образования «Поволжский государственный университет телекоммуникаций и информатики».

Автореферат разослан «28» августа 2012 г.

Учёный секретарь

диссертационного совета Д 219.003.02 доктор технических наук, профессор

/ > //

г..

ч.

у

Мишин Д.В.

Общая характеристика работы

Актуальность темы

В настоящее время контакт - центры или центры обслуживания вызовов (ЦОВ) нашли применение во многих социально-экономических отраслях, например, в службах экстренного реагирования, банковских и финансовых сферах, торговых, страховых, туристических компаниях, а также информационно-справочных службах операторов связи. Технологии контакт-центров позволяют обрабатывать быстрее, дешевле и качественнее запросы клиентов, повысить эффективность внутреннего информационного обмена на предприятии, что приводит к значительной экономии времени операторов и клиентов, обращающихся в контакт-центр. Контакт-центры являются интенсивно развивающимся направлением телекоммуникационной отрасли.

Основные принципы централизованной обработки вызовов опубликованы в работах таких авторов, как А. Милославский, Н. Анисимов, С. Schoeneberger, A. Mandelbaum, M. Reiman и др. Крупный вклад в данном направлении внесли отечественные ученые: Б.С. Гольдштейн, A.B. Росляков, A.B. Пинчук, C.B. Ваняшин, A.A. Зарубин, М.Н. Белов. Результаты работ отражены в трудах Ленинградского отделения центрального научно-исследовательского института связи (JIO ЦНИИС), Научно-исследовательского института Телекоммуникационных систем (НИИТС), Поволжского государственного университета телекоммуникаций и информатики (ПГУТИ).

Появление у операторов связи новых телекоммуникационных услуг характеризуется увеличением количества клиентов и спроса на информационные услуги контакт-центров. Усложняется работа операторов, а к качеству обслуживания предъявляются высокие требования.

Поэтому, эффективность обслуживания клиентов, повышение уровня качества работы операторов и ключевых показателей эффективности функционирования контакт-центра в целом, становится важным аспектом в условиях жесткой конкуренции.

В связи с этим, в настоящее время существует актуальная научно-техническая задача исследования и разработки алгоритмов мониторинга, анализа и управления качеством работы операторов контакт-центра, решение которой открывает перспективы для создания единой методики оценки и повышения показателей функционирования контакт-центра, а также возможности проводить внутренние проверки качества обслуживания, способствующие повышению потребительской лояльности.

Цель работы и задачи исследования

Целью работы является повышение эффективности обслуживания клиентов и снижение эксплуатационных затрат в контакт-центре, путем

3

разработки алгоритмов и средств мониторинга, анализа и управления качеством работы операторов.

Для достижения поставленной цели требуется решение следующих задач:

- исследование существующих алгоритмов мониторинга, анализа и управления качеством работы операторов и составление их классификации;

- разработка алгоритма интеллектуального управления входящими телефонными вызовами, для улучшения ключевых показателей функционирования контакт-центра;

- разработка алгоритма оценки качества работы операторов, на основе имитации их деятельности;

- разработка компьютерной модели обслуживания телефонных вызовов и исследование влияния качества обслуживания различных классов обращений на основные параметры функционирования контакт-центра;

- оценка эффективности применения предложенных алгоритмов.

Методы исследования

Основные теоретические и экспериментальные исследования диссертационной работы выполнены с применением методов теории вероятностей, теории массового обслуживания, математической статистики и компьютерного моделирования.

Научная новизна работы заключается в следующем:

- разработан алгоритм интеллектуального управления входящими телефонными вызовами, предназначенный для определения вида обслуживания различных тем обращений;

- разработан алгоритм оценки качества работы операторов, учитывающий текущую степень их загруженности;

- разработана компьютерная модель обслуживания телефонных вызовов для контакт-центра с двумя классами обращений, позволяющая проводить оценку качества работы операторов в реальном масштабе времени.

Основные положения, выносимые на защиту:

- использование алгоритма интеллектуального управления входящими телефонными вызовами обеспечивает увеличение производительности контакт-центра;

- применение алгоритма оценки качества работы операторов, на основе компьютерной имитации их деятельности, позволяет руководителям и операторам контакт-центра в реальном режиме

4

времени по двум параметрам контролировать и оценивать качество обслуживания;

— результаты анализа компьютерного моделирования ключевых показателей эффективности контакт-центра с двумя классами обращений, подтверждающие положительное влияние разделения обслуживания вызовов по классам;

— результаты экспериментальных исследований, подтверждающие работоспособность и эффективность предложенных алгоритмов.

Личный вклад. Все результаты, составляющие содержание диссертационной работы, получены автором самостоятельно и соответствуют пунктам 4 и 5 паспорта специальности 05.12.13.

Обоснованность и достоверность результатов работы. Обоснованность и достоверность результатов обеспечиваются адекватным использованием методов математической статистики. Достоверность положений и выводов подтверждается результатами компьютерного моделирования и экспериментов.

Практическая ценность и реализация результатов работы.

Практическая ценность работы определяется возможностью применения предложенных алгоритмов мониторинга, анализа и управления качеством работы операторов в информационно-справочных службах операторов связи, ситуационных центрах, службах экстренного реагирования и некоторых социально-экономических отраслях. Разработанные алгоритмы позволяют повысить эффективность функционирования контакт-центра за счет увеличения числа клиентов, обслуженных автоматически, а также оценить качество работы операторов с учетом их загруженности.

Материалы, содержащиеся в диссертационной работе приняты к использованию в Самарском филиале ОАО «Ростелеком», а также внедрены в учебный процесс ФГОБУ ВГТО Поволжского государственного университета телекоммуникаций и информатики (г. Самара), что подтверждено актами внедрения.

Апробация работы. Основное содержание работы докладывалось и обсуждалось на Российских научных конференциях профессорско-преподавательского состава, научных сотрудников и аспирантов (ПГУТИ, 2009-2012); Международных научно-технических конференциях «Проблемы техники и технологии телекоммуникаций» (Казань 2008, Самара 2009); 8-ой Международной конференция «Interactive Systems and Technologies: the Problem of Human-Computer Interaction» (Ульяновск, 2009); 65-ой и 66-ой Научных сессиях, посвященных Дню Радио (Москва, 2010-2011); 4-ая Всероссийская НТК с международным участием «Актуальные проблемы

5

информационной безопасности. Теория и практика использования программно-аппаратных средств» (Самара, СамГТУ 2010); Межвузовская научная конференция «Инфокоммуникации: взгляд в будущее» (Самара, 2011).

Основные результаты диссертационной работы отражены в 15 опубликованных работах. Публикации включают 4 статьи в научных изданиях, рекомендуемых ВАК для публикации научных работ, и 11 материалов докладов на научно-технических конференциях.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения и списка используемой литературы и приложения. Основная часть работы содержит 144 страницы машинописного текста, 44 рисунка и 10 таблиц. Список литературы содержит 109 наименований.

Краткое содержание работы

Во введении обоснована актуальность темы исследования, сформулированы цель и задачи работы, представлены основные научные результаты диссертации, положения, выносимые на защиту, приведены сведения об апробации работы.

В первой главе рассмотрены современное состояние и главные достижения в теории централизованной обработки вызовов, приведены классификация услуг и ключевые показатели эффективности функционирования контакт-центра, выделены показатели качества работы операторов, дан обзор и выполнена классификация существующих алгоритмов мониторинга, анализа и управления качеством обслуживания, обоснована необходимость их усовершенствования.

Контакт-центр нового поколения должен обеспечивать прием традиционных телефонных вызовов, телефонных вызовов, поступающих из сети Интернет с использованием технологий VoIP, прием заявок, допускающих отложенную обработку (факсимильные запросы и электронная почта), запросов по технологиям мгновенного обмена сообщениями. Но, тем не менее, телефонные вызовы и, значит, обслуживание операторами, все еще являются ключевыми составляющими в работе контакт-центра. Особенно это актуально для России.

Качество оказываемых услуг становится одним из основных аргументов в конкуренции предприятий, оказывающих информационно-справочные услуги.

На основе анализа существующих алгоритмов мониторинга, анализа и управления качеством работы операторов можно сделать вывод, что необходима разработка автоматизированных систем, работающих в реальном времени. На практике, например, оценку показателей работы операторов проводят после сбора статистики за день, неделю или срок предусмотренный регламентом мониторинга параметров качества обслуживания. В процессе работы контакт-центра часто возникают ситуации, когда предусмотренное количество операторов не справляется с поступающей нагрузкой, поэтому определение причины и рассмотрение способов устранения проблемы, случившейся в процессе работы контакт-центра, должны происходить немедленно (в реальном масштабе времени), а не после расчета некоторых показателей эффективности функционирования контакт-центра.

Во второй главе представлены основные положения предложенных алгоритмов интеллектуального управления входящими вызовами и оценки качества работы операторов. Показано применение алгоритма интеллектуального управления с двумя классами обращений. Приведены основные математические модели современных контакт-центров.

Идея предложенного алгоритма интеллектуального управления входящими телефонными вызовами заключается в следующем: определить возможность автоматического обслуживания входящих вызовов (подготовительный этап — рис. 1) и реализовать их обслуживание отдельно от стандартного сценария (этап управления — рис. 2). Под стандартным сценарием понимается обслуживание вызовов операторами.

На подготовительном этапе, на основе статистики записей разговоров абонентов с операторами контакт-центра, составляется список тем обращений, и из него выделяется несколько классов (С?) часто встречающихся тем.

Для каждого класса я из С? проверяются возможности автоматического обслуживания и прогнозирования его по телефонному номеру. В случае выполнения двух этих условий составляется список классов обращений для применения алгоритма интеллектуального управления, создается база данных (БД), в которой будут храниться телефонные номера абонентов, относящиеся к определенной теме обращения, и для каждого класса из списка разрабатывается «особый» сценарий автоматического обслуживания вызовов с применением 1\Т1-системы.

На этапе управления каждому вызову назначается сценарий обслуживания и, в заключении, по результатам счетчиков входящих вызовов М, вызовов обслуженных по «особому» сценарию М1 и по стандартному сценарию М2 определяется значение процента автоматически обслуженных вызовов от общей поступающей нагрузки, которое является одной из ключевых характеристик эффективности функционирования контакт-центра.

7

Начало

Статистика записей

разговоров с операторами ~ *

Составление списка тем обращений

Определение популярных тем обращений (Распределение тем обращений по классам)

Список классов для применения алгоритма интеллектуального управления

Создание БД телефонных номеров для I каждого кал ас с а из списка

Создание «особого» сценария обслуживания для каждого каласса из списка

Рис. 1

Обслуживание

вызова по стандартному сценарию

М2=1

Обслуживание вызова по особому сценарию системы

Рис.2

На рис. 3 представлена схема обслуживания телефонных вызовов контакт-центра «Технической поддержки пользователей услугой Интернет» с учетом применения алгоритма интеллектуального управления входящими вызовами для 0=2 классов обращений.

ТфОП

V

Гвд1

|УПАТС АОИ |

IАРВ

Ковтакт-центр

Обслуживание по стандартному сценарию

Обслуживание по сценарию для клиентов имеющих долг

Обслуживание по сценарию для новых

[Автоматический I инф орматор_

I

1\И-снстема

Очередь на ! обслуживание к' операторам }

АРМ операторов

Вызовы обслуженные автоматически

Вызовы не обслуженные из-за нетерпеливости клиентов

Вызовы ► обслужен н ые операторами

Рис.3

Основная задача АРВ — это распределение входящих вызовов на рабочие места операторов и на устройства автоматического обслуживания. Именно блок УПАТС совместно с созданными БД реализуют работу алгоритма интеллектуального управления входящими вызовами.

В блоке «Автоматический информатор» заложено речевое меню, состоящее из вопросов к позвонившему клиенту и возможных вариантов ответов. Цифрами от 1 до К обозначены автоматизированные рабочие места (АРМ) операторов, число которых изменяется в зависимости от времени суток.

В диссертационной работе также отмечено, что функционирование контакт-центра, с учетом применения алгоритма интеллектуального управления, возможно рассматривать как сложную систему, состоящую из нескольких подсистем, т.е. как, сеть массового обслуживания, включающую несколько систем массового обслуживания (СМО).

Схема работы алгоритма оценки качества работы операторов представлена на рис. 4.

С целью мониторинга качества работы операторов, алгоритм предполагает, определение на каждом промежутке времени А?, на которые

разделен рассматриваемый интервал времени Т, текущих и нормативных значений двух параметров: длины очереди на обслуживание к операторам и числа ушедших, не дождавшихся обслуживания (нетерпеливых) вызовов. Нормативные значения параметров - это значения длины очереди и числа нетерпеливых клиентов, рассчитанные с учетом того, что время обслуживания каждого вызова соответствует регламенту, установленному руководством контакт-центра.

Текущие значения

параметров

Рис. 4

В работе представлены формулы для расчета текущих и нормативных значений параметров, на основе которых выполняется анализ качества работы операторов.

Известно, что длина очереди д1 на /-том интервале обслуживания г, (¡=1,2,3,...) для СМО с одним обслуживающим прибором, с учетом начального условия до=0, рассчитывается по следующему рекуррентному соотношению:

9,=<7/-1 (1)

где

{1, > 0 или т1 > 0;

О, 9|_,=0 и т,= 0; qi — длина очереди на /-том интервале обслуживания; т1 — число вызовов, поступивших в /-тый интервал обслуживания.

Для СМО с несколькими приборами обслуживания, с учетом нетерпеливых клиентов, выражение (1) примет следующий вид:

Я, =4,-1 +т1-к,-1{. (2)

Значения количества поступивших вызовов /и,., количества нетерпеливых клиентов /( и числа, ушедших на обслуживание вызовов к1 определяются на каждом /-том интервале А/, на основе соответствующей статистики работы операторов реального контакт-центра.

При расчете нормативных значений длины очереди и числа

нетерпеливых клиентов 1н1, используется реальная интенсивность поступления вызовов Я, а длительность обслуживания каждого вызова одинакова и равна тн = А/, где А/ — это время обслуживания одного вызова одним оператором, установленное руководством.

Таким образом, с учетом того, что на линии работает К операторов и дн„ = 0 , значения ди1 и 1и! определяются следующим образом:

Значение qImx - это максимальное значение длины очереди, по достижении которого, вновь поступившие вызовы, вероятнее всего, не дождутся обслуживания. Величинам' - это среднее время, которое клиент готов ожидать обслуживания в очереди.

Проводя усреднение значений q¡ и цш, на рассматриваемом интервале времени Т, получают средние текущее ц и нормативное дн значения длины очереди. Значения средние текущего / и нормативного 1п числа ушедших клиентов определяется усреднением значений 11 и /н1, соответственно, на всех интервалах обслуживания.

Согласно идее алгоритма, в те часы суток, когда операторы имеют невысокий коэффициент загрузки (меньше 0,7), достаточно сравнить нормативное среднее значение длины очереди с текущим средним значением длины очереди д . Анализ их совпадения или отличия дает представление о качестве работы группы операторов.

В часы наибольшей нагрузки, когда средний коэффициент загрузки каждого оператора близок к 1, а текущие значения длины очереди постоянно увеличиваются, для оценки качества работы группы операторов сравнивают еще и средние значения нормативного 1н и текущего / количества нетерпеливых клиентов.

Программный код для мониторинга качества работы операторов по двум параметрам (длина очереди и число нетерпеливых клиентов), выполнен в программной среде Ма11аЬ.

/м = тах[(л, -9ШИ);0], Чи, =тах[(а,-/„,);0],

(3)

(4)

где

а1 = ?»(!-!)+^ -К,

В третьей главе подробно описана компьютерная модель обслуживания телефонных вызовов. Выполнен анализ законов распределения длительностей интервалов между поступлениями вызовов и времен обслуживания вызовов контакт-центра, рассмотренного во второй главе. Доказана адекватность предложенной компьютерной модели.

Компьютерная модель процесса обслуживания телефонных вызовов реализована в визуально — ориентированной среде МаАаЬ/БтиНпк. На ее основе проводились эксперименты с предложенными в работе алгоритмами.

Моделирование процесса обслуживания телефонных вызовов в контакт-центре, с учетом алгоритма интеллектуального управления для двух классов обращений, условно представлено пятью этапами: 1) поступление вызовов в контакт-центр; 2) разделение входного потока по типу обслуживания - выбор стандартного или «особого» сценария обслуживания для каждого вызова (реализация алгоритма интеллектуального управления); 3) обслуживание вызовов по «особому» сценарию для клиентов-должников; 4) обслуживание вызовов по «особому» сценарию для новых клиентов; 5) обслуживание вызовов по стандартному сценарию.

В разделе, касающемся моделирования поступления и обслуживания вызовов, на основе реальной статистики, выполнен анализ законов распределения времен между поступлениями и обслуживания вызовов для контакт-центра с двумя классами обращений. Справедливость утверждения, что для интервалов между поступлениями телефонных вызовов характерен экспоненциальный закон распределения, проверена с помощью метода оценки средней доли недообслуживания. Приведено подробное описание этого метода. Согласно критерию хи-квадрат, доказано, что распределение времен обслуживания вызовов можно принять за экспоненциальный закон с уровнем значимости 5%.

Достоверность результатов, полученных с помощью составленной компьютерной модели, определялась путем сравнения средней длины очереди и вероятности отказа в обслуживании с точными теоретическими (аналитическими) результатами для частных случаев СМО с неограниченной и ограниченной очередью.

В четвёртой главе представлены доказательство эффективности и оценка влияния на основные характеристики функционирования контакт-центра алгоритма интеллектуального управления входящими вызовами. Описаны результаты эксперимента по применению алгоритма оценки качества работы операторов.

Результаты работы алгоритма интеллектуального управления входящими вызовами в контакт-центре «Технической поддержки пользователей услугой Интернет» в течение 4-х месяцев представлены на рис.7.

-Обслуженные операторами ----Обслуженные операторами и по особому сценарию

Рис. 7

Наибольшая эффективность от применения алгоритма наблюдается в первых числах месяца. Наличие «особого» сценария обслуживания позволяет сгладить пики обращений от клиентов, возникающие в начале месяца, увеличить количество обслуженных вызовов в среднем на 10-15%, при стабильной загруженности операторов. Кроме того, увеличить количество вызовов обслуженных (УК-системой, а также автоматизировать процесс информирования абонента о возникшей задолженности.

Экономический эффект применения данного алгоритма, заключается в том, что не требуется увеличение числа операторов, работающих на линии, в периоды массовых обращений. При этом ключевые показатели эффективности функционирования контакт-центра остаются стабильными.

Схема компьютерной модели при проведении экспериментов с предложенными алгоритмами мониторинга, анализа и управления качеством работы операторов приведена на рис. 8.

Рис. 8

На рис. 9 представлены результаты применения алгоритма оценки качества работы операторов службы «Технической поддержки пользователей услугой Интернет» Самарского филиала ОАО «Ростелеком», в течение 9-ти часов работы операторов. Пользуясь представленными графиками, старший

13

оператор смены и/или руководитель отдела в реальном масштабе времени проводят анализ работы операторов.

Средняя длина опереди

т1нсло нетерпеливых клиентов

5|.................-........ ......... ............................................-................

4........................................... ....................-........ ............—-

10:00 11:00 12:00 13:00 14:00 15:00 10:00 17:00 18:00

Рис. 9

По графикам видно, что операторы работали с показателями, превышающими ожидаемый уровень. В большей части графика линия идеальной работы ниже текущих значений, но, не трудно заметить, что отличие реальных значений от идеальных в разные промежутки времени различны. Анализируя разницу значений можно сделать вывод, о причине несоответствия нормативным показателям.

Применение алгоритма оценки качества работы операторов дает следующие преимущества:

— группа операторов, пользуясь графиками рис. 9, может самостоятельно контролировать соответствие показателей своей работы норме, установленной руководством;

— руководство имеет возможность своевременно получать данные о качестве работы операторов, и что важно, в некоторых случаях, выявлять причину несоответствия показателей работы операторов установленным нормам.

В заключении сформулированы основные результаты работы.

В диссертации достигнута цель по снижению эксплуатационных затрат и повышению эффективности обслуживания клиентов за счет разработки алгоритмов мониторинга, анализа и управления качеством работы операторов контакт-центра. Предложенные алгоритмы работают в реальном масштабе времени.

1. Проведен анализ и выполнена классификация алгоритмов мониторинга и управления качеством работы операторов контакт-центра, в результате чего выявлена необходимость разработки алгоритмов, способных работать в реальном времени.

2. Разработан алгоритм интеллектуального управления входящими вызовами, позволяющий увеличить производительность контакт-центра на 10-15 %.

3. Разработан алгоритм оценки качества работы операторов, позволяющий руководителям и операторам по двум параметрам в реальном времени контролировать и оценивать показатели работы.

4. Разработана компьютерная модель обслуживания телефонных вызовов для двух классов обращений, которая позволяет оценить показатели функционирования контакт-центра в зависимости от доли вызовов обслуженных без участия операторов.

5. Показано, что с увеличением интенсивности поступления вызовов в контакт-центр преимущество от применения алгоритма интеллектуального управления входящими вызовами возрастает. Это положительно отражается на ключевых показателях эффективности функционирования контакт-центра. Предложенный алгоритм оценки качества работы операторов позволяет, в зависимости от загруженности, контролировать степень соответствия текущих показателей работы рекомендуемым показателям, установленным руководством контакт-центра.

Публикации по теме диссертации

1. Татаринова*, Н.М Применение алгоритма «leaky bucket» для оценки перегрузки операторов центров обслуживания вызовов / Н.М. Татаринова, Б.Я. Лихтциндер // Обозрение прикладной и промышленной математики. - 2010. -Т. 17 №5. - С. 742-743.

2. Татаринова, Н.М. Оценка качества работы операторов ЦОВ по длительности обслуживания вызовов / Н.М. Татаринова, Б.Я. Лихтциндер // Инфокоммуникационные технологии.-2011. -№2. - С. 18-23.

3. Вельская, Н.М. Применение алгоритма интеллектуального управления входящими вызовами в контакт-центре / Н.М. Вельская, Р.В. Андреев // Инфокоммуникационные технологии. -2012. -№1. - С. 28-31.

4. Татаринова, Н.М. Обособленное обслуживание вызовов для повышения эффективности работы ЦОВ / Н.М. Татаринова, Р.В. Андреев // T-Comm -Телекоммушжации и транспорт. - 2012. -№1. - С. 32-34.

5. Татаринова, Н.М. Метод определения средней доли недообслуживния вызовов в СМО / Н.М. Татаринова, Б.Я. Лихтциндер, И.С. Макаров // Тез. докл. на X Международной научно-техн. конф. «Проблемы техники и технологий телекоммуникаций». - Самара, 2009.-С. 78-79.

6. Татаринова, Н.М. Повышение показателей эффективности работы ЦОВ маршрутизацией абонентов в IVR-меню / Р.В. Андреев, Н.М. Татаринова// Тез. докл. на

X Международной научно-техн. конф. «Проблемы техники и технологий телекоммуникаций». — Самара, 2009. — С. 82.

7. Татаринова, Н.М. Экспериментальное определение средней доли недообслуживния заявок в СМО / Н.М. Татаринова, Б.Я. Лихтциндер, И.С. Макаров // Тез. докл. на X Международной научно-техн. конф. «Проблемы техники и технологий телекоммуникаций». - Самара, 2009. -С. 85-86.

8. Татаринова, Н.М. Контроль качества информационно-справочных систем Call- центров / Н.М. Татаринова, Б.Я. Лихтциндер, В.А. Фанатов // Тез. докл. на XVI научно-технической конференции проф.-преп. состава, научных сотрудников и аспирантов,— ПГУТИ, Самара, 2009.

9. Tatarinova, N.M. Increment of key performance indicators call-center / R.V. Andreev, N.M. Tatarinova // Collection of scientific papers the 8-th international conference «Interactive Systems and Technologies: the Problems of Human-Computer Interaction». Volume III -Ulyanovsk, 2009. -P. 458.

10. Татаринова, Н.М. Определение средней доли недообслуживания вызовов в справочных системах / Н.М. Татаринова // Тез. докл. на 65-ой научной сессии, посвященной Дню Радио. - Москва, 2010. - С.89.

11. Татаринова, Н.М. Обслуживание пачечных потоков заявок в системе массового обслуживания / Н.М. Татаринова, Б.Я. Лихтциндер, И.С. Макаров // Тез. докл. на XVII российской науч. конф. проф.-препод. состава, научных сотрудников и аспирантов ПГУТИ. - Самара, 2010. - С. 44-45.

12. Татаринова, Н.М. «Интеллектуальное» обслуживание входящих вызовов в ЦОВ / Р.В. Андреев, Н.М. Татаринова // Тез. докл. на XVII российской научной конференции профессорско-преподавательского состава, научных сотрудников и аспирантов ПГУТИ. - Самара, 2010. - С. 56-57.

13. Татаринова, Н.М. Моделирование центра обслуживания вызовов в среде Matlab/Simulink / Н.М. Татаринова // Тез. докл. на 4-ой всероссийской научно-технической конференции с международным участием «Актуальные проблемы информационной безопасности. Теория и практика использования программно-аппаратных средств»,- Сам! ТУ, Самара, 2011. - С. 67-70.

14. Татаринова, Н.М. Разработка интеллектуальной модели ЦОВ в среде SimEvents (Matlab/Simulink) / Н. М. Татаринова // Тез. докл. на XVIII российской научной конференции профессорско-преподавательского состава, научных сотрудников и аспирантов ПГУТИ. — Самара, 2011. — С. 61-62.

15. Татаринова, Н.М. Компьютерное моделирование обслуживания вызовов с целью повышения качества работы операторов ЦОВ / Н.М. Татаринова // Тез. докл. на 66-ой научной сессии, посвященной Дню Радио. — Москва, 2011. — С.47.

* — Татаринова Н.М. сменила фамилию на Вельская Н.М. 17.06.2012 г.

Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования «Поволжский государственный университет телекоммуникаций и информатики»

_443010. г. Самара, ул. Льва Толстого 23_

Подписано в печать 03.07.12 г. Формат 60x84'/i6 Бумага писчая №1. Гарнитура Тайме.

_Заказ 1256, Печать оперативная. Усл. печ. л. 0,93, Тираж 100 экз._

Отпечатано в издательстве учебной и научной литературы Поволжского государственного университета телекоммуникаций и информатики 443090, г. Самара, Московское шоссе 77, т. (846) 228-00^14

ВВЕДЕНИЕ.

Глава 1. ОБЗОР АЛГОРИТМОВ МОНИТОРИНГА, АНАЛИЗА И УПРАВЛЕНИЯ КАЧЕСТВОМ РАБОТЫ ОПЕРАТОРОВ КОНТАКТ-ЦЕНТРА.

1.1 Особенности структуры контакт-центров.

1.2 Ключевые показатели эффективности работы контакт-центра.

1.3 Существующие алгоритмы мониторинга, анализа и управления качеством работы операторов.

1.4 Необходимость усовершенствования существующих алгоритмов.

1.5 Выводы.

Глава 2 РАЗРАБОТКА АЛГОРИТМА ИНТЕЛЛЕКТУАЛЬНОГО УПРАВЛЕНИЯ ВХОДЯЩИМИ ТЕЛЕФОННЫМИ ВЫЗОВАМИ.

2.1 Основные положения алгоритма.

2.2 Применение алгоритма интеллектуального управления входящими вызовами в контакт-центре.

2.3 Функционирование контакт-центра в виде сети массового обслуживания.

2.4 Аналитические модели современных контакт-центров ;.

2.5 Алгоритм оценки качества работы операторов.

2.6 Выводы.

Глава 3. КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ ОБСЛУЖИВАНИЯ ТЕЛЕФОННЫХ ВЫЗОВОВ В КОНТАКТ-ЦЕНТРЕ.

3.1 Описание компьютерной модели.

3.2 Доказательство адекватности составленной модели.

3.3 Выводы.

Глава 4. ОЦЕНКА ЭФФЕКТИВНОСТИ ПРИМЕНЕНИЯ ПРЕДЛОЖЕННЫХ АЛГОРИТМОВ.

4.1 Алгоритм интеллектуального управления входящими вызовами.

4.2 Результаты внедрения алгоритма интеллектуального управления вызовами.

4.3 Алгоритм оценки качества работы операторов.

4.4 Выводы.

Актуальность темы

В настоящее время контакт - центры или центры обслуживания вызовов (ЦОВ) нашли применение во многих социально-экономических отраслях, например, в службах экстренного реагирования, банковских и финансовых сферах, торговых, страховых, туристических компаниях, а также информационно-справочных службах операторов связи. Технологии контакт-центров позволяют обрабатывать быстрее, дешевле и качественнее запросы клиентов, повысить эффективность внутреннего информационного обмена на предприятии, что приводит к значительной экономии времени операторов и клиентов, обращающихся в контакт-центр. Контакт-центры являются интенсивно развивающимся направлением телекоммуникационной отрасли.

Основные принципы централизованной обработки вызовов опубликованы в работах таких авторов, как А. Милославский, Н. Анисимов, С. Schoeneberger, A. Mandelbaum, M. Reiman и др. Крупный вклад в данном направлении внесли отечественные ученые: Б.С. Гольдштейн, A.B. Росляков, A.B. Пинчук, C.B. Ваняшин, A.A. Зарубин, М.Н. Белов. Результаты работ отражены в трудах Ленинградского отделения центрального научно-исследовательского института связи (J10 ЦНИИС), Научно-исследовательского института Телекоммуникационных систем (НИИТС), Поволжского государственного университета телекоммуникаций и информатики (ПГУТИ).

Появление у операторов связи новых телекоммуникационных услуг характеризуется увеличением количества клиентов и спроса на информационные услуги контакт-центров. Усложняется работа операторов, а к качеству обслуживания предъявляются высокие требования.

Поэтому, эффективность обслуживания клиентов, повышение уровня качества работы операторов и ключевых показателей эффективности функционирования контакт-центра в целом, становится важным аспектом в условиях жесткой конкуренции.

В связи с этим, в настоящее время существует актуальная научно-техническая задача исследования и разработки алгоритмов мониторинга, анализа и управления качеством работы операторов контакт-центра, решение которой открывает перспективы для создания единой методики оценки и повышения показателей функционирования контакт-центра, а также возможности проводить внутренние проверки качества обслуживания, способствующие повышению потребительской лояльности.

Цель работы и задачи исследования

Целью работы является повышение эффективности обслуживания клиентов и снижение эксплуатационных затрат в контакт-центре, путем разработки алгоритмов и средств мониторинга, анализа и управления качеством работы операторов.

Для достижения поставленной цели требуется решение следующих задач:

• исследование существующих алгоритмов мониторинга, анализа и управления качеством работы операторов и составление их классификации;

• разработка алгоритма интеллектуального управления входящими телефонными вызовами, для улучшения ключевых показателей функционирования контакт-центра;

• разработка алгоритма оценки качества работы операторов, на основе имитации их деятельности;

• разработка компьютерной модели обслуживания телефонных вызовов и исследование влияния качества обслуживания различных классов обращений на основные параметры функционирования контакт-центра;

• оценка эффективности применения предложенных алгоритмов.

Методы исследования

Основные теоретические и экспериментальные исследования диссертационной работы выполнены с применением методов теории вероятностей, теории массового обслуживания, математической статистики и компьютерного моделирования.

Научная новизна работы

Научная новизна диссертационной работы заключается в следующем:

• разработан алгоритм интеллектуального управления входящими телефонными вызовами, предназначенный для определения вида обслуживания различных тем обращений;

• разработан алгоритм оценки качества работьл операторов, учитывающий текущую степень их загруженности;

• разработана компьютерная модель обслуживания телефонных вызовов для контакт-центра с двумя классами обращений, позволяющая проводить оценку качества работы операторов в реальном масштабе времени.

Основные положения, выносимые на защиту:

• использование алгоритма интеллектуального управления входящими телефонными вызовами обеспечивает увеличение производительности контакт-центра;

• применение алгоритма оценки качества работы операторов, на основе компьютерной имитации их деятельности, позволяет руководителям и операторам контакт-центра в реальном режиме времени по двум параметрам контролировать и оценивать качество обслуживания;

• результаты анализа компьютерного моделирования ключевых показателей эффективности контакт-центра с двумя классами обращений, подтверждающие положительное влияние разделения обслуживания вызовов по классам;

• результаты экспериментальных исследований, подтверждающие работоспособность и эффективность предложенных алгоритмов.

Личный вклад

Все результаты, составляющие содержание диссертационной работы, получены автором самостоятельно и соответствуют пунктам 4 и 5 паспорта специальности 05.12.13.

Обоснованность и достоверность результатов работы

Обоснованность и достоверность результатов обеспечиваются адекватным использованием методов математической статистики. Достоверность положений и выводов подтверждается результатами компьютерного моделирования и экспериментов.

Практическая ценность и реализация результатов работы

Практическая ценность работы определяется возможностью применения предложенных алгоритмов мониторинга, анализа и управления качеством работы операторов в информационно-справочных службах операторов связи, ситуационных центрах, службах экстренного реагирования и некоторых социально-экономических отраслях. Разработанные алгоритмы позволяют повысить эффективность функционирования контакт-центра за счет увеличения числа клиентов, обслуженных автоматически, а также оценить качество работы операторов с учетом их загруженности.

Материалы, содержащиеся в диссертационной работе приняты к использованию в Самарском филиале ОАО «Ростелеком», а также внедрены в учебный процесс ФГОБУ ВПО Поволжского государственного университета телекоммуникаций и информатики (г. Самара), что подтверждено актами внедрения.

Апробация работы

Основное содержание работы докладывалось и обсуждалось на Российских научных конференциях профессорско-преподавательского состава, научных сотрудников и аспирантов (ГТГУТИ, 2009-2012); Международных научно-технических конференциях «Проблемы техники и технологии телекоммуникаций» (Казань 2008, Самара 2009); 8-ой Международной конференция «Interactive Systems and Technologies: the Problem of HumanComputer Interaction» (Ульяновск, 2009); 65-ой и 66-ой Научных сессиях, посвященных Дню Радио (Москва, 2010-2011); 4-ая Всероссийская НТК с международным участием «Актуальные проблемы информационной безопасности. Теория и практика использования программно-аппаратных средств» (Самара, СамГТУ 2010); Межвузовская научная конференция «Инфокоммуникации: взгляд в будущее» (Самара, 2011).

Публикации

Основное содержание диссертации отражено в 15 опубликованных работах. Публикации включают 4 статьи в научных изданиях, рекомендуемых ВАК для публикации научных работ, и 11 материалов докладов на научно-технических конференциях.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения и списка используемой литературы и приложения. Основная часть работы содержит 144 страницы машинописного текста, 44 рисунка и 10 таблиц. Список литературы содержит 109 наименований.

4.4 Выводы

В данной главе представлены результаты экспериментов компьютерного моделирования обслуживания телефонных вызовов, а также применения алгоритма интеллектуального управления в реальном контакт-центре.:

Основными задачами экспериментов являлись подтверждение эффективности предложенных алгоритмов, оценка влияния вероятностей поступления вызовов от клиентов-должников и новых клиентов на количество обслуженных вызовов, коэффициент загрузки операторов и т.п., а также реализация алгоритма оценки качества работы операторов.

После анализа полученных результатов обнаружено, что наибольшая эффективность от внедрения алгоритма интеллектуального управления вызовами отражается на количестве нетерпеливых клиентов, средней длине очереди и среднем времени ожидания. Эффективность от внедрения алгоритма по такому показателю как количество обслуженных вызовов наблюдается лишь при увеличении интенсивности, когда значения коэффициента загрузки операторов близки к единице.

Таким образом, применение алгоритма интеллектуального управления входящими вызовами позволяет увеличить количество обслуженных вызовов, при стабильной загруженности операторов, долю вызовов обслуженных 1УЯ-системой, а также автоматизировать процесс информирования абонента о возникшей задолженности.

Применение алгоритма оценки качества работы операторов имеет ряд преимуществ:

- группа операторов может сама контролировать соответствие показателей своей работы норме, установленной руководством;

- руководство имеет возможность своевременно получать данные о качестве работы, и что важно, в некоторых случаях, выявлять причину несоответствия показателей работы операторов установленным нормам;

- полная автоматизация алгоритма оценки качества работы операторов позволяет исключить человеческий фактор, характерный для существующих алгоритмов.

ЗАКЛЮЧЕНИЕ

В диссертации достигнута цель по снижению эксплуатационных затрат и повышению эффективности обслуживания клиентов за счет разработки алгоритмов мониторинга, анализа и управления качеством работы операторов контакт-центра. Предложенные алгоритмы работают в реальном масштабе времени.

1. Проведен анализ и выполнена классификация алгоритмов мониторинга и управления качеством работы операторов контакт-центра, в результате чего выявлена необходимость разработки алгоритмов, способных работать в реальном времени.

2. Разработан алгоритм интеллектуального управления входящими вызовами, позволяющий увеличить производительность контакт-центра на 10-15 %.

3. Разработан алгоритм оценки качества работы операторов, позволяющий руководителям и операторам по двум параметрам в реальном времени контролировать и оценивать показатели работы.

4. Разработана компьютерная модель обслуживания телефонных вызовов для двух классов обращений, которая позволяет оценить показатели функционирования контакт-центра в зависимости от доли вызовов обслуженных без участия операторов. .

5. Показано, что с увеличением интенсивности поступления вызовов в контакт-центр преимущество от применения алгоритма интеллектуального управления входящими вызовами возрастает. Это положительно отражается на ключевых показателях эффективности функционирования контакт-центра. Предложенный алгоритм оценки качества работы операторов позволяет, в зависимости от загруженности, контролировать степень соответствия текущих показателей работы рекомендуемым показателям, установленным руководством контакт-центра.

1. Росляков, А. В. Центры обслуживания вызовов (Call Centre) / A.B. Росляков, М.Ю. Самсонов, И.В. Шибаева. -М.: Эко-Трендз, 2002. 304 с.

2. Брауде-Золотарев, М. Компьютерно-телефонная интеграция, или размышления о том, сольются ли когда-нибудь datacom и telecom в едином порыве / М. Брауде-Золотарев // Компьютерра. 1999. - №29-30.

3. Крестьянинов, С. В. Интеллектуальные сети и компьютерная телефония/ C.B. Крестьянинов, Е.И. Полканов, М.А. Шнепс-Шнеппе. -М.: Радио и связь, 2001. 240 с.

4. Пигорева, О. IP Contact Center новая реальность / О. Пигорева // Компьютерная телефония. - 2001. -№4. - С. 13-17.

5. Шильников, Е. Н. Заметки о Call-центре Издательского дома «Из рук в руки» и не только о нем // Компьютерная телефония. 2001. —№5. - С. 2729.

6. Росляков, A.B. IP-телефония / A.B. Росляков, М.Ю.Самсонов, И.В. Шибаева. М.: Эко-Трендз, 2003. - 252 с.

7. Степанова, И. В. Развитие концепции построения центров обслуживания вызовов / И.В. Степанова // Электросвязь. 2006. - №2. - С. 16-17.-1.12.11.

8. Солонин, В. Call-центры: описание технологии Электронный ресурс. Режим доступа: http: //wwvv.cnews.ru/reviews/free/call-center/partl. -1.12.11.

9. Полунин, А. Технологии операторских центров / А. Полунин // Сети.-2002.-№2.

10. Тарамыкина, Г. Call-центр: Система будущего / Г. Тарамыкина // Электросвязь. 1999. - №4. - С. 38-39.

11. Гургенидзе, А. Современный contact-центр/ А. Гургенидзе, // Connect! Мир Связи. -2005. № 12.

12. Димариа, M. Контакт-центры: что дает IP? / M. Димариа // Сети и системы связи. 2005. - №12.

13. Ершов, В. А. Мультисервисные телекоммуникационные сети / В.А. Ершов, H.A. Кузнецов. М.: Изд-во МГТУ им. Баумана, 2003. - 432 с.

14. Гольдштейн, Б. С. Call-центры и компьютерная телефония / Б.С. Гольдштейн, В.А. Фрейнкман. СПб.: БХВ - Санкт-Петербург, 2006. - 370 с.

15. Росляков, А. В. Математические модели центров обслуживания вызовов / A.B. Росляков, С.В.Ваняшин. М.: ИРИАС, 2006. - 336 с.

16. Полунин, А. Современные операторские центры / А. Полунин // Сети. 2000. - №12. - С. 42-45.

17. Гольдштейн, Б. С. Интеллектуальные сети / Б.С. Гольдштейн, И.М. Ехриель, Р.Д. Рерле. -М.: Радио и связь, 2000. 500 с.

18. Веселка, М. Мультимедийные контакт-центры заменяют обычные call-центры /М. Веселка // IT Manager. 2005. - №1.

19. Зарубин, A. A. Call- и контакт-центры. Решения российских разработчиков / A.A. Зарубин // Технологии и средства связи. 2003. - №3.

20. Loren, G. The new ROI: Return on Individuals / G. Loren // Harvard management update. 2003. - №8.

21. Буданова, M. Аспекты применения CRM-систем и их элементов в call-центрах операторов мобильной связи/ М. Буданова, В.А. Фрейнкман // Мобильные телекоммуникации. 2004. - №7.

22. Крестьянинов, С. В. Абоненту сервис, оператору - деньги / C.B. Крестьянинов, Д.И. Алешин // Connect! Мир Связи. -1997. - № 12.

23. Росляков, А. В. Интеграция АСР, ЦОВ и CRM в межрегиональных компаниях связи / A.B. Росляков // Биллинг. Компьютерная телефония. 2004. -№1. - С. 10-14.

24. Самолюбова, А. Б. Call center на 100% / А.Б. Самолюбова. М.: Альпина Бизнес Бук, 2004. - 309 с.

25. Димариа, М. Анализ систем контакт-центров на базе IP / M. Димариа // Сети и системы связи. 2005. - №12.

26. Андреев, Р. В. Повышение показателей эффективности работы ЦОВ маршрутизацией абонентов в IVR-мешо / Р.В. Андреев, Н.М. Татаринова // Докл. на X международной НТК «ПТ и ТТ-2009».- ПГУТИ, Самара, 2009. С. 82.

27. Хазбун, И. Удержите клиента на линии: не дайте ему повода повесить трубку Электронный ресурс. Режим доступа: http://callcenterguru.ru/blogs/articles/2011/10/24/. - 1.12.11.

28. Кравченко, О. Интеллектуальный автоответчик / О. Кравченко // Мир связи. Connect. 2001. - № 10.-С. 38-39.

29. Максименко, В. Как оценить качество услуг контакт-центра / В. Максименко // ИКС. 2010. - № 6.

30. Фролова, А. Зачем нужен Cali Center? / А. Фролова // Корпоративные системы. 2001. - № 2.

31. Зарубин, А. А. Формула контакт-центра / А.А. Зарубин // Сети и системы связи. 2003. - № 8.

32. Кливленд, Б. Ключевые параметры для управления cali-центром / Б. Кливленд // Сети и системы связи. 2006. - № 6.

33. Rennstam, M. What to measure and manage in your call centre Электронный ресурс. Режим доступа: http://www.callcentrehelper.com/what-to-measure-and-manage-in-your-call-centre-6447.htm. - 1.12.11.

34. First Call Resolution introduction to Quality Management Электронный ресурс. - Режим доступа: http://www.callcentres.com.aU/firstcallresolution.htm# 1. - 1.12.11.

35. Теплов, П. "Измеряем" оператора контактного центра / П. Теплов // Connect! Мир Связи. 2009. - № 3.

36. Ефремова, А. Качество контакт-центра должен оценивать клиент / А. Ефремова // Connect! Мир Связи. 2008. - № 4.

37. Максименко, В. Управление качеством услуг / В. Максименко, A.B. Кудин // ИКС. 2005. - № 4.

38. Левин, Г. Измеряем качество работы контакт-центра / Г. Левин // Сети и системы связи. 2007. - № 9.

39. Kelly, В Making sense of contact center metrics and customer satisfaction Электронный ресурс. Режим доступа: http://searchcrm.techtarget.com/news/2240019772/Making-sense-of-contact-center-metrics-and-customer-satisfaction. -1.12.11.

40. Уразова, С. Контакт-центры повышают качество сервиса / С. Уразова // Connect! Мир Связи. 2007. -№10.

41. Большакова, М. Н. Использование записи разговоров для обучения персонала call центра Электронный ресурс. Режим доступа: http://www.apexberg.ru/base/articles/index.php?ELEMENTID=1561. - 1.12.11.

42. Stewart, Ph. How to take customer service to the next level Электронный ресурс. Режим доступа: http://www.callcentrehelper.com/tips-for-taking-customer-service-to-the-next-level-8826.htm. - 17 Feb 2010.

43. Бучи, Д. Запись звонков и инструкции по управлению качеством для маленьких и средних контакт-центров Электронный ресурс. — Режим доступа: http://callcenterguru.ru/blogs/articles/2009/09/07. -1.12.11.

44. Большакова, М. Н. Как улучшить процесс мониторинга качества звонков// Электронный ресурс. Режим доступа: http://www.apexberg.m^ase/articles/index.php?ELEMENTГО=1536. - 1.12.11.

45. Большакова, М. Н. Как улучшить процесс мониторинга качества звонков (продолжение) Электронный ресурс. Режим доступа: http://www.apexberg.ru/base/articles/index.php?ELEMENTID=1539. - 1.12.11.

46. Левин, Г. Контроль качества обслуживания клиентов в са11-центрах / Г. Левин // Сети и системы связи. 2007 - № 14.

47. Цысарь, А. Б. Mystery Shopping Метод контроля качества сервиса Электронный ресурс. - Режим доступа: http://ekonomic.narod.ru/nbene/comm/fcomml4.htm.

48. Андреев, Р. В. Increment of key performance indicators call-center / P.B. Андреев, H. M. Татаринова // Тез. докл. на 8-й международной конференции «IS-2009» Ульяновск, 2009.

49. Андреев, Р. В. «Интеллектуальное» обслуживание входящих вызовов в ЦОВ / Р. В. Андреев, Н. М. Татаринова // Тез. докл. на XVII научно-технической конференции проф.-преп. состава, научных сотрудников и аспирантов ПГУТИ, Самара, 2010.

50. Росляков, А. В. Сравнительный анализ математических моделей центров обслуживания вызовов / А. В. Росляков, С. В. Ваняшин, А. А. Решодько // Электросвязь. 2004. -№9. - С. 32-34.

51. Зарубин, A. A. Call и контакт-центры: эволюция технологий и математических моделей / А. А. Зарубин // Вестник связи. 2003. - №8.

52. Росляков, А. В. Математическая модель системы телефонистов ОРАХ / А. В. Росляков, А. В. Новиков // Электросвязь. 2001. -№8. - С. 13-16.

53. Newell, G. F. Applications of Queueing Theory / G. F. Newell. -Chapman and Hall, 1982.

54. Zeltyn, S. Call centers with impatient customers: many-server asymptotics of the M/M/n+G queue / S. Zeltyn, A. Mandelbaum Working paper. Technion. - 2005.

55. Mandelbaum, A. The Impact of customers patience on delay and abandonment: some empirically-driven experiments with the M/M/N+G queue // A. Mandelbaum, S. Zeltyn OR Spectrum, Special Issue on Call Center Management. -2004.-№26.-P. 377-411.

56. Майоров, С. А. Основы теории вычислительных систем/ С. А. Майоров, Г. И. Новиков, Т. И. Алиев и др. М.: Высшая школа, 1978. - 408 с.

57. Вишневский, В. М. Теоретические основы проектирования компьютерных сетей / В.М. Вишневский М.: Техносфера, 2003. - 512 с.

58. Kritzinger, P. S. Generalization of Norton's Theorem for Multiclass Queueing Networks / P.S. Kritzinger, S. Wyk, A.E. Krzesinski // Perform. Eval. -1982.-V. 2, N2.-P. 98- 107.

59. Gelenbe, E. Analysis and Synthesis of Computer Systems / E. Gelenbe, I. Mitrany. London: Academic Press, 1980. - 410 p.

60. Клейнрок, Jl. Теория массового обслуживания / JI. Клейнрок М.: Машиностроение, 1979. - 432 с.

61. Боровков, А. А. Теория вероятностей / А.А. Боровков — М.: Наука, 1986.-432 с.

62. Сигорский, В. П. Математический аппарат инженера / В. П. Сигорский — М.: Техника, 1977. 768 с.

63. Гнеденко, Б. В. Введение в теорию массового обслуживания / Б. В. Гнеденко, И. Н. Коваленко М.: Наука, 1987. - 432 с.

64. Риордан, Д. Вероятностные системы обслуживания / Д. Риордан -Пер. с англ. М.: Связь, 1966. - 184 с.

65. Клейнрок, JI. Коммуникационные сети. Стохастические потоки и задержки сообщений / JI. Клейнрок -Пер. с англ. М.: Наука, 1970. - 256 с.

66. Климов, Г. П. Стохастические системы обслуживания / Г. П. Климов М.: Наука, 1966. - 244 с.

67. Wolff, R. Stochastic modeling and the theory of queues / R. Wolff. -Prentice Hall, 1989.

68. Hall, R. W. Queueing methods for services and manufacturing / R.W. Hall.-Prentice Hall, 1991.

69. Клейнрок, JI. Вычислительные системы с очередями / JI. Клейнрок -М.: Мир, 1979.-600 с.

70. Wolff, R. Stochastic modeling and the theory of queues / R. Wolff. -Prentice Hall, 1989.

71. Garnett, O. Designing a call center with impatient customers / O. Garnett, A. Mandelbaum, M.I. Reiman // Manufacturing and Service Operations Management. 2002. - №4. - P. 208-227.

72. Baccelli, F. On queues with impatient customers / F. Baccelli, G. Hebuterne // Performance, North-Holland publishing company. 1981. - P. 159-179.

73. Boxma, O. J. Multiserver queues with impatient customers / O.J. Boxma, P.R. de Waal // ITC. 1994. -№14. - P. 743-756.

74. Brandt, A. On the M(n)/M(s)/s queue with impatient calls / A. Brandt, M. Brandt// Performance evaluation. 1999. -№35. - P. 1-18.

75. Palm, C. Research on telephone traffic carried by full availability groups / C. Palm // Tele. 1957. - № 1. - P. 107.

76. Татаринова, H. M. Оценка качества работы операторов ЦОВ по длительности обслуживания вызовов / I-I. М. Татаринова, Б. Я. Лихтциндер // Инфокоммуникационные технологии. 2011. -№2. - С. 18-23.

77. Татаринова, Н.М. Применение алгоритма «leaky bucket» для оценки перегрузки операторов центров обслуживания вызовов / Н.М. Татаринова, Б.Я. Лихтциндер // Обозрение прикладной и промышленной математики. 2010. -Т. 17 №5.-С. 742-743.

78. Татаринова, Н. М. Разработка автоматизированной системы оценки качества работы операторов контакт-центра / Н. М. Татаринова// Докл. на межвузовской научной конференции «Инфокоммуникции: взгляд в будущее». -Самара, 2011.

79. Кнут, Д. Искусство программирования для ЭВМ. Том 2. Получисленные алгоритмы / Д. Кнут. М.: Мир, 1977.

80. Law, А. М. Simulation, modeling and analysis, 3rd ed / A.M. Law, W.D. Kelton. McGraw-Hill, 2000.

81. Фигурин, В. А. Теория вероятностей и математическая статистика / В. А. Фигурин, В. В. Оболонкин. Мн.: ООО «Новое знание», 2000. - 208 с.

82. Шелухин, О. И. Моделирование информационных систем / О. И. Шелухин, А. М. Тенякшев, А. В. Осин. — Сайс-пресс, 2005. 327 с.

83. Тарасевич, Ю. Ю. Математическое и компьютерное моделирование / Ю. Ю. Тарасевич. Урсс, 2004. - 152 с.

84. Мэтьюз, Д. Г. Численные методы. Использование MATLAB, 3-е издание / Д.Г. Мэтьюз, К.Д. Финк Пер. с англ. - М.: Издательский дом «Вильяме», 2001. - 720 с.

85. Гультяев, А. К. MATLAB 5.3. Имитационное моделирование в среде Windows. Практическое пособие / А. К. Гультяев. Спб.: Корона принт, 2001.-400 с.

86. Кельтон, В. Имитационное моделирование. Классика CS. 3-е изд. / В. Кельтон, A. Jloy. СПб.: Питер; Киев: Издательская группа BHV, 2004. - 847 с.

87. Мартынов, Н. Н. MATLAB 5.x. Вычисления, визуализация, программирование / Н. Н. Мартынов, А. П. Иванов. М.: КУДИЦ-ОБРАЗ, 2000. - 336 с.

88. Дащенко, А. Ф. MATLAB в инженерных и научных расчетах / А.Ф. Дащенко, В.Х. Кириллов, J1.B. Коломиец. Одесса: Астропринт, 2003. - 214 с.

89. Половко, А. М. MATLAB для студента / А. М. Половко, П. Н. Бутусов. СПб.: БХВ-Петербург, 2005. - 320 с.

90. Слепокуров, Ю. С. MATLAB 5. Анализ технических систем / Ю.С. Слепокуров. Воронеж: Изд-во ВГТУ, 2001. - 167 с.

91. Brian, R. Matlab R2007 с нуля! / R. Brian. М.: Лучшие книги, 2008. -352 с.

92. Говорухин, В. Компьютер в математическом исследовании / В. Говорухин, Б. Цибулин. СПб.: Питер, 2001. - 624 с.

93. Дьяконов, В. Математические пакеты расширения MATLAB. Специальный справочник / В. Дьяконов, В. Круглов. СПб.: Питер, 2001. - 480 с.

94. Дьяконов, В. П. МАТЬАВ 6.5 8Р1/7 + 81тиНпк 5/6. Основы применения / В. П. Дьяконов. М.: СОЛОН-Пресс, 2005. - 800 с.

95. Дьяконов, В. П. МАТЬАВ 6.5 8Р1/7 + 81тиПпк 5/6 в математике и моделировании / В. П. Дьяконов. М.: СОЛОН-Пресс, 2005. - 576 с.

96. Смоленцев, Н. К. Создание \\^пс1о\У8-приложений с использованием математических процедур МАТЬАВ / Н.К. Смоленцев. М.: ДМК-Пресс, 2008. -456 с.

97. Татаринова, Н. М. Разработка интеллектуальной модели ЦОВ в среде 81шЕуеп1з (Ма1:1аЬ/81тиПпк) / Н. М. Татаринова // Тез. докл. на XVIII научно-технической конференции проф.-преп. состава, научных сотрудников и аспирантов. ПГУТИ, Самара, 2011.

98. Татаринова, Н. М. Компьютерное моделирование обслуживания вызовов с целью повышения качества работы операторов ЦОВ / Н. М. Татаринова // Тез. докл. на 66-ой научной сессии, посвященной Дню Радио. -Москва, 2011.

99. Татаринова, Н. М. Определение средней доли недообслуживания вызовов в справочных системах / Н. М. Татаринова // Тез. докл. на 65-ой научной сессии, посвященной Дню Радио. Москва, 2010.

100. Лихтциндер, Б. Я. Доля недообслуженных заявок в СМО / Б. Я. Лихтциндер, И. С. Макаров // Труды VII Международной научно-техн. конф. «Проблемы техники и технологий телекоммуникаций». Самара, 2009. — С. 8788.

101. Макаров, И. С. Методика анализа пачечного потока в СМО / Б. Я. Лихтциндер, Л. Б. Иванова, И. С. Макаров // Труды X Международная конференция «Контроль и управление в сложных системах». Винница, 2010.

102. Макаров, И. С. Определение средней длины очереди СМО через корреляционные моменты числа заявок на интервалах обслуживания / И. С. Макаров, Б. Я. Лихтциндер // Инфокоммуникационные технологии. 2011. -№1. - С. 72-77.