автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Моделирование мониторинга качества работы коммерческой организации в условиях неопределенности

На правах рукописи

□03055820

БАРМИНА ЕКАТЕРИНА АЛЕКСАНДРОВНА

МОДЕЛИРОВАНИЕ МОНИТОРИНГА КАЧЕСТВА РАБОТЫ КОММЕРЧЕСКОЙ ОРГАНИЗАЦИИ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ (на примере предприятия сферы информационных технологий)

Специальность 05.13.10 Управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Астрахань - 2007

003055820

Работа выполнена в Астраханском государственном техническом университете

Научный руководитель: кандидат технических наук, доцент

Квятковская Ирина Юрьевна

Официальные оппоненты: доктор технических наук, профессор

Дворянкин Александр Михайлович

кандидат физико-математических наук, доцент Холодов Юрий Владимирович

Ведущая организация: Саратовский государственный социально-

экономический университет

Защита состоится «21» апреля 2007г. в 15 часов на заседании диссертационного совета ДМ 212.009.03 при Астраханском государственном университете по адресу: 414056, г.Астрахань, ул. Татищева, 20 «а», конференц-зал.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу: 414056, г.Астрахань, ул. Татищева, 20 «а», АГУ, ученому секретарю диссертационного совета ДМ 212.009.03.

С диссертацией можно ознакомиться в библиотеке Астраханского государственного университета.

Автореферат разослан «15» марта 2007 г.

Ученый секретарь диссертационного совета, доктор технических наук, профессор Петрова И.Ю.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Для современного рынка характерна направленность к повышению роли неценовых форм конкуренции, особенно конкуренции качества. В связи с этим в экономике наблюдается тенденция к переходу от классификации предприятий на производственные и сервисные, к рассмотрению любого предприятия с позиций предоставления потребителю товаров в совокупности с услугами по производству, продаже и сопровождению данных товаров. Исследование темпов роста внедрения на предприятиях систем менеджмента качества (СМК) показало ежегодный прирост количества сертификатов на соответствие требованиям международных стандартов серии ИСО 9000 как в мировом масштабе (17%), так и на территории Российской Федерации (25%), Кроме того, наблюдается тенденция увеличения доли сертифицированных российских предприятий в мировом объеме выданных сертификатов: если в 2001 году доля международных сертификатов, вьщанных в России, составляла 0,01%, то в 2005 году она составила 0,63%.

Актуальность работ по созданию, внедрению и сертификации СМК российских предприятий, основанных на требованиях международных стандартов качества, продиктована перспективой вступления России во Всемирную торговую организацию, а также интеграцией российской промышленности в мировой рынок. Помимо этого, внедрение СМК на предприятии является одним из основных условий для привлечения инвестиций и повышения конкурентоспособности коммерческих организаций.

В настоящее время комплексный подход к мониторингу качества работы для любой организации является жизненно важным. Данный процесс обладает нечеткостью, связанной с влиянием на качество работы предприятия множества факторов. Не всегда существует возможность учесть все факторы, а также оценить их влияние на качество работы всей организации в целом. Необходимость мониторинга и дальнейшего анализа качества работы организаций продиктована требованиями международных стандартов качества серии ИСО 9000. Мониторинг качества производимых товаров осуществляется посредством анализа статистических данных. Задача оценки качества услуг усложняется необходимостью привлечения экспертов к процессу мониторинга. Информация, полученная таким образом, будет обладать неопределенностью из-за субъективного характера мнений экспертов. Кроме того, индикатором качества работы организации является удовлетворенность потребителей товаров и услуг. Данная информация также обладает известной долей субъективизма и неопределенностью самого ме-

ханизма интерпретирования. Следует отметить, что полученная опросным путем информация в большинстве случаев представляет собой качественные оценки. Отмеченное обстоятельство затрудняет обработку и анализ полученной информации. Помимо этого существуют факторы, которые косвенно влияют на качество работы организации (условия труда, взаимодействие с поставщиками и т.д.) и также должны быть учтены при мониторинге.

Таким образом, возникает необходимость решения задачи комплексного мониторинга качества работы коммерческих организаций в условиях неопределенности, которая не нашла должного отражения в существующих подходах к управлению и мониторингу качества. Представленные на рынке программных продуктов автоматизированные системы управления качеством не содержат механизма комплексного мониторинга и не предлагают управленческих решений по улучшению качества на основании полученных данных. Наличием комплекса выделенных проблем обусловлена актуальность темы исследования, ее общая цель и основные задачи.

Анализ предложенных подходов к комплексному мониторингу качества рассмотрен на примере коммерческой организации, являющейся системным интегратором информационных технологий (ИТ-предприятия).

Объектом исследования является коммерческая организация, рассматриваемая с позиций системного подхода в разрезе качества функционирования.

Предметом исследования является мониторинг качества работы коммерческой организации в условиях неопределенности.

Целью диссертационной работы является повышение эффективности принятия управленческих решений по улучшению качества работы коммерческих организаций на основе информации, полученной в процессе мониторинга. Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести анализ проблематики управления качеством, определить инструменты и методы управления и мониторинга качества.

2. Разработать теоретико-множественную модель коммерческой организации с точки зрения качества функционирования.

3. Разработать семантическую модель работы ИТ-предприятия в разрезе качества (в виде онтологии знаний), включающую многоуровневый классификатор показателей.

4. Разработать методики:

4.1. определения набора интегрированных показателей качества, определяемых путем перехода по уровням иерархии модели;

4.2. выделения минимального адекватного множества измеряемых показателей качества для объектов оценивания;

4.3. формирования управленческих решений на основе механизма обратных вычислений.

5. Разработать методику проведения мониторинга и механизм подготовки опросного инструмента, позволяющие адаптировать предложенные научные выводы к оценке качества работы коммерческой организации (на примере ИТ-предприятия).

6. Разработать автоматизированную систему поддержки принятия решений для мониторинга качества работы коммерческой организации.

Методы исследования. В процессе работы использовались методы системного анализа, искусственного интеллекта, теории вероятностей, математической статистики, теории принятия решений, теории множеств, теории систем и интеллектуальной обработки данных, когнитивные технологии.

Достоверность и обоснованность научных суждений и выводов, сформулированных в работе, обусловлена корректным применением указанных методов исследования. Объективность выводов подтверждается результатами, полученными при практическом использовании интеллектуальной информационной системы мониторинга качества на основе предложенных в диссертации моделей и алгоритмов, что отражено в актах внедрения.

Научная новизна диссертационного исследования:

1. Предложена теоретико-множественная модель коммерческой организации в разрезе качества функционирования, позволяющая структурировать слабоформализуемые объекты оценивания, отличающаяся подходами в формировании образа качества на макро- и микроуровне. На базе теоретико-множественной модели определена концептуальная модель знаний для мониторинга качества ИТ-предприятия в форме расширенной онтологии, позволяющая устранить семантическую неопределенность в задаче мониторинга путем введения многоуровневого классификатора показателей качества.

2. Разработана методика определения минимального информативного набора измеряемых показателей качества для мониторинга выделенных объектов оценивания на основе методологии когнитивного моделирования. Предложенная методика учитывает наличие связей взаимовлияния между показателями качества, позволяет устранить избыточность в системе показателей.

3. Представлена методика определения интегрированных показателей качества на основе метода аналитических сетей, отличающаяся наличием

этапа локализации подсистем с иерархическими свойствами в сетевой модели предприятия, учитывающая возможное дублирование элементов в различных кластерах.

4. Разработаны методика проведения мониторинга и механизм подготовки опросного инструмента, отличающиеся от существующих процедур возможностью формирования управленческих решений по результатам анализа сформированных интегрированных показателей на основе механизма обратных вычислений.

Практическая значимость диссертационного исследования состоит в том, что на основе предложенной модели и методик разработана автоматизированная система поддержки принятия решений, охватывающая процессы подготовки опросного инструмента, мониторинга качества и принятия управленческих решений на основе обработанных данных. Система внедрена на шести ИТ-предприятиях России.

Результаты исследования использовались при подготовке учебного курса «Управление качеством» для специальности «Менеджмент» Астраханского филиала ФГОУ ВПО «Московский государственный университет экономики, статистики и информатики» (АФ МЭСИ).

Апробация работы. Основные положения докладывались и обсуждались на Международной научно-практической конференции студентов и молодых ученых» (Астрахань, 2005 г.); XVIII Международной научной конференции «Математические методы в технике и технологиях» (Казань, 2005 г.); IV Всероссийской научно-практической конференции «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2005г.); Международной конференции, посвященной 75-летию со дня образования Астраханского государственного технического университета (Астрахань, 2005 г.); У-й Международной научно-практической конференции «Результаты и проблемы социально-экономического развития Астраханской области» (Астрахань, 2006 г.); 50-й Научной конференции профессорско-преподавательского состава Астраханского государственного технического университета (Астрахань, 2006 г.); Международной конференции «Информационные технологии в образовании, технике и медицине» (Волгоград, 2006 г.).

Публикации. Основное содержание диссертации нашло отражение в 7 опубликованных научных работах, в том числе в 2 статьях в периодических и научно-технических изданиях, выпускаемых в Российской Федерации, в которых ВАК рекомендует публикацию основных научных результатов диссертаций; в 1 свидетельстве об официальной регистрации программы для ЭВМ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка сокращений и условных обозначений, библиографического списка, 5 приложений. Основная часть работы изложена на 116 страницах машинописного текста, содержит 74 рисунка, 44 формулы. Библиографический список содержит 110 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, излагается цель и задачи исследования, раскрывается его научная новизна и практическая значимость.

В первой главе основное внимание уделяется рассмотрению существующих в науке подходов к определению понятия «качество», производится анализ проблематики управления качеством, выделены фазы управления качеством, определено место мониторинга в СМК и корпоративной информационной системе (КИС) предприятия. Определены инструменты, методы управления и мониторинга качества, а также особенности выбора показателей качества различных объектов.

Теоретической базой исследования являются работы российских (Адлер Ю.П., Азаров В.М., Мазур И.И., Мишин В.М., Лапидус В.А.,) и зарубежных (Деминг Е., Джордж М., Джуран Д., Ишикава К., Кросби Ф., Куме X., Котлер Ф., Рамперсад X., Фейгенбаум А., Харрингтон Д., Эванс Д.) авторов в области управления качеством, а также регламентирующие документы.

Проведенный аналитический обзор достижений в области мониторинга качества показал, что в настоящее время не существует комплексного подхода к процессу мониторинга, позволяющего учитывать комплекс показателей для нахождения и анализа интегрированной оценки качества работы предприятия. Кроме того, не разработаны модели организации с учетом целенаправленности процессов оценки качества.

Таким образом актуализирована необходимость проведения системного анализа коммерческих организаций в разрезе качества функционирования, а также разработки модели качества, учитывающей специфику данной задачи.

Во второй главе на основе системного подхода к анализу качества функционирования коммерческих организаций разработана теоретико-множественная модель мониторинга качества, позволяющая разделить информационные потоки о качестве, поступающие из внешней и внутренней среды. Определена семантическая модель знаний в форме расширенной онтологии для ИТ-предприятия.

Образ качества организации предложено формировать на основе получаемых данных об удовлетворенности заинтересованных в работе предприятия сторон (потребителей, поставщиков, акционеров, сотрудников данной организации) поскольку, согласно международным стандартам качества, задачей любой организации является производство продуктов для удовлетворения потребителей и прочих заинтересованных сторон.

Разработанная теоретико-множественная модель типового предприятия описана кортежем (рис. 1):

8 = {А,РА,Я,Мя,2,и), (1)

где А = {л,^ }, г = 1, п, ] = 1, т - множество элементов предприятия (/ - глубина уровня элемента, у - порядковый номер элемента на уровне); РА = \р.., ки \ - множество показателей качества элементов системы (Ру -показатель качества для объекта оценивания а у, к- - значение показателя качества р0-); Я = } - множество связей между элементами системы (/ -номер элемента ]+1 уровня); МК = } - множество мощностей связей, оценивающих степень влияния показателя ру на показатель ; и -респонденты и эксперты; 2 - множество целей, обеспечивающих достижение наилучших значений показателей качества элементов системы.

Агрегируемые показатели

МАКРОУРОВЕНЬ

Качество услуг, оказываемых поставщику

Качество работы компании в рамках СМК Экономический эффект Качество инфраструктуры Общественная античность

МИКРОУРОВЕНЬ

Рис. 1. Концептуальная модель мониторинга качества коммерческой организации

Разработанная модель позволяет осуществить переход от неопределенности к количественным измерениям, причем уровень неопределенности понижается при декомпозиции каждого иерархического уровня системы. Произведен анализ функционирования системы на макроуровне (группировка объектов, являющихся внешней средой для данной системы, отражающих заинтересованность объектов в функционировании системы) и микроуровне (рассмотрены продукты жизнедеятельности предприятий, экономический эффект функционирования, условия труда и пр.).

Анализ деятельности коммерческих организаций позволил выделить инвариантную и вариативную составляющие. Инвариантная составляющая, представленная группой заинтересованных в работе предприятия сторон и группой объектов оценивания, формируется на макроуровне и является общей для всех коммерческих организаций. Вариативная составляющая представлена детализованными группами объектов оценивания, формируемыми на микроуровне системы, и является индивидуальной для предприятий одной сферы деятельности.

Разработанная сетевая модель позволила определить свойства модели мониторинга качества и выделить особенности решаемой задачи:

1. Наличие семантического шума, возникающего в процессе преобразования информации о качестве работы предприятия, поступающей из внешней среды, но оцениваемой по внутренним показателям работы предприятия.

2. Отсутствие унифицированных по семантике, формату, единицам измерения и условиям получения показателей вследствие неопределенности исходной информации, получаемой экспертным путем или путем опроса респондентов.

3. Понижение неопределенности получаемой информации при декомпозиции системы.

4. Наличие множества связей как вертикального, так и горизонтального взаимодействия между объектами оценивания одного иерархического уровня.

5. Включение внешней среды в систему.

Построение концептуальной модели организации на примере ИТ-предприятия. Часть элементов иерархии нижнего уровня, используемых для построения модели ИТ-предприятия, представляет собой выборку из общероссийского классификатора продукции по видам экономической деятельности (ОКПД). Для каждого объекта оценивания определяется набор показателей качества.

Полученная иерархия объектов оценивания и показателей качества

позволила сформировать концептуальную модель ИТ-предприятия с позиций качества, представленную в форме расширенной онтологии, которая включает многоуровневый классификатор объектов оценивания и показателей качества. Построенная расширенная онтология охватывает онтологию верхнего уровня (метаонтологию) От и предметную онтологию Оря. Модель онтологии верхнего уровня представлена кортежем:

Om=(KO,RO,D), (2)

где КО - набор концептов предметной области, RO - семантически значимые отношения, D - декларативные интерпретации понятий и отношений. Модель предметной онтологии описывается кортежем:

Оп =(KO,RO,D,SL), (3)

где SL - набор слотов для каждого концепта. Проектирование онтологии предметной области для ИТ-предприятия выполнено с помощью программного продукта OntoStudio Ontology Engineering Workbench ver. 1.4.0 (рис. 2), поддерживающего стандарт IDEF5.

Построение концептуальной модели ИТ-предприятия с учетом целенаправленности процессов мониторинга качества позволило обозначить комплексное видение задачи специалистами различных предметных уровней (руководитель предприятия, внешний аудитор СМК, программист). Полученная двухуровневая онтология позволила устранить семантическую

неопределенность в формулировке задач мониторинга и является прототипом элементов корпоративной памяти организации.

В третьей главе дается описание предложенной процедуры проведения мониторинга качества работы коммерческой организации. Рассмотрены разработанные методики, используемые в процессе подготовки опросного инструмента, обработки полученных данных и формирования управленческих решений.

Определение структуры показателей качества. Структура показателей качества, используемых в процессе мониторинга, представлена в сетевой форме с выделенными уровнями иерархии.

Выделены классы показателей качества:

1. Рщз ~{р51\,1 -1,с{ - измеряемые (единичные) показатели качества

нижнего (пятого) уровня, выражающие простые свойства.

2. ,РИНТ - интегрированные показатели качества верхнего уровня (нулевого - четвертого).

Мониторинг показателей качества нижнего уровня осуществляется путем опроса респондентов, экспертной оценки или на основе данных, полученных из корпоративной информационной системы предприятия (КИС).

Для оценки показателей качества нижнего уровня используется альтернативное шкалирование (количественный и семантический эквиваленты), показателей верхнего уровня - свертывание мер качества.

Расчет показателей возможен с использованием абсолютной меры качества (показатели качества, выраженные с помощью семантической меры качества) или относительной (уровень качества продукции выраженный через базовое значение показателя качества). Для каждой группы показателей разработана вербально-числовая шкала для интерпретации полученной в ходе мониторинга информации.

Мощность связей между показателями качества определяется путем коллективной экспертной оценки

т> =][>;., (еЬ,)/ДО, №

где /Пу, - коэффициент весомости показателя качества рм1; те',(еЬ,) -коэффициент весомости показателя качества рм /, определенный 5-ым экспертом; ДО- количество экспертов, принявших участие в опросе.

Для возможности сравнения качества работы предприятий общей сферы деятельности предложено определять значения показателей качества в форме числовой оценки на интервале [0;1].

Определение измеряемых показателей качества. В связи с наличием связей взаимовлияния между показателями, используемыми для оценивания объектов нижнего уровня, предлагается выделять минимальный информативный набор показателей с помощью инструментария когнитивного моделирования, что позволит устранить избыточность множества показателей. Определение сбалансированных когнитивных структур основано на процедуре вычисления совместного влияния - сравнения контуров, образованных из концептов по критерию «Сила влияния».

Для данных целей формируется базовый набор измеряемых показателей (Я5;ЛЗ)> затем производится сведение полученного множества показателей до минимального информативного ( ), путем построения и анализа когнитивных карт (рис. 3) для множества объектов оценивания

рМИН рБАЗ. |рМИН| -,1рБАЗ| • |Г5у | | 5 ) ]•

Когнитивная карта для объекта оценивания аАг/ включает базовый набор показателей качества р^3, а также объект оценивания а4(1. Мощность связи определяется в интервале [-1;1].

Определен псевдокод алгоритма построения и анализа когнитивной карты:

1. Выделение в системе «Коммерческая организация» на пятом уровне иерархии Ь подсистем. Построение когнитивной карты в форме ориентированного графа (](е,з), описывающего субъективное восприятие экспертом взаимовлияния элементов системы:

1.1. Определение списка вершин графа для каждой подсистемы (концептов е;),

1.2, Определение значений отношений влияния между каждой парой вершин (s).

2. Формирование нечеткой матрицы г для определения взаимовлияния концептов г = [w(e-,ej)]2nx2n и набора положительно-отрицательных пар

элементов

3. Расчет влияния концептов на систему. Определение набора концептов когнитивной карты меньшей мощности, являющегося достаточным для проведения мониторинга выделенного объекта оценивания

Pi = (Z (signbVij + vmij) тахф>р131, \vnty |)) / n, ^

M

где n - количество концептов когнитивной карты.

Определение интегрированных показателей качества. Наличие связей между объектами оценивания первого уровня нарушает принцип иерархической композиции, поэтому для решения данной задачи предложено использование адаптированного метода аналитических сетей (MAC). Построена сетевая структура, отражающая взаимовлияние показателей качества первого и второго уровней; образованы кластеры, включающие повторяющиеся элементы. Кроме того, в анализируемой сетевой структуре проведена локализация подсистем с иерархическими связями, что позволило уменьшить размерность задачи

Разработана методика формирования интегрированных показателей качества:

1. Выбор управляющих критериев. Построение сетевой структуры для каждого управляющего критерия в виде ориентированного графа, состоящего из кластеров (Я,), элементов кластеров (h^), связей между кластерами, где i = \,n,j = \,n,n — количество кластеров.

2. Построение бинарной матрицы влияний В = [b^ ]:

fl, если Я,. влияет на Я, (6)

" ] 0, если Я,не влияет на Нj'

3. Проверка бинарной матрицы на транзитивность(£ + В)к я (Е + В)к+], Е - единичная матрица размерности пхп.

4. Построение матриц парных сравнений Ет с учетом дублирования элементов в кластерах. Проверка экспертных суждений на однородность.

5. Формирование векторов приоритетов Р. Подготовка матриц SMU, составленных из векторов приоритетов г-го кластера по отношению к элементам у'-го кластера Сведение матриц в блочную суперматрицу:

ЛШ„ | ... | Ш„Л

= ... | Ш, | .... (7)

I ... I .

6. Нормирование вектора БМ = Р ■ БМ' для определения весов показателей качества первого уровня. Нормирование элементов каждого кластера для расчета веса элементов в кластере.

Результатом работы алгоритма является набор весов для показателей качества первого уровня, позволяющий перейти к иерархической структуре путем удаления связей между элементами одного уровня без потери силы влияния остальных.

Мониторинг объектов оценивания производится путем заполнения разработанных карт качества для каждого объекта с привлечением экспертов или респондентов (клиентов, потенциальных клиентов, поставщиков). Множество экспертов, участвующих в процессе оценивания качества набора показателей, описывается кортежем:

и = {ит,е8ч,р^,^), (8).

где ит — множество экспертов, egq - множество групп экспертов, р^ — множество показателей качества для каждой группы экспертов, Уу - значимость оценки и-ым экспертом 5/-го показателя качества.

Выявлены принципы работы экспертов (рис. 4):

1. Каждый эксперт ит может участвовать в нескольких опросах:

2. Эксперты подразделяются на внутренних (сотрудников организации) и внешних (приглашенных) {/ = £/„ и ивн.

3. Для каждого эксперта существует однозначно-определенный набор показателей качества пятого уровня, оцениваемый данным экспертом

4. Каждый эксперт характеризуется значимостью оценки показателя качества \/ит,1 = \,п Эу™;1 &....&. у ¡]п, где и - количество показателей, оцениваемых м-ым экспертом.

Оценка согласованности данных, полученных при мониторинге экспертной группой, производится путем ранжирования по формуле:

где кты - оценка показателя качества рЪ] ш-ым экспертом.

Рис. 4. Процедура определения показателей качества

Оценка объекта ) т-ыи экспертом рассчитывается с учетом значимости его ответа (\>"\) и важности каждого показателя качества (пи,) по формуле:

I

Анализ результатов мониторинга. Поскольку свертка показателей является аддитивной, для решения задачи формирования рекомендаций по способам повышения качества используется механизм обратных вычислений, позволяющий ответить на вопрос: «Что необходимо предпринять для повышения качества работы коммерческой организации на х%» следующим образом: «Для данной цели следует увеличить значение показателя р15 на Др15 единиц, р21 - на Лр27 единиц и т.д.». Лицо, принимающее решение, формирует управляющие воздействия путем указания: изменения отдельных целей, требуемого прироста качества (М,-, ), знаков прироста качества,

приоритетности в изменении показателей. В диссертационной работе рассмотрены следующие возможные случаи:

1. Прирост показателя р0 осуществляется за счет одновременного прироста показателей (Рис- 5):

л + л = а' + V л >> (11 >

W+ДW=P•<M¡;f+*,.+1,,.2). (12)

2. Прирост показателя рц осуществляется за счет прироста аргумента

Рм.)\:

л, р ь (13)

3. Прирост показателя ру происходит за счет приращения одного аргумента и уменьшения второго:

М,Ч1>;1=а-Д*,,./(а2-Р2)> (14>

М,.+1у2=р-М^./(а2-р2). (15)

Для большего числа аргументов определены операции свертывания и распознавания коэффициентов для обратных вычислений.

Качество услуги по р ЛЬ —Г\1Л

подбору и продаже /I. Ц ~ 1М4

программного 1 г (0,80) обеспечения

Л

Ко I К0М1

+

Надежность и Компетентность и

исполнительность / \ коммуникабельность

/ \

ТЬ / \ КОМ!

предприятия / \ менеджеров

+ (Э в

■0.6,(0.14+0Щ ' Г=0,4'(0,14-Ю.9)

Рис. 5. Механизм обратных вычислений при одновременном приросте показателей нижнего уровня

В четвертой главе на основе анализа процессов управления качеством на ИТ-предприятии разработана концептуальная модель автоматизированной системы, позволяющей проводить процедуру мониторинга и формировать управленческие решения на основе анализа полученных данных.

Разработана методика внедрения в КИС предприятия системы мониторинга качества. Определена схема движения информации, используемой при мониторинге, учитывающая обратную связь организации с потребителями и поставщиками, заключающаяся в оценивании удовлетворенности респондентов работой предприятия. Сделаны выводы о необходимости выборочного включения информации, хранящейся в системе управления качеством и корпоративной информационной системе предприятия, в поток данных для мониторинга качества. Описана процедура внедрения системы в КИС предприятия, внесены изменения в документы руководства по качеству ИТ-предприятия.

Разработанная автоматизированная система состоит из модулей: 1. Модуль подготовки опросного инструмента, включающий механизм формирования и анализа когнитивных карт для определения набора пока-

зателей для объектов нижнего уровня, а также механизм обработки данных опроса.

2. Модуль мониторинга качества, позволяющий заполнять и обрабатывать «карты качества». Карты качества заполняются экспертами, респондентами или диспетчерами ИТ-предприятия со слов респондентов.

3. Модуль обработки и анализа сведений о качестве, включающий автоматическое формирование дерева целей с выделением ветвей с низким качеством.

Обработка полученной информации. Формирование управленческих решений. Для визуализации получаемых данных используется динамическое построение дерева целей. Обработанные данные группируются по признаку «Объект оценивания» и формируются в иерархическую структуру, представленную первым и вторым уровнями объектов оценивания. Возможно сравнение качества объектов не только с эталонным значением, но и с плановыми значениями, определенными в документе «Цели в области качества». Также возможен анализ данных в сравнении с предыдущими периодами.

Проверка достижения цели диссертационной работы, выраженной в повышении качества работы ИТ-предприятия и, как следствие, повышении объемов продаж и привлечении новых клиентов, была выполнена путем отслеживания качества работы группы компаний «Пилот», а именно - сопоставления темпов роста клиентской базы, динамики повторных обращений (увеличение на 15%), количества жалоб от клиентов (сокращение на 25%), количества случаев возврата товаров (сокращение на 8%) до и после принятия решений, сформулированных на основе информации, полученной в ходе мониторинга качества.

Проверка адекватности осуществлялась в двух аспектах: проверка адекватности выделенного набора информативных показателей и проверка адекватности полученной модели предприятия в разрезе мониторинга качества. Полученные в ходе анализа согласно предложенным методикам данные показали, что наблюдалось повышение качества по ряду объектов анализа, значение интегрированного показателя качества изменилось с 0,6 до 0,73.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Проведен анализ современного состояния процесса мониторинга качества, показавший, что отсутствуют подходы, позволяющие проводить комплексный мониторинг работы коммерческих организаций и формировать управленческие решения на основе полученных данных.

2. На основе проведенного анализа с использованием системного подхода выявлены закономерности и особенности функционирования коммерческих организаций в разрезе качества, позволяющие осуществить декомпозицию организаций, отделить и зафиксировать воздействия внешней среды. Построена теоретико-множественная модель мониторинга коммерческих организаций в разрезе качества, позволяющая структурировать сла-боформализуемые объекты оценивания и уменьшить неопределенность получаемой в ходе мониторинга информации.

3. На базе теоретико-множественной модели определена семантическая модель знаний для мониторинга качества работы ИТ-предприятия в форме расширенной онтологии, включающей многоуровневый классификатор показателей качества с иерархическим представлением объектов мониторинга, имеющая теоретическую значимость.

4. Предложена методика определения набора интегрированных показателей качества на основе метода аналитических сетей, учитывающая дублирование элементов в кластерах, позволяющая путем локализации подсистем с иерархическими свойствами уменьшить размерность задачи.

5. Предложена методика определения целевого множества измеряемых показателей качества на основе метода когнитивного моделирования, учитывающая наличие отношений влияния между показателями, позволяющая устранить избыточность в системе показателей.

6. Разработана методика проведения комплексного мониторинга с использованием данных, полученных как из внешних источников, так и из корпоративной информационной системы коммерческой организации, а также механизм подготовки опросного инструмента, позволяющие формировать управленческие решения по повышению качества работы организации на основе технологии обратных вычислений (на примере ИТ-предприятия).

7. Проведена оценка качества работы группы компаний «Пилот», являющейся системным интегратором в области информационных технологий Южного федерального округа. Сгенерированные автоматизированной системой рекомендации являются адекватными рекомендациям по повышению качества, разработанным руководителем службы качества данных компаний.

8. На основе полученных теоретических положений разработана автоматизированная система поддержки принятия решений, позволяющая формировать опросный инструмент, проводить мониторинг выделенных объектов, анализировать обработанное дерево целей. Получено свидетельство о

регистрации программы № 2007610654. Система принята к внедрению на 6 ИТ-предприятиях России.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Бармина, Е.А. Применение нечетких методов для построения системы сбалансированных концептов/ Е.А. Бармина // Вестник Астраханского государственного технического университета. 2007. 1(36). С. 54-59. ISBN 1812-9498.

2. Квятковская, И.Ю. Информационно-логическая модель оценки качества работы IT компании / И.Ю. Квятковская, Е.А. Бармина // Известия высших учебных заведений. Северо-Кавказский регион. Технические науки. 2006. Специальный выпуск. С. 103-105. ISSN 0321-2653.

3. Бармина, Е.А. Анализ потребительского эффекта при оценке качества продукции IT-компании / Е.А. Бармина, И.Ю. Квятковская // Информационные технологии и математическое моделирование - ИТММ-2005. Сб. материалов IV Всероссийской научно-практической конференции. Томск: изд.-во Томского ун-та. 2005. С. 94-95. ISBN 5-7511-1959-7.

4. Бармина, Е.А. Алгоритм оценки качества услуг IT компании / Бармина Е.А. // Математические методы в технике и технологиях - ММТТ-18. Сб. трудов XVIII Международной научной конференции: в 10 т. Секции 10, 12 / под общ. ред. В. С. Балакирева. Казань: изд-во Казанского гос. технол. ун-та. 2005. С. 182-183. ISBN 5-7882-0253-1.

5. Бармина, Е.А. Анализ качества услуг IT компании с использованием методики SERVQUAL / Бармина Е.А. // Математические методы в технике и технологиях - ММТТ-19. Сб. трудов XIX Международной научной конференции: в 10 т., т. 7., секция 7 / под общ. ред. В. С. Балакирева. Воронеж: изд-во Воронежской гос.технол. академии. 2006. С. 189-192. ISBN 5-89448431-6.

6. Квятковская, И.Ю. Построение модели оценки качества работы IT компании/ Квятковская И.Ю., Бармина Е.А. // Материалы международной конференции «Информационные технологии в образовании, технике и медицине». Волгоград: изд-во Волгоградского гос. технол. ун-та. 2006. С. 6061. ISBN 5-230-04819-0.

7. Программа мониторинга качества на основе когнитивного моделирования: свидетельство об официальной регистрации программы для ЭВМ № 2007610654. Россия. Е.А. Бармина, И.Ю. Квятковская. Заявл.2.02.2007. Зарег. 9.02.2007.

Типография ФГОУ ВПО «АГТУ». Заказ № \0>2-. Тираж 100 экз. Подписано в печать fb.Q3.2007.

414025, Астрахань, Татищева, 16.

ВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ ПРОЦЕССОВ УПРАВЛЕНИЯ И МОНИТОРИНГА

КАЧЕСТВА.

1.1. Подходы к определению понятия «качество».

1.2. Управление качеством.

1.3. Инструменты и методы управления качеством. Мониторинг качества.

1.4. Подходы к оценке качества работы предприятия.

1.4.1. Оценка качества услуг.

1.4.2. Оценка качества товаров.

1.4.3. Мониторинг систем управления качеством.

1.5. Общероссийские классификаторы.

1.6. Анализ автоматизированных систем мониторинга качества.

1.7. Выводы по первой главе.

ГЛАВА 2. ТЕОРЕТИКО-МНОЖЕСТВЕННАЯ МОДЕЛЬ КОММЕРЧЕСКОЙ ОРГАНИЗАЦИИ В РАЗРЕЗЕ КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ. 2.1. Модель мониторинга качества функционирования типового предприятия.

2.2. Построение концептуальной модели качества функционирования коммерческой организации на примере ИТ-компании.

2.2.1. Определение структуры метаонтологии.

2.2.2. Определение объектов оценивания для мониторинга качества ИТ-компании

2.3. Выводы по второй главе.

ГЛАВА 3. МЕТОДЫ МОНИТОРИНГА КАЧЕСТВА И ПРИНЯТИЯ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ.

3.1. Структура показателей качества.

3.2. Алгоритм проведения монигориша. 3.3. Определение набора измеряемых показателей.

3.3.1. Определение базового набора измеряемых показателей.

3.3.2. Шкалирование показателей качества.

3.3.3. Определение весовых коэффициентов показателей качества.

3.3.4. Определение минимального информативного набора измеряемых показателей качества.

3.4. Мониторинг показателей качества нижнего уровня.

3.4.1. Разработка анкет для мониторинга качества объектов нижнего уровня.

3.5. Агрегирование показателей качества.

3.6. Анализ полученных данных на основе технологии обратных вычислений

3.7. Выводы по третьей главе.

ГЛАВА 4. ПРОЕКТИРОВАНИЕ КОНЦЕПТУАЛЬНОЙ МОДЕЛИ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ МОНИТОРИНГА КАЧЕСТВА

4.1. Режимы работы интеллектуальной информационной системы мониторинга качества.

4.1.1. Определение информативного набора показателей качества на основе когнитивного моделирования.

4.1.4. Обработка полученной информации.

4.2. Эргономический эффект.

4.3. Результаты опытной эксплуатации.

4.4. Выводы по четвертой главе.

Актуальность исследования. Для современного рынка характерна устойчивая тенденция к повышению роли неценовых форм конкуренции, особенно конкуренции качества. В настоящее время в большинстве стран гарантией качества считается работа компании по стандартам серии ИСО 9000. В связи с этим наблюдается переход от градации предприятий на производственные и сервисные, к рассмотрению любого предприятия с позиций предоставления потребителю товаров в совокупности с услугами по производству, продаже и сопровождению данных товаров. Исследование темпов роста внедрения на предприятиях систем менеджмента качества (СМК) показало ежегодный прирост количества сертификатов на соответствие требованиям международных стандартов (рис. 1) серии ИСО 9000 как в мировом масштабе (17%), так и на территории Российской Федерации (25%). Кроме того, наблюдается тенденция увеличения доли сертифицированных российских предприятий в мировом объеме выданных сертификатов: если в 2001 году доля международных сертификатов, выданных в России, составляла 0,01%, то в 2005 году она сосгавила 0,63% (по данным специализированного агентства «IKS consulting»).

Актуальность работ по созданию, внедрению и сертификации СМК российских предприятий, основанных на требованиях международных стандартов качества, продиктована перспективой вступления России во Всемирную торговую организацию, а также интеграцией российской промышленности в мировой рынок. Кроме того, внедрение СМК на предприятии является одним из основных условий для привлечения инвестиций и повышения конкурентоспособности коммерческих организаций.

Комплексный мониторинг качества работы для любой организаций в настоящее время является жизненно важным. Данный процесс обладает нечеткостью, связанной с влиянием на качество работы предприятия множества факторов. Не всегда существует возможность учесть все факторы, а также оценить их влияние на качество работы всей организации в целом. Необходимость мониторинга (специально организованного наблюдения за состоянием каких-либо объектов) и дальнейшего анализа качества работы организаций продиктована требованиями международных стандартов качества серии ИСО 9000. на территории РФ

4.883

3.816

314

35

962 I

776.608

660.132 в мире

497.919

167.124

44.380 п

2001 2002 2003 2004 2005 2001 2002 2003 2004 2005

Рис. 1. Количество выданных сертификатов на соответствие требованиям стандарта ИСО 9001:2000, шт.

Мониторинг качества производимых товаров осуществляется по средствам анализа статистических данных, таких как количество отбракованных изделий и пр. Задача оценки качества услуг усложняется необходимостью привлечения экспертов к процессу мониторинга. Информация, полученная таким образом, будет обладать неопределенностью из-за субъективизма мнений экспертов. Кроме того, индикатором качества работы организации является удовлетворенность потребителей товаров и услуг. Информация об удовлетворенности также обладает субъективизмом и неопределенностью механизма интерпретирования. Следует отметить, что полученная опросным путем информация в большинстве случаев представляет собой качественные оценки. Данное обстоятельство затрудняет обработку и анализ полученной информации. Помимо этого существуют ресурсы, которые косвенно влияют на качество работы организации (инфраструктура, взаимодействие с поставщиками и т.д.) и также должны быгь учтены при мониторинге.

Таким образом, возникает задача комплексного мониторинга качества работы коммерческих организаций в условиях неопределенности. Данная задача не нашла отражения в существующих подходах к управлению и мониторингу качества. Кроме того, представленные на рынке программных продуктов автоматизированные системы управления качеством, не содержат механизм комплексного мониторинга и не предлагают управленческие решения по улучшению качества па основании полученных данных. Наличие комплекса выделенных проблем обусловило выбор темы исследования, ее актуальность, а также общую цель и основные задачи диссертации. Анализ предложенных подходов к комплексному мониторингу качества рассмотрен на примере коммерческой организации, являющейся системным интегратором информационных технологий {ИТ-компании).

Объектом исследования является коммерческая организация, рассматриваемая с позиций системного подхода в разрезе качества функционирования.

Предметом исследования является мониторинг качества работы коммерческой организации в условиях неопределенности.

Целыо диссертационной работы является повышение эффективности принятия управленческих решений по улучшению качества работы коммерческих организаций на основе информации, полученной в процессе мониторинга. Для достижения поставленной цели выделены следующие задачи исследования:

1. Провести анализ проблематики управления качеством, определить инструменты и методы управления и мониторинга качества.

2. Разработать теоретико-множественную модель коммерческой организации в разрезе качества функционирования.

3. Разработать семантическую модель работы ИТ-предприятия в разрезе качества (в форме онтологии знаний), включающую многоуровневый классификатор показателей.

4. Разработан, методики:

4.1. определения набора интегрированных показателей качества, определяемых путем перехода по уровням иерархии модели;

4.2. выделения минимального адекватного множества измеряемых показателей качества для объектов оценивания;

4.3. формирования управленческих решений на основе механизма обратных вычислений.

5. Разработать методику проведения мониторинга и механизм подготовки опросного инструмента, позволяющие адаптировать предложенные научные выводы к оценке качества работы коммерческой организации (па примере ИТ-предприятия).

6. Разработать автоматизированную систему поддержки принятия решений для мониторинга качества работы коммерческой организации.

Методы исследования. В процессе работы использовались методы системного анализа, искусственною интеллекта, теории вероятностей, математической статистики, теории принятия решений, теории множеств, теории систем и интеллектуальной обработки данных, когнитивные технологии.

Научная новизна диссертационного исследования:

1. Предложена теоретико-множественная модель коммерческой организации в разрезе качества функционирования, позволяющая структурировать слабоформализуемые объекты оценивания, отличающаяся подходами в формировании образа качества на макро- и микроуровне. На базе теоретико-множественной модели определена концептуальная модель знаний для мониторинга качества ИТ-предприятия в форме расширенной онтологии, позволяющая устранить семантическую неопределенность в задаче мониторинга путем введения многоуровневого классификатора показателей качества.

2. Разработана методика определения минимальною информативного набора измеряемых показателей качества для мониторинга выделенных объектов ф оценивания на основе методологии когнитивного моделирования. Предложенная методика учитывает наличие связей взаимовлияния между показателями качества, позволяет устранить избыточность в системе показателей.

3. Разработана методика определения интегрированных показателей качества на основе метода аналитических сетей, отличающаяся наличием этапа локализации подсистем с иерархическими свойствами в сетевой модели предприятия, учитывающая возможное дублирование элементов в различных кластерах.

4. Разработаны методика проведения мониторинга и механизм подготовки опросного инструмента, отличающиеся от существующих процедур возможностью формирования управленческих решений по результатам анализа сформированных интегрированных показателей на основе механизма обратных вычислений.

Апробация и внедрение результатов работы. По теме исследования автором опубликовано 7 научных работ. Основные результаты диссертационного исследования изложены на международных конференциях. Отдельные результаты работы используются при обучении студентов специальности «Менеджмент» по курсу «Управление качеством» в Астраханском филиале Московского государственного университета экономики, статистики и информатики. Предложенные в диссертации методы и модели нашли практическое применение в виде интеллектуальной информационной системы и рабочих инструкций на предприятиях ИТ-сферы.

Структура диссертации определяется целью исследования и решаемыми задачами. Диссертация состоит из введения, четырех глав, заключения, списка сокращений и условных обозначений, списка использованной литературы.

ОСНОВНЫЕ ВЫВОДЫ И ЗАКЛЮЧЕНИЕ

Главным итогом диссертационной работы является разработка математической модели, методик и алгоритмов для мониторинга качества работы > коммерческой организации с последующим формированием управленческих решений с целью повышения качества, которые были реализованы в автоматизированной информационной системе.

Основные научные и практические результаты диссертационной работы состоят в следующем:

4. Построена теоретико-множественная модель мониторинга коммерческих организаций в разрезе качества, позволяющая структурировать слабоформализуемые объекты оценивания и уменьшить неопределенность, получаемой в ходе мониторинга информации. Па базе теоретико-множественной модели определена семантическая модель знаний для мониторинга качества работы ИТ-предприятия в форме расширенной онтоло1Ин, включающей многоуровневый классификатор показателей качества с иерархическим представлением объектов мониторинга, представляющая теоретическую значимость.

5. Предложена методика определения набора интегрированных показателей качества на основе метода аналитических сетей, учитывающая дублирование элементов в кластерах, позволяющая путем локализации подсистем с иерархическими свойствами уменьшить размерность задачи.

6. Предложена методика определения целевого множества измеряемых показателей качества на основе метода когнитивного моделирования, позволяющая устранить избыточность в системе показателей.

7. Разработана методика проведения комплексного мониторинга качества и механизм подготовки опросного инструмента, позволяющие формировать управленческие решения по повышению качества работы организации на основе технологии обратных вычислений.

8. Выполнены проектирование и реализация автоматизированной системы мониторинга качества. Результаты работы использованы для повышения качества работы шссш ИТ-предприятий.

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СМК - система менеджмента качества ЭГ - экспертная группа > ПО - программное обеспечение

ПП - программный продукт МАИ - метод анализа иерархий MAC - метод аналитических сетей МПС - матрица парных сравнений СППР - система поддержки принятия решений КИС - корпоративная информационная система

Заинтересованные стороны - группы людей, которые так или иначе заинтересованы в деятельности фирмы, в ее успехе (потребители, акционеры, работники, поставщики, общество).

Уровень качества - относительная характеристика качества продукции, основанная на сравнении ее с соответствующей совокупностью базовых показателей [1].

Восхищающее качество - качество, которого потребитель не ожидает обнаружить в товаре, но которое его восхищает, если присутствует в товаре [1].

Заинтересованные стороны - группы людей, которые, так или иначе, заинтересованы в деятельности фирмы. Принято выделять пять групп заинтересованных лиц: потребители, акционеры, работники, поставщики, общество [1].

Измерение - совокупность действий, имеющих целыо определить значение количественной характеристики [1].

Качество продукции - совокупность характеристик объекта, относящихся к его способности удовлетворять установленные и предполагаемые потребности.

Управление качеством - часть менеджмента качества, связанная с удовлетворением требований, предъявляемых к качеству [1].

Показатель качества продукции (мера качества) - количественная характеристика одного или нескольких свойств продукции, входящих в ее качество, рассматриваемая применительно к определенным условиям ее создания и эксплуатации или потребления [2].

Ценность - денежная оценка потребителем полезности продукции (к цене товара прибавляется или вычитается денежная оценка положительных или отрицательных отличий данного товара от базового).

Критерий качества - статистическая устойчивость (стабильность) процесса

3].

Кластер (компонент) - множество взаимосвязанных элементов, объединение которых дает дополнительные свойства, отсутствующие у отдельных элементов.

1. Мазур И.И. Управление качеством: учеб.пособие для студентов вузов, обучающихся по специальности «Упр. качетсвом». -М.: Омега-Л, 2005.-400 с.

2. Калейчик М.М. Квалиметрия: Учебное пособие. 4-е изд., стереотипное.1. М.:МГИУ, 2006.-200 с.

3. Управление качеством/ Е.И. Семенова, В.Д. Коротнев и др.; Под ред. Е.И. Семеновой. М.: КолосС, 2003. - 184 с.

4. Басовский Л.Е., Протасьев В.Б. Управление качеством: Учебник М.: ИНФРА-М, 2005 - 212 с. - (Высшее образование).

5. Juran J. Quality Planning & Analysis, New York McCraw-Hill, 1983.

6. Мишин B.M. Управление качеством: Учебник для студентов вузов, обучающихся по специальности «Менеджмент организаций» (061100)/ В.М. Мишин 2-е изд. перераб. и доп. - М.: ЮНИТИ-ДАНА, 2005. - 463 с. ISBN 5-23800857-0.

7. ГОСТ Р ИСО 9000-2001 Системы менеджмента качества. Основные положения и словарь. М.: Изд-во стандартов, 2001

8. Г.Р. Нив. Пространство доктора Деминга. Книга 2. М.: Стандарты и качество, 2003 - 152 с. - ISBN 5-94938-013-4.

9. Ishikawa, К. Tanaka. The Kyoto Model: The challenge of Gapanese management strategy meeting global standards. World Scientific publishing company, 2005. - 136 p. -ISBN 9812563296.

10. А. Фейгенбаум. Контроль качества продукции. М.: Экономика, 1986. -472с.1..Crosby P. Quality is free, New York: McCraw-Hill, 1979.

11. Майкл Л. Джордж. Бережливое производство + 6 сигм. Комбинируя качество шести сигм со скоростью бережливого производства. М.: Альпина Бизнес Букс, 2006. 360 с. - ISBN 5-9614-0326-2.

12. Ю. П. Адлер, С.Е. Щепетова. Системы экономики качества. М.: Стандарты и качество, 2005. 184 с. - ISBN 5-94938-034-7.

13. В.А. Лапидус. Всеобщее качество (TQM) в российских компаниях. М. ОАО Типография 11овости, 2002. 432с. - ISBN 5-99-149-104-1.

14. Назаров Н.Г. Метрология. Основные понятия и математические модели: учеб.пособие для вузов. М.: Высш.шк., 2002, глава 7.

15. Квитко А. В. Управление качеством: учебное пособие. Московский государственный университет экономики, статистики и информатики. М., 2005, 157 с. ISBN 5-7764-0542-4.17.0крепилов В. В. Управление качеством. М.: Экономика, 1998.

16. Розова Н.К. Менеджмент качества. СПб.: «Вектор», 2005. - 192 с. (ISBN 59684-0026-9). стр.78-82.

17. Бенделл Т. Наставники по качеству: Сборник кратких очерков о самых знаменитых зарубежных деятелях в области качества/ пер.с англ. М.: РИА «Стандарты и качество», 2000.

18. Ллойд Д., Липов М. Надежность. Организация исследований, методы, математический анализ.-М.: Сов.радио, 1964.

19. Куме X. Статистические методы повышения качества. Пер.с.англ. М.: Финансы и статистика, 304 с.

20. Статистические методы повышения качества/ под.ред. Хитоси Куме. М.: Финансы и статистика, 1990.

21. Статистические методы и управление качеством: Комплект для менеджеров разных уровней. Н. Новгород: СМЦ «Приоритет», 2001.

22. Исикава К. Японские методы управления качеством/ пер.с.англ. М.: Экономика, 1988.

23. ГОСТ Р ИСО 9004-2001 Системы менеджмента качества. Рекомендации по улучшению деятельности. М.: Изд-во стандартов, 2001.

24. ГОСТ Р ИСО 9001-2001 Системы менеджмента качества. Требования. М.: Изд-во стандартов, 2001

25. Семь инструментов качества в японской экономике. М.: Издательство стандартов, 1990. 88 с.

26. Управление качеством: Том 2. Принципы и методы всеобщего руководства качеством. Основы обеспечения качества. Под общей редакцией Азарова В.Н. М.: МГИЭМ, 2000.-356 с.

27. Морозов Л.М., Петухов Г.Б., Сидоров В.Н. Методические основы теории эффективности. ВИКИ им. Можайского, 1982.236 с.

28. Х.К. Рамперсад. Универсальная система показателей для оценки личной и корпоративной эффективности. М.: Альпина Бизнес Букс, 2006. - 148 с.

29. Ламбен Ж.Ж. Стратегический маркетинг. М: Наука, 1996. - 589 с.

30. ГОСТ Р 52113—2003. Услуги населению. Номенклатура показателей качества. М.: Изд-во стандартов, 2003.

31. ГОСТ Р 50691-94. Модель обеспечения качества услуг. М.: Изд-во стандартов, 1995.

32. Ляшецкий А.П., Крайнюков A.II. Управление качеством продукции. -Саратов: 1998.

33. Бурков В.Н., Новиков Д.А. Модели и механизмы систем управления качеством. М.: 1998.

34. Федюкин В.К., Дурнев В.Д., Лебедев В.Г. Методы оценки и управления качеством промышленной продукции: Учебник. М.: Филин, 2000. - 328 с.

35. Методы квалиметрии в машиностроении: Учебное пособие/ под ред. В .Я. Кершенбаума, P.M. Хвастунова. М.: Технонефтегаз, 1999. - 210 с.

36. Смирнов В. Н. Системное исследование показателей качества изделий. Л.: Машиностроение, 1981. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач. М.: Наука, 1986.

37. ГОСТ 28195 89. Оценка качества программных средств. Общие положения. М.: Изд-во стандартов, 1989.

38. ГОСТ 28806-90. Качество программных средств. Термины и определения. М.: Изд-во стандартов, 1990.

39. ГОСТ Р ИСО МЭК 9126-1-4. Информационная технология характеристики и метрики качества программного обеспечения: 4.1. Характеристики и субхарактеристики качества.

40. ГОСТ Р ИСО/МЭК 9126-93. Государственный стандарт Российской Федерации. Оценка программной продукции. Характеристики качества и руководства по их применению.

41. Методы и модели оценивания качества программною обеспечения. Воробьев В. И., Копыльцов А. В., Пальчун Б. П., Юсупов Р. М. С-Пб.:СПИИРАН.1992.-ЗЗс.

42. Хубаев Г. Н. Экономическая оценка потребительского качества программных средств: Текст лекций/ РГЭА. Ростов н/Д., 1997 - 104с.

43. Ковалевская Е.В. Метрология, качество и сертификация программного обеспечения/ Московский международный институт эконометрики, информатики, финансов и права. М., 2002. - 69с.

44. Елтаренко Е., Сергиевский М. Оценка аппаратных и программных средств по многоуровневой системе критериев./ Компыотер-пресс, №8, 1998, с. 268-272.

45. Антошина И.В., Домрачев В.Г., Ретинская И.В. Методика составления системы характеристик качества для программных средств.// Качество, инновации, образование, №3,2002. с.57-60.

46. Методы и модели оценивания качества программного обеспечения. Воробьев В. И., Копыльцов А. В., Пальчун Б. П., Юсупов Р. М. С-Пб.:СПИИРАН. 1992.-ЗЗс.

47. Потгосин И. В. «Хорошая программа»: попытка точного определения понятия/ Программирование, 1997, №2, с. 3-17.

48. Чикишева Н. М., Проскурякова J1. А. Разработка методики выбора программного обеспечения бухгалтерского учета для строительных организаций. -С-Пб.:Изд-во СПбГУЭФ, 1999.-88с.

49. Елтаренко Е., Сергиевский М. Оценка аппаратных и программных средств по многоуровневой системе критериев./ Компыотер-пресс, №8, 1998, с. 268-272.0бщая методика оценки качества программных средств. Москва. 1988

50. Баутов А. Н. Оценка факторов качества программных продуктов методом регрессионного анализа. Программно-методическое обеспечение. М., 2001.

51. Липаев В.В. Выбор и оценивание характеристик программных средств. — М.-СИНТЕГ, 2001.—224 с.

52. Антонов А.В. Системный анализ. Учеб. для вузов/ А.В. Антонов. 2-е изд., стер. - М.: Высш. шк., 2006. - 454 е.: ил.

53. Жилин Д.М. Теория систем: опыт построения курса. Изд. 3-е, стереотипное. М.: КОмКнига, 2006- 184 с.

54. Антонов А.В. Системный анализ. Учеб.для вузов. М.: Высш.шк., 2006. -454 с.64.0стрейковский В.А. Теория систем. М: Высшая школа, 1997.

55. Харрингтон Д.Х. Управление качеством в американских корпорациях: сокр.пер.с англ. / под.ред. JI.A. Конарева. М.: Экономика, 1990. 272 с.

56. Гончаров В.В. Руководство для высшего управленческого персонала (в 2-х томах). М.: МНИИПУ, 1996. Т.1. 708 е., Т.2.-720 с.

57. Стрелец И.А. Сетевая экономика: учебник / И.А. Стрелец. М.: Эксмо, 2006. -208 с. - (Высшее экономическое образование). ISBN 5-699-16964-4.

58. Саати T.JI. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.-320 с.

59. Андрейчикова О.А. Принятие решений в условиях взаимной зависимости критериев и альтернатив сложных технических систем// Информационные технологии, 2001, № 11. с.14-19.

60. Башмаков А.И., Башмаков И.А. Интеллектуальные информационные технологии. М.: Изд-во МГТУ им.Баумана, 2005. - 304 с.

61. Введение в разработку онтологий 101: руководство по созданию Вашей первой онтологии. Наталья Ф. Ной и Дэбора JI. МакГиннес. Стэндфорский Университет, Стэндфорд, Калифорния, 2001.

62. Никитин В.А., Филончева В.В. Управление качеством па базе стандартов ИСО 9000:2000. 2-е изд. СПб.: Питер, 2005. - 127 е.: ил. ISBN 5-94723-567-6.

63. Евстегнеев Д.В., Ледащева Т.Н. Использовании е когнитивных моделей при построении комплексной оценки состояния территории, Электронный журнал «Исследовано в России», 2003.

64. Кулинич А.А. Когнитивная система поддержки принятия решений «Канва»// Программные продукты и системы. №3, 2002 г.

65. Садмен С., Брэдбери Н., Шварц Н. Как люди отвечают на вопросы. Применение когнитивного анализа в массовых обследованиях. М.: Институт фонда «Общественное мнение», 2003. - 302 с.

66. Садмен С., Брэдбери Н. Как правильно задавать вопросы: введение в проектирование опросного инструмента. М.: Институт фонда «Общественное мнение», 2002.-382 с.

67. Андрейчиков А.В., Андрейчикова О.П. Анализ, синтез, планирование решений в экономике: Учебник. 2-е изд., доп. и перераб. - М.: Финансы и статистика, 2004.-464 е.: ил. (ISBN 5-279-02901-7).

68. Литвак Б.Г. Экспертные технологии в управлении: учеб.иособие. 2-е издание, испр. и доп. - М.: Дело, 2004/ - 400 с. (ISBN 5-7749-0347-8).

69. Квятковская И.Ю. Теория принятия решений: методическое пособие. -Астрахань.: ЦНТЭП, 2002. 100 с. - ISBN 5-89388-042-0.

70. Виноградская Т.М., Макаров И.М. и др. Теория выбора и принятия решений. М.:Наука, 1982.-328 с.

71. Микони С.В. Методы и алгоритмы принятия решений: учебное пособие. Часть l.-СПб.: ПГУПС, 1994-55 с.

72. Трахтенгерц Э.А. Компьютерная поддержка формирования целей и стратегий. М.: СИНТЕГ, 2005. 224 с. ISBN 5-89638-084-4.

73. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998.

74. Компьютерная поддержка сложных организационно-технических систем/ В. В. Борисов, И. А. Бычков, А. В. Дементьев, А. П. Соловьев, А. С. Федулов. М.: Горячая линия - Телеком, 2002. - 154 е., ISBN 5-93517-111-2.

75. Исмайлов С. Ф., Караев Р. А., Сурков Г. Д. Формирование корпоративной политики предприятия с помощью когнитивных карт. Известия Национальной академии наук Азербайджана. Серия физико-технических и математических наук, 2004, №2.

76. Силов В. Б. Принятие стратегических решений в нечеткой обстановке. -М.:ИНПРО-РЕС, 1995.

77. Силов В. Б. Оптимизация многокритериальных систем нечетко-целевого управления// Известия РАН. Техническая кибернетика, №4, 1992.

78. Друкер П. Эффективное управление. Экономические задачи иоптимальные решения. М.: ФАИР-ПРЕСС, 2001.

79. Сидельников Ю.В. Теория и организация экспертного прогнозирования. М.: ИМЭМО АН СССР, 1990.

80. Томпсон А.А., Стрикленд А.Дж. Стратегический менеджемент. М.: ЮНИТИ, 1998.

81. Моделирование принятия решений в условиях неопределенности: Метод, указания/ Сост. Б.Х. Санжапов, Д.А. Давыдов, Волгоград, юс. техн. ун-т. Волгоград, 1997.-24 с.

82. Андрейчиков А. В., Андрейчикова О. II. Компьютерная поддержка изобретательства (методы, системы, примеры применения). М.: Машиностроение, 1998.-476 е.: ил. ISBN 5-217-02886-6.

83. Леоненков А.В. Нечеткое моделирование в среде MathLab и FuzzyTech. -СПб.: БХВ-Петербург, 2005. 736 е.: ил.

84. Хорн Р., Джонсон Ч. Матричный анализ: пер. с англ. М.: Мир, 1989. - 655 с. ISBN 5-03-001042-4.

85. Одинцов Б.Е. Обратные вычисления в формировании экономических решений: учеб. пособие. М.: Финансы и статистика, 2004. - 192 е.: ил. ISBN 5279-02902-5.

86. Фатхутдинов Р.А. Система обеспечения качества: Справочно-информационное пособие. М.: ИЦ «Маркетинг», 2003.

87. Мишин В.М. Исследование систем управления: Учебник. М.: ЮНИТИ-ДАНА, 2003.

88. Бармина, Е.А. Применение нечетких методов для построения системы сбалансированных концептов/ Е.А. Бармина // Вестник Астраханского государственного технического университета. 2007. - 1(36). - с. 54-59. - ISBN 1812-9498.

89. Бармина, Е.А. Алгоритм оценки качества услуг IT компании / Бармина Е.А. // Математические методы в технике и технологиях ММТТ-18. Сб. трудов

90. XVIII Международной научной конференции: в 10 т. Секции 10, 12 / Под общ. ред. В. С. Балакирева. Казань: изд-во Казанского гос. технол. ун-та, 2005. - с. 182-183. -ISBN 5-7882-0253-1.

91. Градов А.П. Экономическая стратегия фирмы. Учебное пособие. С.Петербург: «Специальная литература», 1995, глава 3 и 4.

92. Арсеньев Ю.Н., Шелобаев С.И., Давыдова Т.Ю. Принятие решений. Интегрированные интеллеюуальные системы. М. ЮНИТИ-ДАНА, 2003. - 270 с.

93. А.А. Ослон, Е.С.Петренко, Г.С. Батыгин, Г.Л. Кертман, И.А.Климов Десять лет социологических наблюдений. М.: Институт Фонда "Общественное мнение", 2003.-698 с.

94. Андрейчиков А.В., Андрейчикова O.I I. Интеллеюуальные информационные системы: Учебник. М.: Финансы и статистика, 2004. - 424 с.

95. Чернышев С.Л. Моделирование экономических систем и прогнозирование их развития. М: Изд-во МГТУ им. Н.Э. Баумана, 2003.

96. Финн В.К. Интеллектуальные информационные системы. //Итоги науки и техники. Сер. Информатика. Т. 15. М.: ВИНИТИ. 1991.

97. Квятковская И.Ю. Теория принятия решений. Астрахань: ООО «ЦНТЭП», 2002-99 с.

98. Макаров И.М. Теория выбора и принятия решений. М: Наука, 1982.

99. Дружинин Г. В., Сергеева И. В. Качество информации. М.: Радио и связь, 1990.