автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Многомерная классификация на основе аналитического метода оценки эффективности сложных систем

На правах рукописи

Моргунов Евгений Павлович

МНОГОМЕРНАЯ КЛАССИФИКАЦИЯ НА ОСНОВЕ АНАЛИТИЧЕСКОГО МЕТОДА ' ОЦЕНКИ ЭФФЕКТИВНОСТИ СЛОЖНЫХ СИСТЕМ

I

05.13.01 - Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

!

Красноярск - 2003

Работа выполнена в Научно-исследовательском институте систем управления, волновых процессов и технологий Министерства образования Российской Федерации, г. Красноярск

Научный руководитель:

кандидат технических наук, доцент Антамошкина Ольга Игоревна

Официальные оппоненты:

доктор технических наук, профессор Слюсарчук Валентин Федорович

кандидат технических наук, доцент Лапко Василий Александрович

Ведущая организация: Государственный, научно-исследовательский институт информационных технологий и телекоммуникаций "Информика", г. Москва

Защита состоится "18" декабря 2003 года в 9 часов на заседании диссертационного совета Д 212.046.01 при Научно-исследовательском институте систем управления, волновых процессов и технологий Министерства образования Российской Федерации по адресу: 660028, г. Красноярск, ул. Баумана, 20 "В"

С диссертацией можно ознакомиться в библиотеке Научно-исследовательского института систем управления, волновых процессов и технологий

Ваш отзыв (2 экземпляра), заверенный гербовой печатью, просьба направлять по адресу: 660028, г. Красноярск, ул. Баумана, 20 "В", ученому секретарю диссертационного совета Смирнову Н.А.

Автореферат разослан "18" ноября 2003 г.

Ученый секретарь диссертационного сов< кандидат технических наук, доцент

Н.А. Смирнов

общ.

[АЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Проблема оценки эффективности функционирования систем очень остро встает в последние годы во всех сферах деятельности человека. Зачастую эффективность функционирования связана с эффективностью преобразования дефицитных ресурсов в продукцию, которая может бьггь как материальной, так и нематериальной (например, в сфере образования или здравоохранения).

С другой стороны, эффективным средством исследования сложных объектов являются математические методы классификации. Применение этих методов позволяет на основе накопленной информации прогнозировать закономерности изучаемых явлений и процессов без предварительного построения их детальных математических моделей.

На практике также часто возникают задачи сравнения между собой и упорядочивания сложных систем по некоторому интегральному свойству, не поддающемуся непосредственному измерению. Речь может идти, в частности, о сравнении стран по уровню или качеству жизни, сложных изделий - по обобщенной характеристике их качества и т.д.

Стремлением преодолеть трудности, возникающие при оценке эффективности систем, был вызван к жизни подход, называемый Efficiency and Productivity Analysis (EPA) - "анализ эффективности и производительности" (A. Charnes, W.W. Cooper, R. Fare, C.A. Knox Lovell, S. Grosskopf, T. Coelli, F. Forsund, L. Hjalmarsson и др.). К сожалению, русскоязычной терминология в этой сфере еще практически нет. В рамках ЕРА существует несколько методов, в том числе Data Envelopment Analysis (DEA). Данный метод был разработан в 1978 г. в США (A. Charnes, W.W. Cooper, Е. Rhodes). На Западе метод DEA широко применяется для оценки эффективности функционирования различных социально-экономических систем: промышленных предприятий, банков, учреждений здравоохранения и образования. Метод DEA начинает использоваться и в России (В.Е. Кривоножко, Г.В. Выгон, А.Б. Поманский и др.).

Данный метод позволяет получить интегральный показатель эффективности для каждого из объектов рассматриваемой системы. Таким образом, он может быть полезным в системах поддержки принятия решений (СППР) при классификации объектов на основе оценки их эффективности. Важной задачей является также разработка такой архитектуры СППР, которая позволяла бы проводить оценку эффективности сложных иерархических систем, используя на каждом уровне иерархии метод DEA и учитывая показатели эффективности подсистем при принятии решения об эффективности всей системы. Такая СППР могла бы применяться в весьма широком спектре областей, в частности, в сфере оценки экономической безопасности региона (В.К. Сенчагов, А.И. Та-таркин, Н.С. Гуськов и др.).

Цель работы состоит в повышении эффективности управления сложными иерархическими системами посредством адаптации метода DEA к задачам классификации и разработки на его основе i " -емы под-

держки принятия решений при многомерной

Поставленная цель определила следующие задачи:

1. Показать на основе анализа существующих методов классификации, что метод DEA может эффективно применяться для проведения многомерной классификации объектов.

2. Разработать процедуры и алгоритмы многомерной классификации объектов на основе искусственной границы эффективности.

3. Разработать основанную па методе DEA методику оценки эффективности функционирования сложных иерархических систем.

4. Разработать архитектуру СППР, позволяющую реализовывать предложенную методику оценки эффективности сложных иерархических систем.

5. Разработать программный продукт, реализующий вышеперечисленные методики, процедуры и алгоритмы в виде СППР, которая предназначена для использования в органах управления региона.

6. Провести апробацию разработанного программного продукта на примере оценки уровня экономической безопасности Красноярского края и эффективности функционирования отрасли "Здравоохранение" г. Красноярска и Красноярского края.

Методы исследования. При выполнении диссертационной работы использовались методы системного анализа, метод DEA, методы оптимизации, теория принятия решений, теория баз данных.

Научная новизна диссертационной работы состоит в следующем:

1. Метод DEA впервые использован для многомерной классификации объектов. Показана эффективность данного метода при решении этой задачи.

2. Разработан повый алгоритм формирования искусственных эффективных (эталонных) объектов для использования их в моделях метода DEA. Алгоритм построен на основе пошагового повышения размерности задачи и задания диапазонов допустимых изменений значений переменных. Предложенный алгоритм облегчает построение многомерной искусственной границы эффективности.

3. Разработан алгоритм классификации объектов на основе вложенных искусственных границ эффективности. Алгоритм позволяет упростить интерпретацию результатов классификации.

4. Впервые предложен векторный критерий качества границы эффективности в методе DEA. Критерий строится на основе информации о значениях дополнительных переменных в задаче оптимизации. Использование критерия позволяет повысить степень обоснованности решений по оценке эффективности объектов. Предложен способ скаляризации векторного критерия, основанный на использовании моделей DEA и позволяющий представить оценку качества границы эффективности в наглядной форме.

5. Разработана методика оценки эффективности функционирования сложных иерархических систем, основанная на методе DEA. Решение об эффективности системы принимается с учетом эффективности подсистем.

6. Предложена и обоснована эффективная архитектура СППР, а также методика ее применения.при управлении экономической безопасностью региона.

Оценка эффективности многоуровневых иерархических систем облегчается за * ■ t ** ' i. j . .

.; .... • - . 4

счет наличия в СППР специального модуля описаний иерархических взаимосвязей в системе, которые представлены в форме реляционных таблиц базы данных.

Практическая ценность работы и реализация полученных результатов. Разработанная СППР, а также предложенные в диссертационной работе алгоритмы и методики ориентированы на практическое применение в реальных ситуациях в различных сферах, в том числе и для решения задач по управлению экономической безопасностью региона. На основе созданных алгоритмов разработано программное обеспечение, позволяющее решать практические задачи, связанные с анализом текущего состояния уровня экономической безопасности региона. Разработанная СППР позволяет повысить обоснованность принимаемых решений по управлению экономической безопасностью на региональном уровне. Разработанное программное обеспечение используется также при решении практических задач по управлению отраслью "Здравоохранение" г. Красноярска, что подтверждается соответствующими документами.

Результаты диссертационной работы и разработанная СППР используются при проведении научных исследований в рамках гранта Министерства образования РФ № Г02-3.2-268 от 2003 г. "Региональная экономическая безопасность: современные теоретические подходы и проблемы реализации в условиях Красноярского края". Результаты работы использованы также в ходе курсового и дипломного проектирования в Красноярской государственной академии цветных металлов и золота (КГАЦМиЗ) и Сибирском государственном аэрокосмическом университете (СибГАУ). Материалы диссертационной работы введены в учебный курс "Проектирование сложных систем" в СибГАУ.

Достоверность полученных результатов исследования обусловлена корректным применением аппарата системного анализа, математических методов оптимизации и метода DEA, а также теории алгоритмов и баз данных.

Основные положения, выносимые на защиту:

1. Метод DEA является эффективным средством решения задачи многомерной классификации объектов при оценке эффективности сложных иерархических систем.

2. Искусственная граница эффективности, построенная на основе разработанного алгоритма формирования искусственных эффективных (эталонных) объектов, позволяет выполнять более точную оценку эффективности функционирования систем.

3. Предложенный векторный критерий качества границы эффективности в методе DEA дает возможность более обоснованно интерпрегировать результаты оценки эффективности функционирования систем.

4. Разработанная на основе метода DEA методика оценки эффективности функционирования сложных иерархических систем позволяет оценивать систему с учетом эффективности функционирования ее подсистем.

5. СППР, реализованная в виде программного продукта с предложенной архитектурой, является инструментом повышения обоснованности и оперативности принятия решений по управлению экономической безопасностью региона.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях:

- Всероссийская научно-практическая конференция "Проблемы и перспективы российской экономики" (г. Пенза, Приволжский дом знаний, 2002 г.);

- П Научно-практическая конференция "Информационные недра Кузбасса - 2003" (г. Кемерово, Кемеровский государственный университет, 2003 г.);

- Всероссийская научно-методическая конференции "Совершенствование систем управления качеством подготовки специалистов" (г, Красноярск, Красноярский государственный технический университет, 2003 г.);

- Всероссийская научно-методическая конференция "Актуальные проблемы и перспективы развития университетских комплексов инженерного профиля" (г. Красноярск, Сибирский государственный аэрокосмический университет, 2003 г.);

- П1 межвузовская научная конференция аспирантов "Актуальные проблемы современной науки и пути их решения" (г. Красноярск, Красноярский государственный торгово-экономический институт, 2003 г.);

- Международная научно-методическая конференция "Развитие системы образования в России XXI века" (г. Красноярск, Красноярский государственный университет, 2003 г.).

Основные положения диссертационной работы и работа в целом обсуждались на научных семинарах кафедр "Системного анализа и исследования операций" и "Информатики и вычислительной техники" Сибирского государственного аэрокосмического университета (2000-2003 гг.), а также на заседаниях Научно-технического совета Научно-исследовательского института систем управления, волновых процессов и технологий (2001-2003 гг.).

Публикации. По результатам работы опубликовано 15 статей и докладов. Написаны два раздела в коллективной монографии. Список работ автора по теме диссертации приведен в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка используемой литературы (132 наименования) и приложения. Содержание работы изложено на 128 страницах основного текста, проиллюстрировано 11 рисунками и 1 таблицей. В приложении представлены материалы, свидетельствующие о практической реализации результатов исследований и разработок автора.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практическая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе проведен анализ математических методов, применяемых для решения задачи классификации в процессе поддержки принятия решений, выявлены их сильные и слабые стороны. Рассмотрены такие методы, как: индексный метод, распознавание без обучения (кластерный анализ), распознава-

ние с обучением (дис!фиминантный анализ) и подход, построенный на основе многомерной размытой обучаемой классификации. В результате предложено использовать метод DEA для решения задачи многомерной классификации при оценке эффективности систем. Использование данного метода целесообразно, т.к. он имеет целый ряд привлекательных свойств по сравнению с проанализированными математическими методами.

Метод DEA относится к классу граничных методов, т.к. он основан на построении так называемой границы эффективности. С этим понятием связаны такие понятия, как граница производственных возможностей и производственная функция. В случаях, когда выпускается продукция не одного вида, а нескольких, принято говорить не о производственной функции, а о производственной границе, или границе эффективности. В этом случае те объекты, которые производят максимальное количество выпуска из данного количества входов, считаются эффективными, и точки, соответствующие им в пространстве входов/выходов, лежат на этой самой границе эффективности, представляющей собой выпуклую оболочку точек в пространстве входов/выходов. Точки, не лежащие на границе эффективности, соответствуют объектам, функционирующим неэффективно. Степень неэффективности определяется степенью удаленности точки от границы эффективности. Поскольку на практике эта граница неизвестна, ее нужно каким-то образом оценить. Для оценивания применяются различные методы, в том числе и метод DEA, формирующий кусочно-линейную границу эффективности.

Рассмотрим суть метода DEA на примере одной из его моделей. Пусть имеются данные для К входных параметров и М выходных параметров для каждого из N объектов (под термином "объект" могут подразумеваться предприятия, организации, вузы, их факультеты, кафедры и т.д.). Для г-го объекта они представлены вектор-столбцами x¡ и y¡ соответственно. Тогда матрица X размерности KxN представляет матрицу входных параметров для всех N объектов, а матрица У размерности MxN представляет матрицу выходных параметров для всех N объектов. Можно прийти к задаче математического программирования и, используя теорию двойственности, сформулировать ее в такой форме:

-y,+YÁ> О,

0x¡-ХХ> О,

Д> О,

где в~ скаляр, а Я является вектором констант размерности Nx 1. Значение в, полученное при решении задачи, и будет мерой эффективности г-го объекта. При этом эффективность не может превышать единицы. Важно помнить, что аналогичная задача решается N раз, т.е. для каждого объекта. Те объекты, для которых значение показателя эффективности оказалось равным единице, находятся-на границе эффективности. Точки, соответствующие тем объектам, у ко-

торых показатель эффективности оказался меньше единицы, можно спроецировать на границу эффективности таким образом, что каждая из этих точек-проекций будет равна линейной комбинации (XX, YX). В результате для объектов с в < 1 могут быть установлены цели, которые заключаются в пропорциональном сокращении их входных факторов на величину в при сохранении выходных значений на прежнем уровне. Чем ближе точка, соответствующая данному объекту, к границе эффективности, тем выше ее мера эффективности.

На рисунке 1 показана граница эффективности для технологии, в которой задействованы два входных фактора и производится один вид продукции при постоянном эффекте масштаба. Поскольку эффект масштаба постоянный, то можно изобразить график в координатах {xfy, х/у). На этом графике ломаная линия SS' является границей эффективности. Точки А, В и С эффективны. Точка Р неэффективна, при проецировании ее на границу эффективности в качестве целевой точки служит точка Q. Точка D лежит на границе, но не является эффективной в смысле Парето-Купманса. Неэффективная точка М при проецировании на границу эффективности проецируется в точку N, которая также не является эффективной в смысле Парето-Купманса. Для достижения полной эффективности точек D и N их нужно переместить вдоль границы эффективности в точки С и А соответственно, что позволит уменьшить значение одной из входных переменных, не увеличивая при этом значение другой входной переменной. В этом случае отрезки CD и AN будут являться величинами так называемых дополнительных переменных (slacks).

Рисунок 1 - Граница эффективности

Метод DEA имеет ряд привлекательных свойств, а именно:

- позволяет вычислить один агрегированный показатель для каждого объекта на основе векторных входа и выхода, не требуя априорного указания весовых коэффициентов для входных и выходных переменных;

- позволяет учитывать внешние по отношению к рассматриваемой системе переменные (факторы окружающей среды), а также предпочтения менеджеров, касающиеся важности тех или иных входных или выходных переменных;

- не налагает никаких ограничений на функциональную форму зависимости между входами и выходами и при этом формирует Парето-оптимальное множество точек, соответствующих эффективным объектам.

В настоящее время общепринятого русского эквивалента английскому названию метода нет, однако предлагается такой вариант - "анализ среды функционирования" (В.Е. Кривоножко и др.).

Классификация на основе метода DEA производится в пространстве входов/выходов. Ее результатом будет разделение совокупности объектов на группы, однородные не в смысле расстояния в пространстве показателей, как в кластерном анализе, а однородные в смысле эффективности. Еще одним отличием от кластерного анализа является то, что полученные классы будут упорядочены

- по степени эффективности. Важным отличием от линейного дискриминант-ного анализа будет то, что разделяющие поверхности, формируемые с использованием метода DEA, будут представлять собой вложенные выпуклые оболочки точек в пространстве входных/выходных переменных.

Вторая глава посвящена разработке алгоритмов, позволяющих адаптировать метод DEA для решения задачи классификации. В первом параграфе рассматривается известный алгоритм построения искусственной границы эффективности, предложенный канадскими исследователями Т. Sowlati и J.C. Paradi. Вообще формирование искусственной границы из гипотетических объектов имеет смысл потому, что метод DEA предназначен для оценивания относительной эффективности объектов, которые сравниваются между собой. Таким образом, не только неэффективные объекты, но и объекты, оказавшиеся на границе эффективности, также могут улучшить показатели своей работы.

В работах Т. Sowlati и J.C. Paradi для генерирования искусственных объектов предлагается использовать модели самого метода DEA. Процедура выполняется в три стадии. На первой стадии оценивается эффективность всех объектов в выборке на основе традиционных моделей DEA. На второй стадии сначала при участии лица, принимающего решения (ЛПР), определяются допустимые диапазоны изменений для значений входов и выходов эффективных объектов, а затем с использованием полученной информации для каждого из эффективных объектов решается задача по модифицированной модели DEA. В результате отыскиваются значения входов и выходов для новых - улучшенных

- объектов, которые совместно с частью реальных объектов и сформируют искусственную границу эффективности. На последней стадии решается обычная модель DEA для выборки, включающей все реальные и все искусственные объекты. Таким образом, окончательное определение эффективности объектов производится относительно искусственной границы эффективности. Однако каких-либо формальных требований к качеству сформированной искусственной границы не предъявляется.

В диссертации предлагается новый алгоритм формирования искусственных эффективных объектов с привлечением экспертов. Известно, что в реальных системах снижение значений одного показателя может до некоторой степени компенсироваться увеличением значений другого показателя. Эксперты должны указывать диапазоны допустимых изменений значений для взаимно компенсируемых показателей. Однако вводить показатели в задачу предлагается поэтапно, начиная с комбинации скалярного входа и скалярного выхода.

Алгоритм построения границы эффективности для двух переменных рассмотрим на примере одного входа (*) и одного выхода (у). Границу эффективности, построенную для изменяющихся значений двух переменных при зафиксированных значениях остальных переменных, назовем частной границей эффективности. Строить границу будем, следуя принципу оптимальности Паре-то. Схема работы алгоритма представлена на рисунке 2.

У

max

У

Jmm

В

Н

кУ/ /дм J

X х max

Рисунок 2 - Построение частной границы эффективности для одного входа и одного выхода

Алгоритм имеет параметр, который влияет на форму границы эффективности. Этот параметр - доля от половины диагонали прямоугольника, в который вписывается граница эффективности. На каждой итерации значение параметра пересчитывается путем возведения его в степень, показатель которой равен номеру итерации алгоритма. На первой итерации значение параметра примем равным ХА.

Алгоритм построения частной границы эффективности.

Шаг 1. Задать диапазоны изменения значений двух переменных (это должны сделать эксперты): х е [хтШ; У"1], у е [ут'";утах].

Шаг 2. Выбрать базовые точки для построения границы эффективности. Точки выбираются в зависимости от типа переменных (вход и выход; два входа; два выхода). В рассматриваемом случае это точки А и С. Диагональ АС прямоугольника ABCD назовем базовой, т.к. частная граница эффективности строится на основе этой диагонали. Соответственно диагональ BD будет небазовой.

Шаг 3. Вычислить положение точки F, используя значение параметра алгоритма. При принятом значении параметра точка F - середина отрезка BE. Полученная ломаная линия AFC будет являться частной границей эффективности, построенной за одну итерацию алгоритма.

Шаг 4. Построить прямоугольники AGFJn FHCI. Повторить те же действия, что и на шаге 3, но для вычисления положения точек К и L использовать

квадрат параметра алгоритма, т.е. значение 1А. Таким образом, \КМ\ = и

= ■--. Полученная ломаная линия АКР 1С будет являться частной грани-

4

цей эффективности, построенной за две итерации алгоритма.

Шаг 5. Построить 4 прямоугольника, диагоналями которых будут являться полученные отрезки АК, К1П, ЬС. Повторить те же действия, что и на шаге 3, но теперь уже значение параметра будет равно 'Л.

Шаги 6 и далее. Повторять те же действия, что и на шаге 3, пересчитывая значение параметра алгоритма и получая удвоенное число фрагментов частной границы эффективности. Завершить работу алгоритма при получении заданного числа фрагментов границы.

'Результатом работы алгоритма будет множество точек, формирующих частную границу эффективности. Для построения частных границ эффективности в тех случаях, когда рассматриваемыми переменными будут два входа или два выхода, следует соответствующим образом выбрать базовые точки и направление выпуклости границы эффективности.

. На основе алгоритма построения частной границы эффективности можно разработать алгоритм более высокого порядка.

Алгоритм построения искусственной многомерной границы эффективности.

Шаг 1. Задать диапазоны изменения значений двух переменных (это должны сделать эксперты): вход х1 е [х™111; X!™" ], выход у1 е[_у1тш;у1шах].

Выбрать базовые точки для построения границы эффективности:

(*Г;>0, (*Г;><Г).

Указать число п фрагментов, из которых должна состоять формируемая частная граница эффективности. Число п выбирается из ряда 1,2,4, 8,...

Шаг 2. Выполнить алгоритм построения частной границы эффективности. В результате будет получено множество точек {(х1шш;у1тш), ..., (х1тах;>>|тах)}. Общее число точек равно п + 1, где п - требуемое число фрагментов границы на этом этапе.

Шаг 3. Выбрать переменную в качестве базы для повышения размерности задачи. Пусть это будет входная переменная х\. Этот шаг выполняет эксперт, исходя из содержательных представлений о предметной области.

Шаг 4. Заменить переменную XI парой переменных х1 и х2-

Задать диапазоны изменения значений обеих переменных е[д:1тш;.1с1тах] и х2 для каждой исходной точки (х,;у/). Базовыми точками для

частной границы эффективности будут точки (х1шш;;*:£1ах) и (х!™*;*™").

Указать требуемое число и фрагментов частной границы. Число п выбирается из ряда 1,2,4, 8,...

Шаг 5. Выполнить алгоритм построения частной границы эффективности. В результате для каждой исходной точки (х/;>^) будет получено множество из п + 1 точек в пространстве размерности на единицу выше исходной (рисунок 2). Здесь п - требуемое число фрагментов границы на этом этапе.

Шаг 6. Если требуется еще повысить размерность задачи, то выбрать следующую переменную в качестве базы для повышения размерности задачи и перейти к шагу 4. Иначе - завершить работу алгоритма.

Примечание к алгоритму. Если на шаге 3 или на шаге 6 выбирается выходная переменная, то базовыми точками для частной границы эффективности

будут точки 0^;уГ) и (уГ>уГ)-

Для решения задачи классификации следует на основе предложенного алгоритма построить ряд вложенных искусственных границ эффективности, исходя из специфики конкретной предметной области.

Пусть требуется отнести объект 0¡, г = 1,и, к одному из N классов возможных состояний (классов эффективности). При этом число искусственных границ эффективности будет равно N -1, поскольку каждая граница разделяет совокупность объектов на два класса. Верно и то, что каждый класс, кроме первого (самого эффективного) и последнего (наименее эффективного), заключен между двумя искусственными границами эффективности. Будем считать, что для каждой пары искусственных границ эффективности справедливо условие: граница с меньшим индексом соответствует более эффективному (более устойчивому, более "хорошему") классу состояний. Таким образом, граница с индексом 1 соответствует самому эффективному классу состояний. Обозначим искусственную границу эффективности с индексом j через FFj, а класс эффективности, заключенный между двумя границами FFj и FFJ+], через E¡+¡. Поскольку первый и последний классы имеют только по одной границе, то их обозначим Ej и En соответственно. Показатель эффективности объекта 0„ рассчитанный относительно границы FFj, обозначим через в у. Важно отметить, что при использовании искусственных границ эффективности возможно ву > 1.

Основная идея предложенного алгоритма классификации для N классов возможных состояний объектов такова: для принятия решения об отнесении реального объекта 0¡ к классу эффективности EJ+¡, заключенному между двумя границами FFj и FFj+¡, необходимо выполнение условий Q¡¡ < 1 и 0,•_,■+/ >1.

Для удобства интерпретации результатов классифицирования объектов можно каждому классу эффективности Ej поставить в соответствие словесное наименование. Тем самым получим некоторое подобие лингвистической переменной.

Поскольку эталоном для проведения всех расчетов в методе DEA является граница эффективности, то ее формальные свойства должны влиять на интерпретацию получаемых результатов. Из всех ее свойств наиболее продуктивным в смысле конструирования критерия качества границы представляется наличие фрагментов, параллельных осям координат (см. рисунок 1). Наличие этих фрагментов объясняется малым количеством объектов в выборке и способом построения границы эффективности. Если бы выборка была бесконечной, то граница была бы не кусочно-линейной, а гладкой кривой. Согласно теории метода DEA, для того чтобы объект был эффективным в смысле Парето-Купманса, необходимо, чтобы он находился на границе эффективности, и при этом дополнительные переменные имели бы нулевые значения по всем измере-

ниям. Для достижения максимального значения предлагаемого критерия качества границы эффективности все точки-проекции должны быть эффективными в смысле Парето-Купманса.

Пусть в выборке присутствуют N объектов, а число объектов, являющихся эффективными в смысле Парето-Купманса, равно Npk. Число входных переменных равно пх, число выходных переменных - пу. Значения дополнительных переменных по z'-ой входной координате и у'-ой выходной координате для объекта с индексом k равны, соответственно, ef и Sj. Значения входных и выходных переменных для объекта с индексом А: равны, соответственно, х* и у*.

Предлагается использовать векторный критерий, включающий следующие показатели:

Показатель 1. Число объектов, имеющих ненулевые значения дополнительных переменных (slacks), обозначим N$. Это значение в общем случае не равно N - NPK. Тогда значение показателя 1 будет определяться так:

Диапазон значений этого показателя будет [0; 1). Нулевое значение является наилучшим.

Показатель 2. Максимально возможное число ненулевых значений дополнительных переменных по всем неэффективным объектам равно:

Тогда значение второго показателя будет: S*

_ ° факт

"max

где Бфат, - фактическое число ненулевых значений дополнительных переменных по всем неэффективным объектам.

Диапазон значений этого показателя будет [0; 1]. Нулевое значение является наилучшим, а значение, равное единице, - наихудшим.

Показатель 3. Для его вычисления просуммируем по всем объектам в выборке отношения значений дополнительных переменных к фактическим значениям соответствующих переменных. Получим (обозначения см. выше):

N Ы

"г

"У S,

k т ¿-Чг

Диапазон значений этого показателя будет [0; +°о). Нулевое значение показателя является наилучшим.

Особенностью предлагаемого критерия является то, что его можно вычислить только после проведения оценки эффективности всех объектов в изучаемой выборке. Данный критерий можно сравнить, например, с коэффициентом детерминации R2, который используется для анализа общего качества оцененного уравнения линейной регрессии. Критерий может использоваться как при работе с искусственными объектами, так и с реальными объектами.

Для скаляризации векторного критерия предлагается использовать сам метод DEA. Чтобы из ряда искусственных границ эффективности, построенных разными экспертами, выбрать лучшую (лучшие), следует решить задачу DEA для выборки объектов, которыми в данном случае будут являться различные экземпляры векторного критерия, соответствующие этим границам.

Целью построения искусственных границ эффективности является разделение совокупности исследуемых объектов на ряд непересекающихся классов. Поэтому предлагается алгоритм распознавания случаев взаимного пересечения искусственных границ эффективности. Его основная идея в том, что для каждой пары границ оценивается эффективность всех эффективных точек одной границы (любой из двух) относительно другой границы. Решение принимается согласно правилу: если 9¡ > 1, Vi или 6¡ < 1, V/, то границы взаимно не пересекаются; если 3i: 6t >1 и 3i: 6¡ <1, то границы взаимно пересекаются.

Третья глава посвящена описанию предлагаемой методики оценки эффективности функционирования иерархических (матрично-иерархических) систем. В качестве примера можно привести структуру экономики страны, которая имеет территориальное и отраслевое деление. Технологию применения метода DEA в таких случаях можно изложить в виде следующей методики.

1. В случае рассматриваемых матрично-иерархических структур целесообразным будет разделение системы на уровни в двух направлениях: условно говоря, территориальном и отраслевом. Условность имеет место потому, что не все реальные системы, имеющие матрично-иерархическую структуру, разделены именно на территории и отрасли.

2. Исследуя эффективность функционирования какого-либо объекта (региона страны, отрасли экономики и т.п.), следует оценивать ее с двух сторон - с внешней и с внутренней. Под оценкой с внешней стороны подразумевается оценка объекта в группе подобных ему объектов. В этом случае объект рассматривается как единое целое. Под оценкой с внутренней стороны подразумевается оценка эффективности функционирования элементов, составляющих этот объект. Окончательные выводы относительно эффективности изучаемого объекта можно делать при сопоставлении результатов этих двух оценок. Применение метода DEA на разных уровнях иерархии в сложной системе позволит провести такую оценку.

3. Поскольку метод DEA дает значение показателя относительной эффективности, то для сравнения объектов из различных подсистем одного уровня иерархии необходимо выбрать один из двух способов:

- объединить объекты в одну общую выборку (что не всегда может быть возможным) и решать задачу DEA для нее;

- сформировать искусственную границу (множество границ) эффективности, относительно которой и следует оценивать эффективность объектов из различных выборок (подсистем).

4. При большом числе уровней иерархии в системе можно использовать дисперсию показателей эффективности, рассчитанную для каждой подсистемы, в качестве меры однородности достигнутого уровня эффективности всей системы: чем больше величина средней дисперсии показателей эффективности в подсистемах, тем вся система в целом менее устойчива и менее эффективна.

5. Если при оценке эффективности подсистем использовались искусственные границы эффективности, то можно вычислять среднюю эффективность подсистем всей системы: чем более равномерно развиты подсистемы, тем, при прочих равных условиях, система будет устойчивее.

6. Метод DEA требует разделения показателей на входные и выходные, но логика предметной области не всегда позволяет произвести такое разделение обоснованно. В таком случае следует искусственно относить к входным показателям те из них, для которых желательно уменьшение их значений, а к выходным - те, для которых желательно увеличение их значений. Те показатели, на которые невозможно влиять на рассматриваемом уровне иерархии системы, следует отнести к переменным окружающей среды. Такие переменные учитываются в моделях метода DEA при проведении расчетов и оказывают влияние на их результаты, но по самим этим переменным никаких рекомендаций не выдается.

Предложенная методика может применяться в различных сферах, в частности, для оценки уровня региональной экономической безопасности, эффективности систем здравоохранения и образования. В диссертационной работе методика конкретизируется на примере оценки уровня экономической безопасности регионов России и эффективности функционирования отрасли "Здравоохранение" в регионах России.

Этап 1. Оценка уровня экономической безопасности регионов России.

Этап 2. Оценка состояния здоровья населения регионов России.

Этап 3. Оценка эффективности функционирования отрасли "Здравоохранение" в регионах России.

Этап 4. Оценка уровня экономической безопасности субрегионов в конкретном регионе России.

Этап 5. Оценка состояния здоровья населения в субрегионах конкретного региона России.

Этап 6. Оценка эффективности функционирования отрасли "Здравоохранение" в субрегионах конкретного региона России.

Этап 7. Оценка эффективности функционирования лечебно-профилактических учреждений (J1H У) в отрасли "Здравоохранение" в конкретном субрегионе конкретного региона России.

Четвертая глава посвящена программной реализации и апробации СППР. Пользователей создаваемой С1111Р можно разделить на две группы:

первую составляют эксперты в области системного анализа и методов оценки эффективности функционирования систем, а ко второй группе относятся специалисты в области экономической безопасности региона.

В архитектуре программного продукта три подсистемы: ядро, система управления базами данных (СУБД), интерфейс пользователя.

Ядро системы включает несколько модулей: "Модели DEA", "Формирование эталонных объектов", "Критерий качества границы эффективности", "Предварительный анализ и подготовка данных" и др. В качестве средства реализации ядра системы выбран язык ANSI С. Это делает ядро системы переносимым, т.е. для его переноса из среды операционной системы (ОС) UNIX в среду ОС Windows нужно лишь перекомпилировать исходные тексты программ.

Интерфейс пользователя включает несколько модулей: "Формирование матрично-иерархических структур объектов предметной области" (это центральный модуль СППР), "Оценка текущего состояния системы", "Ввод/вывод и подготовка данных". В качестве средства реализации интерфейса пользователя выбрана следующая схема: программы, написанные на языке Perl, запускаются на выполнение на Web-сервере, а визуализация экранных форм выполняется Internet-броузером на компьютере клиента (т.е. пользователя). Таким образом, работа с СППР возможна как по локальной сети, так и по сети Internet.

В качестве системы управления базой данных выбрана СУБД PostgreSQL. Это некоммерческая СУБД, доступная в исходных текстах. На сегодняшний день она является самой мощной из реляционных некоммерческих СУБД. Пополняться база данных может как посредством ручного ввода новых данных, так и путем конвертирования данных, полученных из других источников.

Оценка эффективности исследуемой системы может производиться как с использованием искусственных эталонных объектов, так и без них. Возможна адаптация СППР для применения в различных предметных областях (в частности, в сфере управления системой образования) за счет написания дополнительных модулей и подключения их к универсальному ядру программной системы по унифицированной схеме. В базе данных накапливаются результаты всех выполненных исследований. Предусмотрена возможность проведения многовариантных расчетов по одному и тому же сценарию.

Апробация разработанной системы поддержки принятия решений проводилась в рамках научных исследований по гранту Министерства образования РФ № Г02-3.2-268 от 2003 г. "Региональная экономическая безопасность: современные теоретические подходы и проблемы реализации в условиях Красноярского края", а также в рамках исследования эффективности функционирования отрасли "Здравоохранение" г. Красноярска, выполняемого в отделе экономики Главного управления здравоохранения г. Красноярска.

Исследование было проведено в соответствии с методикой, описанной в главе 3 диссертации. Статистические данные за 2001 г. были выбраны по регионам Сибирского федерального округа, по районам Красноярского края, по городам Самаре и Новосибирску. Были исследованы состояние экономической безопасности, уровень здоровья населения и эффективность функционирования отрасли "Здравоохранение" в этих регионах и городах. На основании получен-

ных результатов была получена информация для принятия управленческих решений. Фрагменты отчета о результатах исследования приведены в приложении к диссертации.

В заключении сформулированы основные результаты и сделаны выводы по диссертации.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ И ВЫВОДЫ

В результате диссертационного исследования проведена адаптация метода DEA для его применения в системах поддержки принятия решений с целью классификации многомерных объектов на основе их эффективности. Это позволит повысить эффективность управления сложными иерархическими системами за счет:

- комплексного подхода к оценке эффективности системы, при котором учитывается эффективность подсистем;

- упрощения интерпретации полученных оценок эффективности;

- повышения обоснованности принимаемых решений.

Основные результаты работы:

1. Проведен анализ методов классификации и показана эффективность метода DEA при решении задачи классификации. Показаны особенности использования этого метода в системах поддержки принятия решений.

2. Разработаны алгоритмы и процедуры построения искусственных границ эффективности, удовлетворяющих предложенному векторному критерию качества. Предложена процедура классификации реальных объектов на основе вложенных искусственных границ эффективности.

3. Предложена методика оценки эффективности сложных иерархических систем на основе метода DEA. Методика адаптирована для применения в сфере региональной экономической безопасности.

4. На основе предложенных алгоритмов и методик разработана универсальная система поддержки принятия решений по оценке эффективности сложных иерархических систем в различных сферах. Данная СППР адаптирована для применения в сфере региональной экономической безопасности.

5. С применением разработанной СППР, реализованной в виде программного продукта, выполнено исследование экономической безопасности Красноярского края, а также проведена оценка эффективности функционирования отрасли "Здравоохранение" г. Красноярска и Красноярского края.

Основные положения и результаты диссертационной работы представлены в следующих работах автора:

1. Дорофеева, Ю.В. Система обеспечения экономической безопасности региона / Ю.В. Дорофеева, Д.Е. Кацик, Е.П. Моргунов, А.И. Смирнов // Вестник НИИ СУВПТ: Информационные технологии и адаптация: Сб. научн. трудов / Под общей ред. профессора Н.В. Василенко.- Красноярск: НИИ СУВПТ, 2002,-С. 195-208.

2. Ерашов, Г.Ф. Система поддержки принятия решений при управлении качеством подготовки специалистов в университете / Г.Ф. Ерашов, Е.П. Моргунов, Т.А. Родчснко // Вестник НИИ СУВПТ: Сб. научных трудов / Под общей ред. профессора Н.В. Василенко- Красноярск: НИИ СУВПТ, 2003- (Вып. 13).-С. 185-195.

3. Колмыков, В.А. Анализ сравнительной эффективности функционирования бизнес-единиц / В.А. Колмыков, Е.П. Моргунов, О.И. Антамошкина // Вестник НИИ СУВПТ: Сб. научных трудов / Под общей ред. профессора Н.В. Василенко.- Красноярск: НИИ СУВПТ, 2000 - (Вып. 5).- С. 196-208.

4. Моргунов, Е.П. Граничные методы определения эффективности функционирования предприятий / Е.П. Моргунов // Информатика и системы управления: Межвузовский сборник научных трудов / Отв. редактор Б.П. Соустин-Красноярск: НИИ ИПУ, 2000 - С. 204-209.

5. Моргунов, Е.П. Подходы к построению критерия качества границы эффективности в методе Data Envelopment Analysis / Е.П. Моргунов // Актуальные проблемы современной науки и пути их решения: Материалы Ш межвузовской научной конференции аспирантов / КГТЭИ - Красноярск, 2003,- С. 8688.

6. Моргунов, Е.П. Система поддержки принятия решений для оценки уровня региональной экономической безопасности / Е.П. Моргунов // Вестник НИИ СУВПТ: Сб. научн. трудов / Под общей ред. профессора Н.В. Василенко-Красноярск: НИИ СУВПТ, 2003,- (Вып. 12).-С. 197-198.

7. Моргунов, Е.П. Подходы к разработке программного обеспечения для решения задач в области Efficiency and Productivity Analysis / Е.П. Моргунов, O.II. Моргунова // Вестник НИИ СУВПТ: Сб. научн. трудов / Под общей ред. профессора Н.В. Василенко - Красноярск: НИИ СУВПТ, 2003,- (Вып. И).- С. 136-139.

8. Моргунов, Е.П. Применение метода Data Envelopment Analysis для оценки качества подготовки специалистов в системе высшего профессионального образовапия / Е,П. Моргунов, О.Н. Моргунова // Совершенствование систем управления качеством подготовки специалистов: Материалы Всероссийской научно-методической конференции / Под ред. С.А. Подлесного: В 2 ч. Ч. 2 - Красноярск: ИПЦ КГТУ, 2003 - С. 63-64.

9. Моргунов, Е.П. Применение метода Data Envelopment Analysis в управлении системой образования / Е.П. Моргунов, O.II. Моргунова // Развитие системы образования в России XXI века: Материалы междунар. науч.-метод. конф. / Краснояр. гос. ун-т - Красноярск, 2003- С. 190-192.

10. Моргунов, Е.П. Применение метода Data Envelopment Analysis для управления качеством подготовки специалистов в университетских комплексах инженерного профиля / Е.П. Моргунов, О.Н. Моргунова // Актуальные проблемы и перспективы развития университетских комплексов инженерного профиля. Машриалы Всерос. научн.-метод. конф. (15-16 мая 2003, г. Красноярск) / СибГАУ.-Красноярск, 2003,- С. 132-133.

11. Моргунов, Е.П. Формирование искусственной границы эффективности в методе Data Envelopment Analysis / Е.П. Моргунов, О.Н. Моргунова //

Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева: Сб. научн. трудов / Под общей ред. профессора Г.П. Белякова - Красноярск: СибГАУ, 2003 - С. 385-386.---

12. Моргунов, Е.П. Программная реализация системы поддержки принятия решений при управлении экономической безопасностью региона / Е.П. Моргунов, С.А. Шабалин, О.И. Антамошкина // Вестник НИИ СУВПТ: Сб. научных трудов / Под общей ред. профессора Н.В. Василенко.- Красноярск: НИИ СУВПТ, 2003 .-(Вып. 13).-С. 175-184.

13. Моргунов, Е.П. Использование метода Data Envelopment Analysis в анализе деятельности лечебно-профилактических учреждений / Е.П. Моргунов, А.С. Ямщиков // Проблемы и перспективы российской экономики: Сборник статей / Под ред. профессора В.Д. Дорофеева.- Пенза, 2002 - С. 257-259.

14. Регион в системе внешнеэкономических связей: проблемы безопасности: Монография / В.И. Лячин, Н.В. Фирюлина, А.И. Смирнов, Д.Е. Кацик, Е.П. Моргунов; Гос. образоват. учреждение "ГАДМиЗ".- Красноярск, 2003 - 204 с.

15. Смирнов, А.И. Разработка системы мониторинга внешнеэкономической безопасности региона / А.И. Смирнов, Е.П. Моргунов, Д.Е. Кацик // Вестник НИИ СУВПТ: Сб. научн. трудов / Под общей ред. профессора Н.В. Василенко. - Красноярск: НИИ СУВПТ, 2003. - (Вып. 11). - С. 57-79.

16. Ямщиков, А.С. Применение метода Data Envelopment Analysis для оценки эффективности функционирования лечебно-профилактических учреждений г. Красноярска / А.С. Ямщиков, Е.В. Килина, Е.П. Моргунов // Сб. трудов конференции "Информационные недра Кузбасса - 2003".- Кемерово, 2003.

Отпечатано в отделе копировальной и множительной техники СибГАУ 660014 г. Красноярск, просп. им. газеты "Красноярский рабочий", 31

Моргунов Евгений Па:

Многомерная классификация на основе аналитического метода оценки эффективности сложных систем

Автореферат

Подписано к печати 31.10.2003 Формат 60x84/16. Бумага писчая. Печ. л. 1.0 Тираж 100 экз. Заказ № 5£3

»20512

Введение

1 Анализ проблемы и постановка задачи исследования

1.1 Математические методы классификации, используемые 12 в системах поддержки принятия решений с 1.1.1 Индексный метод с» 1.1.2 Методы, основанные на использовании аппарата 15 математической теории распознавания образов

1.1.2.1 Классификация без обучения (автоматическая 15 классификация, или кластерный анализ)

1.1.2.2 Классификация с обучением (дискриминантный анализ)

1 1.1.3 Многомерная размытая обучаемая классификация 1.1.4 Сравнительный анализ математических методов 24 классификации

1.2 Метод Data Envelopment Analysis в системах поддержки 27 принятия решений

1.2.1 Описание метода Data Envelopment Analysis 27 1.2.1.1 Эффективность функционирования социально- 27 экономических систем

1.2 Л .2 Основные модели метода DEA

1.2.1.3 Учет влияния окружающей среды

1.2.1.4 Индекс Мальмквиста

1.2.2 Особенности применения метода DEA в системах 41 поддержки принятия решений

1.2.3 Теоретические проблемы применения метода DEА 44 в системах поддержки принятия решений

1.3 Выводы

2 Решение некоторых теоретических проблем использования 48 метода Data Envelopment Analysis в системах поддержки принятия решений

2.1 Формирование искусственных эффективных объектов в методе DEA

2.1.1 Существующие подходы к формированию искусственных 48 { эффективных объектов

2.1.2 Предлагаемый алгоритм формирования искусственных 54 эффективных объектов

2.2 Решение задачи классификация на основе искусственной 58 границы эффективности

2.3 Критерий качества искусственной границы эффективности 63 * "1 2.4 Распознавание случаев взаимного пересечения искусственных границ эффективности

2.5 Выводы

3 Поддержка принятия решений на основе метода 73 Data Envelopment Analysis по оценке эффективности функционирования сложных иерархических систем

3.1 Методика оценки эффективности функционирования сложных 73 иерархических систем

3.2 Применение разработанной методики для оценки уровня 76 экономической безопасности региона

3.2.1 Введение в проблему оценки уровня экономической 76 безопасности региона

3.2.1.1 Понятие экономической безопасности

3.2.1.2 Региональные аспекты экономической безопасности

3.2.1.3 Подходы к определению пороговых значений 80 показателей экономической безопасности региона

3.2.2 Методика оценки уровня экономической безопасности 82 региона

3.3 Система поддержки принятия решений на основе метода DEA

3.3.1 Общие требования к системам поддержки принятия 89 решений

3.3.2 Архитектура универсальной СППР, построенной на основе 91 метода DEA

3.3.3 Подходы к построению СППР в сфере управления 93 экономической безопасностью региона

3.3.4 Адаптация универсальной СППР для решения задач 98 управления экономической безопасностью региона

3.4 Выводы 99 4 Программная реализация и апробация СППР

4.1 Требования к программному продукту

4.2 Архитектура программного продукта

4.2.1 Подходы к разработке программного обеспечения в сфере 103 оценки эффективности функционирования систем

4.2.2 Структура программных модулей

4.2.3 Структура базы данных

4.3 Апробация СППР

4.4 Выводы 113 Заключение 114 Список использованных источников 115 Приложение А Фрагмент отчета об исследовании, проведенном 129 по разработанной методике

Актуальность темы исследования. Проблема оценки эффективности функционирования систем очень остро встает в последние годы во всех сферах деятельности человека. Это касается экономики, социальной сферы, техники [2, 13, 27, 46, 49]. Значимость данной проблемы объясняется тем, что зачастую эффективность функционирования связана с эффективностью потребления дефицитных ресурсов, эффективностью их преобразования в результаты производства - выпускаемую продукцию того или иного вида: она может быть как материальной, так и нематериальной (например, в сфере образования или здравоохранения). Однако оценить эффективность функционирования сложной системы непросто [2, 5, 84]. В качестве примера можно привести социально-экономическую систему страны или ее отдельного региона. Зачастую оценка эффективности функционирования системы даже гораздо меньшего масштаба вызывает значительные трудности.

С другой стороны, эффективным средством исследования сложных объектов являются математические методы классификации. Применение этих методов позволяет на основе накопленной информации прогнозировать закономерности изучаемых явлений и процессов без предварительного построения их детальных математических моделей [62, с. 7].

На практике часто возникают задачи сравнения между собой и упорядочивания сложных систем по некоторому интегральному свойству, не поддающемуся непосредственному измерению. Речь может идти, в частности, о сравнении стран по уровню или качеству жизни, предприятий отрасли по эффективности их функционирования, сложных изделий - по обобщенной характеристике их качества, специалистов - по эффективности их участия в выполнении поставленной задачи и т.д. При этом общее представление о степени проявления анализируемого латентного (т.е. не поддающегося непосредственному измерению) свойства складывается как результат определенного суммирования целого ряда частных (и поддающихся измерению) характеристик, от которых зависит, в конечном счете, это свойство [68, с. 580].

Стремлением преодолеть трудности, возникающие при оценке эффективности систем, был вызван к жизни подход, называемый Efficiency and Productivity Analysis (EPA) [104, 111]. Значительный вклад в развитие этого направления внесли A. Charnes, W.W. Cooper, R. Fare, C.A. Knox Lovell, S. Grosskopf, R.R. Russell, R.D. Banker, T. Coelli, F. Forsund, L. Hjalmarsson и др. На русский язык этот термин можно перевести как "анализ эффективности и производительности". К сожалению, русскоязычной терминология в этой сфере еще практически нет. Поэтому приводимый перевод данного термина не является устоявшимся. В рамках ЕРА существует несколько методов, в том числе Data Envelopment Analysis (DEA). Данный метод был разработан в 1978 г. американскими учеными A. Charnes, W.W. Cooper, Е. Rhodes [103]. За это время он стал широко распространенным инструментом для оценки эффективности функционирования сложных систем в самых различных сферах (см., например, [93, 100, 102, 105— 107, 109-111, 115-121, 124, 125, 127]). При оценке сложных систем зачастую возникает сопутствующая проблема определения относительной важности разнородных показателей, описывающих функционирование системы. Также имеют место сложности с получением единственного - интегрального - показателя эффективности. Метод DEA позволяет избежать этих сложностей и дает возможность получить интегральный показатель эффективности для каждого из объектов, включенных в рассматриваемую систему, не требуя при этом априорного задания весовых коэффициентов для переменных. Таким образом, метод DEA может быть очень полезным в системах поддержки принятия решений (СППР), когда требуется классифицировать какие-либо объекты на основе оценки их эффективности. Однако метод не свободен от ограничений. В частности, он позволяет оценивать только относительную эффективность однородных объектов, включенных в выборку. Это означает, что объекты сравниваются между собой. Данное ограничение может быть преодолено с помощью формирования искусственных эффективных (эталонных) объектов и включения их в выборку наряду с реальными объектами. Однако известный алгоритм формирования искусственных эффективных (эталонных) объектов [128, 129] имеет ряд недостатков и нуждается в улучшении. Важной задачей является также разработка такой архитектуры СППР, которая позволяла бы проводить оценку эффективности сложных иерархических систем, используя на каждом уровне иерархии метод DEA и учитывая показатели эффективности подсистем при принятии решения об эффективности всей системы. Поскольку значительное количество реальных систем являются иерархическими или могут быть сведены к системам этого типа [5, 12, 27, 48, 60], то такая СППР могла бы применяться в весьма широком спектре областей, в частности, в сфере оценки экономической безопасности региона. Это новое направление в экономической науке, которое сейчас активно развивается [17, 61, 73, 88, 89].

Цель работы состоит в повышении эффективности управления сложными иерархическими системами посредством адаптации метода DEA к задачам классификации и разработки на его основе автоматизированной системы поддержки принятия решений при многомерной классификации.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Показать на основе анализа существующих методов классификации, что метод DEA может эффективно применяться для проведения многомерной классификации объектов.

2. Разработать процедуры и алгоритмы многомерной классификации объектов на основе искусственной границы эффективности.

3. Разработать основанную на методе DEA методику оценки эффективности функционирования сложных иерархических систем.

4. Разработать архитектуру СППР, позволяющую реализовывать предложенную методику оценки эффективности сложных иерархических систем.

5. Разработать программный продукт, реализующий вышеперечисленные методики, процедуры и алгоритмы в виде СППР, которая предназначена для использования в органах управления региона.

6. Провести апробацию разработанного программного продукта на примере оценки уровня экономической безопасности Красноярского края и эффективности функционирования отрасли "Здравоохранение" г. Красноярска и Красноярского края.

Методы исследования. При выполнении диссертационной работы использовались методы системного анализа, метод DEA, методы оптимизации, теория принятия решений, теория баз данных.

Научная новизна диссертационной работы состоит в следующем:

1. Метод DEA впервые использован для многомерной классификации объектов. Показана эффективность данного метода при решении этой задачи.

2. Разработан новый алгоритм формирования искусственных эффективных (эталонных) объектов для использования их в моделях метода DEA. Алгоритм построен на основе пошагового повышения размерности задачи и задания диапазонов допустимых изменений значений переменных. Предложенный алгоритм облегчает построение многомерной искусственной границы эффективности.

3. Разработан алгоритм классификации объектов на основе вложенных искусственных границ эффективности. Алгоритм позволяет упростить интерпретацию результатов классификации.

4. Впервые предложен векторный критерий качества границы эффективности в методе DEA. Критерий строится на основе информации о значениях дополнительных переменных в задаче оптимизации. Использование критерия позволяет повысить степень обоснованности решений по оценке эффективности объектов. Предложен способ скаляризации векторного критерия, основанный на использовании моделей DEA и позволяющий представить оценку качества границы эффективности в наглядной форме.

5. Разработана методика оценки эффективности функционирования сложных иерархических систем, основанная на методе DEA. Решение об эффективности системы принимается с учетом эффективности подсистем.

6. Предложена и обоснована эффективная архитектура СППР, а также методика ее применения при управлении экономической безопасностью региона. Оценка эффективности многоуровневых иерархических систем облегчается за счет наличия в СППР специального модуля описаний иерархических взаимосвязей в системе, которые представлены в форме реляционных таблиц базы данных.

Практическая ценность работы и реализация полученных результатов. Разработанная СППР, а также предложенные в диссертационной работе алгоритмы и методики ориентированы на практическое применение в реальных ситуациях в различных сферах, в том числе и для решения задач по управлению экономической безопасностью региона. На основе созданных алгоритмов разработано программное обеспечение, позволяющее решать практические задачи, связанные с анализом текущего состояния уровня экономической безопасности региона. Разработанная СППР позволяет повысить обоснованность принимаемых решений по управлению экономической безопасностью на региональном уровне. Разработанное программное обеспечение используется также при решении практических задач по управлению отраслью "Здравоохранение" г. Красноярска, что подтверждается соответствующими документами.

Результаты диссертационной работы и разработанная СППР используются при проведении научных исследований в рамках гранта Министерства образования РФ № Г02-3.2-268 от 2003 г. "Региональная экономическая безопасность: современные теоретические подходы и проблемы реализации в условиях Красноярского края". Руководитель гранта - доктор экономических наук, профессор В.И. Лячин, Красноярская государственная академия цветных металлов и золота (КГАЦМиЗ). Результаты работы использованы также в ходе курсового и дипломного проектирования в КГАЦМиЗ и Сибирском государственном аэрокосмическом университете (СибГАУ). Материалы диссертационной работы введены в учебный курс "Проектирование сложных систем" в СибГАУ.

Достоверность полученных результатов исследования обусловлена корректным применением аппарата системного анализа, математических методов оптимизации и метода DEA, а также теории алгоритмов и баз данных.

Основные положения, выносимые на защиту:

1. Метод DEA является эффективным средством решения задачи многомерной классификации объектов при оценке эффективности сложных иерархических систем.

2. Искусственная граница эффективности, построенная на основе разработанного алгоритма формирования искусственных эффективных (эталонных) объектов, позволяет выполнять более точную оценку эффективности функционирования систем.

3. Предложенный векторный критерий качества границы эффективности в методе DEA дает возможность более обоснованно интерпретировать результаты оценки эффективности функционирования систем.

4. Разработанная на основе метода DEA методика оценки эффективности функционирования сложных иерархических систем позволяет оценивать систему с учетом эффективности функционирования ее подсистем.

5. СППР, реализованная в виде программного продукта с предложенной архитектурой, является инструментом повышения обоснованности и оперативности принятия решений по управлению экономической безопасностью региона.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях:

- Всероссийская научно-практическая конференция "Проблемы и перспективы российской экономики" (г. Пенза, Приволжский дом знаний, 2002 г.);

- II Научно-практическая конференция "Информационные недра Кузбасса - 2003" (г. Кемерово, Кемеровский государственный университет, 2003 г.);

- Всероссийская научно-методическая конференции "Совершенствование систем управления качеством подготовки специалистов" (г. Красноярск, Красноярский государственный технический университет, 2003 г.);

- Всероссийская научно-методическая конференция "Актуальные проблемы и перспективы развития университетских комплексов инженерного профиля" (г. Красноярск, Сибирский государственный аэрокосмический университет, 2003 г.);

- III межвузовская научная конференция аспирантов "Актуальные проблемы современной науки и пути их решения" (г. Красноярск, Красноярский государственный торгово-экономический институт, 2003 г.);

- Международная научно-методическая конференция "Развитие системы образования в России XXI века" (г. Красноярск, Красноярский государственный университет, 2003 г.).

Основные положения диссертационной работы и работа в целом обсуждались на научных семинарах кафедр "Системного анализа и исследования операций" и "Информатики и вычислительной техники" Сибирского государственного аэрокосмического университета (2000-2003 гг.), а также на заседаниях Научно-технического совета Научно-исследовательского института систем управления, волновых процессов и технологий (2001-2003 гг.).

Публикации. По результатам работы опубликовано 15 статей и докладов [19, 20, 31, 50-59, 75, 91]. Написан раздел 3.1 (с. 128-141) и принято участие в написании раздела 3.2 (с. 142-167) в коллективной монографии [70].

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка используемой литературы (132 наименования) и приложения. Содержание работы изложено на 128 страницах основного текста, проиллюстрировано 11 рисунками и 1 таблицей. В приложении представлены материалы, свидетельствующие о практической реализации результатов исследований и разработок автора.

Основные результаты работы:

1. Проведен анализ методов классификации и показана эффективность метода DEA при решении задачи классификации. Показаны особенности использования этого метода в системах поддержки принятия решений.

2. Разработаны алгоритмы и процедуры построения искусственных границ эффективности, удовлетворяющих предложенному векторному критерию качества. Предложена процедура классификации реальных объектов на основе вложенных искусственных границ эффективности.

3. Предложена методика оценки эффективности сложных иерархических систем на основе метода DEA. Методика адаптирована для применения в сфере региональной экономической безопасности.

4. На основе предложенных алгоритмов и методик разработана универсальная система поддержки принятия решений по оценке эффективности сложных иерархических систем в различных сферах. Данная СППР адаптирована для применения в сфере региональной экономической безопасности.

5. С применением разработанной СППР, реализованной в виде программного продукта, выполнено исследование экономической безопасности Красноярского края, а также проведена оценка эффективности функционирования отрасли "Здравоохранение" г. Красноярска и Красноярского края.

Заключение

В результате диссертационного исследования проведена адаптация метода DEA для его применения в системах поддержки принятия решений с целью классификации многомерных объектов на основе их эффективности. Это позволит повысить эффективность управления сложными иерархическими системами за счет:

- комплексного подхода к оценке эффективности системы, при котором учитывается эффективность подсистем;

-упрощения интерпретации полученных оценок эффективности;

- повышения обоснованности принимаемых решений.

1. Агапова, Т.Н. Методика и инструментарий для мониторинга экономической безопасности региона / Т.Н. Агапова // Вопросы статистики 2001 - № 2.-С. 44-48.

2. Анализ эффективности функционирования сложных систем / В.Е. Кри-воножко, А.И. Пропой, Р.В. Сеньков, И.В. Родченков, П.М. Анохин // Автоматизация проектирования.- 1999- № 1.- С. 2-7.

3. Англо-русский словарь математических терминов / Под ред. П.С. Александрова 2-е изд., испр. и доп.- М.: Мир, 1994.- 416 с.

4. Андрейчиков, А.В. Анализ, синтез, планирование решений в экономике / А.В. Андрейчиков, О.Н. Андрейчикова.- М.: Финансы и статистика, 2002 — 368 с.

5. Анфилатов, B.C. Системный анализ в управлении: Учеб. пособие / B.C. Анфилатов, А.А. Емельянов, А.А. Кукушкин; Под ред. А.А. Емельянова М.: Финансы и статистика, 2002.- 368 с.

6. Базы данных. Интеллектуальная обработка информации / В.В. Корнеев, А.Ф. Гареев, С.В. Васютин, В.В. Райх М.: Издатель Молгачева С.В.: Нолидж, 2001.-496 с.

7. Бир, С. Мозг фирмы: Пер. с англ. / С. Бир- М.: Радио и связь, 1993416 с.

8. Бобровский, С.И. Технологии Пентагона на службе российских программистов. Программная инженерия / С.И. Бобровский СПб.: Питер, 2003 — 222 с.

9. Браун, М. Perl. Архив программ: Пер. с англ. / М. Браун М: ЗАО "Издательство БИНОМ", 2001- 720 с.

10. Бронштейн, И.Н. Справочник по математике для инженеров и учащихся втузов / И.Н. Бронштейн, К.А. Семендяев М.: Наука, 1980 - 976 с.

11. Варфоломеев, В.И. Принятие управленческих решений: Учеб. пособие для вузов / В.И. Варфоломеев, С.Н. Воробьев.- М.: КУДИЦ-ОБРАЗ, 2001.- 288 с.

12. Волкова, В.И. Основы теории систем и системного анализа: Учебник для студентов вузов, обучающихся по специальности "Системный анализ и управление" / В.Н. Волкова, А.А. Денисов 2-е изд., перераб. и доп.- СПб.: Изд-во СПбГТУ, 2001.- 512 с.

13. Выгон, Г.В. Анализ связи технологической эффективности и рыночной капитализации компаний / Г.В. Выгон, А.Б. Поманский // Экономика и математические методы 2000 - Т. 36, № 2 - С. 70-87.

14. Гайдышев, И. Анализ и обработка данных: Специальный справочник / И. Гайдышев,- СПб: Питер, 2001 752 с.

15. Гранберг, А.Г. Моделирование социалистической экономики: Учеб. для студ. экон. вузов / А.Г. Гранберг.- М.: Экономика, 1988 487 с.

16. Грофф, Дж. SQL: Полное руководство: Пер. с англ. / Дж. Грофф, П. Вайнберг.- 2-е изд., перераб. и доп.- К.: Издательская группа BHV, 2001.- 816 с.

17. Гуськов, Н.С. Экономическая безопасность регионов России / Н.С. Гуськов, В.Е. Зенякин, В.В. Крюков.- М: Алгоритм, 2000 288 с.

18. Дейт, К. Дж. Введение в системы баз данных: 6-е издание: Пер. с англ. / К. Дж. Дейт К.; М.; СПб.: Издательский дом "Вильяме", 1999 - 848 с.

19. Замков, О.О. Математические методы в экономике: Учебник / О.О. Замков, А.В. Толстопятенко, Ю.Н. Черемных 2-е изд.- М: МГУ им. М.В. Ломоносова: Издательство "Дело и Сервис", 1999 — 368 с.

20. Интеллектуальные системы поддержки принятия решений в нештатных ситуациях с использованием информации о состоянии природной среды / В.А. Геловани, А.А. Башлыков, В.Б. Бритков, Е.Д. Вязилов М.: Эдиториал УРСС, 2001.-304 с.

21. Интрилигатор, М. Математические методы оптимизации и экономическая теория: Пер. с англ. / М. Интрилигатор М.: Айрис-пресс, 2002 — 576 с.

22. Ириков, В.А. Распределенные системы принятия решений. Теория и приложения / В.А. Ириков, В.Н. Тренев.- М.: Наука: Физматлит, 1999.- 288 с.

23. Искусство программирования на С. Фундаментальные алгоритмы, структуры данных и примеры приложений: Энциклопедия программиста: Пер. с англ. / Р. Хэзфилд, JI. Кирби, Д. Корбит и др.- К.: Диасофт, 2001.- 736 с.

24. Канер, С. Тестирование программного обеспечения: Пер. с англ. / Сэм Канер, Джек Фолк, Енг Кек Нгуен.- К.: Издательство "ДиаСофт", 2000 544 с.

25. Капица, С.П. Синергетика и прогнозы будущего / С.П. Капица, С.П. Курдюмов, Г.Г. Малинецкий 2-е изд.- М.: Эдиториал УРСС, 2001.- 288 с.

26. Клекка, У.Р. Дискриминантный анализ / У.Р. Клекка // Факторный, дискриминантный и кластерный анализ / Дж. О. Ким, Ч.У. Мюллер, У.Р. Клекка и др.- М.: Финансы и статистика, 1989 215 с.

27. Клир, Дж. Системология. Автоматизация решения системных задач: Пер. с англ. / Дж. Клир М.: Радио и связь, 1990 - 544 с.

28. Коллинз, Г. Структурные методы разработки систем: от стратегического планирования до тестирования: Пер. с англ. / Г. Коллинз, Дж. Блэй; Под ред. и с предисл. В.М. Савинкова.- М.: Финансы и статистика, 1986 264 с.

29. Колмыков, В.А. Анализ сравнительной эффективности функционирования бизнес-единиц / В.А. Колмыков, Е.П. Моргунов, О.И. Антамошкина //

30. Вестник НИИ СУВПТ: Сб. научных трудов / Под общей ред. профессора Н.В. Василенко Красноярск: НИИ СУВПТ, 2000 - (Вып. 5).- С. 196-208.

31. Кондоров, A.M. Автоматизированная система поддержки управленческих решений / A.M. Кондоров М.: Интерэкспорт, 1991.

32. Конюховский, П.В. Математические методы исследования операций / П.В. Конюховский-СПб: Питер, 2001.- 192 с.

33. Кремлев, Н.Д. Вопросы оценки экономической безопасности региона / Н.Д. Кремлев, В.Г. Федоров, М.Ф. Сергеев // Вопросы статистики 2001 - № 2.-С. 42-44.

34. Кристиансен, Т. Perl: Библиотека программиста / Т. Кристиансен, Н. Торкингтон СПб.: Питер, 2001 - 736 с.

35. Кузнецов, А.В. Высшая математика: Математическое программирование: Учебник / А.В. Кузнецов, В.А. Сакович, Н.И. Холод; Под общ. ред. А.В. Кузнецова 2-е изд., перераб. и доп.- Мн.: Вышэйшая школа, 2001 - 351 с.

36. Кузнецов, А.В. Руководство к решению задач по математическому программированию: Учеб. пособие / А.В. Кузнецов, Н.И. Холод, JI.C. Костевич; Под общ. ред. А.В. Кузнецова 2-е изд., перераб. и доп.- Мн.: Вышэйшая школа, 2001.-448 с.

37. Ларичев, О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учебник / О.И. Ларичев 2-е изд., перераб. и доп.- М.: Логос, 2002 - 392 с.

38. Липаев, В.В. Управление разработкой программных средств: Методы, стандарты, технология / В.В. Липаев М.: Финансы и статистика, 1993 - 160 с.

39. Лопатников, Л.И. Экономико-математический словарь: Словарь современной экономической науки / Л.И. Лопатников 5-е изд., перераб. и доп.— М.: Дело, 2003.- 520 с.

40. Лотов, А.В. Введение в экономико-математическое моделирование / А.В. Лотов М.: Наука, 1984.-392 с.

41. Лыкшин, С. Развитие экономики России и ее реструктуризация как гарантия экономической безопасности / С. Лыкшин, А. Свинаренко // Вопросы экономики 1994-№ 12-С. 115-119.

42. Маглакелидзе, Т. О задачах и критериях обеспечения экономической безопасности / Т. Маглакелидзе // Общество и экономика 2001.- № 1— С. 105111.

43. Майерс, Г. Искусство тестирования программ / Г. Майерс; Пер с англ. под ред. Б.А. Позина М.: Финансы и статистика, 1982 - 176 с.

44. Малиновский, Л.Г. Анализ статистических связей: Модельно-конструктивный подход / Л.Г. Малиновский; Ин-т проблем передачи информации- М.: Наука, 2002.- 688 с.

45. Мезоэкономика переходного периода: Рынки, отрасли, предприятия / Под ред. Г.Б. Клейнера,- М.: Наука, 2001.-516 с.

46. Многомерный статистический анализ в экономике: Учеб. пособие для вузов / Л.А. Сошникова, В.Н. Тамашевич, Г. Уебе, М. Шефер; Под ред. В.Н. Тамашевича М.: ЮНИТИ-ДАНА, 1999.-598 с.

47. Могилевский, В.Д. Методология систем: вербальный подход / В.Д. Могилевский.-М.: Экономика, 1999.-251 с.

48. Моделирование социо-эколого-экономической системы региона / Под ред. В.И. Гурмана, Е.В. Рюминой М.: Наука, 2001 - 175 с.

49. Моргунов, Е.П. Граничные методы определения эффективности функционирования предприятий / Е.П. Моргунов // Информатика и системы управления: Межвузовский сборник научных трудов / Отв. редактор Б.П. Соустин-Красноярск: НИИ ИПУ, 2000.- С. 204-209.

50. Моргунов, Е.П. Использование метода Data Envelopment Analysis в анализе деятельности лечебно-профилактических учреждений / Е.П. Моргунов,

51. A.С. Ямщиков // Проблемы и перспективы российской экономики: Сборник статей / Под ред. профессора В.Д. Дорофеева Пенза, 2002 - С. 257-259.

52. Мухин, В.И. Исследование систем управления: Учебник для вузов /

53. B.И. Мухин М.: Экзамен, 2003 - 384 с.

54. Научно-технологическая безопасность регионов России: методические подходы и результаты диагностирования / А.И. Татаркин, Д.С. Львов, А.А. Куклин и др-Екатеринбург: Изд-во Урал, ун-та, 2000.-416 с.

55. Непараметрические системы классификации / А.В. Лапко, В.А. Лапко,

56. М.И. Соколов, С.В. Ченцов Новосибирск: Наука, 2000 - 240 с.

57. Орлов, С.А. Технологии разработки программного обеспечения: Учебник / С.А. Орлов СПб.: Питер, 2002 - 464 с.

58. Пантелеев, А.В. Методы оптимизации в примерах и задачах: Учеб. пособие / А.В. Пантелеев, Т.А. Летова М.: Высшая школа, 2002 - 544 с.

59. Поиск подходов к решению проблем / И.В. Прангишвили, Н.А. Абрамова, В.Ф. Спиридонов и др.- М.: Синтег, 1999- 284 с.

60. Прангишвили, И.В. Системный подход и общесистемные закономерности / И.В. Прангишвили.- М.: Синтег, 2000.- 528 с.

61. Прангишвили, И.В. Энтропийные и другие системные закономерности: Вопросы управления сложными системами / И.В. Прангишвили; Ин-т проблем управления им. В.А. Трапезникова М.: Наука, 2003 - 428 с.

62. Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т.- 2-е изд., испр Т. 1: Айвазян, С.А. Теория вероятностей и прикладная статистика / С.А. Айвазян, B.C. Мхитарян.- М.: ЮНИТИ-ДАНА, 2001 - 656 с.

63. Пугачев, B.C. Теория вероятностей и математическая статистика: Учеб. пособие / B.C. Пугачев 2-е изд., испр. и доп.- М.: Физматлит, 2002 - 496 с.

64. Регион в системе внешнеэкономических связей: проблемы безопасности: Монография / В.И. Лячин, Н.В. Фирюлина, А.И. Смирнов, Д.Е. Кацик, Е.П. Моргунов; Гос. образоват. учреждение "ГАЦМиЗ".- Красноярск, 2003- 204 с.

65. Розен, В.В. Математические модели принятия решений в экономике: Учеб. пособие / В.В. Розен М.: Книжный дом "Университет": Высшая школа, 2002.- 288 с.

66. Садков, В.Г. Многоцелевая интегрированная система мониторинга и моделирования развития регионов / В.Г. Садков // Вопросы статистики.— 2000 — №2.-С. 48-54.

67. Сенчагов В.К. Экономическая безопасность: геополитика, глобализация, самосохранение и развитие (книга четвертая) / В.К. Сенчагов; Ин-т экономики РАН.- М.: ЗАО "Финстатинформ", 2002 128 с.

68. Сио, К.К. Управленческая экономика: Пер. с англ. / К.К. Сио.- М: ИНФРА-М, 2000.-671 с.

69. Соммервилл, И. Инженерия программного обеспечения: 6-е издание: Пер. с англ. / И. Соммервилл М: Издательский дом "Вильяме", 2002 — 624 с.

70. Столлингс, В. Операционные системы: 4-е издание: Пер. с англ. / В. Столлингс- М.: Издательский дом "Вильяме", 2002 848 с.

71. Таха, X. Введение в исследование операций: 6-е издание: Пер. с англ. / X. Таха.- М: Издательский дом "Вильяме", 2001.- 912 с.

72. Трахтенгерц, Э.А. Компьютерная поддержка принятия решений / Э.А. Трахтенгерц.- М.: Синтег, 1998.- 376 с.

73. Трахтенгерц, Э.А. Субъективность в компьютерной поддержке управленческих решений / Э.А. Трахтенгерц М.: Синтег, 2001.- 256 с.

74. Уорсли, Дж. PostgreSQL. Для профессионалов / Дж. Уорсли, Дж. Дрейк.- СПб.: Питер, 2003- 496 с.

75. Фокс, Дж. Программное обеспечение и его разработка: Пер. с англ. / Дж. Фокс М.: Мир, 1985 - 368 с.

76. Фролькис, В.А. Введение в теорию и методы оптимизации для экономистов / В.А. Фролькис 2-е изд.- СПб: Питер, 2002 - 320 с.

77. Цыгичко, В.Н. Руководителю о принятии решений / В.Н. Цыгичко-М.: Финансы и статистика, 1991.-240 с.

78. Черноруцкий, И.Г. Методы оптимизации и принятия решений: Учебное пособие / И.Г. Черноруцкий СПб: Лань, 2001.- 384 с.

79. Шилдт, Г. Полный справочник по С: 4-е издание: Пер. с англ. / Г. Шилдт- М.: Издательский дом "Вильяме", 2002 704 с.

80. Эбен, М. FreeBSD. Энциклопедия пользователя: Пер. с англ. / М. Эбен, Б. Таймэн.- К.: ООО "ТИД "ДС", 2002.- 736 с.

81. Экономическая безопасность: Производство Финансы - Банки / Под. ред. В.К. Сенчагова - М.: ЗАО "Финстатинформ", 1998 - 621 с.

82. Экономическая безопасность региона: единство теории, методологии исследования и практики / А.И. Татаркин, А.А. Куклин, О.А. Романова и др-Екатеринбург: Изд-во Урал, ун-та, 1997 240 с.

83. Экономическая безопасность хозяйственных систем: Учебник / Под ред. А.В. Колосова.- М.: Изд-во РАГС, 2001.- 446с.

84. Afriat, S.N. Efficiency Estimation of Production Functions / S.N. Afriat // International Economic Review 1972, October-Vol. 13, No. 3.- Pp. 568-598.

85. Ahn Т. Some Statistical and DEA Evaluations of Relative Efficiencies of Public and Private Institutions of Higher Learning / T. Ahn, A. Charnes, W.W. Cooper// Socio-Econ. Plann. Sci 1988.- Vol. 22, No. 6.- Pp. 259-269.

86. Aigner, D.J. On Estimating the Industry Production Function / D.J. Aigner, S.F. Chu // The American Economic Review.- 1968 Vol. 58 - Pp. 826-839.

87. Banker, R.D. Hypothesis Tests Using Data Envelopment Analysis / R.D. Banker // The Journal of Productivity Analysis.- 1996 Vol. 7 - Pp. 139-159.

88. Banker, R.D. Maximum Likelihood, Consistency and Data Envelopment Analysis: A Statistical Foundation / R.D. Banker // Management Science 1993, October.-Vol. 39, No. 10.-Pp. 1265-1273.

89. Banker, R.D. Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis / R.D. Banker, A. Charnes, W.W. Cooper // Management Science.- 1984, September.- Vol. 30, No. 9 Pp. 1078-1092.

90. Blackorby, C. Aggregation of Efficiency Indices / C. Blackorby, R. R. Russell // Journal of Productivity Analysis 1999 - Vol. 12.- Pp. 5-20.

91. Bowlin W.F. Measuring Performance: An Introduction to Data Envelopment Analysis (DEA) / W.F. Bowlin // Journal of Cost Analysis Fall 1998 - Pp. 327.

92. Burges, J.F., jr. Technical Efficiency in Veterans Administration Hospitals / J.F. Burges, jr., P.W. Wilson // The Measurement of Productive Efficiency / H.O. Fried, C.A.K. Lovell, S.S. Schmidt, eds.- NY: Oxford University Press, 1993- Pp. 335-351.

93. Charnes, A. Programming with Linear Fractional Functionals / A. Charnes, W.W. Cooper // Naval Research Logistics Quarterly 1962 - Vol. 9, No. 3, 4-Pp. 181-185.

94. Charnes, A. Evaluating Program and Managerial Efficiency: An Application of Data Envelopment Analysis to Program Follow Through / A. Charnes, W.W. Cooper, E. Rhodes // Management Science.- 1981, June Vol. 27, No. 6 - Pp. 668688.

95. Charnes, A. Measuring the Efficiency of Decision Making Units / A. Charnes, W.W. Cooper, E. Rhodes // European Journal of Operational Research-1978.- Vol. 2.- Pp. 429-444.

96. Coelli, T. An Introduction to Efficiency and Productivity Analysis / T. Coelli, D.S. Prasada Rao, G.E. Battese- Boston: Kluwer Academic Publishers, 1998.-275 pp.

97. Colbert, A. Determining the Relative Efficiency of MBA Programs Using DEA / A. Colbert, R.R. Levaiy, M.C. Shaner // European Journal of Operational Research.- 2000.- Vol. 125.- Pp. 656-669.

98. Cooper, W.W. Data Envelopment Analysis: A Comprehensive Text with Models, Applications, References, and DEA-Solver Software / W.W. Cooper, L.M. Seiford, K. Tone Boston: Kluwer Academic Publishers, 2000.-318 pp.

99. Data Envelopment Analysis: Theory, Methodology, and Application / A. Charnes, W.W. Cooper, A.Y. Lewin, L.M. Seiford.- Boston: Kluwer Academic Publishers, 1994.-513 pp.

100. Data Envelopment Analysis and Regression Approaches to Efficiency Estimation and Evaluation / W.F. Bowlin, A. Charnes, W.W. Cooper, H.D. Sherman // Annals of Operations Research.- 1985 Vol. 2 - Pp. 113-138.

101. Fare, R. Measuring the Technical Efficiency of Production / R. Fare, C.A. Knox Lovell // Journal of Economic Theoiy- 1978.- Vol. 19 Pp. 150-162.

102. Fare, R. Production Frontiers / R. Fare, S. Grosskopf, C.A. Knox Lovell.-Cambridge: Cambridge University Press, 1994- 296 pp.

103. Farrell, M.J. The Measurement of Productive Efficiency / M.J. Farrell // Journal of The Royal Statistical Society, Series A (General), Part III 1957 - Vol. 120.-Pp. 253-281.

104. Friedman, L. Scaling Units via the Canonical Correlation Analysis in the DEA Context / L. Friedman, Z. Sinuany-Stern // European Journal of Operational Research.- 1997.-Vol. 100.-Pp. 629-637.

105. Hollingsworth, B. Efficiency Measurement of Health Care: A Review of Non-parametric Methods and Applications / B. Hollingsworth, P.J. Dawson, N. Ma-niadakis // Health Care Management Science 1999 - Vol. 2 - Pp. 161-172.

106. Kittelsen, S.A.C. Efficiency Analysis of Norwegian District Courts / S.A.C. Kittelsen, F.R. Fcrsund // The Journal of Productivity Analysis.- 1992.- Vol. 3.- Pp. 277-306.

107. Maniadakis, N. The Impact of the Internal Market on Hospital Efficiency, Productivity and Service Quality / N. Maniadakis, B. Hollingsworth, E. Thanassoulis // Health Care Management Science 1999 - Vol. 2 - Pp. 75-85.

108. Parkin, D. Measuring Production Efficiency of Acute Hospitals in Scotland, 1991-94: Validity Issues in Data Envelopment Analysis / D. Parkin, B. Hollingsworth // Applied Economics 1997 - Vol. 29 - Pp. 1425-1433.

109. Ruggiero, J. Cost Efficiency in the Provision of Educational Services: An Application of Data Envelopment Analysis / J. Ruggiero // Journal of Cost Analysis-Fall 1998.-Pp. 53-71.

110. Russell, R. R. Measures of Technical Efficiency / R. R. Russell // Journal of Economic Theory.- 1985-Vol. 35- Pp. 109-126.

111. Sensitivity and Stability Analysis in DEA / A. Charnes, W.W. Cooper, A.Y. Lewin, R.C. Morey, J. Rousseau // Annals of Operations Research.- 1985-Vol. 2.-Pp. 139-156.

112. R.Sexton, T.R. The Impact of Prospective Reimbursement on Nursing Home Efficiency / T. R. Sexton, A.M. Leiken, S. Sleeper, A.F. Coburn // Medical Care.- 1989, February.- Vol. 27, No. 2.- Pp. 154-163.

113. Sexton, T.R. Evaluating Managerial Efficiency of Veterans Administration Medical Centers Using Data Envelopment Analysis / T.R. Sexton, A.M. Leiken, A.H. Nolan, et al. // Medical Care.- 1989, December.- Vol. 27, No. 12.- Pp. 1175-1188.

114. Sinuany-Stern, Z. DEA and the Discriminant Analysis of Ratios for Ranking Units / Z. Sinuany-Stern, L. Friedman // European Journal of Operational Research.- 1998.-Vol. 111.- Pp. 470-478.

115. Sinuany-Stern, Z. Academic Departments Efficiency via DEA / Z. Sinuany-Stern, A. Mehrez, A. Barboy // Computers Ops Res 1994.- Vol. 21, No. 5 - Pp. 543-556.

116. Sowlati, T. Establishing the Practical Frontier in DEA: Ph.D. dissertation / T. Sowlati University of Toronto, Canada, 2001.

117. Thanassoulis, E. Simulating Weights Restrictions in Data Envelopment Analysis by Means of Unobserved DMUs / E. Thanassoulis, R. Allen // Management Science.- 1998, April.- Vol. 44, No. 4.- Pp. 586-594.

118. The Measurement of Productive Efficiency / H.O. Fried, C.A.K. Lovell, S.S. Schmidt, eds.-NY: Oxford University Press, 1993.-426 pp.

119. Yu, G. Construction of All DEA Efficient Surfaces of the Production Possibility Set Under the Generalized Data Envelopment Analysis Model / G. Yu, Q. Wei, P. Brockett, L. Zhou // European Journal of Operational Research 1996 - Vol. 95.-Pp. 491-510.