автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Синтез и исследование алгоритмов оценивания степени соответствия объекта функциональному назначению

На правах рукописи

КУЗНЕЦОВА МАРИНА ВЛАДИМИРОВНА

СИНТЕЗ И ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОЦЕНИВАНИЯ СТЕПЕНИ СООТВЕТСТВИЯ ОБЪЕКТА

ФУНКЦИОНАЛЬНОМУ НАЗНАЧЕНИЮ (НА ПРИМЕРЕ КАЧЕСТВА ВЫСШЕГО ОБРАЗОВАНИЯ)

Специальность 05,13.10 - управление в социальных и экономических системах (технические науки)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

? 4 СЕН 2009

Москва - 2009

003477388

Работа выполнена в ГОУ ВПО "Пензенская государственная технологическая академия" на кафедре "Техническое управление качеством".

Научный руководитель: доктор технических наук, профессор,

заслуженный деятель науки РФ Рыжаков Виктор Васильевич

Официальные оппоненты: доктор технических наук, профессор,

Литвак Борис Григорьевич доктор технических наук, профессор, Юрков Николай Кондратьевич

Ведущая организация: Липецкий государственный

технический университет

Защита состоится «23» октября 2009 г., в «1300» часов, на заседании диссертационного совета Д 212.132.10 в ФГОУ ВПО "Государственный технологический университет "Московский институт стали и сплавов" по адресу: 105318, Москва, Измайловское шоссе, д. 4.

С диссертацией можно ознакомиться в библиотеке Исследовательского центра проблем качества подготовки специалистов ФГОУ ВПО "Государственный технологический университет "Московский институт стали и сплавов".

Автореферат разослан «16» сентября 2009 г.

Ученый секретарь диссертационного совета

И.Б. Моргунов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Внедрение информационных технологий в практику управления социально-экономическими системами порождает проблемы, решение которых требует специальных аналитических исследований и практических расчетов. Обострение конкуренции на национальном и международном уровнях, внедрение на предприятиях и в организациях систем качества, соответствующих международным стандартам, заставило вновь обратиться к статистическим методам. Использование статистических методов является одним из главных средств, повышающих соответствие продукции и услуг требованиям стандартов и одновременно предусматривающих сдерживание роста затрат по управлению организацией наряду с модернизацией и усовершенствованием технологий, повышением рентабельности производственных процессов, качества продукции и услуг. Таким образом, статистические методы признаются важным условием эффективного управления качеством.

Понятие качества - фундаментальная категория, выступающая в роли атрибута любого материального объекта, но обычно данное понятие рассматривают гораздо уже - как совокупность свойств объекта, обусловливающих его пригодность для использования по назначению. В соответствии с международным стандартом ИСО 9000:2000: "качество - степень выполнения требований совокупностью собственных характеристик (продукции, системы или процесса)".

Последнее определение отличается от ранее использованных, в том числе и стандартизированных определений несколькими принципиальными положениями, существенно влияющими на подход к оцениванию качества. Федеральный закон "О техническом регулировании" определяет цели оценки соответствия как удостоверение соответствия техническим регламентам, стандартам. Под удостоверением соответствия техническим регламентам, стандартам, понимается определение выполнения требований к объекту в соответствии с его функциональным назначением. Функциональное назначение является важнейшей характеристикой объекта как элемента системы и определяет его место в системе. Функциональное назначение может быть сформулировано в виде основной функции для объекта - элемента системы или некоторого множества функций для объекта как подсистемы. Под степенью соответствия объекта функциональному назначению (ССОФН) понимается сводный (комплексный, обобщенный) показатель, синтезирующий (агрегирующий) отдельные показатели соответствия в единую сводную оценку, учитывающую как значения используемых показателей, так и их значимость для оценки объекта в целом.

В работе синтезированы алгоритмы определения ССОФН на основе анализа их эффективности и метрологических характеристик. Эффективность алгоритма определяется величинами дисперсий полученных оценок соответствия: меньше дисперсия (по сравнению с дисперсиями оценок, полученных на основе других алгоритмов) - выше эффективность данного алгоритма и наоборот. Метрологические характеристики алгоритма выражаются дисперсиями оценок показателей соответствия,

вызванных дисперсиями (погрешностями) оценивания (измерения) параметров объекта или средними квадратическими отклонениями параметров объекта.

Анализ нормативных документов, результатов научных исследований, работ отечественных ученых Ю.П. Адлера, Г.Г. Азгальдова, В.Г. Велика, Г.Н. Бобровни-кова, A.B. Гличева, Б.Г. Литвака, А.И. Орлова, В.В. Рыжакова, Н.В. Селезневой, Г.Н. Солода, А.И. Субетго, А.Г. Суслова, М.В. Федорова, Ю.В. Федотова, В.Н. Фомина, Н.В. Хованова, И.Ф. Шишкина и др. свидетельствует о том, что данная область знаний активно развивается. При этом информация о существующих методах оценивания ССОФН требует доказательств системности, научной обоснованности и эффективности применяемых методов определения степени соответствия.

Таким образом, актуальность темы работы предопределена востребованностью теоретико-методологических обоснований выбора и методов, позволяющих аргументировано осуществить этот выбор из многообразия имеющихся алгоритмов оценивания степени соответствия по определенным базовым характеристикам; отсутствием обоснованных рекомендаций по снижению конфликтности алгоритмов, порождаемой корпоративными интересами различных структур. Отсюда возникает противоречие. Суть его такова. Известен ряд алгоритмов (критериев) оценивания качества - степени соответствия, но обоснованно выбрать из их числа лучший затруднительно, так как нет инструментария, позволяющего исследовать свойства этих алгоритмов и сравнивать их между собой.

С учетом этого противоречия был сделан выбор темы исследования, проблема которого сформулирована следующим образом: как повысить конкурентоспособность отечественной продукции и услуг, в частности, путем совершенствования методов оценивания их качества (ССОФН) и использования при принятии решений в реальных задачах управления.

Объектом исследования являются алгоритмы оценивания ССОФН, а его предметом - анализ и синтез комплексных и обобщенных алгоритмов оценивания ССОФН, направленных на формирование ценностных суждений об объекте оценки.

Целью работы является исследование и разработка методов повышения эффективности и качества процессов управления образовательной и производственно-экономической деятельностью путем совершенствования алгоритмов оценивания ССОФН.

В соответствии с проблемой, объектом, предметом и целью исследования были поставлены следующие задачи:

1. Обоснование необходимости исследования алгоритмов оценивания ССОФН.

2. Разработка аналитического метода исследования алгоритмов оценивания ССОФН на чувствительность к изменениям параметров и выбора лучших из них по характеристикам несмещенности и эффективности для использования в системах оценивания качества.

3. Подтверждение экспериментальным путем эффективности синтезированных алгоритмов оценивания ССОФН (на примере оценивания качества высшего образования).

4. Подготовка рекомендаций по использованию разработанных алгоритмов оценивания ССОФН в системах поддержки принятия решений.

Методы исследования. В соответствии с целью исследования решение поставленных задач обеспечивалось совокупностью методов: системного анализа, имитационного моделирования, статистических методов оценивания и идентификации, теории нечетких множеств, экспертных методов анализа и синтеза, экспериментальных методов.

Опытно-экспериментальная база исследования - государственное образовательное учреждение высшего профессионального образования «Пензенская государственная технологическая академия», в котором проводилось оценивание качества подготовки специалистов. Исследованием были охвачены преподаватели, студенты, работники вуза (всего более 150 чел.).

Научная новизна работы заключается:

- в разработке методического подхода к исследованию алгоритмов оценивания ССОФН, позволяющего провести сравнительный анализ алгоритмов на смещенность и эффективность и выработать обоснованные рекомендации по выбору лучших из них для использования в системах оценивания качества;

- в разработке математических моделей определения тенденций изменения весовых коэффициентов единичных показателей соответствия, позволяющих определить значения весовых1 коэффициентов единичных показателей соответствия для ранжированного ряда любого числа показателей;

- в разработке обобщенных алгоритмов оценивания ССОФН, позволяющих нивелировать мажорантность различных выборочных средних (и тем самым снизить смещенность оценок степени соответствия), способствующих повышению эффективности решения задач управления и принятия решений с учетом требований всех участников системы "изготовитель (поставщик-потребитель".

Практическая значимость работы состоит в том, что разработанные методы, модели и алгоритмы позволяют обеспечить эффективное статистическое оценивание ССОФН.

Достоверность научных результатов исследования обеспечена методологической обоснованностью исходных позиций исследования, сходимостью теоретических и экспериментальных данных, выбором моделей и методов, адекватных исследуемым объектам, практической реализацией разработанных алгоритмов на примере оценивания качества высшего образования.

На защиту выносятся следующие положения:

- методический подход для исследования алгоритмов оценивания ССОФН на эффективность и несмещенность;

- математические модели экспертных оценок значимости единичных показателей соответствия (качества);,

- метод исследования алгоритмов оценивания ССОФН на чувствительность к изменению параметров и выбора лучших из них для использования в системах оценивания качества;

- комплексные и обобщенные алгоритмы оценивания ССОФН (на основе различных выборочных средних и на основе представлений нечетких множеств - функций принадлежности комплексных показателей соответствия).

Апробация и реализация результатов исследования. Результаты работы докладывались и обсуждались на 5-х Международных и 2-х Всероссийских научно-технических конференциях и семинарах, опубликованы в 15 печатных трудах, подтверждены свидетельством о государственной регистрации программы для ЭВМ.

Результаты диссертационной работы внедрены в системах менеджмента качества Пензенской государственной технологической академии, Пензенского государственного университета, Самарского государственного университета. Универсальность применения разработанных алгоритмов подтверждена актами использования результатов работы в НИИ физических измерений, г. Пенза; ФГУП "Пензенское производственное объединение электронной вычислительной техники", г. Пенза.

Публикации. По теме диссертации опубликовано 15 печатных работ, в том числе в изданиях, рекомендованных ВАК РФ, три работы.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка использованных источников из 126 наименований, 4 приложений, содержит 193 страницы основного текста, 53 рисунка и 12 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования, сформулированы проблема, объект, предмет, цель исследования, поставлены задачи и определены методы исследования, обоснована новизна, практическая значимость работы, сформулированы положения, выносимые на защиту.

В первой главе «Аналитический обзор методов и алгоритмов оценивания степени соответствия объекта функциональному назначению» на основе анализа существующих методов и алгоритмов обоснована совокупность положений, составляющих теоретико-методологическую основу исследования, сформулированы основные противоречия в вопросе современного оценивания степени соответствия.

В соответствии с положениями МС ИСО 9000, 9001 определены основные понятия и термины, относящиеся к оцениванию степени соответствия объекта функциональному назначению.

На основе анализа существующих методов, алгоритмов и критериев показано, что способы оценивания степени соответствия объекта функциональному назначению строятся на основе алгоритмов - аналитических выражений -функций оценивания соответствия, единого диапазона изменений количественных оценок единичных и комплексных показателей соответствия, четкой системы формализации исходных единичных показателей соответствия, первоначально заданных в произвольных единицах, и с учетом их значимости - весовых коэффициентов.

При рассмотрении основных 'противоречий в вопросе оценивания степени соответствия показано, что существующие способы задания номинальных величин весовых коэффициентов преимущественно основаны на экспертном методе и

не обеспечивают в должной мере определенности их числовых значений при значительных затратах времени и средств на проведение вычислительных и технологических процедур. На основании этого обоснована необходимость применения нетрадиционных подходов для решения подобной задачи: поиск статистических обобщающих закономерностей изменения составляющих функций оценивания и применение таких закономерностей для разработки методик выбора номинальных величин весовых коэффициентов. Для выработки рекомендаций по выбору лучших алгоритмов оценивания предложен дисперсионный подход.

В исследовании объект оценивания степени соответствия его функциональному назначению - качество подготовки специалистов с высшим образованием. Исходя из стандартного определения качества, качество высшего образования - это сбалансированное соответствие всех аспектов высшего образования некоторым целям, потребностям, требованиям, нормам и стандартам. Актуальность выбора объекта оценивания определяется большой практической значимостью такой категории как качество высшего образования, так как эффективное функционирование социальной сферы и, в частности, высшего образования, является одним из факторов успешного развития общества.

Во второй главе "Разработка общих положений методики оценивания степени соответствия объекта функциональному назначению" определены концептуальные положения методологии оценивания ССОФН и пути их решения.

Как показал анализ предметной области, решение проблемы синтеза, выбора и обоснования расчетной модели комплексного и обобщенного показателей оценивания ССОФН является задачей актуальной - нет работ, в которых обоснована необходимая сочетаемость свойств средних для однозначного выбора оценки соответствия.

Приняты принципы формирования виртуального эталона, сформулированы требования к нему.

Рассмотрены методы синтеза комплексных показателей соответствия. Показано, что применение любого одного вида выборочной средней для формирования функции оценивания не дает объективной количественной оценки ССОФН в связи с известным правилом мажорантности (смещенности) средних и значительной погрешности отдельного вида средней. Исследование свойств (смещенности, эффективности) выборочных средних позволило обоснованно оценить среднюю, обеспечивающую существенное повышение доверия к результату оценивания и его объективности.

Разработана методика оценивания степени соответствия объекта функциональному назначению, основанная на использовании метода формирования эталона объекта, метода формализации исходной информации об объекте, метода формирования алгоритма оценивания, метода косвенного оценивания степени соответствия объекта функциональному назначению.

В третьей главе "Разработка алгоритмов оценивания степени соответствия объекта функциональному назначению" на основе методов определения весовых коэффициентов единичных показателей соответствия, разработан-

ного методического подхода для исследования алгоритмов на чувствительность (к изменениям единичных показателей соответствия) и выбора лучших из них по характеристикам несмещенности и эффективности синтезированы обобщенные алгоритмы оценивания. При этом использованы модели определения статистических обобщающих закономерностей изменения составляющих функций оценивания и применение таких закономерностей для разработки методик выбора номинальных величин веса (весовых коэффициентов) единичных показателей соответствия. Характер изменения представлен графически рядом кривых (рис. 1). Отметим, что данные кривые выражают только тенденции изменения, а поэтому могут начинаться и кончаться в точках с различными ординатами.

Рис. 1. Графики аналитических зависимостей весовых коэффициентов единичных показателей соответствия

График 1 соответствует постоянным значениям всех коэффициентов

1

г,-

/+п'

(1)

где ( - порядковый номер коэффициента, /е{0,/,...,л};

т = 1 + п - количество единичных показателей соответствия. График 2 соответствует линейному росту весовых коэффициентов

(2)

где ы% - шаг прироста коэффициента;

- начальное (нулевое) значение коэффициентов. График 3 соответствует росту коэффициентов с темпом роста более 100%

g,=8o■r, (3)

где т - темп роста коэффициентов, т> I-

График 4 соответствует случаю с постепенным замедлением (уменьшением) темпа роста весовых коэффициентов

(4)

где Agr = gm-g„ - размах значений весовых коэффициентов;

g„ - предельное значение весовых коэффициентов, представляет собой асимптоту;

Т - параметр, характеризующий темп уменьшения весовых коэффициентов, т <1 •

График 5 соответствует случаю, когда на первом этапе темп роста коэффициентов больше 100%, а на втором этапе (кроме точки перегиба графика) темп роста менее 100%

gi=gm-g"o' (5)

где ь - параметр графика, определяющий темпы роста весовых коэффициентов; gm - асимптота при предельном значении коэффициентов; g0 - параметр, пропорциональный или равный наименьшему значению коэффициента веса (при gm = О*

Из выражений (1), (2), (3), (4) и (5) видно, что:

• графики 1 и 2 - графики прямых с угловым коэффициентом, равным нулю и отличным от нуля (линейная зависимость);

• график 3 соответствует экспоненциальной зависимости;

• график 4 соответствует модифицированной экспоненте;

• график 5 соответствует кривой Гомперца или логистической кривой. Предложенные методы определения весовых коэффициентов единичных

показателей соответствия использованы для вычисления абсолютных погрешностей алгоритмов оценивания, сформированных на основе выборочных взвешенных средних, а также для решения задач синтеза и анализа алгоритмов оценивания. При этом способы оценивания ССОФН классифицируются по виду алгоритмов (функций) оценивания, положенных в основу процесса оценивания. Алгоритм 1 имеет вид:

s,)"".*=o (6)

где к = -1,0,1,2 соответственно для гармонической, геометрической, арифметической и квадратической выборочных средних; (1) - номер алгоритма.

В указанном алгоритме использован набор единичных показателей соответствия S. с весовыми коэффициентами g,= }/m = const.

Использование этого алгоритма удобно при предварительном определении степени соответствия. Однако на практике имеют место ситуации, когда отдельные единичные показатели соответствия оказываются весьма важными с учетом их функциональной значимости. Этот факт в работе предложено учитывать путем введения указанных выше тенденций изменения значимости единичных показателей.

Для оценивания эффективности алгоритмов комплексных выборочных средних (при различных тенденциях изменения весовых коэффициентов выражение (6) преобразовано к следующему виду.

Алгоритм 2:

к =—1,1,2.

(7)

/

Инструментом анализа алгоритмов выбран дисперсионный подход как наиболее удобный в реализации и позволяющий однозначно интерпретировать результат.

При этом в работе предложено определять непосредственно дисперсию алгоритма - функции оценивания - £>(&) и соответствующую среднюю квадра-

тическую погрешность <7(0,). Для подтверждения правомерности этого подхода использован численный эксперимент на основе задания:

набора значений формализованных единичных показателей соответствия (возрастающий и убывающий вариационные ряды формализованных единичных показателей соответствия, ранжированные экспертами по степени значимости показателей соответствия: например, Я, е {0.55,0.6,0.65,0.7,0.85,0.9,0.95} 5, б {0.95,0.9,0.85,0.7,0.65,0.6,0.55}: 5, (4-));

соответствующих им значений среднеквадратических отклонений (СКО) ст,, <7, = (0.056]; 0.15; 0.155;);

значений СКО весовых коэффициентовал, стг = {0.05й,;0.1г(;0.^,).

Из условия независимости случайных величин Я, получены выражения дисперсии комплексных показателей йфк):

= (8) 1-1

где - чувствительности алгоритма к 5', при А = -1,0,1,2, производные алгоритма 1 по Я, .

В зависимости от к чувствительности дЦ.у варьируют и принимают вид: При £=-1

при Jfc = о

№

=)<])• _ V i-l

при k = 1

при к = 2

л")' = 1/ •

Vis, /т.

«

(10) (11) (12)

Аналогичный подход использован при исследовании алгоритма 2, который, как показано в работе, является функционально более содержательным при учете различных сочетаний единичных показателей соответствия и их весовой значимости.

При этом получены выражения чувствительности д<:> к g¡, т.е. £?ы , Л , и дисперсии, вызванные дисперсиями и gl.

Л | «

(13)

(14)

где к е {-1,0,1,2}

Для к = -1. (13) и (14) конкретизированы и получены выражения дисперсии Q:

i

i

) = 0(5, ) + (fiiiï, )- ) ;

Для к= о аналогично:

У«'

¿(ОН) = «П ''г,? я?) ь 5,)- ).

/*' I

(16)

Для к = 1:

1(2)'_ I

Для к = 2-

еМ;

М<:))=Е г.ЭД+Е-^,).

I /'

(17)

(18)

Далее в работе с целью исключения влияния мажорантности комплексных показателей предложены два подхода для синтеза обобщенных алгоритмов: на основе различных выборочных средних и на основе представлений нечетких множеств - функций принадлежности комплексных показателей алгоритмов.

Исследован обобщенный алгоритм на основе выборочных средних вида (19), в котором единичные показатели заменяются комплексными, но при определенной тенденции (г) g¡:

бй>- Ей, А .

(19)

N - число учитываемых выборочных средних 2(4). При ке{-1;0;1;2} д1 = 4',

к - нижний индекс - номер комплексной оценки выборочной средней; / - символ тенденции изменения весовых коэффициентов: < = / -тривиаль-

ный случай (все весовые коэффициенты единичных показателей - const и равны т.е. тенденция изменения весовых коэффициентов отсутствует); ¡ = 2 - тенденция линейная; ¡ = з - тенденция экспоненциальная; t = 4 - тенденция модифицированная экспонента; t = 5 - тенденция логистическая кривая;

(/) - условный символ подхода (например, первого) синтеза обобщенных алгоритмов.

В конкретном выражении второй подход представлен алгоритмом

где - комплексный показатель соответствия;

Рд^) ~ функция принадлежности показателя нечеткому множеству

показателей ¿6[о,/];

I - символ тенденции изменения весовых коэффициентов; (2) - условный символ второго подхода.

С учетом данных эксперимента Мд(0к) имеет вид:

- предельные значения -степени соответствия, определенные эвристически.

Из (21) следует, что чем более эффективен алгоритм , тем больше значение его функции принадлежности. Этот факт - оправдание целесообразности подхода, представленного (20).

Эксперимент показал, что предложенные алгоритмы более эффективны и дают меньший систематический разброс оценок соответствия.

На основании проведенных исследований и ранее полученных результатов разработана методика определения метрологических характеристик комплексных и обобщенных алгоритмов определения соответствия объектов функциональному назначению, реализованная в виде программы в системе визуального программирования БЕЬРШ 7. Данная разработка является программой для ЭВМ, предназначенной для исследования алгоритмов оценивания ССОФН и практического применения в составе автоматизированных систем поддержки принятия решений по анализу качества объектов различного назначения. В качестве основных структурных

(20)

(21)

где £|(£?ц)) - дисперсия ft-го алгоритма;

элементов программы для ЭВМ выступают модули: АКУБ; иги^АКУБ. Текст программы приведен в приложении А диссертационной работы.

Результаты экспериментальных исследований содержатся в четвертой главе диссертационной работы.

На основании исследования условий нормирования весовых коэффициентов ¿.получены их расчетные значения ¿и, графики представлены на рис. 2.

Темгйнщи млмеъймм« &аосвьг. шэфФиняамтое Идейная | Эклонеицне^ка« | Эксасквсшвимам | Кхмеа, Гонпер.4а |

Недельное эмочвиив весового коэф^ицкеиг^ 1

0.066867 Э11М7&2 0.1«Ш7 0100557 В2Ш*8 0.257ИЗ

Рис. 2. Расчетные значения весовых коэффициентов при линейной тенденции изменения; графики зависимостей весовых коэффициентов единичных показателей соответствия

Результаты эксперимента по оцениванию значений выборочных средних Й">2{:) и дисперсий 0(<2[')),0(<212>) при условии возможных вариаций значений единичных показателей представлены на рис. 3, 4.

Парен« грщ ряде Длим» радп. N (1-20) [5 Г Э оСрвтиок прря^.б

^омппвксных)| Обобщенных |

Постожиля |Линейная Гзиспон ¡Мел. ЭКСПО» ¡Кр Гомоерца !

•1 0 714862 ¡|0 741695 0 776514 0 838841

0 0728717 0.808240 0 755958 0.789103 0.645232

1 0 742857 0.819048 0.770001 0.801065 0.853012

2 0.756873 0.828941 0 783X44 0.812196 0.859173

несения дисперсий <5 (6.05 "

к Посгсяжвя [Линейная ¡Экспо» ¡Мол этесот» Гомперцл

•1 0 000189 10.000525 10.000393 0.000462 0.000741

0 0 000190 0.000312 0 000232 0.000275 0.000417

1 2 0 000205 0 000234 0.000693 0 000500 0.000484 0000357 0.000602 0.000438 0.000895 0 000614

0,001 0,000 0,000

Ш1

Пост

Рис. 3. Значения выборочных средних и значения дисперсий алгоритмов при о-, = 0.05-5,;5,("Г); ст& = 0.05г,. 14

комплексный Обобщённых | I Значения выборочных средних

к Постоянная [ Линейная ¡Зкслои (Меи эксг» |Кр Г ».перца

-1 0.714862 ШИИ!074,695 0 776514 0 838841

0 0.728717 0 808240 0 755958 0.789100 0.846232

1 0.742857 0.819048 0.770001 0 801065 0 853012

2 0.756873 0.828341 0.783444 0.812136 0.853173

Значения дисперсий

С, ¡015

к Постоянная | Линейная [Зкспон [Мое. экспо* |Кр. Гомперца

•1 0.001705 0 003540 0 002810 0.002084 0 004156 0 006668 0.006

0 0.001707 0.002473 0.003754 0,004

1 0.001841 0 006241 0004353 0005414 0008059 0,002-

2 0.002110 0 004500 0 003213 0.003938 0.005529

Ш1

л

Рис. 4. Значения выборочных средних и значения дисперсий алгоритмов

при СГ, =0.15 -5, =0.15^,.

Численный эксперимент был повторен при смене ряда данных на убывающий 5,. е {0.95,0.9,0.85,0.7,0.65,0.6,0.55}: 5,(1). Соответствующие расчетные данные представлены на рисунках 5, 6.

Параметры ряда

Длина ряда. N (1-20) |Т Я В оёра-тнон порядка

3 0.95

; 0.65

чомппексных^' Значения выборочных средних

П^гоягиая |пйне1<ная [Зкспон |Мод экспон |Кр. Гомперца

0 702421 0 715370 0 729689

0.673036 0.634037

0.622*21 0.627166 0.632404 0.638173

Значения дисперсий

V Постоянная 1 Линейная ркспок ¡Мод. экспо, |Кр. Гомперца

•1 ¡0 000435 0 000388 0000412 0.000476

• 0.000190 0.000247 0 000217 0.000232 0.000282

> 0 000205 0.000367 0 000366 0.000358 0.000422

12 0 000234 0.000220 0 000248 0 000223 0.000251

О, ¡0.05 "

олоо 0,000 0,000 0,000

¡¿ГУ 1

Рис. 5. Значения выборочных средних и значения дисперсий алгоритмов

при (7, =0.05-Я,;5,(4); с =0.05г,

я выборочных средних

Постоянная (Линейная

0.728717 0.657017 0.742857 0.666667 (X 756873 0.677179

0.702421 0. Л 5970 0 729889

0662349 0 622421

0.673036 0.62 Л 66

0 684037 0.632404

0 695787 0.638173

к Постоянная [Линейная (Зкспсп (Мод. ЗКСПОЬ [Кр. Гомперцз

•1 10.003916 0.003433 0 003711 0.004284

0 0.001707 0.002221 0.001949 0 002064 0.002541

1 Й001841 0.003302 0.0032Э8 0 003223 0.003794

2 0.002110 0.001982 0.002231 0 002006 0.002260

Лиивйн Э кепок Моо.э>хп Кр.Гомп

Рис. 6. Значения выборочных средних и значения дисперсий алгоритмов при сг = 0Л5-5,.;5,.(4); о- =0.15

Анализ данных численного эксперимента показал: наибольшей устойчивостью показаний эффективности обладает алгоритм 1, соответствующий средней гармонической и средней геометрической оценке соответствия (при к = -1, 0) и алгоритм 2, соответствующий средней геометрической оценке соответствия (при к = 0); а оценки степени соответствия при различных тенденциях изменения весовых коэффициентов единичных показателей соответствия (линейной с нулевым и отличным от нуля угловым коэффициентом, экспоненциальной, модифицированной экспоненте, логистической кривой) имеют существенное расхождение по эффективности и смещенности. Последнее - в значительной степени в силу мажорантности оценок выборочных средних.

Для исключения этого влияния в работе предложены обобщенные алгоритмы. Отдельные результаты расчетов показателей ССОФН и их дисперсий,

СКО, вариаций на основе обобщенных алгоритмов соответствующих

линейной и экспоненциальной тенденциям изменения весовых коэффициентов, представлены на рис. 7, 8.

Результаты расчёта показателей ССОФН

& о ]ВТо| " 1

1 0«Э6«0 10.001839 0.03374«

£ 06151Я Щ1Ш 0.0»»

1 0 «51143 о озагеа а он кс

2 тш 60013« шш №Ж2

экспоненте

АИГССШП2

Серж

Мод экгоьемю Р -:К|>. Гомпврцо

"Г4И ¡40?. 1-1 (о |С(0| {

б^ШМ СШ1Х ь IШ ш о&н&з

О'ЗСЫЭЗ' йШНК а ад« ОЗШе ода ш С10Ш1

0.ЗДЙ9 0.3^1 И5-5СОЮ гкм одош шах ОСN0997

Рис. 7. Результаты расчетов £2$), 64) при линейной тенденции изменения весовых коэффициентов

Комплексных (Эб^8нных> Тенденция изменения г Постоянная " Л

Алгоритм 1....................

Экспонента

" Мод. экспонента

к 0 ГО(О) [ЯуадЮ) ~р!0) |

•1 шшз К 0.000824 0 028697 0.037638

0 0.762815 0.000824 0 028698 0.037631

1 0 762774 0 000824 0.028712 0.037641

2 0.762933 0.0008% 0.028738 0.037667

Алгоритм 2

ОвШйГ

Он

'¡Ый1к-Г \mQU-2 ¡С |Бй) [з.дгг.^сГ "|71С| ~

0 902521 0.Э89710 0 9795СЗ 0 984131 0 ШОБ.'З 0 028683 0 037604

0.943367 0.966662 0.930350 0.948585 0762736 0СЮ0819 0.028616 0 037516 0.646045 0.731637 0.564688 0678655 0.752436 0.000786 0.028039 0036776

Рис. 8. Результаты расчетов б^.бЦ при экспоненциальной тенденции изменения весовых коэффициентов

Анализ данных численного эксперимента показал: комплексные показатели при различных тенденциях изменения весовых коэффициентов единичных показателей соответствия gi расходятся в среднем на величину до 6%; обобщенные показатели при тех же тенденциях расходятся значительно меньше - на величину до 0,03%.

Результаты эксперимента свидетельствуют о высокой эффективности обобщенных алгоритмов и целесообразности их использования на практике. Экспериментально подтверждена существенная роль функций принадлежности наиболее эффективных комплексных показателей при ужесточении требований к оцениванию ССОФН.

Достоверность научных результатов исследования подтверждена сходимостью теоретических и экспериментальных данных результатов оценивания качества подготовки специалистов (на примере специальности 060800 "Экономика и управление на предприятии") и качества подготовки специалистов (на примере шести специальностей) со сведениями из аналитической справки о результатах внешней аттестационной экспертизы профессиональных образовательных программ по специальностям в аккредитованном образовательном учреждении высшего профессионального образования "Пензенская государственная технологическая академия".

Показатели качества (ССОФН) подготовки специалиста специальности 060800

0,68 т—ДМ|||[|1М1 ---——---ЦМЦМУШМЯМИШМИ

1 2 3 4 5

Тенденции изменения весовых коэффициентов

Рис. 9. Значения комплексного, обобщенного показателей качества подготовки специалиста специальности 060800 "Экономика и управление на предприятии"

Показатели качества подготовки специалистов

1 2 3 4 5

Тенденция изменения весовых коэффициентов

Рис. 10. Значения комплексного, обобщенного показателей качества подготовки специалистов, экспертного оценивания (по специальностям подготовки)

Интерпретация алгоритмов на данных, составляющих перечни из 4-х (показатели качества образования (уровень подготовки выпускников - студентов старших курсов) по блокам дисциплин: гуманитарных и социально-экономи-

18

ческих (ГСЭ), естественно-научных (ЕН), общеобразовательных (ОГТ), специальных (СД)) и 15-ти позиций (показатели качества образовательных услуг: соответствие внутривузовской нормативной документации требованиям законодательства и нормативных положений в системе образования; наличие государственного стандарта, соответствие нормативного срока реализации образовательных программ ГОС по формам обучения; структура и содержание образовательных программ; организация учебного процесса; информационно-методическое обеспечение; уровень требований при приеме; характеристика внутривузовской системы контроля качества подготовки специалистов; эффективность внутривузовской системы контроля качества подготовки специалистов; итоговая аттестация выпускников; востребованность выпускников; кадры; научно-методическая работа; научно-исследовательская работа; материально-техническая база; учебно-лабораторная база) позволили выявить существенность дифференцирования тенденций изменения весовых коэффициентов единичных показателей соответствия в процессе квалиметрических оценок качества высшего образования. Показано, что особенно существенен учет тенденций изменения весовых коэффициентов единичных показателей в случае малого объема информации (при оценке качества подготовки специалиста по блокам дисциплин).

В работе сформулированы предложения по использованию разработанных алгоритмов оценивания в составе соответствующих автоматизированных систем поддержки процессов оценивания ССОФН (АС ППО ССОФН).

Предлагаемая концептуальная модель автоматизированной системы включает в себя автоматизированные рабочие места (АРМы): лица, принимающего решения (ЛПР); менеджера проектов; группы экспертов; специалистов-разработчиков. Взаимодействие пользователей системы оценивания ССОФН выполняется с использованием единой базы данных, составными частями которой являются: «Общие требования», «Данные об экспертах», «Назначение, цели», «Данные об объектах», «Виртуальные эталоны», «Показатели и весовые коэффициенты», «Оценки экспертов», «Итоговые оценки», «Материалы по экспертному оцениванию». Состав базы данных АС определяется на основе декомпозиции информационных потоков. В рамках автоматизированной системы могут быть использованы алгоритмы оценивания ССОФН, с целью поддержки процессов принятия решений по анализу качества объектов различного назначения.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

1. Предложен методический подход и разработан аналитический аппарат для исследования алгоритмов оценивания ССОФН на эффективность и несмещенность.

2. Разработаны аналитические методы определения весовых коэффициентов единичных показателей соответствия с учетом различных тенденций изменения их значимости.

3. Предложены и исследованы различные алгоритмы оценивания ССОФН, учитывающие вариации единичных показателей соответствия и их весовых коэффициентов.

4. Разработаны два подхода к синтезу обобщенных алгоритмов оценивания ССОФН и соответствующие алгоритмы: на основе различных выборочных средних, в которых используются комплексные показатели соответствия, и на основе представлений нечетких множеств - функций принадлежности комплексных показателей соответствия. Результаты численного эксперимента показали, что предложенные обобщенные алгоритмы оценивания ССОФН имеют высокие показатели эффективности и несмещенности.

5. Разработана методика оценивания ССОФН, отвечающая основным требованиям стандартов ИСО 9000:2000, реализованная в форме компонентов прикладного программного обеспечения системы менеджмента качества вуза.

6. Разработана концепция создания автоматизированной системы поддержки принятия решений процессов оценивания ССОФН.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в изданиях, рекомендованных ВАК РФ

1. Кузнецова, М.В. Методика выбора алгоритмов оценивания степени соответствия объекта функциональному назначению с учетом их эффективности и метрологических характеристик [Текст] / М.В. Кузнецова, В.В. Рыжаков, М.В. Рыжаков // Вестник Самарского государственного аэрокосмического университета им. академика С.П. Королева. - 2008. - № 1. - С. 228-233.

2. Кузнецова, М.В. Комплексные и обобщенные алгоритмы оценивания степени соответствия объектов функциональному назначению и оценивание их эффективности и метрологических характеристик [Текст] / М.В. Кузнецова, В.В. Рыжаков, М.В. Рыжаков // Практика противокоррозионной защиты. М. : КАРТЭК, - 2008. - № 2 (48). - С. 68-70.

3. Кузнецова, М.В. Возможности анализа и повышения качества высшего образования с использованием методов квалиметрии [Текст] / М.В. Кузнецова // Вестник Воронежского государственного технического университета. - 2009. -т.5.-№ 10.-С. 48-55.

Статьи, материалы конференций

4. Кузнецова, М.В. Дисперсионный анализ эффективности и смещенности алгоритмов оценивания соответствия объектов функциональному назначению [Текст] / В.В. Рыжаков, М.В. Кузнецова, М.В. Рыжаков // Оборонный комплекс

- научно-техническому прогрессу России.* - М. : ВИМИ, - 2007. - № 1. - С. 100-110.

5. Кузнецова, М.В. Исследование метрологических характеристик комплексных и обобщенных алгоритмов оценивания соответствия объектов функциональному назначению [Текст] / М.В. Кузнецова, В.В. Рыжаков, М.В. Рыжаков // Оборонный комплекс - научно-техническому прогрессу России.* -М.: ВИМИ, - 2007. - № 2. - С. 36-38.

6. Кузнецова, М.В. Особенности синтеза виртуального эталона, предназначенного для оценивания степени соответствия объекта функциональному назначению [Текст] / М.В. Кузнецова, В.В. Рыжаков, М.В. Рыжаков // Оборонный комплекс - научно-техническому прогрессу России.* - М. : ВИМИ, - 2007.

- № 2. - С. 112-114.

7. Кузнецова, М.В. Синтез обобщенных алгоритмов оценивания соответствия объектов функциональному назначению и анализ их эффективности и смещенности [Текст] / М.В. Кузнецова, В.В. Рыжаков, М.В. Рыжаков // Оборонный комплекс - научно-техническому прогрессу России.* - М.: ВИМИ, - 2007. -№2.-С. 119-123.

8. Кузнецова, М.В. Исследование методов оценивания характеристик нестационарных случайных процессов [Текст] // Современные методы и средства обработки пространственно-временных сигналов: Сборник материалов III Всероссийской научно-технической конференции. - Пенза : ПДЗ, 2005. - С.64-66.

9. Кузнецова, М.В. Разработка аналитических основ оценивания эффективности алгоритмов измерения соответствия [Текст] / М.В. Кузнецова, В.В. Рыжаков, М.В. Рыжаков II Современные методы и средства обработки пространственно-временных сигналов: Сборник статей VI Всероссийской научно-технической конференции. - Пенза : ПДЗ, 2006. - С. 85-91.

10. Кузнецова, М.В. Разработка математических основ методики оценивания эффективности тривиальных алгоритмов измерения соответствия объектов функциональному назначению [Текст] / М.В. Кузнецова, В.В. Рыжаков, М.В. Рыжаков // Современные информационные технологии: Труды международной научно-технической конференции (Computer-based conference). Вып.З. - Пенза : ПГТА, 2006. - С. 22-25.

11. Кузнецова, М.В. Критерии оценивания соответствия сложных объектов [Текст] // Математические методы и информационные технологии в экономике, социологии и образовании: Сборник статей XIX Международной научно-технической конференции. - Пенза : ПДЗ, 2007. - С. 159-164.

12. Кузнецова, М.В. Исследование алгоритмов комплексных выборочных средних оценивания соответствия [Текст] / М.В. Кузнецова, В.В. Рыжаков, М.В. Рыжаков // Аналитические и численные методы моделирования естественнонаучных и социальных проблем: Сборник статей II Международной научно-технической конференции. - Пенза : ПДЗ, 2007. - С. 293-297.

13. Кузнецова, М.В. Дисперсионный подход к выбору моделей алгоритмов в системах оценивания качества [Текст] // Перспективные технологии, оборудование и аналитические системы для материаловедения и наноматериалов: Материалы 1-й международной Казахстанско-Российско-Японской научной конференции и 6-го Российско-Японского семинара. МИСиС - Interactive Corp. -ВКГТУ: 24-25 июня 2008 - Усть-Каменогорск, Восточно-Казахстанский Государственный Технологический Университет, 2008. - С. 710-719.

14. Кузнецова, М.В. Качество образования как объект оценивания [Текст] // Проблемы качества образования в современном обществе: Сборник статей V Международной научно-практической конференции. - Пенза : ПДЗ, 2009. - С.15-22.

* См. Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук (2001-2006). Статья поступила в редакцию в октябре 2006 года.

21

Программа для ЭВМ

15. Свидетельство о государственной регистрации программы для ЭВМ. Программа расчета комплексных и обобщенных показателей степени соответствия объекта функциональному назначению / М.В. Кузнецова, Н.П. Будунов. -№ 2009610633; Заявка № 2008615782 от 08 декабря 2008 г. Зарегистрировано в Реестре программ для ЭВМ 28 января 2009 г.

Подписано в печать 16.09.2009. Бумага офисная. Формат 60x84/16. Гарнитура Тайме. Усл. печ.л. 1,4. Тираж 120 экз. Заказ № 46

Издательство

Исследовательский центр проблем качества подготовки специалистов 105318, Москва, Измайловское шоссе, 4. Тел. (495) 369-42-83, e-mail: rc@rc.edu.ru

Введение.

Глава 1, Аналитический обзор методов и алгоритмов оценивания степени соответствия объекта функциональному назначению (ССОФН).

1.1 Исходные понятия и термины, относящиеся к оценке ССОФН.

1.2 Анализ существующих подходов и критериев оценивания соответствия.

1.3 Основное противоречие в вопросе оценивания степени соответствия

1.4 Определение объекта опытно-экспериментальной базы исследования

Выводы по главе 1.

Глава 2 Разработка общих положений методики оценивания

ССОФН.

2.1 Концептуальные проблемы методологии оценивания степени соответствия.

2.2 Разработка общих положений синтеза виртуального эталона объекта.

2.3 Формализация исходной информации о соответствии.

2.3.1 Модели измерения исходных характеристик объекта.

2.3.2 Методы построения нормированных оценок.

2.3.3 Методы синтеза единичных показателей соответствия.

2.4 Разработка концепции построения системы оценивания степени соответствия.

Выводы по главе 2.

Глава 3 Разработка алгоритмов оценивания ССОФН.

3.1 Разработка аналитических методов определения весовых коэффициентов единичных показателей соответствия с учетом заданных тенденций изменения их значимости.

3.2 Синтез алгоритмов оценивания ССОФН и их сопоставление.

3.2.1 Исследование эффективности и смещенности . алгоритмов оценивания ССОФН.

3.2.2 Разработка метода определения эффективности алгоритмов оценивания ССОФН, основанных на различных тенденциях изменения весовых коэффициентов единичных показателей соответствия.

3.2.3 Синтез обобщенных алгоритмов оценивания ССОФН и анализ их эффективности и смещенности.

3.3 Разработка теоретических положений методики определения метрологических характеристик комплексных и обобщенных алгоритмов оценивания ССОФН.

Выводы по главе 3.

Глава 4 Экспериментальная проверка результатов теоретических исследований.

4.1 Расчет значений весовых коэффициентов единичных показателей соответствия с учетом различных тенденций их изменения.

4.2 Оценка эффективности комплексных алгоритмов оценивания ССОФН

4.3 Оценка эффективности обобщенных алгоритмов оценивания ССОФН

4.4 Оценка комплексных и обобщенных показателей качества высшего образования.

4.5 Разработка концепции создания автоматизированной системы поддержки процессов оценивания ССОФН (АС ППО ССОФН).

4.5.1 Состав и функции системы.

4.5.2 Модели данных.

Выводы по главе 4.

Как для отдельного человека, так и для государства необходима "сверхзадача" — идея, которая оправдывает его существование в собственных глазах и в глазах окружающих. Если такая идея отсутствует, то отдельный человек переживает невроз, а государство — то, что называют политическим кризисом. Эта закономерность, впервые обнаруженная философами древнего Китая еще за несколько веков до нашей эры, действует и сейчас.

На протяжении XX века человечество опробовало, кажется, практически все варианты таких национальных идей. Многие из них оказались настолько небезопасными для остальных стран и народов, а иногда и для коренного населения, что к концу 60-х годов политиками, бизнесменами и учеными большинства промышленно развитых стран стала ощущаться неотложная потребность сформулировать такую национальную идею, которая: при своем воплощении исключала бы опасность возникновения новых войн; обладала бы способностью консолидировать нацию, т.е. объединять людей, придерживающихся разных, иногда принципиально разных, политических убеждений; учитывая тенденции к интеграции государств, была бы достаточно интернациональной и способствовала бы не разобщению, а соединению стран и народов; была бы понятна и близка людям всех слоев и социальных групп в обществе.

И такая идея была сформулирована авторитетнейшим собранием политиков, бизнесменов, ученых — Римским клубом - на исходе 60-х годов XX века. Это - задачи, связанные с повышением качества жизни в обществе [1].

Современное понимание таких задач включает:

- защиту прав личности, в том числе защиту прав потребителей на качественные изделия и услуги как неотъемлемые права личности;

- обеспечение безопасности жизнедеятельности населения, в том .числе охрану окружающей среды как необходимое условие такой безопасности.

Безусловно, идеи Римского клуба не были открытием. Они являлись дальнейшим развитием концепции так называемого «общества потребления», т.е. общества, целью существования которого является удовлетворение потребностей сограждан. Окончательно эта концепция общества была сформулирована в 50-х годах. Важнейший вклад в воплощение этой концепции в жизнь внес президент США Д. Ф. Кеннеди, выдвинувший в начале 60-х годов концепцию государственной защиты прав потребителя. Согласно этой концепции, государство обязано активно вмешаться во взаимоотношения производителя товаров и услуг и потребителя на стороне последнего, ограждая его от недоброкачественной продукции и взяв на себя защиту его прав. Был принят закон о защите прав потребителей.

Очень интересно, что в японском языке одно и тоже слово означает и «потребитель» и «уважаемый гость» [2]. Обеспечение качества характеризует отношение к потребителю как к уважаемому гостю. Как важно понимание этого для российской действительности!

Главной фигурой «общества потребления» является потребитель. Его требования (если они социально безопасны) обладают приоритетом над возможностями производителя, и защищаются установлениями государства и общества. Важнейшими достижениями «общества потребления» могут считаться:

- последовательное претворение в жизнь идей свободы торговли, что привело к созданию международного рынка товаров и услуг - потребитель в любой стране может приобретать товар, произведенный в любой стране; следствием этого является резкое обострение конкуренции производителей, обострение их борьбы за повышение качества продукции и конкурентные цены, за снижение сроков выхода товара на рынок и в то же время усиление кооперации и сотрудничества в производстве и продвижении товаров на рынок;

- развитие систем государственной и общественной защиты прав потребителей на качественную продукцию и услуги; эти системы защиты не только позволяют потребителю взыскивать с производителя ущерб за недоброкачественную продукцию и услуги, но и предупреждают появление такой продукции на рынке, а также ограничивают монополизацию рынка производителем; следствием этого является необходимость производителя предоставлять потребителю систему доказательств качества товара еще до того, как потребитель этот товар приобрел;

- достаточно высокий уровень самосознания потребителей, которые согласны платить за качество и готовы сотрудничать с производителем в его повышении.

Из общей «сверхзадачи» повышения качества жизни, которая стала основой государственной политики большинства промышленно развитых стран, логически вытекает государственная политика в области качества товаров и услуг. Например, в Объединенной Европе такая политика воплощена в так называемой гармонизированной концепции.

Качество продукции и услуг является одним из важнейших факторов реализации национальных интересов во всех сферах деятельности государства: экономической, социальной, военной, международной, информационной, экологической.

Роль качества продукции и услуг в реализации национальных интересов России изложены в Концепции национальной политики России в области качества продукции и услуг, разработанной в соответствии с Конституцией Российской Федерации и направленной на реализацию национальных интересов России. Последние определены Стратегией национальной безопасности Российской Федерации до 2020 года, утвержденной Указом Президента Российской Федерации от 12 мая 2009 г. № 537.

Всеобщая грамотность членов общества — потребителей и производителей продукции и услуг — в вопросах качества является одним из условий высокого уровня жизни общества. Знания о правах делают потребителя активным двигателем повышения качества приобретаемой им продукции и получаемых услуг, что наиболее полно проявляется в условиях насыщенного рынка. Знания о методах обеспечения качества создают производителю предпосылки для удовлетворения потребностей потребителя и, как следствие, достижения успеха в конкурентной борьбе.

В качестве инструмента обеспечения высокого качества продукции и услуг в Европе победили идеи, ориентированные на систему качества. Это означает отход от обеспечения качества путем сертификации продукции и переход к выпуску качественной продукции путем внедрения систем обеспечения качества.

Многообразие определений термина «качество» связано, в первую очередь, с многоаспектностью категории качества. Так, например, качество в философском смысле, представляет собой «непосредственную характеристику непосредственного бытия», в политэкономическом — «результат взаимодействия потребительной стоимости и стоимости». Один из патриархов теории управления качеством, Ф. Кроссби, определил качество как «соответствие требованиям», а его коллега Дж. Джуран — как «соответствие назначению» [2]. Дж. Харрингтон определяет качество как «удовлетворение или превышение требований потребителя по приемлемой для него цене». По [3] «качество - сложное свойство, представляющее собой совокупность всех тех и только тех свойств, которые характеризуют получаемые при потреблении объекта результаты (как желательные, положительные, так и нежелательные, отрицательные)».

Понятие качества - фундаментальная категория, выступающая в роли атрибута любого материального объекта, но обычно данное понятие рассматривают гораздо уже — как совокупность свойств объекта, обусловливающих его пригодность для использования по назначению [4]. В соответствии с действующим международным стандартом ИСО 9000:2000: «качество — степень выполнения требований совокупностью собственных характеристик (продукции, системы или процесса)».

Последнее определение отличается от ранее использованных, в том числе и стандартизированных определений несколькими принципиальными положениями, существенно влияющими на подход к оцениванию качества. Федеральный закон «О техническом регулировании» определяет цели оценки соответствия как удостоверение соответствия техническим регламентам, стандартам. Под удостоверением соответствия техническим регламентам, стандартам, понимается определение выполнения требований к объекту в соответствии с его функциональным назначением. Функциональное назначение является важнейшей характеристикой объекта как элемента системы и определяет его место в системе. Функциональное назначение может быть сформулировано в виде основной функции для объекта - элемента системы или некоторого множества функций для объекта как подсистемы. Под степенью соответствия объекта функциональному назначению (ССОФН) понимается сводный (комплексный, обобщенный) показатель, синтезирующий (агрегирующий) отдельные показатели соответствия в единую сводную оценку, учитывающую как значения используемых показателей так и их значимость для оценки объекта в целом.

В работе синтезированы алгоритмы определения ССОФН на основе анализа их эффективности и метрологических характеристик. Эффективность алгоритма определяется величинами дисперсий полученных оценок соответствия: меньше дисперсия (по сравнению с дисперсиями оценок, полученных на основе других алгоритмов) - выше эффективность данного алгоритма и наоборот. Метрологические характеристики алгоритма выражаются дисперсиями оценок показателей соответствия, вызванных дисперсиями (погрешностями) оценивания (измерения) параметров объекта или средними квадрати-ческими отклонениями параметров объекта.

Анализ нормативных документов, результатов научных исследований, работ отечественных ученых Ю.П. Адлера, Г.Г. Азгальдова, В.Г. Велика, Г.Н. Бобровникова, А.В. Гличева, Б.Г. Литвака, А.И. Орлова, В.В. Рыжакова, Н.В. Селезневой, Г.Н. Солода, А.И. Субетто, А.Г. Суслова, М.В. Федорова, Ю.В. Федотова, В.Н. Фомина , Н.В. Хованова, И.Ф. Шишкина и др. свидетельствует о том, что данная область знаний активно развивается. При этом информация о существующих методах оценивания ССОФН требует доказательств системности, научной обоснованности и эффективности применяемых методов определения степени соответствия.

Таким образом, актуальность темы работы предопределена востребованностью теоретико-методологических обоснований выбора и методов, позволяющих аргументировано осуществить этот выбор из многообразия имеющихся алгоритмов оценивания степени соответствия по определенным базовым характеристикам; отсутствием обоснованных рекомендаций по снижению конфликтности алгоритмов, порождаемой корпоративными интересами различных структур. Отсюда возникает противоречие. Суть его такова. Известен ряд алгоритмов (критериев) оценивания качества — степени соответствия [5 - 21 и др.], но обоснованно выбрать из их числа лучший затруднительно, так как нет инструментария, позволяющего исследовать свойства этих алгоритмов и сравнивать их между собой.

С учетом этого противоречия был сделан выбор темы исследования, проблема которого сформулирована следующим образом: как повысить конкурентноспособность отечественной продукции и услуг, в частности, путем совершенствования методов оценивания их качества (ССОФН) и использования при принятии решений в реальных задачах управления.

Объектом исследования являются алгоритмы оценивания ССОФН, а его предметом — анализ и синтез комплексных и обобщенных алгоритмов оценивания ССОФН, направленных на формирование ценностных суждений об объекте оценки.

Целью работы является исследование и разработка методов повышения эффективностй и качества процессов управления образовательной и производственно-экономической деятельностью путем совершенствования алгоритмов оценивания ССОФН.

В соответствии с проблемой, объектом, предметом и целью исследования были поставлены следующие задачи:

1. Обоснование необходимости исследования алгоритмов оценивания ССОФН.

2. Разработка аналитического метода исследования алгоритмов оценивания ССОФН на чувствительность к изменениям параметров и выбора лучших из них по характеристикам несмещенности и эффективности для использования в системах оценивания качества.

3. Подтверждение экспериментальным путем эффективности синтезированных алгоритмов оценивания ССОФН (на примере оценивания качества высшего образования).

4. Подготовка рекомендаций по использованию разработанных алгоритмов оценивания ССОФН в системах поддержки принятия решений.

Методы исследования. В соответствии с целью исследования решение поставленных задач обеспечивалось совокупностью методов: системного анализа, имитационного моделирования, статистических методов оценивания и идентификации, теории нечетких множеств, экспертных методов анализа и синтеза, экспериментальных методов.

Опытно-экспериментальная база исследования — государственное образовательное учреждение высшего профессионального образования «Пензенская государственная технологическая академия», в котором проводилось оценивание качества подготовки специалистов. Исследованием были охвачены преподаватели, студенты, работники вуза (всего более 150 чел.).

Научная новизна работы заключается: в разработке методического подхода к исследованию алгоритмов оценивания ССОФН, позволяющего провести сравнительный анализ алгоритмов на смещенность и эффективность и выработать обоснованные рекомендации по выбору лучших из них для использования в системах оценивания качества; в разработке математических моделей определения тенденций изменения весовых коэффициентов единичных показателей соответствия, позволяющих определить значения весовых коэффициентов единичных показателей соответствия для ранжированного ряда любого числа показателей; в разработке обобщенных алгоритмов оценивания ССОФН, позволяющих нивелировать мажорантность различных выборочных средних (и тем самым снизить смещенность оценок степени соответствия), способствующих повышению эффективности решения задач управления и принятия решений с учетом требований всех участников системы «изготовитель (поставщик-потребитель».

Практическая значимость работы состоит в том, что разработанные методы, модели и алгоритмы позволяют обеспечить эффективное статистическое оценивание ССОФН.

Достоверность научных результатов исследования обеспечена методологической обоснованностью исходных позиций исследования, сходимостью теоретических и экспериментальных данных, выбором моделей и методов, адекватных исследуемым объектам, практической реализацией разработанных алгоритмов на примере оценивания качества высшего образования.

На защиту выносятся следующие положения: — методический подход для исследования алгоритмов оценивания ССОФН на эффективность и несмещенность; математические модели экспертных оценок значимости единичных показателей соответствия (качества); метод исследования алгоритмов оценивания ССОФН на чувствитель-. . ность к изменению параметров и выбора лучших из них для использования в системах оценивания качества; комплексные и обобщенные алгоритмы оценивания ССОФН (на основе различных выборочных средних и на основе представлений нечетких множеств - функций принадлежности комплексных показателей соответствия).

Апробация и реализация результатов исследования. Результаты работы докладывались и обсуждались на 5-х Международных и 2-х Всероссийских научно-технических конференциях и семинарах, опубликованы в 15 печатных трудах, подтверждены свидетельством о государственной регистрации программы для ЭВМ.

Результаты диссертационной работы внедрены в системах менеджмента качества Пензенской государственной технологической академии, Пензенского государственного университета, Самарского государственного университета. Универсальность применения разработанных алгоритмов подтверждена актами использования результатов работы в НИИ физических измерений, г. Пенза; ФГУП "Пензенское производственное объединение электронной вычислительной техники", г. Пенза.

Публикации. По теме диссертации опубликовано 15 печатных работ, в том числе в изданиях, рекомендованных ВАК РФ, три работы.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка использованных источников из 126 наименований, 4 приложений, содержит 193 страницы основного текста, 53 рисунка и 12 таблиц.

Основные результаты исследования проблемы синтеза алгоритмов оценивания ССОФН, результаты численного эксперимента реализации теоретических положений, дают основания сделать следующие выводы:

1. В работе выполнен системный анализ исследований в области оценивания ССОФН, обоснованы условия, обеспечивающие объективность оценивания значений ее величины и показано, что эти условия могут быть реализованы.

2. На основе анализа существующих подходов, способов и критериев оценивания степени соответствия установлено, что все современные способы оценивания строятся на основе четкой структуры: аналитических выражений — алгоритмов оценивания соответствия, единого диапазона изменений (вариаций) количественных оценок единичных и комплексных показателей соответствия, четкой системы формализации исходных единичных показателей соответствия, первоначально заданных в произвольных (различных) единицах, и с учетом их значимости - весовых коэффициентов.

3. Показано, что существующие способы задания номинальных величин весовых коэффициентов преимущественно основаны на экспертном методе и не обеспечивают в должной мере определенности их числовых значений при значительных затратах времени и средств на проведение вычислительных и технологических процедур. В связи с этим обоснована необходимость поиска и применения нетрадиционных подходов для решения подобной задачи: поиска статистических обобщающих закономерностей изменения составляющих алгоритмов оценивания и разработки на их основе методик выбора номинальных величин весовых коэффициентов.

4. Разработаны общие положения синтеза виртуального эталона, которые представляют виртуальный эталон прогнозной моделью объекта, характеризующей взаимосвязи ее технических параметров и характеристик, составом наиболее важных единичных показателей соответствия и их наилучшими предельными значениями в прогнозируемом периоде времени. Это позволяет разработчику и заказчику определить перспективные (достижимые) требования к новым образцам продукции и обеспечить их конкурентноспособность.

5. Предложен методический подход и разработан- аналитический аппарат для исследования алгоритмов оценивания ССОФН на эффективность и несмещенность.

6. Предложены и исследованы модели различных (комплексных и обобщенных) алгоритмов оценивания, учитывающих вариации единичных показателей соответствия и их весовых коэффициентов. При этом разработаны два подхода к синтезу обобщенных алгоритмов оценивания ССОФН и соответствующие алгоритмы: на основе различных выборочных средних, в которых используются комплексные показатели соответствия, и на основе представлений нечетких множеств — функций принадлежности комплексных показателей соответствия.

7. Разработаны аналитические методы и практические методики определения весовых коэффициентов единичных показателей соответствия с учетом различных тенденций изменения их значимости, которые использованы при оценивании ССОФН и метрологических характеристик предложенных алгоритмов.

8. Проведена экспериментальная проверка результатов теоретических исследований комплексных и обобщенных алгоритмов, позволившая выявить значительное снижение величины мажорантности и повышение эффективности алгоритмов, а также условия важности дифференцирования тенденций изменения единичных показателей соответствия и их влияние на результирующий показатель качества объекта, например, качество подготовки специалистов с высшим образованием.

9. Разработана программа (в среде визуального программирования DELPHI 7), предназначенная для исследования алгоритмов оценивания ССОФН, расчета комплексных и обобщенных показателей ССОФН.

10. Разработана методика оценивания ССОФН, отвечающая основным требованиям стандартов ИСО 9000:2000, реализованная в форме компонентов прикладного программного обеспечения системы менеджмента качества вуза.

11. Разработана концепция создания автоматизированной системы поддержки принятия решений процессов оценивания ССОФН для анализа качества объектов различного назначения.

Заключение

1. Круглов, М. Г. Менеджмент систем качества Текст. : учеб. пособие / М. Г. Круглов, С. К. Сергеев, В. А. Такташев и др.- М. : ИПК издательство стандартов, 1997. 368 с.

2. Азгальдов, Г. Г. Общие сведения о методологии квалиметрии Текст. / Г. Г. Азгальдов // Стандарты и качество М. - 1994. - №11.- С. 24-29.

3. Азгальдов, Г. Г. Квалиметрия: методы, проблемы, сфера применения: Методы количественной оценки качества продукции (квалиметрия) Текст. / Г. Г. Азгальдов, Э. П. Рейхман. М. : Экономика, 1972.

4. Герасимова, JI. В. Комплексная оценка качества проектов и выбор оптимального варианта по методу академика А. Н. Крылова Текст. / JI. В. Герасимова, И. Б. Погожев // Стандарты и качество М.:, 1972. - № 8. - С. 37-39.

5. Рыжаков, В. В. Основы оценивания качества продукции Текст. : учеб. пособие / В. В. Рыжаков, В. Б. Моисеев, JI. Г. Пятирублевый; под редакцией В. В. Рыжакова. Пенза : Изд-во Пенз. технол. ин-т, 2001. — 308 с.

6. Федюкин, В. К. Основы квалиметрии. Управление качеством продукции Текст. : учеб. пособие / В. К. Федюкин — М. : Информационноиздательский дом «Филинъ», 2004. — 296 с.

7. Портнова, И. М. Совершенствование системы оценивания качества продукции Текст. : дис. на соиск. уч. степ. канд. техн. наук : 05.02.23 / И. М. Портнова. Пенза, ПГТА, 2005.

8. Федюкин, В. К. Методы оценки и управления качеством промышленной продукции Текст.: учебник / В. К. Федюкин, В. Д. Дурнев, В. Г. Лебедев М.: Филинъ. Рилант, 2001. - 328 с.

9. Вишняков, И. В. Экономико-математические модели оценки деятельности коммерческих банков Текст. / И. В. Вишняков. — СПб., СПбГУ, 1999.

10. Федотов, Ю. В. Методы построения сводных оценок эффективности деятельности сложных производственных систем Текст. / Ю. В. Федотов, Н. В. Хованов // Научные доклады № 25(R) 2006. - СПб.: НИИ менеджмента СПбГУ, 2006.

11. Рыжаков, В. В.Алгоритмы измерения качества продукции и их характеристики Текст. / В. В. Рыжаков, М. В. Рыжаков, К. В. Рыжаков // Измерительная техника. 2003. - № 5. - С. 9-12.

12. Рыжаков, В. В. Основы оценивания качества продукции Текст. : учеб. пособие / В. В. Рыжаков, В. Б. Моисеев, JI. Г. Пятирублевый; под редакцией В. В. Рыжакова. 2-е изд. - Пенза : Изд-во ПГТА, 2005. - 275 с.

13. Шишкин, И. Ф. Квалиметрия и управление качеством Текст. : учебник для вузов / И. Ф. Шишкин, В. М. Станякин. М. : Изд-во ВЗПИ, 1992.

14. Азгальдов, Г. Г. Количественная оценка качества Текст. / Г. Г.

15. Азгальдов, JI. А. Азгальдова. М., 1971.

16. Андрианов, Ю. М. Квалиметрические аспекты управления качеством новой техники Текст. / Ю. М. Андрианов, М. В. Лопатин. — Л., 1983.

17. Андрианов, Ю. М. Квалиметрия в приборостроении и машиностроении Текст. / Ю. М. Андрианов, А. И. Субетто. Л.: Машиностроение, 1990. — 216 с.

18. Богданчук, В. 3. Агрегирование векторных критериев Текст. / В. 3. Богданчук, Б. М. Егоров, А. Н. Катулев. Л., 1990.

19. Губкин, А. С. О предложениях А. Н. Крылова по сравнительной оценке проектов кораблей Текст. / А. С. Губкин // Судостроение. 1958. — № 3. С. 1-3.

20. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь Текст. — М. : Изд. официальное: Госстандарт России, 2001.

21. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Требования Текст. М. : Изд. официальное: Госстандарт России, 2001.

22. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Руководящие указания по улучшению деятельности Текст. — М. : Изд. официальное: Госстандарт России, 2001.

23. Дитрих, Я. Проектирование и конструирование: системный подход Текст. : [пер. с польск.]. — М. : Мир, 1981. С. 227.

24. Словарь русского языка Текст. М. : Русский язык, 1988.

25. Шадрин, А. Д. Качество как степень.Текст. / А. Д. Шадрин // Методы менеджмента качества. — 2002. № 8. - С. 47—48.

26. Российская Федерация. Законы. О техническом регулировании Текст. : [федер. закон : принят Гос. думой 01 мая 2007 г.]. № 65-ФЗ.

27. Фомин, В. Н. Управление качеством. Сертификация Текст. : учебное пособие / В. Н. Фомин. — 2-е изд., перераб. и доп. М. : Ось-89, 2007.-384 с.

28. Бриджмен, П. Анализ размерностей Текст. / П. Бриджмен. — М. ; — Л., 1934.

29. Калейчик, М. М. Квалиметрия Текст. : учебное пособие / М. М. Калейчик. 4-е изд., стереотипное — М. : МГИУ, 2006. - 200 с.

30. Субетто, А. И. Квалиметрия Текст. / А. И. Субетто. — СПб.: изд-во «Астерион», 2002. 288 с.

31. Гличев, А. В. Основы управления качеством продукции Текст. / А. В. Гличев. М. : Изд-во АМН, 1998.

32. Хованов, Н. В. Оценка сложных экономических объектов и процессов в условиях неопределенности. К 95-летию метода сводных показателей А. Н. Крылова Текст. / Н. В. Хованов // Вест. С.-Петербургского ун-та. Серия 5. 2005. - Вып. 1. - С. 138-144.

33. Хованов, Н. В. Модели учета неопределенности при построении сводных показателей эффективности деятельности сложных производственных систем Текст. / Н. В. Хованов, Ю. В. Федотов // Научные доклады № 29(R) 2006 - СПб. : НИИ менеджмента СПбГУ, 2006.

34. Анфилатов, B.C. Системный анализ в управлении Текст. : учеб. пособие / В. С. Анфилатов, А. А. Емельянов, А. А. Кукушкин; под редакцией А. А. Емельянова. М. : Финансы и статистика, 2006. — 368 с.

35. Хованов, Н. В. Анализ и синтез показателей при информационном дефиците Текст. / Н. В. Хованов. СПб., СПбГУ, 1996.

36. Миллер, Г. Магическое число семь плюс минус два. Инженерная психология Текст. / Г. Миллер. М.: Прогресс, 1964.

37. Литвак, Б. Г. Экспертная информация: методы получения и анализа Текст. / Б. Г. Литвак. М. : Радио и связь, 1981.

38. Ларичев, О. И. Качественные методы принятия решений Текст. / О. И. Ларичев, Е. М. Мошкович. М. : Физматлит, 1996.

39. Хамканова, Д. Н. Основы квалиметрии Текст.: учеб. пособие / Д.

40. Н. Хамканова. Улан-Удэ: Изд-во ВСГТУ, 2003. - 144 с.

41. Дочкин, С. А. Методы квалиметрии для оценки качества образования Текст. / С. А. Дочкин // Образование и общество. — 2006. — № 1. -С. 41-44.

42. Азгальдов, Г. Г. О квалиметрии Текст. / Г. Г. Азгальдов, Э. П. Райхман:'-М. : Изд-во стандартов, 1973. 172 с.

43. Вишняков, И. В. Методика оценивания финансово-экономических объектов с использованием системы поддержки принятия решений АСПИД-3 Текст. / И. В. Вишняков, М. В.Михайлов, Н. В. Хованов. СПб., СПбГУ, 1998.

44. Гличев, Ф. В. Прикладные вопросы квалиметрии Текст. / Ф. В. Гличев, Г. О. Рабинович, М. И. Примаков. М., 1983.

45. Орлов, А. И. Прикладная теория измерений Текст. / А. И. Орлов // Прикладной многомерный статистический анализ. — М. — 1978. — С. 68—138.

46. Хованов, Н. В. АСПИД система квалиметрических методов оценивания в условиях дефицита информации качества сложных технических объектов Текст. / Н. В. Хованов // Методология и практика оценивания качества продукции. - JL, ЛДНТП, — 1988. — С. 56-61.

47. Селезнева, Н. А. Качество высшего образования как объект системного исследования Текст. / Н. А. Селезнева. Лекция-доклад. Изд.З-е. М. : Исследовательский центр проблем качества подготовки специалистов, -2003.-95 с.

48. ГОСТ 22851-77 «Выбор номенклатуры показателей качества промышленной продукции»

49. ГОСТ 23354.2-81. Экспертные методы оценки качества промышленной продукции. М. : Изд-во стандартов, 1981.

50. РД 50-64-84. Методические указания по разработке государственных стандартов, устанавливающих номенклатуры показателей качества групп однородной продукции. М. : Изд-во стандартов, 1984.

51. ГОСТ 15467-79 Управление качеством продукции. Основные понятия и определения. — М. : Изд-во стандартов, 1979.

52. Адлер, Ю. П. Что век грядущий нам готовит? Текст. / Ю. П. Адлер, И. 3. Аронов, В. Л. Шпер // Надежность и контроль качества. 1999. — № 1— С. 26—46.

53. Макэлрой, Дж. Какие надо делать автомобили (структурирование функции качества) Текст. / Дж. Макэлрой // Автомобильная промышленность США. 1987. - № 7. - С. 10-12.

54. Макэлрой, Дж. Построение дома качества. Почему и как структурирование функции качества распространяется в автомобильной промышленности Текст. / Дж. Макэлрой // Курс на качество. — 1992. № 1. - С. 67-73.

55. Денисов, А. А.Теория больших систем управления Текст. : учебное пособие для вузов / А. А. Денисов, Д. Н. Колесников. — Л. : Энергоатомиздат,1982.-288 с.

56. Имитационное моделирование производственных систем Текст. / под общей ред. А. А. Вавилова. М. : Машиностроение; Берлин: Техника,1983. 416 с.

57. Методы квалиметрии в машиностроении Текст. : учеб. пособие / под редакцией В. Я. Кершенбаума, Р. М. Хвастунова. М. : Технонефтегаз, 1999.-210 с.

58. Ларичев, О. И. Метод ЗАПРОС решения слабо структурированных проблем выбора при многих критериях Текст. / О. И. Ларичев, Ю. А. Зуев, Л. С. Гнеденко. М.: Препринт ВНИИСИ, 1979

59. Ларичев, О. И. Комплексные показатели и экспертные кривые в задачах управления энергетики Текст. / О. И. Ларичев. М. : Информэнерго, 1979.

60. Погожев, И. Б. Обобщенные показатели при исследовании сложных систем Текст. / И. Б. Погожев, В. Л. Аничкина. -М. : Наука, 1986.

61. Гличев, А. В. Квалиметрия (ее содержание, задачи и методы) Текст. / А. В. Гличев, И. Б. Погожев, Я. Б. Шор, Г. Г. Азгальдов // Стандарты и качество. 1970. - № 11. - С. 24.

62. Азгальдов, А. А. Теория и практика оценки качества товаров (основы квалиметрии) Текст. / А. А. Азгальдов. -М. : Экономика, 1982.

63. Хвастунов, Р. М. "Об основных теоретических проблемах" современной квалиметрии Текст. / Р. М. Хвастунов // Надежность и контроль качества. 1999. - № 2. — С. 27-39.

64. Литвак, Б. Г. Экспертные оценки и принятие решений Текст. / Б. Г. Литвак. -М. : Патент, 1996.

65. Литвак, Б. Г. Экспертные технологии в управлении Текст. : учеб. пособие / Б. Г. Литвак. -2-е изд. М. : Дело, 2004. — 400 с.

66. Каршаков, В. П. Качество продукции. Принципы и методы обеспечения Текст. : учеб. пособие / В. П. Каршаков, Ю. В. Перекусихин, Б. П. Сибринин, Г. П. Шлыков; под ред Г. П. Шлыкова. Пенза : Пенз. гос. техн. ун-т, 1996. - 106 с.

67. Кокотов, А. В. Совершенствование системы оценивания качества автомобиля на основных этапах его жизненного цикла Текст. : автореферат диссертации на соискание ученой степени кандидата технических наук: 05.02.23/А. В. Кокотов. Самара, 2002.

68. Поливановский, В. В. Паретно-оптимальные решения многокритериальных задач Текст. / В. В. Поливановский, В. Д. Ногин. М. : Наука, 1982.

69. Салуквадзе, М. Е. Задачи векторной оптимизации в теории управления Текст. / М. Е. Салуквадзе. Тбилиси : Мецниераба, 1975.

70. Афанасьев, П. П. Оценка качества машиностроительной продукции Текст. : учеб. пособие / П. П. Афанасьев, В. Ф. Витинин, И. С. Голубев ; под ред. И. С. Голубева. М. : Изд-во МАИ, 1995. - 76 с.

71. Липаев, В." В. Выбор и оценивание характеристик' качества программных средств Текст. / В. В. Липаев // Методы и стандарты. Сер. Информационные технологии. М. : СИНТЕГ, - 2001. - 228 с.

72. ГОСТ Р ИСО 9126:1-4. Информационные технологии. Оценка продукции программного обеспечения. Характеристики качества и руководящие положения по их применению Текст. — М. : Изд. официальное: Госстандарт России, 2001.

73. Кини, Р. Л. Принятие решений при многих критериях предпочтения и замещения Текст. : [пер. с англ.] / Р. Л. Кини, X. Райфа ; под ред. И. Ф. Шахнова. М. : Радио и связь, 1981. - 560 с.

74. Тульчин, Л. Г. Анализ методов оценки качества промышленной продукции Текст. / Л. Г. Тульчин. Л., ЛДНТП, 1989. - 28 с.

75. Фишберн, П. Методы оценки аддитивных ценностей. В кн. Статистическое измерение качественных характеристик Текст. / Фишберн П. -М. : Статистика, 1975.

76. Рыжаков, В. В. Синтез критериев оценивания знаний и приобретенных навыков студентов Текст. / В. В. Рыжаков, В. В. Усманов // Оборонный комплекс — научно-техническому прогрессу России. М. : ВИМИ, - 2005. - № 3. - С. 80-82.

77. Левшина, В. В. Применение технологии структурирования функции качества при производстве писчей бумаги Текст. / В. В.Левшина, Ю. Г. Малахова, С. М. Репях // Методы менеджмента качества. 1999. - № 12.

78. Кемени, Дж. Кибернетическое моделирование Текст. : [пер. с англ.] / Дж. Кемени, Дж. Снелл. — М. : Советское радио, 1972.

79. Новицкий, П. В. Оценка погрешностей результатов измерений Текст. / П. В. Новицкий, И. А. Зограф. —JL : Энергоатомиздат, Ленинградское отделение, 1985.

80. Берка, К. Измерения Текст. / К. Берка. — М., 1987.

81. Бурдун, Г. Д. Основы метрологии Текст. / Г. Д. Бурдун, Г. Н. Марков. М., 1972.

82. Кузьмин, А. М. История возникновения, развития и использования метода развертывания функции качества Текст. / А. М. Кузьмин // Методы менеджмента качества. — 2002. — № 2. — С. 4-10.

83. Новицкий, П. В. Основы информационной теории измерительных устройств Текст. / П. В. Новицкий. Л. : Энергия, 1968.

84. Айвазян, С. А. Прикладная статистика. Основы моделирования и первичная обработка данных Текст. / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин. М., 1983.

85. Орлов, А. И. Прикладная теория измерений Текст. / А. И. Орлов // Прикладной многомерный статистический анализ. М., - 1978. - С. 68-138.

86. Александров, А. Д. Общий взгляд на математику Текст. / А. Д. Александров // Математика, ее содержание, методы и значение. Т. 1. М. -1956.-С. 5-78.

87. Колмогоров, А. Н. Измерение Текст. / А. Н. Колмогоров, Ю. В. Самсонов, К. П. Широков // БСЭ, 3-е изд. Т. 10. М., 1972.

88. Фресс, П. Экспериментальная психология Текст. / П. Фресс, Ж. Пиаже.-М., 1966.

89. Nelson Т., Bartley S. Numerosity, number, arithmetization // Philosophical Sciences. 1961. Vol.28. №2. P. 178-203.

90. Орлов, А. И. Эконометрика Текст. : учебник для .вузов / А. И. Орлов. 2-е изд. М. : Изд-во "Экзамен", 2003. - 576 с.

91. Математика и кибернетика в экономике. Словарь-справочник. Текст. / Составители Н. Н. Гонтарова, М. Б. Немчикова, А. А. Попова. М. : Издательство «Экономика», 1975. — 258 с.

92. Колмогоров, А. Н. О понятии алгоритма Текст. / А. Н. Колмогоров // Успехи математических наук. 1953. - № 8:4(56). - С. 175, 176.

93. Колмогоров, А. Н. К определению алгоритма. Текст. / А. Н. Колмогоров, В. А. Успенский // Успехи математических наук. 1958. — № 13:6.-С. 3-28.

94. Кузнецова, М. В. Исследование алгоритмов комплексных выборочных средних оценивания соответствия Текст. / М. В. Кузнецова,

95. B. В. Рыжаков, М. В. Рыжаков // Аналитические и численные методы моделирования естественнонаучных и социальных проблем: сб. статей II Международной научно-технической конференции. Пенза : ПДЗ, 2007. —1. C. 293-297.

96. Рыжаков, В. В. Прогнозирование показателей надежности приборов длительного применения на основе представлений нечетких множеств Текст. / В. В. Рыжаков // Приборы и системы управления, — ,1995. -№ 1. С. 27-30.

97. Рыжаков, В. В. Надежность технических систем и ее прогнозирование Текст. : учеб. пбсобие / В. В. Рыжаков. Часть 2. Пенза, ПТИ, 2000. - 95 с.

98. Субетто, А. И. Качество образования: проблемы оценки и мониторинга Текст. / А. И. Субетто // Образование. — 2000. — № 2. — С. 62— 66.

99. Губарев, В. В. Системное представление качества образования Текст. / В. В. Губарев // Стандарты и качество. 2002. - № 4. - С. 30— 35.

100. Воротилов, В. А. Анализ основных подходов к определению качества образования Текст. / В. А. Воротилов // Высшее образование в России. 2006. - № 11. - С. 49-52.

101. Музыченко, Е. А. Критериальные модели качества образования: состояние и перспективы Текст. / Е. А. Музыченко, В. Н. Меньшова // Образование и общество. — 2007. № 1. - С. 36-40.

102. Садков, В. Г. Система управления качеством высшего образования в регионах России Электронный ресурс. http://quality.eup.ru/MATEiaALY5/sadkov.html

103. Субетто, А. И. Образовательное общество как форма реализации стратегии развития образования в XXI веке Текст.: монография /А.И. Субетто, Г.М. Иманов. СПб.: Астерион,2008. — 310с.

104. Селезнева, Н. А. Качество высшего образования как объект системного исследования Текст. : лекция-доклад. Изд. 7-е, стереотипное / Н. А. Селезнева. — М.: Исследовательский центр проблем качества подготовки специалистов, 2008. 95 с.

105. Коротков, Э. А. Система комплексной оценки качества образования специалиста Текст. / Э. А. Коротков // Высшее образование в России. 1995. - № 2. - С. 72-78.

106. Словарь терминов и определений открытого образования Электронный ресурс. http://www.info.mesi.ru/program/k 2.html

107. Самойлов, В. А. Механизмы взаимодействия государственной и общественно-профессиональной систем оценки качества образования Текст. / В. А. Самойлов, А. А. Коваленко // Высшее образование в России. — 2009. — №2.-С. 18-29.

108. Шадриков, В. Д. Об участии негосударственных организаций в оценке качества образования и в аккредитации вузов Текст. / В. Д. Шадриков // Высшее образование в России. — 2009. № 2. - С. 4-7.

109. Кузнецова, М.В. Качество образования как объект оценивания Текст. // Проблемы качества образования в современном обществе: Сборник статей V Международной научно-практической конференции. — Пенза: ПДЗ, 2009.-С. 15-22.