автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Методы построения квалиметрических оценок в задачах управления качеством обучения персонала АЭС

На правах рукописи

Лященко Сергей Александрович /

Методы построения квалиметрических оценок в задачах управления качеством обучения персонала АЭС

СПЕЦИАЛЬНОСТЬ: 05.13.10 - Управление в социальных и

экономических системах

Автореферат диссертации на соискание ученой степени кандидата технических наук

Воронеж - 2004

Работа выполнена в Воронежском государственном техническом университете

Научный руководитель Официальные оппоненты:

Ведущая организация

доктор технических наук, профессор Лавдсберг Сергей Евгеньевич

Заслуженный деятель науки РФ, доктор технических наук, профессор Подвальный Семен Леонидович

Кандидат технических наук Андреев Андрей Константинович

Московский инженерно-физический институт (Государственный университет)

Защита диссертации состоится «28 » января 2005 года в 1600 часов в конференцзале на заседании диссертационного совета Д 212.037.03 Воронежского государственного технического университета по адресу: 394026, г. Воронеж, Московский просп., 14.

С диссертацией можно ознакомиться в библиотеке Воронежского государственного технического университета.

Автореферат разослан «_» декабря 2004 года.

Ученый секретарь диссертационного совета

Родионов О.В.

гт

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. В условиях комплексной динамической трансформации всей экономики России, отразившейся, в первую очередь, на ее энергетической системе, составной и важнейшей частью которой является атомная энергетика, возникает объективная необходимость в исследовании и осмыслении новых подходов к организации управления.

Все основные усилия мировой атомной энергетики в последние десятилетия были сосредоточены на проблеме повышения качества безопасности атомных электростанций (АЭС). Они координировались и поддерживались МАГАТЭ с тем, чтобы самый высокий уровень стандартов качества стал нормой на всех стадиях эксплуатации АЭС от проектирования до заключительной стадии. При распространении такого опыта стало ясно, что главным лимитирующим фактором безопасности является персонал объекта.

Существенной особенностью всех механизмов и структур управления в отрасли является необходимость учета человеческого фактора. С этим связаны основные трудности исследования системных связей и закономерностей функционирования объектов. Именно поэтому создание и эксплуатация системы обеспечения качества подготовки специалистов, работающих на АЭС, является чрезвычайно актуальной задачей.

Сравнительно большое число публикаций российских и зарубежных ученых посвящено общим проблемам управления качеством, в том числе и задачам, возникающим при анализе процессов обучения, но при этом остаются слабо разработанными вопросы формирования согласованных оценок качества для объектов и процессов, относящихся к различным уровням иерархии и предметным областям.

Все это определяет необходимость проведения исследований, направленных на разработку моделей и методов оценки, согласования и объединения качественных характеристик в процессе создания и эксплуатации системы обеспечения качества.

Диссертационное исследование выполнено в рамках НИР ГБ 01.04 «Интеллектуализация принятия решений в автоматизированных и информационных системах» в соответствие с одним из основных научных направлений Воронежского государственного технического университета «Проблемно-ориентированные системы управления».

Цель исследования заключается в разработке и построении системы квалиметрических оценок в задачах управления качеством, позволяющих обеспечить набор требований при обучении персонала.

Задачи исследования. Для достижения этой цели решаются следующие задачи:

I »>0С7Га^И^НХдьнаи1 I библиотека

1 СПсмрвшг /А- (

оэ тЛ„0 I

--

- на основании изучения целей функционирования АЭС разработать методы формирования иерархической структуры системы обеспечения качества подготовки специалистов;

- исследовать процессы управления системой обеспечения подготовки специалистов с помощью разбиения на локальные подсистемы, каждой из которой должна соответствовать система оценок качества;

- разработать методику построения и использования локальных и обобщенных оценок качества, пригодную для анализа различных подсистем, входящих в комплексную систему обеспечения качества.

- провести исследование метода агрегирования и сопоставления качественных оценок различного типа.

Объектом исследования выступает комплексная программа обеспечения качества при предоставлении услуг по обучению персонала АЭС.

Предметом исследования являются формирование и использование оценок качества и анализ их роли в управлении процессом достижения целей для системы обеспечения качества подготовки специалистов для АЭС.

Методы исследования. Для решения поставленных задач использовались основные положения теории систем, теории линейной и нелинейной оптимизации, методы классификации, методы анализа экспертной информации, математической статистики, теории графов и теории управления.

Научная новизна. На защиту выносятся следующие положения, характеризующие научную новизну:

- методический подход к созданию единой документированной системы обеспечения качества подготовки персонала АЭС, удовлетворяющий требованиям международных стандартов к системам качества, позволяющий рационально и обоснованно осуществлять выбор оптимальных решений на основе моделирования процессов по этапам жизненного цикла системы;

- метод построения программы представления услуг по обучению персонала АЭС, отличающийся использованием единой системы элементов каждого уровня, применением стандартизированной схемы перехода между уровнями и многокритериальным выбором оптимальных вариантов;

- система измерения качества подготовки персонала АЭС, включающая измерение качества ресурсов, измерение качества процесса оценивания обучаемых и измерения качества технологических и административных процессов;

- методы и программы, позволившие впервые осуществить расчет квалитативных функций как аналогов производственных функций для оценок качества в случае независимых ресурсов и на их основе построить действующую систему, дающую возможность оценивать требования к качеству ресурсов по требованию к результату функционирования системы;

- метод дискретизации и построения комплексных оценок качества для дискретных зависимых показателей. Решена обратная задача теории иерархических систем - по комплексной оценке бинарного дерева восстанавливается его структура;

Практическая значимость работы состоит в конструировании системы оценки качеств и способов их комплексирования и сопоставления. Предложенная система и механизмы ее реализации могут быть практической основой для разработки систем обеспечения качества в атомной энергетике. Они могут также быть использованы для построения алгоритмов получения оценок степени достижения целей и их согласования при разработке и управлении реализацией целевых комплексных программ в образовании, промышленности, науке и медицине.

Материалы диссертации используются при разработке учебных курсов специальностей 220100- «Вычислительные машины, комплексы, системы и сети» и 062000 - «Управление персоналом».

Рекомендации, сформулированные в ходе исследования, внедрены при разработке «Программы обеспечения качества при предоставлении услуг по обучению персонала АЭС» и использованы при обучении российских и иностранных специалистов.

Апробация работы. Основные положения и выводы, а также прикладные результаты докладывались и обсуждались на следующих конференциях, симпозиумах, совещаниях и научных сессиях: Международном симпозиуме «Надежность и качество 2001», Пенза, 2001 г.; Международной конференции «Проблемы интеллектуализации образования», Воронеж - Москва, 2002 г.; Всесоюзном научно-техническом совещании «Вопросы создания системы подготовки эксплуатационного персонала АЭС», Москва, 1989г.; Международном совещании «Процедуры внедрения системного подхода к обучению персонала АЭС», проведенных совместно концерном Росэнергоатом МАЭРФ и Госкоматомом Украины, Нововоронеж, 2001 г.; научных сессиях Московского государственного инженерно-физического института в 2002 и 2003 годах.

Публикации. По теме диссертации опубликовано 14 печатных работ. В работах, опубликованных в соавторстве и приведенных в конце автореферата,

лично автору принадлежит: в [1, 2, 7, 8, 10, 11] - определение и анализ процедур управления качеством на каждом этапе жизненного цикла, общие базисные принципы построения информационной системы управления качеством и способы ее оценивания; в [3,13,14] - модель оценки требований к качеству входных ресурсов и реализация методов восстановления квалитативных функций по экспериментальным данным; в [4, 6, 9] - оценка качества подготовки технического персонала.

Структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 132 наименований, 4 приложений. Основная часть работы изложена на 104 страницах, содержит 10 рисунков и 7 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы исследования, рассматривается степень ее разработанности в настоящее время, сформулированы цели и задачи работы, определены объект и предмет исследования, а также научная новизна, теоретическая и практическая ценность результатов.

В первой главе анализируются используемые подходы и разрабатывается специальный подход к проблеме обеспечения качества функционирования АЭС, определяемый спецификой конечного продукта деятельности и особенностью этапа эксплуатации, состоящей в том, что воздействие на качество проекта уже невозможно и качество АЭС как объекта может поддерживаться, прежде всего, за счет качества работ, выполняемых персоналом.

Существующие системы обеспечения качества (ОК) АЭС разрабатываются с ориентацией на современные международные стандарты и основаны на принципах законодательного оформления деятельности по обеспечению качества эксплуатирующей организации, документированности системы ОК, формализации процедур и документального оформления распределения ответственности и применения дифференциального подхода к ОК.

Первый параграф содержит описание системы документации по ОК, содержащей схемы обработки документов в модели «вход-выход», функциональные обязанности работников, структуру документопотока в полном соответствии со структурой и функциями основных составляющих процесса управления.

Кажущаяся излишней достаточно жесткая регламентация на самом деле является необходимой и естественно вытекает из усилившихся во всем мире требований к безопасности и надежности эксплуатации АЭС. Это порождает и ужесточение требований к уровню подготовки персонала. Обучение персонала

основано на процессном подходе, при использовании которого всеми работами и связанными с ними ресурсами управляют как процессом.

Программа ОК реализует международный стандарт системы обеспечения качества применительно к АЭС, это позволило продвинуть на зарубежные рынки не только российские ядерные технологии, но и российские системы подготовки персонала для зарубежных АЭС, строящихся по российским проектам и использующим национальные технологии.

Второй параграф содержит описание схемы формирования программы обеспечения качества подготовки специалистов для АЭС. При ее разработке особое внимание уделялось методологическим принципам построения целевой комплексной программы для обеспечения единства подходов экспертов различной компетентности и специализации. На каждом уровне такой программы задается конкретное содержательное представление каждого элемента, если же для какого-либо элемента такое представление отсутствует, то он рассматривается как «цель», и для его получения строится специализированная комплексная подпрограмма. Таким образом, на нижних уровнях детализируются элементы, которые имели неполное семантическое описание на более высоком уровне.

На примере фрагмента целевой комплексной программы описывается схема работы экспертов над детализацией конкретной внутренней цели, при этом и элемент верхнего уровня, и все пять элементов следующего уровня прорабатываются по стандартной пятиричной схеме, когда обязательно должны быть определены цель, ресурсы, структура, время и среда.

В заключении обоснованы цели и задачи диссертационного исследования.

Вторая глава посвящена проблемам, возникающим при решении задачи о комплексном оценивании в системе ОК. Трудности, которые приходится при этом преодолевать, являются достаточно типичными для самых различных систем управления сложными объектами в социально-экономических системах.

Это, прежде всего, невозможность установления жестких формальных связей между элементами и процессами; наличие обобщенных показателей, характеризующихся не только значениями входящих в них факторов, но и их взаимовлиянием; иерархичность структуры; многовариантность управления; существование некоторого принципа «грубости» оценок, позволяющего проводить их дискретизацию и, наконец, необходимость учета, ведь речь идет о процессе обучения, наличия информационного воздействия и искажений, вызванных заинтересованностью в результате.

Первый параграф посвящен методам комплексного оценивания и конкретному изучению и численному оцениванию в системе оказания услуг по обучению и переподготовке персонала АЭС России и зарубежных стран для следующих четырех типов процессов: процессов жизненного цикла услуги,

процессов измерения, анализа и улучшения, процессов менеджмента ресурсов, процессов, связанных с ответственностью руководства.

Разработка реальной системы обеспечения качества обучения персонала позволила сформулировать некоторые простые условия, которые можно рекомендовать для анализа и управления объектами, функционирование которых связано с деятельностью человеческих коллективов. Прежде всего, это относится к системам административного управления и обучения. Необходимо:

- начинать разработку системы с локальных подсистем, встраивая их в единую структуру;

- широко использовать экспертов для оценки базовых факторов, предварительно организовав процедуру сопоставления таких оценок;

- решать все без исключения задачи управления системой в количественно выраженных качественных показателях, используя одновременно методы укрупнения и дезагрегации.

Приведенные ниже рис.] и рис.2 демонстрируют пример перехода вглубь на один уровень детализации в системе работы с документами.

Документ ^ Перечень дефектов упаковки или акт ^

Работа с входящими документами Ор. 1 Сообщение 0 наличии вирусов в ЭлПочте ^

Не регистрируемые документы к

Ошибочная корреспонденция входящих

Входящий " документ Исходящий документ

Зарегистрированный в журнале входящих"" документ с проставленным штампом ^

Исходящий документ с проставленным исходящим номером и датой

Работа с исходящими документами Ор. з

Заявка с отметкой о выполнении распечатанный документ, магнитный носитель ^

Ранее не регистрированные документы

Факс с присвоенным входящим номером и дело ^

1 Идентификационный код

цазоабатываемого докум к

—* РЕГИСТРАЦИЯ ДОКУМЕНТА Ор. « Зарегистрированные докум., "" не требующие согласования и утверждения ^

Зарегистрированные докум, требующие согласования и утверждения ^

Заявка на регистрацию разрабатываемого

Оформленная карточка ^ контроля документа

документа Сотрудники I I Учет документов

Рис.1. Функциональная схема обязанностей при анализе документов.

Рис.2. Детализированная функциональная схема работы с входящими документами.

Развернутое представление структуры и цели системы приводит к необходимости построения и анализа деревьев цели. Для упрощения операций агрегирования чаще всего использовались бинарные деревья.

Важность и существенная разнородность процедур оценивания потребовали разработки качественно различных методик:

- измерение качества процесса обучения и самих обучающихся;

- измерение качества используемых ресурсов;

- измерение качества технологических и административных процессов.

Более детальное описание процедуры оценивания при обучении персонала

приводится во втором параграфе этой главы и фактически состоит из детализированного описания соответствующего дерева целей. Например, оценка подготовки рассматривается как совокупность двух аспектов внутренней оценки и независимой внешней оценки. Процесс оценивания охватывает потребности обучения, требования к персоналу обучающих, необходимость в материалах и инструментах, содержит описание цели, средств и ресурсов поддержки, стоимости и влияния обучения на возможность выполнения профессиональной деятельности.

Внутренняя оценка строится на основании данных об опыте эксплуатации АЭС, отраслевого опыта и отраслевых стандартов, отчетов об инспекциях, данных об изменениях в процедурах данных руководителей, работников и инструкторов, непосредственных данных от обучаемых и данных наблюдений.

Наиболее полная информация о несоответствиях между результатами и целями обучения, получение которой позволяет разрабатывать соответствующие корректирующие и предупреждающие меры для улучшения эффективности подготовки, может быть получена с использованием четырехуровневой модели оценки обучения, дающей возможность получать:

- оценку удовлетворенности обучаемых;

- педагогическую оценку, помогающую ответить на вопрос об объеме приобретенных знаний, навыков и умений;

- оценку переноса, дающую ответ на вопрос об использовании новых знаний на работе;

- оценку последствий, позволяющую изучить изменения, возникшие после обучения сразу и в течение нескольких последующих лет.

Разработка единой базы формирования оценок позволяет осуществлять их корректировку на основании информации, получаемой с помощью обратной связи, процесс получения и анализа которой является постоянно работающим.

Таким образом, формируется общий методологический подход к проблемам оценивания качества.

В третьей главе обосновывается и реализуется основной теоретический метод, позволяющий сводить качественные оценки произвольных объектов и процессов, возникающих в задачах управления обучением, к стандартным безразмерным показателям типа «трудности достижения цели».

Первый параграф содержит обзор известных результатов по теории таких оценок и способы построения весьма важной для дальнейшего квалитативной функции, ставящей в соответствие каждому набору качественных оценок ресурсов на входе системы оценку качества результата. Квалитативная функция является аналогом широко используемой в экономике производственной функции и дополняет даваемое производственной функцией описание процесса перевода ресурсов на входе в конечный результат функционирования. Рассматриваются две основные формы представления квалитативных функций и связь между ними. Основные операции над оценками качества как «трудностями» позволяют в явном виде определить возможные аналитические формы для квалитативных функций и использовать стандартные модели регрессии для определения неизвестных параметров. Реальные экспериментальные данные хорошо описываются с помощью квалитативного аналога функции Коббса-Дугласа.

Второй параграф содержит решение задачи оценки требований к качествам используемых ресурсов. Если известны качества ресурсов на входе системы и требования потребителя к качеству результата деятельности, то возникает необходимость оценки требований к входным ресурсам, порождаемых требованием к качеству конечного продукта.

Дело в том, что качество результата и требования к нему измеряются в шкале потребителя, а не производителя и квалитативная функция устанавливает соответствие между этими двумя шкалами.

„ , ек{1- иЛ

Пусть ак = —^-трудность достижения цели по к-му ресурсу на

МЛ1-£к)

входе, здесь ек е [0,1)- требование к качеству ресурса, а /лк е (0,1]- оценка качества А:-го ресурса, причем цк > ^-условие допустимости для Л-го ресурса.

Если D = —трудность для результата с требованием Е е [0,1) и

качеством Me(0,l] (М>£) и D = F[d,,d2...,dn)- квалитативная функция,то нахождение требований si,c2...,en (при известных Щ,М2 ■■■,!*„) может быть сведено к решению оптимизационной задачи:

И 4.4.....d„)<D0

к-1

Здесь Do - максимально допустимое значение трудности на выходе, задаваемое потребителем, а целевая функция обеспечивает минимальную агрегированную трудность на входе. Если F— аналог функции Коббса-Дугласа, то решение может быть получено в явном виде.

Сформулированная оптимизационная задача использовалась для решения проблемы сравнения требований при тестировании обучаемых по различным предметам. Перечень дисциплин трактовался как список ресурсов, оценкой результата обучения был единый заключительный экзамен с четко заданной нижней возможной границей оценки. Обрабатывались данные по различным группам российских и иностранных обучаемых за несколько лет. Была выявлена существенная нелинейность зависимости оценки от количества выполненных тестовых заданий, подтвердилась гипотеза о существенном различии к требованиям по разным предметам и влиянии оценок по ним на конечный результат.

Использование стандартизированной системы дискретных баллов требует определения вида зависимости Мк{па)~ оценки качества по к-му предмету как функции от числа правильно решенных «тестов», а затем и универсальной оценки, зависящей от требований ек:

/Лк~Ек

,-~> Мк>£к

0, ^ < ^

и ее переводу в принятую систему баллов с равными «промежутками» между ними. Полученные зависимости изображены на рисунках 3-4. Проблема агрегирования изначально дискретных оценок и способы их перевода в непрерывные шкалы весьма специфичны и анализируются в третьем параграфе.

Сформулированные в виде набора аксиом требования к виду комплексной оценки качества, проверяются на функциях ¿-значной логики. Процедура фильтрации предусматривает использование равномерных

последовательностей и специального алгоритма вычисления, основанного на представлении функций с помощью аналога дизъюнктивной нормальной формы.

0,5

У

а

X §

о

О-10—20-30-40— 50—60-70-80 — 90—100

-0.5

количество решенных тестов Ы

Рис. 3. График зависимостей между количеством решенных тестов и оценками в

универсальных баллах.

3 1-

10 20 30 40 50 60 70 80 количество решенных тестов п!

90 100

Рис. 4. Распределение баллов - от «2» до «5».

Для решения проблемы матричных сверток, возникающих при использовании парных сравнений для ранжирования и при анализе бинарных деревьев целей, разработан метод получения весов факторов, позволяющий решать задачи восстановления оценок и для неточной экспертной информации.

Решение сводится к оптимизационной задаче линейного программирования. Алгоритм реализован программно.

Таким образом, создана методическая и программная база, позволяющая получать и сопоставлять друг с другом оценки качества, агрегировать их в комплексные показатели и использовать их на всех этапах процесса обучения.

В четвертой главе «Иерархические оценки качества обучения и тестирования для взаимосвязанных ресурсов» рассматриваются задачи получения комплексных оценок качества дом объектов, находящихся на различных уровнях системы, непосредственное агрегирование которых невозможно.

В первом параграфе сформулирована обратная задача теории иерархических структур — как по виду комплексной многофакторной оценки восстановить структуру бинарного целевого дерева при условии, что в каждом его узле свертка является коммутативной и ассоциативной функцией от оценок нижнего уровня. Такая проблема в теории систем трактуется как «дешифровка» структуры черного ящика, если известна только зависимость «вход-выход».

При построении комплексной программы обеспечения качества с такими проблемами приходится сталкиваться для решения вопроса об оптимальной структуре учебного плана - когда, на каком уровне и в каком порядке должны

изучаться отдельные курсы, если известна статистика оценок по каждому предмету и комплексная оценка знаний обучаемых.

Анализ известного метода декомпозиции показал, что область его применения ограничена, вычислительная процедура громоздка и не приводит к однозначному результату.

Во втором параграфе предложен альтернативный метод, являющийся методом ветвей и границ со специфическим способом ветвления сверху вниз. Такой способ гарантирует построение всех возможных вариантов дерева целей, при этом блокирование неперспективных наборов вершин сильно сокращает перебор, и поиск решения резко убыстряется.

Новый метод позволил наметить способы решения задачи и для наиболее трудного случая нечетко заданных (или интегрально заданных) коэффициентов. Для этого вводится набор управляющих параметров, задающих уровень нечеткости. Разработана программа, позволяющая эффективно восстанавливать иерархические бинарные деревья.

Рис. 5. Результат работы алгоритма для фрагмента дерева учебного плана.

Выше (рис.5) рассматривается результат работы алгоритма для фрагмента дерева учебного плана. Каждый номер соответствует отдельному предмету, в прямоугольнике даны коэффициенты (а, Ь) бинарной свертки двух оценок вида

границы количеств решенных тестовых задач.

Иерархические деревья появляются и в задачах психофизиологического тестирования, используемого для оценки возможностей каждого исполнителя и формирования устойчивых и эффективных профессиональных групп.

При этом требуется, чтобы подобные процедуры тестирования были достаточно универсальны, допускали возможность применения экспресс методов, позволили получать комплексную оценку по совокупности локальных и сопрягались с другими оценками качества, используемыми в целевой программе ОК.

Полученные в диссертационной работе модели и алгоритмы использовались при создании системы обеспечения качества подготовки специалистов для АЭС в Нововоронежском учебно-тренировочном центре (УТЦ), которая успешно прошла апробацию МАГАТЭ и рекомендована к внедрению в центрах подготовки специалистов для АЭС России и зарубежных стран.

Результаты работы успешно использованы в процессе управления качеством подготовки российских и зарубежных (Иран, Китай, Индия) специалистов и для формирования учебных планов и программ.

Основные результаты работы

1. Разработана и реализована система обеспечения качества подготовки персонала АЭС, основанная на использовании единой системы оценок качества.

2. Создана система измерения качества подготовки персонала АЭС, отличающаяся использованием единого типа сопоставимых оценок и дающая возможность осуществлять измерения для широкого класса задач управления в социально-экономических системах.

3. Разработаны методы построения и использования квалитативных функций для зависимых и независимых ресурсов и вычисления на их основе системы требований к исходным ресурсам по требованию к результату функционирования.

4. Разработаны и использованы методы дискретизации оценок для сопоставления результатов тестирования по предметам различного объема и сложности усвоения.

5. Разработаны и реализованы методы построения комплексных оценок качества для дискретных зависимых показателей и для решения обратной задачи теории иерархических систем.

величины (А, В) дают верхнюю и нижнюю

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ В СЛЕДУЮЩИХ РАБОТАХ:

1. Лященко С.А. Внедрение системы обеспечения качества в HB УТ1Д -предприятии, оказывающем услуги объектам использования атомной энергии / С.А.Лященко, В.П.Семенов // Надежность и качество 2001: Тр. междунар. симп,- Пенза, Май 21-31, 2001 г.-Пенза, 2001.-С. 458-466.

2. Лященко С.А. Проект комплексной информационной системы обеспечения деятельности учебно-тренировочного центра предприятий атомной промышленности и энергетики / С.А. Королев, Г.А. Потапов, А.С.Пряхин, С.А. Лященко, А.В,Труфанов, П.А. Шорников // Научно-инновационное сотрудничество: Сб. науч. тр. науч.-техн. конф.-М., 2002. С,- 101-103.

3. Лященко С.А. Методика измерения качества при оказании услуг по обучению персонала АЭС в Нововоронежском учебно-тренировочном центре /Лященко С.А., Руссман И.Б. // Научно-инновационное сотрудничество: Науч. сес. Моск. гос. инженерно-физ. ин-та: Сб. науч.тр. науч.-техн. конф.— М., 2002.- С. 195-196.

4. Лященко С.А. Подготовка руководителей первого звена по вопросам управления / С.А.Лященко, И.Ю.Дудник // Опыт и методы повышения квалификации в отраслевых ИПК и внутрифирменном обучении организаций атомной энергетики, промышленности: Сб. докл. науч.- практ. конф., Россия, Обнинск, 14-16 нояб., 2000г.- Обнинск, 2000. - С. 154-162.

5. Лященко С.А. Определение объема моделирования технологических систем и полномасштабного тренажера серийного энергоблока с ВВЭР-1000 / С.А. Лященко // Вопросы создания системы подготовки эксплуатационного персонала АЭС и обеспечения ее полномасштабными тренажерами и специальными техническими средствами: Сб. докл. всесоюз. науч.- техн. совещ.- М., 1989.- С. 43.

6. Лященко С.А. Школа инструкторов как механизм передачи технологии СПО / А.П.Гунин, С.А.Лященко // Процедуры внедрения системного подхода к обучению персонала АЭС. Опыт и результаты внедрения СПО: Сб. тр. междунар. совещ., - Нововоронеж, 26-28 сент. 2001 г. - Нововоронеж, 2001—С. 18-22.

7. Лященко С.А. Внедрение системы OK в HB УТЦ / В.П.Семенов, С.А. Лященко // Процедуры внедрения системного подхода к обучению персонала АЭС. Опыт и результаты внедрения СПО: Сб. тр. международ, совещ., Россия, Нововоронеж, 26-28 сент. 2001 г. - Нововоронеж, 2001.- С 3441.

8. Лященко С.А. Процессный подход в управлении деятельностью предприятия / А.В.Труфанов, С.А. Лященко // Процедуры внедрения

системного подхода к обучению персонала АЭС. Опыт и результаты внедрения СПО: Сб тр. международ, совещ., Россия, Нововоронеж, 26-28 сент. 2001 г. -Нововоронеж, 2001,- С. 41-43.

9. Лященко С.А. Система подготовки персонала технического обслуживания и ремонта/ С.А.Лященко, С.Б. Пожилых // Процедуры внедрения системного подхода к обучению персонала АЭС. Опыт и результаты внедрения СПО: Сб. тр. Междунар. совещ., Россия, Нововоронеж, 26-28 сент. 2001 г. -Нововоронеж, 2001- С. 31-34.

10.Лященко С.А. Системный структурный анализ и программа обеспечения качества обучения персонала в Нововоронежском учебно-тренировочном центре / С.Е.Лансдберг, С.А.Лященко // Высокие технологии в технике, образовании, медицине и экономике: Межвуз. сб., - Воронеж, 2001-С. 51-54.

11. Лященко С.А. Применение системного структурного анализа к разработке программы обеспечения качества обучения персонала в Нововоронежском Учебно-тренировочном Центре / С.Е. Ландсберг, С.А. Лященко // Интеллектуализация управления: Сб. науч. тр. Всероссийской конф. - Воронеж,

2001,- С. 74-75.

12.Лященко С.А. Подходы к разработке методов измерения качества при обучении персонала АЭС / Лященко С.А. II Проблемы интеллектуализации образования: Матер, международ, конф. 27-28 нояб. 2002г.- Воронеж-М.:

2002.— С.287-289.

13.Лященко С.А., Согласование оценок качества в задачах обучения и управления / С.А. Лященко, И. Б. Руссман // Стандарты и качество.- 2003. N1.-C. 82-84.

14.Лященко С.А. Анализ иерархических деревьев в задачае построения комплексной программы качества обучения / С.А. Лященко, И. Б. Руссман // Системы управления и информационные технологии: Международ, сб. науч. тр.-Воронеж, 2003.- Вып. 10.- С. 33-35.

Заказ № 822 от 20 12 2004 г Тир 100 экз Лаборатория оперативной полиграфии ВГУ

4

f»

I

f 4

49 . -

365

РНБ Русский фонд

2006-4 2377

ВВЕДЕНИЕ.

ГЛАВА I. АНАЛИЗ ПОДХОДОВ В СИСТЕМАХ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПОДГОТОВКИ СПЕЦИАЛИСТОВ АЭС И ПУТИ ИХ

РЕАЛИЗАЦИИ.

§ 1. Система обеспечения качества АЭС.

§2.Схема формирования и характеристики основных этапов программы подготовки специалистов для АЭС.

§3. Цели и задачи исследования.

ГЛАВА II. МЕТОДОЛОГИЯ ОЦЕНИВАНИЯ

КАЧЕСТВА ПОДГОТОВКИ ПЕРСОНАЛА АЭС.

§1.Комплексное оценивание в системе обеспечения качества.

§2. Структура и основные процедуры оценивания при обучении персонала АЭС.

2.1 Обзор этапа «оценка».

2.2 . Внутренняя оценка.

2.2.1. Данные опыта эксплуатации АЭС.

2.2.2.Данные опыта эксплуатации отрасли.

2.2.3. Отчеты об инспекциях и оценках.

2.2.4. Изменения в процедурах.

2.2.5 Данные от руководителей АЭС.

2.2.6. Данные от работников АЭС.

2.2.7. Данные от инструкторов.

2.2.8 Данные от обучаемых.

2.2.9 Данные наблюдений.

2.3. Внешняя оценка.

2.4. Обратная связь от результатов оценки.

2.5. Назначение этапа «оценка» подготовки.

2.6. Стратегия оценки.

2.7. Четырехуровневая модель оценки результатов обучения.

2.7.1 Оценка удовлетворенности обучаемых.

2.7.2.Педагогическая оценка.

2.7.3. Оценка переноса.

2.7.4. Оценка последствий.

Выводы.

ГЛАВА III МЕТОДЫ ФОРМИРОВАНИЯ ОЦЕНОК КАЧЕСТВА

ДЛЯ НЕЗАВИСИМЫХ РЕСУРСОВ.

§1. Оценки качества и построение квалитативных функций.

1.1 .Измерение качества и трудность.

1.2. Квалитативная функция.

1.3 .Восстановление вида квалитативной функции.

§2.Оценка требований к качествам ресурсов и ее использование для тестирования

2.1. Требования к качествам ресурсов.

2.2.Перевод непрерывных оценок в универсальные баллы.

2.3.Практическое использование методов перевода оценок

Реализация разработанных методов.

§3 Дискретные оценки качества.

3.1. Проблемы агрегирования и дезагрегирования.

Выводы.

ГЛАВА IV ИЕРАРХИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ОБУЧЕНИЯ И ТЕСТИРОВАНИЯ ДЛЯ ВЗАИМОСВЯЗАННЫХ

РЕСУРСОВ.

§ 1. Восстановление иерархической структуры бинарного дерева.

§2 Метод ветвей и границ для анализа бинарных иерархических деревьев в задаче оценки структуры обучения.

Выводы.

Актуальность темы исследования

В условиях комплексной динамической трансформации всей экономики России, отразившейся, в первую очередь на ее энергетической системе, составной и важнейшей частью которой является атомная энергетика, возникает объективная необходимость в исследовании и осмыслении новых подходов к организации управления. Повышение эффективности управления напрямую связано с определением стратегических приоритетов и формированием действенных механизмов.

Все основные усилия мировой атомной энергетики в последние десятилетия были сосредоточены на проблеме качества для безопасности. Они координировались и поддерживались МАГАТЭ с тем, чтобы самый высокий уровень стандартов качества стал нормой на всех стадиях эксплуатации АЭС от проектирования до заключительной стадии. При распространении такого опыта стало ясно, что главным лимитирующим фактором безопасности является персонал объекта.

Именно поэтому создание и эксплуатация системы обеспечения качества подготовки специалистов, работающих на АЭС, является чрезвычайно актуальной задачей.

Диссертационное исследование выполнено в рамках НИР ГБ 01.04 «Интеллектуализация принятия решений в автоматизированных и информационных системах» в соответствие с одним из основных научных направлений Воронежского государственного технического университета «Проблемно-ориентированные системы управления».

Общим проблемам управления качеством посвящены многочисленные работы российских и зарубежных авторов: [1-18], [120-132] Проблемам качества и оценкам, возникающим в задачах обучения, посвящены исследования [19-39]. Сравнительно небольшая группа ученых рассматривала специфические эффекты анализа качества в атомной энергетике. Здесь следует упомянуть работы и важнейшие нормативные документы [40-43], [44-57].

Также следует отметить публикации, посвященные квалиметрическому анализу целевых систем и проблемам согласования оценок качества [68-74]. Практически все авторы сходятся во мнении, что для повышения эффективности управления необходима разработка системы четких целей (прежде всего - долгосрочных), позволяющих сконцентрировать усилия на ключевые направления развития.

Большая часть исследователей отмечает наличие противоречий между целями, невозможность сопоставления их между собой, отсутствие единой методологии измерения отдельных качественных характеристик и способов их комплектования.

Все это определяет необходимость проведения исследований, направленных на разработку моделей и методов оценки, согласования и объединения качественных характеристик в процессе создания и эксплуатации системы качества.

Цель исследования заключается в разработке и построении системы квалиметрических оценок в задачах управления качеством, позволивших обеспечить набор требований при обучении персонала.

Задачи исследования. Для достижения поставленной цели в работе цели решаются следующие задачи:

- на основании изучения целей функционирования АЭС разработать методы формирования иерархической структуры системы обеспечения качества подготовки специалистов;

- исследовать процессы управления системой обеспечения подготовки специалистов с помощью разбиения на локальные подсистемы, каждой из которой должна соответствовать система оценок качества;

- разработать методику построения и использования локальных и обобщенных оценок качества, пригодную для анализа различных подсистем, входящих в комплексную систему обеспечения качества;

- провести исследования метода агрегирования и сопоставления качественных оценок различного типа.

Объектом исследования выступает комплексная программа обеспечения качества при предоставлении услуг по обучению персонала АЭС.

Предметом исследования являются формирование и использование оценок качества и анализ их роли в управлении процессом достижения целей для системы обеспечения качества подготовки специалистов для АЭС.

Методы исследования. Для решения поставленных задач использовались основные положения теории систем, теории линейной и нелинейной оптимизации, методы классификации, методы анализа экспертной информации, математической статистики, теории графов и теории управления.

Научная новизна. На защиту выносятся следующие положения, характеризующие научную новизну:

- методический подход к созданию единой документированной системы обеспечения качества подготовки персонала АЭС, удовлетворяющий требованиям международных стандартов к системам качества, позволяющий рационально и обоснованно осуществлять выбор оптимальных решений на основе моделирования процессов по этапам жизненного цикла системы;

- метод построения программы представления услуг по обучению персонала АЭС, отличающийся использованием единой системы элементов каждого уровня, применением стандартизированной схемы перехода между уровнями и многокритериальным выбором оптимальных вариантов;

- истема измерения качества подготовки персонала АЭС, включающая измерение качества ресурсов, измерение качества процесса оценивания обучаемых и измерения качества технологических и административных процессов;

- методы и программы, позволившие впервые осуществить расчет квалитативных функций как аналогов производственных функций для оценок качества в случае независимых ресурсов и на их основе построить модель, дающую возможность оценивать требования к качеству ресурсов по требованию к результату функционирования системы;

- метод построения комплексных оценок качества для дискретных зависимых показателей. Решена обратная задача теории иерархических систем - по комплексной оценке бинарного дерева восстанавливается его структура.

Практическая значимость работы состоит в конструировании системы оценки качеств и способов их комплексирования и сопоставления. Предложенная система и механизмы ее реализации могут быть теоретической базой разработки систем обеспечения качества не только в атомной энергетике. Они могут лечь в основу алгоритмов получения оценок степени достижения целей и их согласования при разработке и управлении реализацией целевых комплексных программ в образовании, промышленности, науке и медицине.

Материалы диссертации используются при разработке учебных курсов специальностей 220100 - «Вычислительные машины, комплексы, системы и сети», 062000 - «Управление персоналом».

Рекомендации, сформулированные в ходе исследования, внедрены при разработке «Программы обеспечения качества при представлении услуг по обучению персонала АЭС» и использованы при обучении российских и иностранных специалистов.

Апробация работы. Основные положения и выводы, а также прикладные результаты докладывались и обсуждались на следующих конференциях, симпозиумах, совещаниях, научных сессиях: Международном симпозиуме «Надежность и качество 2001», Пенза, 2001 г.; Международной конференции «Проблемы интеллектуализации образования», Воронеж - Москва, 2002 г.; Всесоюзном научно-техническом совещании «Вопросы создания системы подготовки эксплуатационного персонала АЭС», Москва, 1989 г.; Международном совещании «Процедуры внедрения системного подхода к обучению персонала АЭС», проведенных совместно с концерном Росэнергоатом МАЭРФ и Госкоматомом Украины, Нововоронеж, 2001 г.; научных сессиях Московского государственного инженерно-физического института в 2002 и 2003 годах.

Публикация результатов работы. По теме диссертации опубликовано 14 печатных работ. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично автору принадлежит в [1, 2, 7, 8, 10, 11] - определение и анализ процедур управления качеством на каждом этапе жизненного цикла, общие базисные принципы построения информационной системы управления качеством и способы ее оценивания; в [3, 13, 14] - модель оценки требований к качеству входных ресурсов и реализация методов восстановления квалитативных функций по экспериментальным данным; в [4, 6, 9]- оценка качества подготовки технического персонала.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 132 наименований, 4 приложений.

Выводы

1. Разработаны методы и программы, позволившие осуществить эффективный расчет квалитативных функций для показателей, находящихся на разных уровнях иерархического дерева.

2. Построен и практически реализован новый метод решения обратной задачи теории иерархических систем - по виду интегральной оценки восстанавливается структурного бинарного дерева целей. Разработанный метод применен для восстановления структуры учебного плана по результатам итоговых испытаний обучаемых.

3. Разработанные в главе методы использованы также [119] для психологического тестирования [98-104], основанного на построении оппозиционных шкал и использовании иерархических деревьев для оценки их сходства между собой, выбора основных и построении интегральных оценок.

1. Докучаев Е. Управление качеством продукции: Учеб. пособие / Е. Докучаев, Ю. М. Малышев ; Уфим. гос. нефтяной техн. ун-т., 2002 .

2. Пиганов М. Н. Индивидуальное прогнозирование показателей качества элементов и компонентов микросборок / М. Н. Пиганов, 2002.

3. Федюкин В. К. Методы оценки и управления качеством промыпшенной продукции: Учеб. для студентов вузов, обучающихся по эконом, специальностям / В.К.Федюкин, В.Д. Дурнев., В.Г. Лебедев, 2001

4. Герасимов Б. И. Экономико-математические модели погрешностей оценки качества / Б.И. Герасимов; М-во образования Рос. Федерации. Тамб. гос. техн. ун-т, 2000.

5. Никеров Н. Экспертно-статистический метод оценки качества продукции /Учеб. пособие. Под ред. Н. Никерова; Петерб. гос. ун-т путей сообш;, 1995.

6. Базаржапов Ч. Б. Качество сельскохозяйственной продукции: методы оценки и анализа /Ч. Б. Базаржапов, 1989.

7. Батечко И. В. Методы оценки технического уровня и качества продукции/ И. В. Батечко, В. А. Кныш, 1988,

8. Елагин К.В. ,сост. Эстетическая оценка качества продукции. Номенклатура показателей и методы оценки Метод. Рекомендации. К. В. Елагин и др., 1987 .

9. Миттаг Х.-Й. Статистические методы обеспечения качества/Х.-Й. Миттаг, X. Ринне ; Пер. с нем. Е. Кокот; Под ред. Б. Н, Маркова, 1995.

10. Азгальдов Г.Г. О квалиметрии / Г.Г.Азгальдов, Э.П. Райхман - М.: Изд.- во стандартов, 1973.-172 с.

11. Азгальдов Г.Г. Теория и практика оценки качества товаров / Г.Г. Азгальдов - М.: Экономика, 1982.- 254с.

12. Андрианов Ю.М. Квалиметрия в приборостроении и машиностроении / Ю.М. Андрианов., А.И. Субетто - Л.: Машиностроение, 1980.- 222 с. 16.0крепилов В.В. Управление качеством- М.: Экономика, 1998.

13. Харрингтон Дж.Х. Управление качеством в американских корпорациях- М.: Экономика, 1990.

14. Системы качества / Сб. нормативно-методических документов. Под. ред. З.С.Федорова. М.: Издательство стандартов, 1989.

15. Буканов Ф. Ф. Квалиметрия профессиональных знаний / Ф. Ф. Буканов, A. Н, Меркушев, Е. В. Погорелова. Междунар. акад. информатизации, Самар. гос. техн. ун-т, 1996.

16. Хазова Л. В, Критерий и оценка эффективности гуманитарной подготовки в техническом вузе / Л. В. Хазова. Учеб. пособие Краснояр. гос. техн. ун-т, 1996.

17. Мизинцев В. П., Мизинцев В. П, Проблема аналитической оценки качества и эффективности учебного процесса в школе: Учеб. пособие / В. П. Мизинцев. Ч. 1.. 1979.

18. Мизинцев В. П. Проблема аналитической оценки качества и эффективности учебного процесса в школе: Учеб. пособие (Спецкурс) В 3-х ч.. / В. П. Мизинцев. Ч. 2. 1980.

19. Мизинцев В. П. Проблема аналитической оценки качества и эффективности учебного процесса в школе : В 3 ч.. / В. П. Мизинцев, А. B. Кочергин ; Куйбышев, гос. пед. ин-т им. В. +В. Куйбышева. Ч. 3.. 1986.

20. Вроейнстийн А. И. Оценка качества высшего образования: Рекомендации по внеш. оценке качества в вузах / А. И. Вроейнстийн; Предисл. В. Гуничева, Степанова; Пер. М.В. Рылова.-М.: МНЭПУ, 2000.-179,1. с.

21. Системы качества в образовании: Сб. пер. с англ. / Мое, гос. ин-т стали и сплавов; Под. обш;. ред. Ю. П. Адлера. Вып. 1, ч. 1.-2000.-142с.

22. Системы качества в образовании: Сб. пер. с англ. / Мое, гос. ин-т стали и сплавов; Под. общ. ред. Ю. П. Адлера. Вып. 1, ч. 2.-2000.-143с.

23. Сидоркина Г.Л. Системная оценка качества образования / Г.Л.Сидоркина // Системы управления качеством высшего образования, 2001.-С. 32-33.

24. Обеспечение качества при эксплуатации АЭС / Справочное пособие. Концерн «Росэнергоатом» ВНИИАЭС. Москва, 2000.

25. Воронин Л.М. Безопасность атомных электростанций / Л.М. Воронин, Р.Е. Засорин и др. Справочник-Paris: VBD communication graphique, 1998.

26. Горлов В.Н. Обеспечение качества в атомной энергетике и промышленности / В.Н. Горлов и др.//Ядерная энергетика: вопросы и ответы. -М.: ИздАТ.1995.-Вып.8.

27. TRS 380. Обучение персонала АЭС и его оценка. Руководство по безопасности / Международное агентство по атомной энергии МАГАТЭ.-Вена, 1990.

28. Серия изданий по 6e3onacHOCTH.№50-C/SG-Q. Обеспечение качества для безопасности атомных электростанций и других ядерных установок / Международное агентство по атомной энергии МАГАТЭ.-Вена, 1990.

29. ГОСТ Р ИСО 9001-96. Системы качества. Модель обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании / Государственный стандарт Российско Федерции.-Москва.ИПК. Издательство стандартов, 1996.

30. ГОСТ Р ИСО 9002-96. Системы качества. Модель обеспечения качества при производстве, монтаже обслуживании / Государственный стандарт Российской Федерации.- Москва. ИПК. Издательство стандартов, 1996.

31. ГОСТ Р ИСО 9003-96. Системы качества. Модель обеспечения качества при окончательном контроле испытаниях / Государственный стандарт Российской Федерации.- Москва. ИПК. Издательство стандартов, 1996.

32. ГОСТ Р ИСО 10011-1-93. Руководящие указания по проверке систем качества Часть 1. Проверка / Государственный стандарт Российской Федерации.- Москва. РШК. Издательство стандартов, 1993.

33. ИСО 9000-1-94. Стандарты по общему руководству качеством и обеспечению качества. Часть 1. Руководящие указания по выбору и применению / Международная организация по стандартизации.- Женева, 1994.

34. ИСО 8402-94. Управление качеством и обеспечение качества. Словарь/ Международная организация по стандартизации.- Женева, 1994.

35. ИСО 10013:95. Руководящие указания по разработке руководств по качеству/ Международная организация по стандартизации.- Женева, 1995.

36. ИСО 10005:95. Административное зшравление качеством/ Руководящие указания по планам качеств. Международная организация по стандартизации.-Женева, 1995.

37. ИСО 9004-1-94. Общее руководство качеством и элементы системы качества. Часть 1./ Руководят указания. Международная организация по стандартизации. -Женева, 1994.

38. ИСО 9004-2-91. Общее руководство качеством и элементы системы качества. Часть 2. /Руководят; указания по обеспечению качества при предоставлении услуг. Международная организация по стандартизации.-Женева, 1994.

39. ETKC-9. Единый тарифно-1свалификационный справочник работ и профессий рабочих АЭС/ Государственный комитет СССР по труду и социальным вопросам.- Москва, 1985.

40. Регламент подготовки и поддержания квалификации персонала АС в НВ УТЦ/ Нововоронежский УТЦ.- Нововоронеж, 1999. 63.0ПЭ АС. Основные правила обеспечения эксплуатации атомных станций/ Минатом РФ.- Москва, 1999.

41. Положение об учебно-тренировочном центре для подготовки эксплуатационного персонала/№ СССР. -Москва, 1999,

42. Правила организации работы с персоналом на предприятиях и в организациях Минатомэнерго СССР ПОРП-89/ Москва, 1989.

43. Основные положения по подбору, подготовке, допуску к работе и контролю в процессе эксплуатации персонала АС. МАЭП СССР. 1990.

44. Леденена Т.М. Моделирование прогресса агрегирования информации в целенаправленных системах /Т.М. Леденева-Воронеж.: Изд.-во ВГТУ, 1999.- 154с.

45. Каплинский А.И. Моделирование и алгоритмизация слабо- формализованных задач выбора наилучших вариантов систем / А.И. Каплинский, И.Б.Руссман, В.М. Умывакин - Воронеж.: Изд.-во ВГУ, 1990.-168 с.

46. Руссман И.Б. Комплексная оценка системы и оценки подсистем./ И.Б. Руссман // Изд.-во АН СССР, Сер. Техническая кибернетика.- 1978. N2, -С.201-204.

47. Артоболевский И.И. О некоторых способах выбора интегрального критерия качества в задачах оптимального проектирования машин / И.И. Артоболевский, И.Б.Руссман, В.И.Сергеев, Р.Б. Статников // АН СССР, Машиноведение.- 1978.-N2.- 3-10.

48. Бермант М.А. О проблеме оценки качества / М.А.Бермант, И.Б. Руссман // АН СССР, Экономика и математические методы, 1978.-N4. 422-431.

49. Руссман И.Б. О проблеме пересчета интегральных показателей при сравнении многомерных объектов / И.Б.Руссман // Проблемы функционирования и развития инфраструктуры народного хозяйства.-М.: ВНИИСИ, 1983.- 19-24.

50. Руссман И.Б. Интегральные оценки качества в организационных системах / И.Б.Руссман // Структурная адаптация сложных систем управления. - Воронеж.: Изд-во ВПИ, 1977.- 90-92,

51. КИНИ Р.П. Принятие решений при многих критериях: Предпочтения и замещения / Р.П. Кини, X. Райфа - М.: Радио и связь, 1981.-560 с.

52. Литвак Б.Г. Экспертная информация: Методы получения и анализа / Б.Г. Литвак - М.: Радио и связь, 1984.-184 с.

53. Лотов А.Б. Компьютер и поиск компромисса. Метод достижимых целей / А.Б. Лотов, В.А. Бушенков, Г.К. Каменев - М.: Наука, 1997.- 239 с.

54. Николаев В.И. Системотехника: Методы и приложения / В.И. Николаев, В.М. Брук, - Л.: Машиностроение, 1985.-199 с. 81.0рловсьсий А. Проблемы принятия решений при нечеткой исходной информации / А. Орловский - М.: Наука, 1981.- 206 с. ИЗ

55. Подиновский В.В. Многокритериальные задачи с однородными равноценными критериями /В.В. Подиновский //Журнал вычислительной математики и математической физики. - 1975 - Т. 15, N2.- С 330-344.

56. Прикладные нечеткие системы / Под редакцией Т. Тэрано и др. - М.: Мир, 1993.- 368с.

57. Саати Т.Л. Взаимодействия в иерархических системах / Т.Л. Саати // Изв. АН СССР. Сер. Техническая кибернетика - 1979.- N1. - 68-84.

58. Терехина А.Ю. Анализ данных методами многомерного шкалирования / А.Ю.Терехина - М.: Наука, 1986.- 168 с.

59. Хованов Н.В. Анализ и синтез показателей при информационном дефиците / Н.В. Хованов - СПб.: Изд.-во СПГУ, 1996.-196 с.

60. Волкова В.Н. Основы теории систем и системного анализа / В.Н. Волкова, А.А. Денисов - СПб: Изд.-во СПбГТУ, 1999.- 512 с.

61. Саати Т.Л. Аналитическое планирование и организация систем / Т.Л.Саати, К. Керне - М.: Радио и связь. 1991.- 224 с.

62. Янг Системное управление организацией / Янг- М.: Сов. Радио, 1972.-455с.

63. Миллер Р.В. ПЕРТ - система управления организацией / Р.В. Миллер - М.: Экономика, 1965.-202 с.

64. Лопухин М.М. ПАТТЕРН - Метод планирования и прогнозирования научных работ / М.М. Лопухин - М.: Сов. Радио, 1971.- 160 с.

65. Поспелов Г.С. Программно-целевое планирование и управление / Г.С.Поспелов, В.А. Гериков - М.: Сов. Радио, 1976.- 440с.

66. Принципы декомпозиции целей и методика построения дерева целей в системах организационного управления / Ф.И. Перегудов, В.Н. Сагатовский и др.// Кибернетика и вуз. Вып.8.- Томск: ТПИ, 1974,-С. 9-20.

67. Базилевич Л.А. Моделирование организационных структур /Л.А. Базилевич- Л. Изд.-во ЛГУ, 1978.-160 с.

68. Базилевич Л.А. Комплексный критерий качества организационной стрзпктуры / Л.А. Базилевич // Количественные методы анализа и синтеза структур организационных систем / Л.А. Базилевич - М.: МНИИПУ, 1983.-C.14-23.

69. Мильнер Б.З. организация программно -целевого управления / Б.З. Мильнер-М.: Наука, 1980.- 376 с.

70. Овсиевич Б.Л. Формирование организационных структур / Б.Л. Овсиевич - Л.: Наука, 1979.- 159 с.

71. Психология и математика / Сб. статей. Под ред.В.Б. Рубахина. -М.:Наука, 1976.-212 с.

72. Дюк В.А. Компьютерная психо-диагностика. - СП.: Братство, 1994 - 252 с.

73. Леонов Ю.П. Теория статистических решений и психофизика / Ю.П. Леонов,- М.: Наука, 1977.-227 с.

74. Бардин К.В. Проблема порогов чувствительности и психофизические методы/ К.В. Бардин. - М.: Наука, 1976.-3 Юс.

75. Смирнов Л.В. О возможности использования теории нечетких множеств в дифференциальной психологии/ Л.В. Смирнов. В кн. Дифференциальная психофизиология и ее генетические аспекты. - М.: Наука, 1975.-С. 163

76. Шмелев А.Г. Введение в экспериментальную психосемантику / А.Г. Шмелев.- М.: Наука, 1983.- 264с.

77. Дюран И.Б. Кластерный анализ / И.Б. Дюран, П.Одел. М.: Статистика, 1977.-128 с.

78. Лансберг СЕ. Системный структурный анализ и программа обеспечения качества обучения персонала в Нововоронежском учебно-тренировочном центре/ СЕ.Лансберг, А.Лященко УДК 658.15. Издательство "Воронежский государственный университет", 2001.

79. Лященко А., Согласование оценок качества в задачах обучения и управления/ А. Лященко, И. Б. Руссман // РИА Ставдарты и качествс-2003. N1.

80. Лященко А. Комплексная психофизиологическая оценка в системе качества подготовки специалистов /С.А. Лященко//Системы управления и информационные технологии: Межунар. сб. науч. тр.- Воронеж, Изд-во: Научная книга.-2003.- Вып. 10.- 27-30.

81. Kellaghan, Thomas. Using assessment to improve the quality of education / Thomas Kellaghan -Paris: UNESCO. Intern, inst. for educational planning, 2001.

82. Andersson, Mona. The early childhood environment rating scale (ECERS) as a tool in evaluating and improving quality in preschools / Mona Andersson-Stockholm -.Stockholm inst. of education press (HLS fori.), 1999.

83. Fitz-Gibbon, Carol Taylor. Monitoring education: Indicators, quality a. effectiveness / Carol Taylor, Fitz-Gibbon - London- New York -.Cassell, 1998.

84. ROFFE, I.M. Conceptual problems of continuous quality improvement and innovation in higher education/ I.M. ROFFE //Quality Assurance in Education.-1998.-6 (2).-pp. 74-82.

85. HERMES, LIESEL. Learner assessment through subjective theories and action research/ LIESEL HERMES // Assessment & Evaluation in Higher Education. -1999- 24 N 2.- pp. 193-200.

86. John D. Mulhem. Total Quality Management: Can education afford to ignore it?/ Mulhem, John D// Continuous Improvement Monitor.- 1998-Volume 1 Number 3.

87. Anna-Marija Liuhanen, Paavo Sippola and Asko Karjalainen The Impact of Evaluations for Improving University Teaching/ Anna-Marija Liuhanen, Paavo Sippola and Asko Karjalainen // University of Oulu, Finland.- 1997.

88. Dr. Alma Harris. Successful School Improvement in the United Kingdom and Canada School of Education/ Dr. Alma Harris- University of Nottingham, England, 2000.

89. James R. Evans, William M. Lindsay. The Management and Control of Quality/ James R. Evans, William M. Lindsay// - 4-th/ ed. South-Western College Publishing.-1999.- pp 785.

90. Ralf G. Lewis, Douglas H. Smith. Total Quality in Higher Education/ Ralf G. Lewis, Douglas H. Smith. - St. Lucie Press, 1997. -330 pp.

91. R.S. Winter. Can total Quality Management be adopted in Colleges and Universities? An International perspective/ R.S. Winter. // 43rd European Quality Congress. Proceeding book. Madrid, 9-11 June, 1999.

92. Daniel Mieade. A Quality Strategy for Institutional Effectiveness at ITESM/ Daniel Mieade. // 43"^ ^ European Quality Congress. Proceeding book. Madrid, 9-11 June, 1999.

93. Nieves Segovia Bonet. Quality and Innovation in Education/ Nieves Segovia Bonet. // 43rd European Quality Congress. Proceeding book. Madrid, 9-