Методологические основы построения информационно-аналитической системы государственной аккредитации учреждений профессионального образования

Петропавловский, Михаил Вячеславович

Управление в социальных и экономических системах

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Методологические основы построения информационно-аналитической системы государственной аккредитации учреждений профессионального образования

доктора технических наук: Петропавловский, Михаил Вячеславович
город: Москва
год: 2005
специальность ВАК РФ: 05.13.10

Диссертация по информатике, вычислительной технике и управлению на тему «Методологические основы построения информационно-аналитической системы государственной аккредитации учреждений профессионального образования»

Автореферат диссертации по теме "Методологические основы построения информационно-аналитической системы государственной аккредитации учреждений профессионального образования"

АКАДЕМИЯ УПРАВЛЕНИЯ МВД РОССИИ

На правах рукописи ПЕТРОПАВЛОВСКИЙ Михаил Вячеславович МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКОЙ СИСТЕМЫ ГОСУДАРСТВЕННОЙ АККРЕДИТАЦИИ УЧРЕЖДЕНИЙ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Специальность 05.13.10 - управление в социальных и экономических системах (технические науки) Автореферат диссертации на соискание ученой степени доктора технических наук

щ,

Москва-2005 УЧЁНЫЙ СЕКРЕТИТ

АКАДЕМИЯ УПРАВЛЕНИЯ МВД РОССИИ

На правах рукописи

ПЕТРОПАВЛОВСКИЙ Михаил Вячеславович

МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКОЙ СИСТЕМЫ ГОСУДАРСТВЕННОЙ АККРЕДИТАЦИИ УЧРЕЖДЕНИЙ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Специальность 05.13.10 — управление в социальных и экономических системах (технические науки)

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

Москва - 2005

РОС. НАЦИОНАЛЬНАЯ библ но1ека С.Петер5у|>г

аюсРк

103^33

Диссертация выполнена на кафедре прикладной математики и информационных технологий Марийского государственного технического университета и кафедре информационных технологий управления органами внутренних дел Академии управления МВД России.

Научный консультант: доктор технических наук, профессор

Наводиов Владимир Григорьевич

Официальные оппоненты: доктор технических наук, профессор

Ириков Валерий Алексеевич

доктор технических наук, профессор Львович Яков Евсеевич

доктор технических наук, профессор Зернов Владимир Алексеевич

Ведущая организация — Российская академия государственной службы при Президенте Российской Федерации.

Защита состоится « " » июня 2005 г. в 14.30 часов на заседании диссертационного совета Д 203.002.04 в Академии управления МВД России по адресу: 125171, г. Москва, ул. Зои и Александра Космодемьянских, д. 8, в зале Ученого совета.

С диссертацией можно ознакомиться в библиотеке Академии управления МВД России.

Автореферат разослан «о » апреля 2005 г.

Ученый секретарь диссертационного совета

кандидат технических наук,

профессор

В.И.Кирин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. С начала 90-х годов XX столетия в системе высшего образования России происходят кардинальные перемены, обусловленные как демократическими изменениями в самом государстве и обществе, так и изменениями в законодательной базе системы образования —

* принятием Закона «Об образовании» в 1992 году и Закона «О высшем и послевузовском профессиональном образовании» в 1996 году.

С 1992 года в системе высшего профессионального образования наряду с государственными появляются негосударственные учебные заведения. Так, в 1993 году из 626 высших учебных заведений, ведущих образовательную деятельность на территории России, 78 (12,5%) имели организационно-правовую форму «негосударственное учебное заведение» и в них обучалось 2,7% студентов. Но уже в 1997 году количество негосударственных вузов выросло до 302 (34,3%), а доля обучающихся в них студентов составила 6,2%. В 2004 году количество государственных и негосударственных вузов в системе образования практически сравнялось и составило соответственно 633 и 627 учебных заведений, при этом в негосударственном секторе обучались более 1 миллиона студентов, что составляет 15,4% численности студентов России.

Кроме того, в 2004 году на территории Российской Федерации функционировали более двух тысяч филиалов высших учебных заведений, в том числе 1374 филиала государственных и 762 филиала негосударственных вузов. Аналогичная картина наблюдается и в системах среднего и дополнительного профессионального образования.

Таким образом, высшее, среднее и дополнительное профессиональное образование на современном этапе представляют собой бурно развивающиеся системы, основным требованием к которым со стороны государства и общества

является качество образования.

Закон «Об образовании», повлекший за собой демократические реформы в

* структуру системы образования, определил и новые механизмы управления системой образования — лицензирование, аттестацию и государственную аккредитацию. При этом государственная аккредитация является основным ме-

ханизмом гарантии качества образования со стороны государства, так как государство фактически доверяет аккредитованному учебному заведению от своего имени вести образовательную деятельность.

Основным структурным элементом системы управления является информационно-аналитическая подсистема Учитывая социальную и экономическую важность качества образования для Российской Федерации, проблемы анализа 1

структуры, функций, а также разработка на этой основе информационно-аналитической системы государственной аккредитации как системы управления качеством образования имеют, безусловно, важное значение.

Таким образом, актуальность исследований определяется необходимостью разрешения противоречия между требованиями общества и государства к качеству образования в условиях бурного развития систем высшего, среднего и дополнительного профессионального образования в Российской Федерации, с одной стороны, и отсутствием эффективных механизмов реализации государственных процедур обеспечения качества образования — с другой, которое разрешается посредством разработки методологических основ построения информационно-аналитической системы государственной аккредитации и информационной технологии сопровождения аккредитации на основе Центрального банка данных государственной аккредитации (ЦБД ГА).

Степень научной разработанности темы исследования. Разработка технологии государственной аккредитации в России ведется с начала 1990 годов.

В области развития теории управления образовательными системами, использования информационных технологий в процедурах управления образованием, разработки содержания системы аккредитации необходимо отметить работы В.А.Болотова, В.Н.Буркова, Е.Н.Геворкян, Б.К.Коломийца, В. Ж. Ку клина,

A.А.Кушеля, Б.Г.Литвака, А.С.Масленникова, А.Н.Майорова, В.Ф.Мануйлова,

B.И.Мешалкина, Г.Н.Мотовой, В.Г.Наводнова, Б.А.Савельева, В.А.Северцева, ' Н.А.Селезневой, А.И.Субетго, К.Н.Цейковича, В.Д.Шадрикова.

Большой вклад в разработку нормативной базы, а также в создание моделей ,

и технологии аккредитации внесли В.А.Болотов, Е.Н.Геворкян, В.Ж.Куклин, В.И.Мешалкин, В.Г.Наводнов, Б.А.Савельев, В.Д.Шадриков.

Сравнительные исследования процедур оценки качества образования, анализ зарубежного опыта проведения процедур оценивания, а также рассмотрение педагогических аспектов в процедуре аккредитации можно найти в работах Г.Н.Мотовой, В.Г.Наводнова, Б.А.Савельева, К.Н.Цейковича.

Исследованием методов разработки измерительных материалов и методик проведения тестирования в процедурах аттестации и аккредитации активно занимаются В.Ж.Куклин, А.С.Масленников, А.Н.Майоров, В.Г.Наводнов, Б.А.Савельев.

В результате исследований была создана обобщенная модель процедуры аккредитации высших учебных заведений, основанная на циклическом оценивании по результатам деятельности как вуза в целом, так и каждой образовательной программы по совокупности значимых показателей. В качестве методологии оценивания была принята смешанная: метрические показатели оценивались на основе критериального подхода, а экспертные - на основе бинарного (соответствует / не соответствует).

Из зарубежных исследований, которые внесли большой вклад в разработку систем управления образованием на основе процедуры аккредитации и исследование проблем оценки качества образования в целом, необходимо отметить работы А.Вроейнстийна, Г.Келса, M.Adams, M.Cave, S.Yanney, D.Hopkins, J.Johnes, J.Taylor, D.Westerheijden.

Исследования зарубежных специалистов, несомненно, требуют адаптации к российской системе образования, которая специфична широкой типовой и видовой классификацией образовательных учреждений. Так, согласно Закону «Об образовании», только к системе профессионального образования относятся учреждения начального, среднего, высшего и послевузовского профессионального образования.

Объектами исследования являются системы высшего, среднего профессионального и дополнительного профессионального образования России.

Предмет исследования: система государственной аккредитации учреждений высшего, среднего профессионального и дополнительного профессионального образования.

Цель исследований состоит в совершенствовании механизмов управления качеством образования на основе разработки методологических основ построения информационно-аналитической системы государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования.

В работе поставлены и решены следующие задачи:

1. Исследование системы государственной аккредитации как системы управления качеством образования, анализ функций системы, определение целей государственной аккредитации, а также анализ субъекта и объекта управления государственной аккредитации.

2. Определение роли и места информационно-аналитической подсистемы в системе государственной аккредитации, морфологическое и функциональное описание подсистемы и анализ основных ее элементов.

3. Создание комплекса математических моделей государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования.

4. Разработка методики поддержки принятия решений по аттестации и государственной аккредитации как на институциональном, так и на программном уровнях.

5. Проектирование информационной технологии формирования Центрального банка данных государственной аккредитации и сопровождения на его основе процедуры государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования

6. Создание на основе результатов апробации информационно-аналитической системы государственной аккредитации математических моделей и информационной технологии сопровождения открытого конкурса по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием.

Методология и методы исследования. Методология работы как совокупность используемых методов включает в себя методы системного анализа, методы математической статистики и многомерного статистического анализа, функциональный анализ, методы вычислительной линейной алгебры, числен-

ные методы безусловной и условной оптимизации, методы обработки экономической информации, методы теории принятия решений, методы теории баз данных.

Научная новизна и теоретическая значимость работы состоит в следующем:

Впервые на основе исследования государственной аккредитации как системы управления качеством образования определена информационно-аналитическая подсистема, проведен ее анализ с точки зрения морфологического, функционального описания и определения основных элементов.

Разработаны методологические основы информационно-аналитической системы государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, включающие в себя методы принятия решений по аттестации и государственной аккредитации как на институциональном, так и на программном уровнях на базе математических моделей.

Создан комплекс математических моделей государственной аккредитации, состоящий из моделей видовой классификации учреждений высшего и среднего профессионального образования, математического аппарата моделирования критериальных значений показателей аккредитации образовательных учреждений всех трех типов, моделей оценки динамики деятельности вуза по показателям аккредитации, математической модели и алгоритма оценки потенциала вуза в ходе самообследования.

Предложен метод количественной оценки показателя «Качество подготовки», а также методика количественной оценки показателя «Экономическая устойчивость вуза» при государственной аккредитации.

Разработана математическая модель, включающая систему показателей, критериальных значений и алгоритм категорирования укрупненных групп специальностей, конкурса по размещению государственного задания на подготовку специалистов, позволившая обеспечить интегрированными данными конкурсную комиссию и сделать механизм принятия решений по размещению государственного задания объективным.

Практическая значимость исследования состоит в проектировании на основе разработанной методологии информационной подсистемы формирования

Центрального банка данных государственной аккредитации по учреждениям высшего, среднего и дополнительного профессионального образования России для информационно-аналитического сопровождения процедуры государственной аккредитации образовательных учреждений указанных типов. Разработанные методы и технология адаптированы для информационно-аналитического сопровождения открытого конкурса по размещению государственного задания Минобразования России на подготовку специалистов с высшим профессиональным образованием.

Эмпирической базой диссертационного исследования явилась информация об учреждениях высшего, среднего и дополнительного профессионального образования из Центрального банка данных государственной аккредитации, которая включает сведения о 636 государственных, 13 муниципальных вузах, 46 вузах субъектов РФ и 373 негосударственных вузах - о 100 процентах аккредитованных высших учебных заведений, а также информацию о 100 процентах аккредитованных учреждений среднего и дополнительного профессионального образования (по состоянию на 01.01.2005 г.).

Достоверность и обоснованность результатов исследования обеспечиваются репрезентативностью выборки объектов исследования - вся генеральная совокупность аккредитованных учреждений высшего, среднего и дополнительного профессионального образования, сведения по которым анализировались в динамике за 1997-2005 годы, применением математических методов и моделей, интерпретацией и формализацией результатов исследования, единством теоретического и практического в исследовании, адекватностью получаемых теоретических результатов практике, проверяемой многократной апробацией результатов на протяжении семи лет в ходе информационно-аналитического сопровождения государственной аккредитации на федеральном, региональном и ведомственном уровнях.

На защиту выносятся:

комплекс математических моделей государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования;

информационную подсистему сопровождения процедуры государственной аккредитации учреждений среднего, высшего и дополнительного профессионального образования на основе ЦБД ГА;

методы и алгоритмы поддержки принятия управленческих решений по аттестации и государственной аккредитации.

2. Информационная технология сопровождения открытого конкурса по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием на основе ЦБД ГА, методы и алгоритмы поддержки принятия управленческих решений по размещению государственного задания.

Апробация и внедрение результатов исследования. Результаты исследований докладывались и обсуждались на российских конференциях и семинарах «Информационные технологии аккредитации учебных заведений» (г. Йошкар-Ола, 1995, 1996 гг.), «Проблемы качества образования» (г. Уфа, 1996, 1998 гг.), «Технология государственной аккредитации» (г. Йошкар-Ола, 1997 г.), II Российско-Американской конференции «Университеты как центры развития региона» (г. Йошкар-Ола, 1999 г.), «Технологии государственной регламентации (лицензирование, аттестация, аккредитация) образовательных организаций» (г. Йошкар-Ола, 1998, 1999 гг.), «Дополнительное профессиональное образование» (г. Москва, 2001 г.), «Комплексная система оценки деятельности образовательных учреждений» (г. Йошкар-Ола, 2001 г.), X Симпозиуме «Калиметрия в образовании: методология и практика» (г. Москва, 2002 г.), III Российско-Американской конференции «Пути развития образования в XXI веке» (г. Йошкар-Ола, 2002 г.), «Актуальные проблемы современного научного знания» (г. Йошкар-Ола, 1996-2004 гг.), «Совершенствование системы лицензирования, аттестации и государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования» (г. Йошкар-Ола, 2002, 2003 гг.), «Лицензирование, аттестация и государственная аккредитация образовательных учреждений» (г. Йошкар-Ола, 2004 г.);

на международных конференциях: "Quality and Innovations in НЕ" (Гонконг, 2000 г.), CEENet Conference (г. Краков (Польша), 2001 г.), 7*h Annual GATE Conference (г. Париж (Франция), 2002 г.), INQAAHE Workshop 2004 (г. Маскат (Султанат Оман), 2004 г.), «Содействие европейскому сотрудничеству в обеспечении качества образования» (г. Санкт-Петербург, 2004 г.), «Математическое моделирование социально-экономических процессов» (г. Дубай (ОАЭ), 2005 г.), международном семинаре «Комплексная система оценки деятельности образовательных учреждений» (г. Йошкар-Ола, 2000 г.), международной научно-практической конференции по проблемам развития и интеграции систем оценки качества высшего профессионального образования в странах СНГ и Балтии (г. Йошкар-Ола, 2003 г.), IV Международном социальном конгрессе «Социальные процессы и социальные отношения в современной России» (г. Москва, 2004 г.), XIII Международной научной конференции «Информатизация и информационная безопасность правоохранительных органов» (г. Москва, 2004 г.).

Результаты исследований прошли апробацию в международном проекте TACIS EDRUS9511 "Assistance in Licensing, Attestation, Accréditation and Certification of Business and Management Programmes in Russian Fédération" (1997-1999).

Результаты научных исследований использовались при выполнении: НИР по государственному контракту № 24.02.28 «Исследование и проектирование научно-методологических основ комплексного оценивания образовательных учреждений с целью усовершенствования процедур лицензирования, аттестации и государственной аккредитации», выполненному в рамках Федеральной программы развития образования (2002 г.);

проекта «Разработка математической модели определения вида учреждения среднего профессионального образования при государственной аккредитации» в рамках НТП "Научное, научно-методическое, материально-техническое и информационное обеспечение системы образования" (2001-2002 гг.);

проекта «Научно-методическое и программное обеспечение определения вида учреждений среднего и дополнительного профессионального образования при государственной аккредитации» в рамках НОП «Научно-методическое

обеспечение функционирования и модернизации системы образования» (2003 г.);

проекта «Математические модели определения типа и вида учреждений высшего, среднего и дополнительного профессионального образования при государственной аккредитации» в рамках финансируемого Минобразования РФ тематического плана НИР Марийского государственного технического университета (1999-2005 гг.).

Результаты научных исследований поддержаны фантами:

института «Открытое общество» Фонда Сороса (1995,1996,2000 гг.);

Российской Академии Наук, раздел «Информатика» (1997-1999 гг.);

Минобразования России (1999 г.), раздел «Проблемы педагогики»;

фонда INTAS «Investigation of Western Europe quality assessment models and procedures, their adaptation to Russian education management system» (20012002 гг.);

Президента Республики Марий Эл (2000,2001,2003 гг.);

Благотворительного фонда Владимира Потанина (2002 г.).

Апробация результатов осуществлялась также во время научных стажировок автора:

в Центре изучения проблем высшего образования (CHEPS) в Университете Твенте (Нидерланды) в рамках гранта INTAS (2002 г.);

в Финляндии, Швеции, Норвегии в рамках программы «Оценка качества образования в России и странах Скандинавии» (2003 г.),

а также в учебном процессе в системе дополнительного профессионального образования:

при чтении авторских лекций на курсах Минобразования РФ по переподготовке экспертов, участвующих в аттестационных экспертизах вузов (20012002 гг.), на курсах Минобразования РФ по повышению квалификации руководителей высших учебных заведений по теме «Государственная аккредитация» (2002-2005 гг.).

Госстроя (2000-2003 гг.), Автодора (2000 г.), Минтранса, Минсельхоза, Мин-культа, Минпечати, Госкомспорта (2001-2004 гг.), Федерального агентства по культуре и кинематографии (2005 г.) (по учреждениям среднего профессионального образования).

Результаты исследований использовались для информационно-аналитического сопровождения открытых конкурсов по размещению государственного задания Минобразования России на подготовку специалистов с высшим профессиональным образованием в 2003,2004 и 2005 годах.

Основные результаты опубликованы автором лично и в соавторстве в 3 учебных пособиях, из них в 2, рекомендованных Министерством образования Российской Федерации, 8 научных статьях в журналах, рекомендованных ВАК для публикации научных работ, 3 зарубежных публикациях, в 1 монографии в единоличном авторстве объемом 11,2 п.л. (всего в 88 научных работах, в том числе в 50 — по теме диссертации).

Получен акт о внедрении в практику работы Федеральной службы по надзору в сфере образования и науки:

информационной технологии сопровождения процедуры государственной аккредитации учреждений среднего, высшего и дополнительного профессионального образования на основе Центрального банка данных государственной аккредитации;

комплекса математических моделей, включающего модели видовой классификации учреждений высшего и среднего профессионального образования, математический аппарат моделирования критериальных значений показателей аккредитации образовательных учреждений среднего, высшего и дополнительного профессионального образования, модели оценки динамики деятельности вуза по показателям аккредитации, модели и алгоритм оценки потенциала вуза в ходе самообследования.

Результаты исследований отмечены свидетельствами Российского агентства по патентам и товарным знакам об официальной регистрации программ для ЭВМ:

на программный комплекс сопровождения Единого банка данных лицензирования, аттестации и госаккредитации (№ 2004610162);

на информационно-аналитический комплекс «Камертон» (№ 2004610161). Разработанные математические модели определения критериальных значений показателей аккредитации использованы при разработке:

приказа Минобразования России от 29.06.2000 № 1965 «Об утверждении перечня показателей государственной аккредитации и критериальных значений, используемых при установлении вида высшего учебного заведения» (с последующими дополнениями);

приказа Минобразования России от 01.10.2001 № 3249 «Об утверждении переченя показателей государственной аккредитации и критериальных значений, используемых при установлении вида учреждений среднего профессионального образования».

Разработанные методика и алгоритм расчета показателей утверждены Минобразования России.

Структура работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложения.

СОДЕРЖАНИЕ РАБОТЫ Во введении обосновывается актуальность диссертационной работы, формулируются цель и задачи исследования, отмечается научная новизна и практическая значимость полученных результатов.

В первой главе — «Государственная аккредитация как система управления качеством образования» — система государственной аккредитации исследуется как система управления качеством образования. Выделены функции системы и показана цель государственной аккредитации как основного механизма гарантии качества образования.

Подробно рассмотрены субъект и объект управления через государственную аккредитацию. Показано, что управляющая система реализует управление через целый ряд организаций, вовлеченных в процесс государственной аккредитации: Федеральную службу по надзору в сфере образования и науки, Аккреди-тационную коллегию Федеральной службы, экспертные комиссии, Аккредита-ционные коллегии субъектов Российской Федерации, а также различных министерств и ведомств, Центр государственной аккредитации.

Объект управления — система учреждений среднего, высшего и дополнительного профессионального образования, представляющая собой сложную систему, включающую образовательные учреждения различных типов и видов (университеты, академии и институты, техникумы и колледжи, институты и академии повышения квалификации).

На основе результатов анализа системы государственной аккредитации выделена информационно-аналитическая подсистема. Проведен анализ ее морфологических и функциональных характеристик. В качестве основных элементов информационно-аналитической системы определены информационная подсистема, аналитическая подсистема и Центральный банк данных государственной аккредитации (ЦБД ГА).

Анализ функциональных характеристик информационно-аналитической системы показал необходимость разработки информационной технологии сопровождения государственной аккредитации на основе Центрального банка данных, включая процедуры комплексной оценки деятельности вузов и аккредитацию отдельных образовательных программ, а также технологии наполнения и обеспечения актуальности ЦБД ГА.

Аналитическая подсистема предназначена для анализа и моделирования процесса управления качеством образования через аккредитацию, а также поддержки принятия управленческих решений по аккредитации на институциональном и программном уровнях. Для исследования процесса управления качеством образования необходим комплекс математических моделей аккредитации и математический аппарат моделирования критериальных значений показателей аккредитации, а также методика поддержки принятия решений по аккредитации.

Вторая глава — «Информационная система сопровождения процедуры государственной аккредитации на основе Центрального банка данных» — посвящена разработке информационной подсистемы и технологии формирования Центрального банка данных государственной аккредитации.

Проведено проектирование информационных потоков наполнения ЦБД ГА. Входными информационными потоками в Центральный банк данных государственной аккредитации являются:

результаты лицензионной экспертизы (приказы о лицензировании); лицензии;

приказы о государственной аккредитации; свидетельства о государственной аккредитации; заключения об аттестации;

данные, поставляемые ежегодными модулями сбора данных по вузам, учреждениям среднего профессионального (УСПО) и дополнительного профессионального (УДПО) образования;

данные, поставляемые модулем комплексной оценки деятельности вуза; данные, поставляемые модулем отдельных образовательных программ; данные, поставляемые модулем сбора данных для органов управления образованием субъектов Российской Федерации;

результаты анализа рабочих учебных планов, поставляемые по каналу Internet из Центра по аттестации (г. Шахты);

результаты аттестационных педагогических измерений, поставляемые по каналу Internet из Центра тестирования профессионального образования (г. Москва);

классификаторы системы профессионального образования.

Выходные информационные потоки ЦБД ГА используются для подготовки «Представления образовательного учреждения к государственной аккредитации», ведения реестров аккредитованных вузов, УСПО и УДПО, подготовки макетов свидетельств о государственной аккредитации, мониторинговых отчетов о системе профессионального образования, а также информационно-аналитического справочника по категорированию укрупненных групп специальностей вузов (УГС) для конкурсной комиссии по госзаданию. Копия ЦБД ГА позволяет обеспечить оперативный доступ к актуальной информации сотрудников Федеральной службы по надзору в сфере образования и науки.

Рассмотрена обобщенная схема структуры данных ЦБД ГА, построенного на концепции интегрированного хранилища данных, состоящей в разработке комплекса систем обработки данных на основе принципа их интеграции, выделения интегрированных данных в корпоративный ресурс и отделения программ

от данных. Основными требованиями, накладываемыми при реализации данно-

го подхода, являются исключение избыточности данных и обеспечение их логической целостности. Приведено функциональное описание основных программных модулей, используемых для сопровождения аккредитации на основе Центрального банка данных.

Подробно рассмотрено программно-информационное сопровождение процедуры комплексной оценки деятельности вуза.

Таблица 1 Сокращение трудозатрат за счёт внедрения модуля комплексной оценки

Название процедуры Трудозатраты, чел./дни (%)

1999 2000 Сокращение Обоснование

Лицензирование 100 60 40 Часть приложений к заключениям по лицензированию и аттестации генерируется модулем комплексной оценки

Аттестация 100 80 20

Аккредитация 100 70 30 Базы данных содержат все необходимые сведения для подготовки представления по комплексной оценке без привлечения бумажных источников

Всего 100 70 30

В табл. 1 приведена количественная оценка сокращения трудозатрат вуза на подготовку и проведение лицензирования, аттестации и аккредитации в связи с внедрением программного сопровождения процедуры комплексной оценки с 1 января 2000 года. В среднем по всем трем процедурам трудозатраты на сбор, подготовку информации и выходных документов сократились на 30%.

Таким образом, во второй главе разработана технология информационного сопровождения процедуры государственной аккредитации на основе ЦБД ГА, которая образует ядро информационной подсистемы системы управления качеством образования на основе аккредитации.

В третьей главе — «Математические модели аккредитации учебных заведений высшего, среднего и дополнительного профессионального образования» — разрабатываются и исследуются математические модели государственной аккредитации. Задача формализации данных в законе определений видов решается на основе моделирования критериальных значений системы показателей на массиве данных ЦБД ГА. Для этого разработаны и исследованы раз-16

личные модели интегрального индекса соответствия критериям аккредитации J = J (х) :

линейная модель: 1 " Л;

* = )г —вектор значений характеристик вуза;

п Р,

р = (р,,---,р„У — вектор соответствующих критериальных значений. Линейная модель с ограничением компенсации значений показателей:

п 13

—,если—<2, Р, Р.

2 иначе.

Данная модель индекса позволяет ограничить компенсацию значений показателей: существенное превышение значения одного показателя может компенсировать только одно значение «провального» показателя. Кроме того, индекс ограничен на значение сверху (Дх) <2).

Логистическая модель:

Использование логистических функций основано на анализе закона распределения показателей.

Выбор параметров модели осуществляется из условий:

/(0) = 0,

с = 1-|/?,

/7=

и_у_!_

2 ~3\ + е>1р'

Логистическая модель с ограничением компенсаций значений показателей: 1 _

-л)

J J(p)=h

P'K

ln(|-l)

a =- 5

1.7 max

где S >0 — достаточно малый параметр.

Модификация предыдущей модели позволяет понизить компенсацию значений показателей за счет введения дополнительного ограничения на значение индекса в точке 2р (при двукратном превышении пороговых значений по всем показателям индекс не превышает двух).

Многомерная модель: 1

J(x) =С + Р~

1 + е

Модель основана на многомерном нормальном законе распределения показателей. Параметры модели вычисляются из следующих условий:

р(0) = 0,

с = 1 - 0,5/?,

Р--L

0,5-

1 + е

Кроме того, рассмотрены модели, в которых задача определения весовых коэффициентов для показателей формализована и решается методом главных компонент на основе статистического анализа массива данных ЦБД ГА.

Определены факторы для всех трех видов вузов, дана их интерпретация. Первый фактор интерпретируется как «Научно-исследовательская работа», второй — «Качественный состав ППС», третий — «Научно-методическая работа». Четвертый фактор характеризует широту спектра научной и учебной деятельности университетов.

Результаты проведенного сравнения и анализа расчетов на данных ЦБД ГА позволили выделить в качестве основной, используемой для поддержки принятия решения по аккредитации, линейную модель, построенную на факторах.

Проведены подробные исследования процедуры определения критериальных значений аккредитационных показателей. Показано, что, для того чтобы

критериальное значение играло стимулирующую роль, оно должно находиться в интервале от нижней квартили до медианы, причем ближе к нижней квартили (рис. 1).

Использование порядковых статистик (квартили, медиана) позволяет более объективно оценивать распределение образовательных организаций по показателям, так как данные статистики являются устойчивыми к наличию статистических «выбросов» в выборке.

25,0

20,0

15,0

«,,. 10.0,

5,0

% докторов наук, профессоров

- вузы

- Ы-ский университет

Рис 1 Диаграмма ранжирования университетов по проценту лиц с ученой степенью доктора наук / ученым званием профессора в числе ППС

На основе расчетов индексов соответствия критериям аккредитации и критериальных значений показателей аккредитации формализованы прописанные в законе «О высшем и послевузовском образовании» виды высших учебных заведений «университет», «академия», «институт», а также виды «колледж», «техникум» для учреждений среднего профессионального образования и виды «академия повышения квалификации», «институт повышения квалификации» для учреждений дополнительного профессионального образования. В результате моделирования определены количественные критериальные значения показателей аккредитации для каждого типа и вида, что позволило сделать процедуру принятия решений по государственной аккредитации в части установле-

ния вида объективной. Полученная система показателей и критериев утверждена нормативными документами Минобразования России.

На основе аппарата многомерного статистического анализа разработаны математические модели видовой классификации учреждений высшего и среднего профессионального образования, позволяющие определять интегральные характеристики вида (вероятность, координаты на дискриминантной плоскости) (рис.2). Использование методов дискриминантного анализа обусловлено тем, что решение об аккредитационном статусе учебного заведения принимается на основе анализа большого объема информации, при этом для части показателей критериальные значения не установлены, хотя они используются для анализа эффективности деятельности учебного заведения. Например, для университета необходимым условием является наличие эффективно работающих аспирантуры, докторантуры, диссертационных советов, реализация программ переподготовки и (или) повышения квалификации работников высшей квалификации, научных и научно-педагогических работников. Кроме того, для университета и академии важно распределение контингента студентов по профилям подготовки, а также распределение контингента аспирантов по отраслям науки.

Показано, что дискриминантный анализ информации Центрального банка данных государственной аккредитации позволяет не только обоснованно принимать решение о соответствии виду, на установление которого претендует учебное заведение, но и сделать вывод об эффективности системы показателей государственной аккредитации, реально дифференцирующей образовательные услуги по их содержанию, спектру и качеству.

На основе исследования функциональной зависимости между вероятностями отнесения вуза к видовым группам и его координатами на дискриминантной плоскости построены модели оценки динамики деятельности вуза.

Обозначим через у, и у2 — координаты вуза, pv,pa,pu — вероятности отнесения вуза к группам университетов, академий и институтов. Введем в рассмотрение функцию zy = /(>',, v2), отображающую дискриминантные координаты вуза на вероятность его отнесения к группе университетов. Аналогично функции zy можно определить функции , zu — зависимость между координатами вуза и вероятностями принадлежности к группам академий и институтов.

Аналитический вид функций определен в классе полиномов второй степени: /(^i ,У2) = а+ьУ1+сУ2+ <1У\У2 + + г>2. где a,b,c,d,e,i — параметры, вычислены на основе метода наименьших квадратов:

min { £(p-z)2}, edez =f(yt,y2).

Для построения количественных показателей, характеризующих динамику деятельности образовательной организации, рассчитаем значения аккредитаци-онных показателей вуза за два последовательных временных интервала, например за 1998-2002, 1999-2003 годы.

Разным наборам показателей соответствуют две точки на дискриминантной плоскости: точка А(у[,у2) — значения показателей вуза за 1998-2002 годы, точка В (у^уг) — показатели вуза за 1999-2003 годы. Вектор

АВ(у1 - у,,у2 ~У2) задает направление деятельности по показателям аккредитации, которое определяется направляющими косинусами вектора АВ:

АВ

АЩ

И = Ы-У*)2 + (У2-У2)2-Вычислим производные функций zy,za,zu в точке В в направлении вектора s = 1b:

dz, &„ &„

—ü (в) = —- (В) cos а + — (В) cos р, ds ду, ду ,

(В) = (В) cos а + ^а- {В) cos Р,

8s Эу, дуг

= -^(В) cosa cos р.

ds dyi дуг

Здесь — (В),—(Д), —(В),— (В),—(В),— (В) — значения частных проф, Зу, 9у, Эу2 ¿y, ду2

изводных функций zу >za>zu в точке В.

Исходя из геометрического смысла производной по направлению, можно утверждать, что положительное значение производной свидетельствует о возрастании функции в данной точке в заданном направлении, отрицательное — об убывании функции, равенство нулю — о постоянстве функции. Абсолютное значение производной является мерой изменения (динамики) функции в заданном направлении. Таким образом, вычислив значения производных функций

zу >2а >2и в точке В в направлении вектора s = АВ, получим количественные и качественные показатели динамики деятельности вуза. Анализ показателей позволяет оценить:

приближение (или удаление) от группы вузов заявленного статуса, характеризуемое положительным (отрицательным) знаком производной соответствующей функции-вероятности;

динамику приближения (удаление) от группы вузов, определяемую абсолютной величиной производной, соответствующей заявленному статусу функции-вероятности по сравнению с производными других функций; основное направление деятельности вуза, характеризуемое максимальной по абсолютному значению производной функций гу,2а,2и.

Анализ показателей динамики особо важен в отношении образовательных организаций, имеющих среднюю по величине вероятность принадлежности к вузам заявленного статуса — порядка 0,4-0,6.

На основе методов нелинейной оптимизации исследована модель оценки потенциала вуза в ходе самообследованш Обозначим А(у°,у°) —текущие координаты вуза на дискриминантной плоскости, г = /(у„у2) — функция-вероятность отнесения вузов к желаемому виду (университет или академия). Пусть я = (.у, - У°,У2 ~ У2У — направление движения вуза на дискриминантной плоскости, при этом конец вектора — точка В(у, ,уг) — не определен.

Определим следующую задачу;

тах £>(*,,...,*„),

»1

х" ¿х1 < х" + Ах,,..., х" <,х„ +Лх„., (1)

Целевая функция задачи (1) представляет собой производную функции г = /(у,,у2) по направлениюследовательно, движение в направлении вектора $ — решения задачи (1) — обеспечит максимальное увеличение вероятности отнесения к группе вузов желаемого вида.

Переход от переменных У,,У2 к -*,,/ = !...п— показателям вуза осуществляется по формулам дискриминантных функций:

У, =а0+2]£7Л' Уг=Ь0 + £ь,х,.

/-1

Ограничения в задаче (1) формируются на основе оценки возможности развития вуза по показателям за время до начала процедуры аккредитации: увеличения процента лиц с учеными степенями и званиями, процента докторов наук,

профессоров в числе ППС, относительных (к числу ППС) объемов фундамен-

тальных и прикладных научных исследований и так далее. Если х",...,х" — значения показателей на момент проведения самообследования, то Ах,,..., Ахт — оцениваемая вузом возможность их наращивания. Отметим, что все переменные в задаче принимают действительные значения.

Построен алгоритм решения задачи (1) на основе методов типа линеаризации•

£+1 к

х = х + ¡к , где ¿'( — направление движения, получаемое «приведением» из двух подпространств исходного пространства Е" компонент направления як. Первый компонент направления — гк — принадлежит подпространству векторов, ортогональных градиентам активных в текущей итерационной £

точке х ограничений задачи (1). Второй компонент направления (обозначим его через Ук ) принадлежит подпространству векторов, натянутых на градиенты активных в текущей итерационной точке хк ограничений. Под активными, например, понимаются нарушенные в текущей точке ограничения. Специальные способы построения вспомогательных подзадач позволяют вычислять параметры гк и направления явно, что обеспечивает эффективность предлагаемого алгоритма. Кроме того, использование приведенного направления позволяет получить комбинированный алгоритм, включающий в себя эффективные на практике методы дифференцируемых, недифференцируемых штрафных функций и модифицированных функций Лагранжа.

Сформулирован критерий оптимальности в итерационной точке, доказана теорема сходимости алгоритма в предположении линейной независимости градиентов активных ограничений.

Таким образом, в третьей главе разработан комплекс математических моделей процедуры государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования России, которые составляют ядро аналитической подсистемы в системе управления качеством образования через государственную аккредитацию

Четвертая глава — «Методы и алгоритмы поддержки принятия управленческих решений по аттестации и государственной аккредитации» —

посвящена разработке методов и алгоритмов поддержки принятия управленческих решений по аттестации и государственной аккредитации.

Предложен метод количественной оценки показателя «Качество подготовки» на основе анализа результатов аттестационных педагогических измерительных материалов (АПИМ). Количественной оценкой показателя «Качество подготовки» по циклу дисциплин Государственного образовательного стандарта (ГОС) данной образовательной программы является процент студентов от числа принявших участие в тестировании, освоивших все дидактические единицы ГОС проверяемых дисциплин. Статистика позволяет установить критерий данного показателя.

На рис. 3 приведен пример диаграммы ранжирования специальностей по показателю качества, при этом в качестве критерия принято значение, находящееся в выборке между положениями нижней квартили и медианы.

Цикл естественнонаучных и математических дисциплин (Экономические специальности)

100 90 80 70 60 50 40 30 20 10 0

Критериальное значение

МТГПтТТтт-^,

Рис. 3 Ранжирование специальностей по проценту студентов, освоивших все дидактические единицы ГОС (дисциплин, по которым проведено тестирование)

Данный метод оценки показателя «Качество подготовки» использует единый с остальными аккредитационными показателями критериальный подход и визуальную форму представления информации для поддержки принятия управленческих решений.

Дана общая математическая постановка задачи компьютерного (автоматизированного) конструирования АПИМ как задачи обобщенного математического программирования:

найти решение, «лучшее» в смысле заданной конструктором функции выбора, среди всех, удовлетворяющих накладываемым ограничениям ■ требуется вычислить вектор х* е X, такой, что

/,(*')<0, я = Ф(/)ЯФ(*)У*£*:/,(*)<0,5 = 1...5.

Здесь Б — количество ограничений, накладываемых на выбор заданий из банка заданий, Х= еЕ1^ \х = {х1,х2,...,х^),х„ = 0V1} —множество всех целочисленных векторов с двузначными координатами, определяющими содержание АПИМ, Ф(х) = (Ф1(х),..„ФДх))г — вектор-функция оценок качества тест-билета, /,(х) — ограничения, накладываемые на выбор заданий из банка.

Бинарное отношение Л является механизмом, реализующим некоторую функцию выбора. Приведены примеры функций выбора, отвечающих различным механизмам принятия решений на основе значений вектор-функции оценок качества тест-билета Ф(*):

1) паретовский механизм:

Данный механизм позволяет сократить множество исходных вариантов, то есть исключить из неформального анализа те варианты решений, которые заведомо будут плохи. Принцип Парето не выделяет единственного решения, а только сужает множество альтернатив. Окончательный выбор остается за лицом, принимающим решение.

2) механизм лексикографической оптимизации, определяемый вектор-функцией критериев, упорядоченных по важности:

СЛ(Х) = {хе ХИ\Х, = А^тахрЪ^х еХ,.,},1 = 1 Р,Х0 = А"} ;

3) механизм голосования (выбор по большинству)

Си(х)=\хеХ\ЧуеХ £ (*)- Ф»>0 \;

Р. 1

4) введение метрики в пространстве целевых функций Если известны величины

ф'р = тах{Ф,,(*)!* е X /,(*)< 0,*=1. £},/> = 1 ..Р, доставляющие максимальные значения частным критериям, то можно определить множество

Чр-Г

ближайших по евклидовому расстоянию к точке «абсолютного максимума» . .ф',,) точек (ф,(*);. ,&?(*)) в пространстве критериев. Множество ср(х)

показывает предельные возможности достижения «абсолютного максимума».

Указанные выше функции выбора можно представить как функции выбора, определяемые бинарными

отношениями Я^, , где

Щх)^Ф(у) О (*) > ф,(у)) ;

Ф(х)^ Ф(у) о 3/ (Ф, (х) = Ф, (у)) А ... А (Ф,_, (х) = Ф,_, (у))А (Ф, (.*) > Ф, (у)); Щх) Ф(у) о £ (дс) - Ф, (,)) > 0 .

Поиск оптимального решения проводится в виде последовательных процедур:

формируется вектор-функция оценок значений критериев АПИМ и множество ограничений из предлагаемого конструктору теста списка; конструктор задает функцию выбора и соответствующее ей бинарное отношение Л;

рассчитывается множество решений, лучших относительно заданной функции выбора;

в интерактивном режиме проводится доработка АПИМ до полного удовлетворения требованиям конструктора теста.

Рассмотрены вычислительные аспекты решения полученной задачи обобщенного математического программирования. Показано, что вспомогательные подзадачи, используемые на итерациях метода, являются стандартными в математическом программировании и имеют эффективные методы решения.

Далее в главе подробно изложен метод количественной оценки аккредита-ционного показателя «Экономическая устойчивость вуза» на основе сопоставления стоимости обучения по основным программам вуза, контингента обучающихся и средней стоимости реализации данной образовательной программы в регионе. Приведены примеры расчетов.

Значительное место в главе уделено проектированию информационной технологии сопровождения аттестации и аккредитации отдельных образовательных программ, реализуемых в аккредитованных вузах и филиалах, а также разработке методов представления информации по отдельным образовательным программам для Аккредитационной коллегии.

На основе исследований, проведенных в предыдущих главах, а также на основе анализа практики принятия решений Аккредитационной коллегией разработана методика принятия решений по аттестации и государственной аккредитации как на институциональном, так и на программном уровнях.

В пятой главе — «Аналитическое сопровождение конкурса на размещение государственного задания на подготовку специалистов с высшим профессиональным образованием» — разрабатывается технология информационно-аналитического сопровождения открытого конкурса по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием на основе Центрального банка данных государственной аккредитации.

Информационно-программная технология позволяет решать следующие основные задачи:

1) сбор информации о деятельности аккредитованных высших учебных заведений Российской Федерации по укрупненным группам специальностей (УГС);

2) организация хранения полученной информации;

3) статистическая обработка полученной информации, включающая в себя: расчет показателей УГС;

моделирование критериальных значений конкурса;

расчет значений индекса соответствия критериям конкурса по УГС;

подготовка распределений вузов по конкурсным группам;

4) автоматическая генерация информационно-аналитического справочника. Сформированы показатели конкурсного отбора х1 -х]6 Показатели разделены на две группы: первая группа характеризует конкретную УГС, а вторая — вуз в целом.

Показатели, характеризующие УГС

1. Объем подготовки студентов по УГС:

1.1. Приведенный контингент студентов, обучающихся на бюджетной основе по данной УГС.

1.2. Процент приведенного контингента студентов, обучающихся по данной УГС, от приведенного контингента студентов вуза.

2. Эффективность подготовки по программам послевузовского образования, соответствующим УГС:

2.1. Процент контингента аспирантов, обучающихся по соответствующим УГС специальностям научных работников, от общего числа аспирантов вуза.

2.2. Отношение числа аспирантов, обучающихся по соответствующим УГС специальностям научных работников, к приведенному контингенту студентов, обучающихся по данной УГС.

2.3. Процент контингента докторантов, обучающихся по соответствующим УГС специальностям научных работников, от общего числа докторантов вуза.

2.4. Отношение числа докторантов, обучающихся по соответствующим УГС специальностям научных работников, к числу аспирантов, обучающихся по тем же специальностям научных работников.

3. Эффективность научных направлений, соответствующих профилю подготовки по УГС:

3.1. Количество научных направлений в вузе по соответствующим УГС специальностям научных работников.

3.2. Количество защит кандидатских и докторских диссертаций (в среднем за три года) в диссертационных советах вуза по соответствующим УГС специальностям научных работников.

4. Наличие опыта подготовки специалистов по данной УГС:

4.1. Количество лет подготовки по специальностям и направлениям, соответствующим данной УГС (информационный показатель).

Показатели характеризуют, в первую очередь, эффективность научно-педагогической деятельности профессорско-преподавательского состава по конкретной УГС, оцениваемую через подготовку аспирантов и докторантов, защиту кандидатских и докторских диссертаций по научным специальностям, соответствующим УГС, а также наличие опыта и объем бюджетной подготовки специалистов по УГС в вузе.

Показатели, характеризующие вуз в целом •

1. Научные исследования:

1.1. Объем финансирования НИР вуза на единицу ППС (в среднем за три года).

1.2. Объем фундаментальных и прикладных НИР на единицу ППС (в среднем за три года).

1.3. Объем внешнего финансирования НИР на единицу ППС (в среднем за три года).

2. Качественный состав ППС:

2.1. Процент докторов наук, профессоров в приведенном штате ППС.

2.2. Процент лиц с учеными степенями, званиями в приведенном штате ППС.

2.3. Процент штатных ППС.

3. Научно-методическая работа:

3.1. Количество учебников, учебных пособий с грифами федеральных органов исполнительной власти, УМО, НМС, изданных преподавателями вуза, на 100 человек ППС с учеными степенями, званиями (в среднем за пять лет).

3.2. Количество монографий, изданных преподавателями вуза, на 100 человек ППС с учеными степенями, званиями (в среднем за пять лет).

4. Материально-техническая база вуза:

4.1. Общая площадь на единицу приведенного контингента студентов (информационный показатель).

4.2. Доля студентов, обеспеченных общежитиями, от числа нуждающихся {информационный показатель).

4.3. Наличие в вузе пунктов общественного питания (информационный показатель).

4.4. Наличие в вузе пунктов медицинского обслуживания (информационный показатель).

5. Содействие вуза в трудоустройстве выпускников:

5.1. Доля выпускников, направленных на работу (информационный показатель).

5.2. Доля выпускников, находящихся на учете в службе занятости (информационный показатель).

Показатели, характеризующие вуз в целом, используются в системе государственной аккредитации высших учебных заведений и оценивают качественный состав профессорско-преподавательских кадров вуза, научно-методическую работу ППС, материально-техническую базу вуза и наличие в вузе системы содействия в трудоустройстве выпускников, а также обеспеченность студентов общежитиями, услугами общественного питания и медицинским обслуживанием.

Разработанная информационная система обеспечила накопление информации в единой базе данных, что позволило провести статистический анализ распределения вузов по показателям в рамках каждой из 28 УГС в 7 федеральных округах. На основе проведенного анализа были определены критериальные значения конкурсных показателей. Критериальные значения показателей были установлены на уровне положения нижних квартилей на диаграммах

ранжирования.

Введено понятие конкурсных категорий А, В, С. Конкурсная категория А устанавливается, если все показатели конкурсного отбора вуза не меньше соответствующих критериальных значений:

х,>р, V/,

где х, — значение /-го показателя; р, — соответствующее критериальное значение.

На рис. 4 приведен пример лепестковой диаграммы показателей вуза, которому устанавливается конкурсная категория А.

Для определения конкурсных категорий В и С вводится индекс соответствия критериальным значениям :

«тЗ' Р,

где п — количество показателей конкурсного отбора.

Индекс соответствия критериям 4 »1,8

Объем НИР на единицу ППС (е т р )

Защищено диссертаций в среднем за 3 года

Количество научных направлений

Отношение числа докторантов к числу аспирантов

Процент контингента

докторантов по УГС

Отношение числа аспирантов к приведенному контингенту студентов

Процент контингента «1Ч

Основные обозначения аспирантов по УГС ф значения показателей

Объем фундаментальных и прикладных научных исследований (в т р)

Востребованность НИР (объем внешних исследований на единицу ППС) (в т р)

Процент штатных преподавателей

мвПроцент ППС сучеными степенями и/или званиями

Процент в ППС докторов наук профессоров

/млЛ пороговые значения

Процент контингента

студентов, обучающихся по УГС

Количество монографий (на 100 человек ППС)

Количество учебников и учебных пособий (на 100 человек ППС) Приведенный контингент студентов, обучающихся на бюджетной основе по УГС

Рис 4 Лепестковая диаграмма (эпюра) показателей вуза по УГС «010000 Физико-математические науки», которому установлена конкурсная категория А

Конкурсная категория В устанавливается, если часть показателей вуза меньше соответствующих критериальных значений, но индекс J>\.

Конкурсная категория С устанавливается, если индекс J < 1. При этом большинство показателей вуза меньше соответствующих критериальных значений.

Приведены результаты моделирования конкурсных категорий в 2004 году. Технология и математические модели внедрены в Министерстве образования России и использовалась в 2003-2005 годах для информационно-аналитического сопровождения конкурса по размещению государственного задания.

В приложении приведены результаты практического применения разработанных математических моделей для расчета вероятностей отнесения к группам институтов, академий и университетов, а также индексов соответствия критериям аккредитации по университетам и академиям.

Заключение

Таким образом, результатом проведенных исследований явились:

2. Комплекс математических моделей государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, включающий в себя:

математический аппарат моделирования критериальных значений показателей аккредитации;

алгоритмы и математические модели индексов соответствия критериям аккредитации для аналитической поддержки принятия решения по государственной аккредитации;

математическую модель определения вида вузов и учреждений среднего профессионального образования на основе методов дискриминантного анализа;

математическую модель оценки динамики деятельности вуза по показателям аккредитации на основе методов наименьших квадратов; математическую модель оценки потенциала вуза в ходе самообследования на основе методов нелинейного программирования.

Полученные модели позволили повысить уровень объективности принимаемых Аккредитационной коллегией решений, а также широко использовались при разработке нормативных документов государственной аккредитации: приказ Минобразования России 29.06.2000 № 1965 «Об утверждении Перечня показателей государственной аккредитации и критериальных значений, используемых при установлении вида высших учебных заведений» (с последующими дополнениями), приказ Минобразования России 01.10.2001 № 3249 «Перечень основных показателей государственной аккредитации образовательного учреждения среднего профессионального образования».

3. На основе комплекса математических моделей государственной аккредитации, а также на основе анализа практики принятия решений Аккредитационной коллегией разработана методика принятия решений по аттестации и государственной аккредитации как на институциональном, так и на программном уровнях.

4. Информационная технология формирования Центрального банка данных государственной аккредитации и сопровождения на его основе процедуры государственной аккредитации учреждений среднего, высшего и дополнительного профессионального образования, включающая в себя:

информационные потоки и технологию наполнения ЦБД ГА по вузам, учреждениям среднего (УСПО) и дополнительного профессионального образования (УДПО);

информационную технологию сопровождения процедур самообследования и комплексной оценки деятельности вузов;

информационные потоки и технологию поддержки принятия управленческих решений по аттестации и аккредитации вузов, УДПО, УСПО, вклю-

чая аттестацию и аккредитацию отдельных образовательных программ, реализуемых вузами и филиалами.

Формирование ЦБД ГА в технологии аккредитации для информационно-методического сопровождения государственной аккредитации определено Положением «О государственной аккредитации высшего учебного заведения», утвержденным Постановлением Правительства Российской Федерации от 02.12.1999 № 1323.

5. Методы и алгоритмы поддержки принятия управленческих решений по аттестации и государственной аккредитации:

метод количественной оценки показателя «качество подготовки»; математическая модель и алгоритм автоматизированного проектирования аттестационных педагогических измерительных материалов для оценки показателя «качество подготовки»;

модели индексов финансовой обеспеченности образовательного процесса вуза и отдельных программ;

методы информационно-аналитического сопровождения процедуры принятия решения по аттестации и аккредитации отдельных образовательных программ, реализуемых в вузах и филиалах.

6. Информационная технология сопровождения открытого конкурса по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием на основе ЦБД ГА, методы и алгоритмы поддержки принятия управленческих решений по размещению государственного задания, включающие в себя:

систему показателей и критериальных значений открытого конкурса; алгоритм категорирования УГС вузов;

технологию и методы информационно-аналитического сопровождения процедуры принятия решения по размещению госзадания.

сионального образования — аналитическое сопровождение конкурса по размещению государственного задания на подготовку специалистов.

Основные положения диссертации опубликованы в 50 научных работах автора общим объемом 81,3 п.л., из них 1 монография в единоличном авторстве, объемом 11,2 п.л., 3 учебных пособиях, из них 2 учебных пособиях с грифами Минобразования России и Госкомвуза России, 8 научных изданий, 8 статей в изданиях, рекомендованных ВАК России.

Монография

1. Петропавловский М.В. Математические модели государственной аккредитации учреждений профессионального образования: Монография. — Йошкар-Ола - Москва: Центр государственной аккредитации. — 2004. — 190 с. — 11,2 п.л.

Учебники, учебные пособия и другие научные издания

2. Петропавловский М.В., Наводнов В.Г., Куклин В.Ж. Технология проведения тестирования и анализа результатов КАМЕРТОН: Учебное пособие. — Йошкар-Ола: МарГТУ, 1995. — 86 с. — 10 п.л. (с грифом Госкомвуза России).

3. Петропавловский М.В., Наводнов В.Г., Ельцын A.B. Автоматизированное проектирование педагогических измерительных материалов: Научное издание. — Йошкар-Ола: ОПП МарГТУ, 1997 — 28 с. — 1,6 п.л.

4. Петропавловский М.В., Наводнов В.Г., Мотова Г.Н. Совершенствование системы государственной аккредитации учреждений высшего профессионального образования: Научное издание:МарГТУ. — Йошкар-Ола, 1999. — 64 с. — 3,5 п.л.

5. Петропавловский М.В. Классификация учреждений высшего профессионального образования методами дискриминантного анализа: Научное издание. — Йошкар-Ола: НИЦГА, 1999. — 23 с. — 1,4 п.л.

6. Петропавловский М.В,, Китаев О.Ю. Математические модели определения индекса соответствия статистическим критериям государственной аккредитации: Научное издание. — Йошкар-Ола: НИЦГА, 1999. — 38 с. — 2,0 п.л.

7. Петропавловский М.В., Петров Д.И. Модели оценки динамики деятельности вузов по показателям государственной аккредитации: Научное издание.

— Йошкар-Ола: НИЦГА, 2001. — 32 с. — 1,9 п.л.

8. Петропавловский М.В., Мотова Г.Н., Геворкян E.H., Наводнов В.Г. Комплексная оценка высших учебных заведений: Учебное пособие. — Москва-Йошкар-Ола: Центр государственный аккредитации, 2001. — 192 с. — 11,2 п.л.

9. Петропавловский М.В., Петров Д.И. Математические модели классификации учреждений среднего профессионального образования: Научное издание.

— Йошкар-Ола: НИЦГА, 2001. — 36 с. — 2 п.л.

10. Петропавловский М.В., Наводнов В.Г. Методика определения конкурсных категорий высших учебных заведений на основе центрального банка данных государственной аккредитации: Научное издание. — Йошкар-Ола: Центр государственной аккредитации, 2003. — 120 с. — 7,3 п.л.

11. Петропавловский М.В., Наводнов В.Г. Аналитическое сопровождение конкурса на размещение государственного задания на подготовку специалистов с высшим профессиональным образованием: Научное издание. — Йошкар-Ола: Центр государственной аккредитации, 2003. — 28 с. — 1,65 пл.

12. Петропавловский М.В., Геворкян E.H., Наводнов В.Г., Мотова Г.Н. Комплексная оценка высших учебных заведений: Учебное пособие. — Москва: 2003, — 172 е. — 14,3 п.л.

Научные статьи, опубликованные в изданиях, рекомендованных ВАК

13. Петропавловский М.В., Ижуткин B.C. Методы приведенных направлений на основе дифференцируемой штрафной функции для задачи нелинейного программирования // Известия вузов. Математика. — 1994. - №12. — С. 50-59.

— 1 п.л.

14. Петропавловский М.В., Ижуткин B.C. Методы приведенных направлений на основе модифицированной функции Лагранжа для задачи нелинейного программирования // Известия вузов. Математика. — 1995. — №12. — С.33-42.

— 1 п.л.

15. Петропавловский М.В., Ижуткин B.C., Блинов A.B. Методы центров и барьерных функций с использованием приведенных направлений для задачи

нелинейного программирования // Известия вузов. Математика. — 1996. — №12. —С. 30-41.-1,2 п.л.

16. Петропавловский М.В., Шадриков Е.Д., Геворкян E.H., Наводнов В.Г., Мотова Г.Н. О видах высших образовательных учреждений// Высшее образование в России. — 2000. — № 3. — С. 13-25. — 1 п.л.

17. Петропавловский М.В., Шадриков Е.Д., Геворкян E.H., Наводнов В.Г., Мотова Г.Н., Калабин С.М., Киринюк A.A. О процедуре комплексной оценки вуза//Высшее образование в России. — 2001. — №1. — С. 29-38. — 0,8 п.л.

18. Петропавловский М.В., Шадриков Е.Д., Геворкян E.H., Наводнов В.Г., Мотова Г.Н. О показателях государственной аккредитации вузов // Высшее образование в России. — 2001. — №2. — С. 18-23. — 0,5 п.л.

19. Петропавловский М.В., Геворкян E.H., Наводнов В.Г., Кравцова J1.A., Коновалов В.В., Киселев А.Ф. Конкурс на госзаказы: аналитическое сопровождение. Высшее образование в России // Высшее образование в России. — 2004.

— № 1. — С. 15-25. — 0,9 п.л.

20. Петропавловский М.В. Информационно-аналитическая технология сопровождения государственной аккредитации на основе Центрального банка данных государственной аккредитации // Социальная политика и социология.

— 2004. №4, —С. 174-178.-0,3 п.л.

Научные статьи

21. Петропавловский М.В., Егошин В.Е. Технология организации и ведения централизованного банка данных системы государственной аккредитации (ЦБД ГА) // Диалог наук на рубеже XX-XXI веков и глобальные проблемы современности: Материалы постоянно действующей всероссийской междисциплинарной научной конференции. — Йошкар-Ола, 1996.— С. 532-533. — 0,1 п.л.

22. Петропавловский М.В., Егошин В.Е., Куклин В.Ж., Наводнов В.Г. Технология формирования централизованного банка данных государственной аккредитации // Научно-методическая конференция «Проблемы качества образования». — Уфа, — 1996. — С. 95-96. — 0,1 п.л.

23. Петропавловский М.В., Наводнов В.Г., Ельцын A.B. Автоматизированное проектирование педагогических измерительных материалов // Труды научной конференции по итогам научно-исследовательских работ МарГТУ, секция

"Математика", Йошкар-Ола, 1998,— С. 2-5.— Деп. в ВИНИТИ 18.11.98 №3358-В98. — 0,4 п.л.

24. Петропавловский М.В., Масленников A.C., Петров Д.И. Информационно программное обеспечение процедуры анализа педагогических измерений в ходе самообследования и аттестации вуза // Труды научной конференции по итогам научно-исследовательских работ МарГТУ, секция "Математика", Йошкар-Ола, 1998. — С. 15-18,—Деп. в ВИНИТИ 18.11.98 №3358-В98. — 0,4 п.л.

25. Петропавловский М.В., Масленников A.C. Применение статистических методов для анализа педагогических измерительных материалов // Труды научной конференции по итогам научно-исследовательских работ МарГТУ, секция "Математика", Йошкар-Ола, 1998. — С. 36-40. — Деп. в ВИНИТИ 18.11.98 №3358-В98. — 0,5 п.л.

26. Петропавловский М.В., Куклин В.Ж. Анализ системы показателей государственной аккредитации высших учебных заведений методами математической статистики // Труды научной конференции по итогам научно-исследовательских работ МарГТУ, секция "Математика", Йошкар-Ола, 1998. — С. 41-44. — Деп. в ВИНИТИ 18.11.98 №3358-В98. — 0,4 п.л.

27. Петропавловский М.В., Китаев О.Ю. Технология автоматизированной подготовки аналитических материалов по образовательным организациям на основе Централизованного банка данных государственной аккредитации в среде MS Office // Труды научной конференции по итогам научно-исследовательских работ МарГТУ, секция "Математика", Йошкар-Ола, 1998. — С. 19-21, — Деп. в ВИНИТИ 18.11.98 №3358-В98. — 0,3 п.л.

28. Петропавловский М.В., Масленников A.C., Петров Д.И. Программный модуль анализа результатов педагогических измерений при проведении аттестации вуза // Материалы Всероссийской междисциплинарной научной конференции. — Йошкар-Ола, 1999. — С.459-460. — 0,05 п.л.

29. Петропавловский М.В. Исследование возможности видовой классификации высших учебных заведений методами дискриминантного анализа по показателям государственной аккредитации // Материалы Российско-Американской конференции «Негосударственное высшее образование на рубеже веков». — Йошкар-Ола-Москва, 1999. — С.202-203. — 0,1 п.л.

30. Петропавловский М.В., Наводнов В.Г., Мотова Г.Н. Методика математического сопровождения процедуры государственной аккредитации // Университеты как центры развития региона: II Российско-Американская конференция. — Йошкар-Ола, 1999. — С. 53-54. — 0,2 п.л.

31. Петропавловский М.В., Наводнов В.Г., Мотова Г.Н. Анализ результатов и перспективы развития системы государственной аккредитации // Университеты как центры развития региона: II Российско-Американская конференция. — Йошкар-Ола, 1999. — С. 26-28. — 0,3 п.л.

32. Петропавловский М.В., Наводнов В.Г., Мотова Г.Н. Видовая дифферен-сация высших учебных заведений по показателям государственной аккредитации // Университеты как центры развития региона: II Российско-Американская конференция. — Йошкар-Ола, 1999. — С. 28-30. — 0,3 п.л.

33. Петропавловский М.В. Модели аккредитации высших учебных заведений, основанные на методах математической статистики // Университеты как центры развития региона: II Российско-Американская конференция. — Йошкар-Ола, 1999. — С. 64. — 0,1 п.л.

34. Петропавловский М.В. Математическая модель процедуры самообследования вуза //Труды научной конференции по итогам научно-исследовательских работ МарГТУ, секция «Информационные методы, технологии и системы», Йошкар-Ола, 2000. — С. 8-12. — Деп. в ВИНИТИ 29.06.2000 №1846-В00. — 0,5 п.л.

35. Петропавловский М.В., Петров Д.И. Оценка динамики деятельности вузов по показателям государственной аккредитации. Мониторинг и контроль качества образования: развитие методологии и опыт. Книга 3 // Квалиметрия в Образовании: методология и практика: Материалы X Симпозиума, 2002 г. — М.: Исследовательский центр проблем качества подготовки специалистов, 2002. — С. 121-128. — 0,5 п.л.

36. Петропавловский М.В. Моделирование процедуры самообследования высшего учебного заведения на основе методов нелинейного программирования. Мониторинг и контроль качества образования: развитие методологии и опыт. Книга 3 // Квалиметрия в образовании: методология и практика: Мате-

риалы X Симпозиума, 2002 г. — М.: Исследовательский центр проблем качества подготовки специалистов, 2002. — С. 129-134. — 0,3 п.л.

37. Петропавловский М.В., Наводнов В.Г., Мотова Г.Н. Мониторинг тенденций развития системы негосударственного высшего профессионального образования. Мониторинг и контроль качества образования: развитие методологии и опыт. Книга 3 // Квалиметрия в Образовании: методология и практика: Материалы X Симпозиума, 2002 г. — М.: Исследовательский центр проблем качества подготовки специалистов, 2002. — С. 72-79. — 0,4 п.л.

38. Петропавловский М.В., Наводнов В.Г. Об экспертном оценивании ак-кредитационных показателей деятельности высших учебных заведений в ходе процедуры комплексной оценки // Материалы III Российско-Американской конференции. — Йошкар-Ола, 2002. — С.41-43. — 0,2 п.л.

39. Петропавловский М.В. Оценивание результатов единого государственного экзамена по математике методами IRT-анализа на основе пакета Statistica // Россия и мировое сообщество в поисках новых форм стабильности: Шестые Вавиловские чтения. Материалы постоянно действующей междисциплинарной научной конференции, 2002. Ч. 1. — Йошкар-Ола, 2002. — С. 206-208. — 0,1 п.л.

40. Петропавловский М.В., Наводнов В.Г. О двух математических моделях оценки экономической устойчивости негосударственных вузов при государственной аккредитации // Россия и мировое сообщество в поисках новых форм стабильности. Шестые Вавиловские чтения: Материалы постоянно действующей междисциплинарной научной конференции, 2002. Ч. 1. — С. 223-225. — 0,1 п.л.

41. Петропавловский М.В., Наводнов В.Г., Мотова Г.Н. О проблемах и перспективах развития системы государственной аккредитации вузов // Россия и мировое сообщество в поисках новых форм стабильности: Шестые Вавиловские чтения. Материалы постоянно действующей междисциплинарной научной конференции, 2002. Ч. 1. — Йошкар-Ола, 2002. — С. 225-227. — 0,2 п.л.

42. Петропавловский М.В., Наводнов В.Г. О технологии сбора информации в ЦБД ГА по учреждениям профессионального образования России // Россия и мировое сообщество в поисках новых форм стабильности. Шестые Вавилов-

ские чтения: Материалы постоянно действующей междисциплинарной научной конференции, 2002. Ч. 1. — Йошкар-Ола, 2002. — С. 227-229. — 0,1 п.л.

43. Петропавловский М.В. Разработка математических моделей определения вида учреждений среднего профессионального образования при государственной аккредитации // Сборник материалов по подпрограмме «Научное и научно-методическое обеспечение функционирования развития системы образования». — М: Прометей, 2003. — С. 355-364. — 0,7 пл.

44. Петропавловский М.В., Наводнов В.Г., Мотова Г.Н. О проблемах и перспективах развития системы государственной аккредитации высших учебных заведений // Актуальные проблемы современного научного знания: Сборник научных статей. — Йошкар-Ола, 2003. — С. 105-115. — 0,6 п.л.

45. Петропавловский М.В. Математические модели процедуры аккредитации высших учебных заведений на основе Центрального банка данных государственной аккредитации // Информатизация и информационная безопасность правоохранительных органов: Сборник трудов XIII Международной научной конференции, 2004г. — М.: Академия управления МВД России, 2004. — С. 115-119.-0,5 п.л.

46. Петропавловский М.В. О математической формализации некоторых задач в процедуре государственной аккредитации // Социальные процессы и социальные отношения в современной России. IV Международный социальный конгресс. — М„ 2004. — Том 2. — С.181-185. — 0,3 п.л.

47. Петропавловский М.В., Петров Д.И. Об информационно-аналитическом сопровождении конкурса по размещению государственного задания на подготовку специалистов // Материалы всероссийской междисциплинарной конференции с международным участием. — М.-Йошкар-Ола, 2004. — С.121-123. — 0,1 пл.

48. Petropavlovski M., Izhutkin V. A Reduced Directions Method for Solving Stochastic Problems in the Dialog System ODiS // Operations Research Proceedings. — Springer-Verlag, 1994. — P. 45-47. — 0,3 пл.

49. Petropavlovski M., Izhutkin V. The Hybrid Methods of Reduced Direction for Solving Nonlinear Extremal Problem // Mathematics in Economies, Ing. Jan Plesinger, 1999. — P.127-132. — 0,5 пл.

50. Petropavlovski M., Navodnov V., Motova G. Methods of the Comparative Analysis and Differentiation of the Higher Institutions in Russia / International Network for Quality Assurance Agencies in Higher Education (INQAAHE), Issue 21, November 2001. — P. 15-18. — 0,4 n.ji.

ПЕТРОПАВЛОВСКИЙ Михаил Вячеславович

Вычитка и корректура произведена автором

Подписано в печать 2 марта 2005 г.

Усл. печ. л. 1,7 Уч.-изд.л. 1,84 Зак. 121 Тир. 120 экз.

Издательство Центра государственной аккредитации 424000, Йошкар-Ола, пл.Ленина, д.З

; *

[

РНБ Русский фонд

2005-4 42937

С <

3 ;

2 АПР

Оглавление автор диссертации — доктора технических наук Петропавловский, Михаил Вячеславович

ВВЕДЕНИЕ. f 1. ГОСУДАРСТВЕННАЯ АККРЕДИТАЦИЯ КАК СИСТЕМА

УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ.

1.1. Функции и содержание государственной аккредитации.

1.2. Объект и субъект государственной аккредитации.

1.3. Анализ информационно-аналитической системы управления качеством образования через государственную аккредитацию.

2. ИНФОРМАЦИОННАЯ СИСТЕМА СОПРОВОЖДЕНИЯ ^ ПРОЦЕДУРЫ ГОСУДАРСТВЕННОЙ АККРЕДИТАЦИИ

НА ОСНОВЕ ЦЕНТРАЛЬНОГО БАНКА ДАННЫХ.

2.1. Информационные потоки Центрального банка данных.

2.2. Обобщенная схема структуры данных

Центрального банка данных.

2.3. Основные программные модули сопровождения процедуры аккредитации на основе Центрального банка данных.

Vf 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ АККРЕДИТАЦИИ УЧЕБНЫХ ЗАВЕДЕНИЙ ВЫСШЕГО, СРЕДНЕГО И ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ.

3.1. Моделирование критериальных значений показателей вузов.

3.2. Модель видовой классификации вузов на основе методов дискриминантного анализа.

3.3. Модели оценки динамики деятельности вузов по показателям государственной аккредитации и оценки потенциала вуза в ходе

У самообследования.

3.4. Моделирование критериальных значений показателей для учреждений среднего профессионального и дополнительного профессионального образования.

3.5. Разработка математической модели классификации учреждений среднего профессионального образования на основе методов дискриминантного анализа.

4. МЕТОДЫ И АЛГОРИТМЫ ПОДДЕРЖКИ ПРИНЯТИЯ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ ПО АТТЕСТАЦИИ

И ГОСУДАРСТВЕННОЙ АККРЕДИТАЦИИ.

4.1. Метод оценки показателя «качество подготовки» при аттестации.

4.2. Постановка задачи автоматизированного проектирования тестов как задачи обобщенного математического программирования.

4.3. Модели оценки финансовой обеспеченности вуза и основных программ.

4.4. Методы и технология сопровождения аттестации и аккредитации отдельных образовательных программ в вузах и филиалах.

4.5. Методика принятия решений по аккредитации на институциональном и программном уровнях.

5. АНАЛИТИЧЕСКОЕ СОПРОВОЖДЕНИЕ КОНКУРСА НА РАЗМЕЩЕНИЕ ГОСУДАРСТВЕННОГО ЗАДАНИЯ НА ПОДГОТОВКУ СПЕЦИАЛИСТОВ С ВЫСШИМ

ПРОФЕССИОНАЛЬНЫМ ОБРАЗОВАНИЕМ.

5.1. Общая концепция системы информационно-аналитического сопровождения открытого конкурса.

5.2. Перечень показателей для оценки укрупненных групп специальностей (направлений) подготовки.

5.3. Модели конкурсных категорий вузов по укрупненным группам специальностей.

Введение 2005 год, диссертация по информатике, вычислительной технике и управлению, Петропавловский, Михаил Вячеславович

С начала 90-х годов XX столетия в системе высшего образования России происходят кардинальные перемены, обусловленные как демократическими изменениями в самом государстве и обществе, так и изменениями в законодательной базе системы образования - принятием Закона «Об образовании» в 1992 году и Закона «О высшем и послевузовском профессиональном образовании» в 1996 году.

Анализ динамики изменения численности студентов на 10 тысяч населения в Российской Федерации свидетельствует о том, что за последние 10 лет это соотношение выросло со 171 в 1993 году до 438 в 2004 году. При этом доля студентов, обучающихся на платной основе, в 2004 году составила 50,4%.

Аналогичная картина наблюдается и в системе среднего и дополнительного профессионального образования.

Закон «Об образовании», повлекший за собой демократические реформы в структуру системы образования, определил и новые механизмы управления системой образования — лицензирование, аттестацию и государственную аккредитацию [46, т. 1]. При этом государственная аккредитация является основным механизмом гарантии качества образования со стороны государства, так как государство фактически доверяет аккредитованному учебному заведению от своего имени вести образовательную деятельность.

В 1997 году в структуре Министерства образования России (тогда Госкомвуза России) создается специальный общественно-государственный орган - Аккредитационная коллегия, которая представляет собой экспертную комиссию, принимающую решения по государственной аккредитации.

Степень разработанности темы исследования. Разработка технологии государственной аккредитации в России ведется с начала 1990 годов. В области развития теории управления образовательными системами, использования информационных технологий в процедурах управления образованием, разработки содержания системы аккредитации необходимо отметить работы В.А.Болотова [4], В.Н.Буркова [5,6], Е.Н.Геворкян [28, 96, 97, 100-102], Б.К.Коломийца, В.Ж.Куклина [29-38], А.А.Кушеля [41, 42], Б.Г.Литвака [44, 45], А.С.Масленникова [49, 50], А.Н.Майорова [48], В.Ф.Мануйлова, В.И.Мешалкина [17, 51], Г.Н.Мотовой [53-61], В.Г.Наводнова [53-57, 60-66, 74-77], Б.А.Савельева [32-35, 49, 50], В.А.Северцева [130], Н.А.Селезневой [131], А.И.Субетто [67], К.Н.Цейковича, В.Д.Шадрикова [136].

Большой вклад в разработку нормативной базы, а также в создание моделей и технологии аккредитации внесли В.А.Болотов, Е.Н.Геворкян, В.Ж.Куклин, В.И.Мешалкин, В.Г.Наводнов, Б.А.Савельев, В.Д.Шадриков.

Методы анализа экспертной информации, а также системы экспертного оценивания деятельности вузов рассматривались Б.Г.Литваком.

В результате исследований была создана обобщенная модель процедуры аккредитации высших учебных заведений, основанная на циклическом оценивании по результатам деятельности как вуза в целом, так и каждой образовательной программы, оцениваемой по совокупности значимых показателей. В качестве методологии оценивания была принята смешанная: метрические показатели оценивались на основе критериального подхода, а экспертные - на основе бинарного (соответствует / не соответствует) [62]. Проблемы формализованного описания системы высшего профессионального образования и ее подсистем были рассмотрены в [29].

Разработкой систем показателей в процедурах оценки качества активно занимаются M.Adams, M.Cave, S.Yanney, D.Hopkins, JJohnes, J.Taylor, H.Kells [139, 148, 152, 155].

Много зарубежных работ посвящено проблеме оценки качества подготовки студентов и формализации процедуры создания измерительных материалов (тестов) для этих целей (J.Adema, E.Boekkooi-Timminga, L.Dirk, Henk Kelderman, WJ.Linden, TJ.Theunissen [140-142, 144, 149, 151, 156-159, 169-171]).

Основным структурным элементом системы управления является информационно-аналитическая подсистема. Учитывая социальную и экономическую важность качества образования для Российской Федерации, проблемы анализа структуры, функций, а также разработка на этой основе информационно-аналитической системы государственной аккредитации как системы управления качеством образования имеют, безусловно, важное значение. Задача построения информационно-аналитической системы государственной аккредитации как для информационной и аналитической поддержки работы Аккредитационной коллегии, так и для совершенствования на основе этой системы технологии управления качеством образования через государственную аккредитацию является актуальной.

Построение информационно-аналитической системы государственной аккредитации требует разработки ее методологических основ, включающих совокупность методов и методик, используемых для моделирования государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, оценки эффективности процедуры аккредитации, моделирования критериев показателей аккредитации, поддержки принятия решений по аккредитации, математических моделей определения вида образовательных учреждений при государственной аккредитации. Проблемой для исследования является также проектирование информационной подсистемы информационно-аналитической системы государственной аккредитации, позволяющей обеспечить информационную поддержку аккредитации учебных заведений среднего, высшего и дополнительного профессионального образования, а также отдельных образовательных программ, реализуемых в аккредитованных учебных заведениях и их филиалах.

В утвержденном Постановлением Правительства Российской Федерации от 02.12.1999 № 1323 Положении «О государственной аккредитации высшего учебного заведения» [46] определено, что аккредитацию вуза проводит аккредитационный орган (Аккредитационная коллегия) «на основании заключения об аттестации, результатов экспертизы показателей вуза и критериев аккредитации для вузов различных видов». «С целью информационно-методического сопровождения аккредитации, обеспечения объективности принимаемых решений формируется центральный банк данных по вузам России, включающий показатели деятельности вузов, учитываемые при принятии решений по аккредитации» (Положение «О государственной аккредитации высшего учебного заведения» [46, т. 3, с. 11]).

Технология государственной аккредитации, являющаяся основным механизмом управления качеством в системе образования, дает возможность решать и другие управленческие задачи. Постановления Правительства Российской Федерации от 24.09.2001 г. №606 «О конкурсном порядке размещения государственного задания на подготовку специалистов с высшим профессиональным образованием» и от 04.10.2002 г. № 749 «О конкурсах среди аккредитованных образовательных учреждений высшего профессионального образования на выполнение государственного задания по подготовке специалистов с высшим профессиональным образованием» определили с 2003 года конкурсный порядок размещения государственного задания на подготовку специалистов [126]. Реализация данных постановлений Правительства в части разработки информационной технологии и математических моделей для поддержки принятия решений по размещению государственного задания является актуальной задачей.

Гипотеза исследования состоит в том, что разработка методологических основ построения информационно-аналитической системы государственной аккредитации и информационной технологии сопровождения аккредитации на основе Центрального банка данных позволит усовершенствовать механизмы управления качеством образования через государственную аккредитацию.

Цель исследований состоит в совершенствовании механизмов управления качеством образования на основе разработки методологических основ построения информационно-аналитической системы государственной аккредитации учреждений среднего, высшего и дополнительного профессионального образования.

В работе поставлены и решены следующие задачи:

3. Создание комплекса математических моделей государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, включающего:

• математический аппарат моделирования критериальных значений показателей аккредитации;

• математические модели определения интегральных видовых характеристик;

• модели оценки динамики деятельности вуза по показателям аккредитации.

6. Разработка методов и алгоритмов поддержки принятия управленческих решений по аттестации и государственной аккредитации, включающих:

• метод количественной оценки показателя «качество подготовки»;

• математическую модель и алгоритм автоматизированного проектирования аттестационных педагогических измерительных материалов для оценки показателя «качество подготовки»;

• модели индексов финансовой обеспеченности вуза и образовательных программ;

• методы информационно-аналитического сопровождения процедур аттестации и аккредитации отдельных образовательных программ, реализуемых в аккредитованных вузах и филиалах.

7. Создание на основе результатов апробации информационно-аналитической системы государственной аккредитации математических моделей и информационной технологии сопровождения открытого конкурса по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием, включающих:

• систему показателей и критериальных значений открытого конкурса;

• алгоритм категорирования укрупненных групп специальностей (УГС) вузов;

• технологию и методы информационно-аналитического сопровождения процедуры принятия решения по размещению госзадания.

Методология и методы исследования. Методология работы как совокупность используемых методов включает в себя методы системного анализа, методы экспертного оценивания и функционального анализа, методы математической статистики, многомерный статистический анализ, методы вычислительной линейной алгебры, численные методы безусловной и условной оптимизации, методы обработки экономической информации, методы теории принятия решений, методы теории баз данных.

Научная новизна и теоретическая значимость работы состоит в следующем:

• Впервые, на основе исследования государственной аккредитации как системы управления качеством образования, определена информационно-аналитическая подсистема, проведен ее анализ с точки зрения морфологического и функционального описания и определения основных элементов.

• Разработаны методологические основы информационно-аналитической системы государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, включающие в себя методы принятия решений по аттестации и государственной аккредитации как на институциональном, так и на программном уровнях на базе математических моделей.

• Создан комплекс математических моделей государственной аккредитации, состоящий из моделей видовой классификации учреждений высшего и среднего профессионального образования, математического аппарата моделирования критериальных значений показателей аккредитации образовательных учреждений всех трех типов, моделей оценки динамики деятельности вуза по показателям аккредитации, математической модели и алгоритма оценки потенциала вуза в ходе самообследования. В основу математических моделей положены методы многомерного статистического анализа, теория и методы математического программирования.

• Предложен метод количественной оценки показателя «Качество подготовки», а также методика количественной оценки показателя «Экономическая устойчивость вуза» при государственной аккредитации.

• Разработана математическая модель, включающая систему показателей, критериальных значений и алгоритм категорирования укрупненных групп специальностей, конкурса по размещению государственного задания на подготовку специалистов, позволившая обеспечить интегрированными данными конкурсную комиссию и сделать механизм принятия решений по размещению государственного задания объективным.

Практическая значимость исследования состоит в проектировании на основе разработанной методологии информационной подсистемы формирования Центрального банка данных государственной аккредитации по учреждениям высшего, среднего и дополнительного профессионального образования России для информационно-аналитического сопровождения процедуры государственной аккредитации образовательных учреждений указанных типов. Разработанные методы и технология адаптированы для информационно-аналитического сопровождения открытого конкурса по размещению государственного задания Минобразования России на подготовку специалистов с высшим профессиональным образованием.

Система показателей государственной аккредитации и их критериальных значений, учитывающих специфику учреждений различных типов и видов, используется для поддержки принятия решений Аккредитационной коллегией Федеральной службы по надзору в сфере образования и науки, а также ведомственными коллегиями различных министерств.

Математические модели видовой классификации, модели конкурсных категорий укрупненных групп специальностей (направлений подготовки) используются для принятия решений по государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, а также для принятия решений по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием.

Технология информационного сопровождения процедуры комплексной оценки сокращает трудозатраты образовательного учреждения на подготовку и прохождение процедур лицензирования, аттестации и государственной аккредитации.

Технология сопрождения аттестации и аккредитации отдельных образовательных программ (ООП) без выезда аттестационнной комиссии и методы поддержки принятия решений по государственной аккредитации ООП сократили финансовые затраты вуза на проведение этих процедур, повысили эффективность и объективность принимаемых Аккредитационной коллегией решений.

Достоверность и обоснованность результатов исследования обеспечиваются репрезентативностью выборки объектов исследования — вся генеральная совокупность аккредитованных учреждений высшего, среднего и дополнительного профессионального образования, сведения по которым анализировались в динамике за 1997-2005 годы, применением математических методов и моделей, интерпретацией и формализацией результатов исследования, единством теоретического и практического в исследовании, адекватностью получаемых теоретических результатов практике, проверяемой многократной апробацией результатов на протяжении семи лет в ходе информационно-аналитического сопровождения государственной аккредитации на федеральном, региональном и ведомственном уровнях.

На защиту выносятся:

1. Информационно-аналитическая система государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, включающая в себя: комплекс математических моделей государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования:

• математический аппарат моделирования критериальных значений показателей аккредитации;

• математическую модель определения вида вузов и учреждений среднего профессионального образования на основе методов дискриминантного анализа;

• математическую модель оценки динамики деятельности вуза по показателям аккредитации на основе методов наименьших квадратов;

• математическую модель оценки потенциала вуза в ходе самообследования на основе методов нелинейного программирования; информационную подсистему сопровождения процедуры государственной аккредитации учреждений среднего, высшего и дополнительного профессионального образования на основе ЦБД ГА, включающую в себя:

• информационные потоки и технологию наполнения ЦБД ГА по вузам, учреждениям среднего профессионального образования (УСПО) и учреждениям дополнительного профессионального образования (УДПО);

• информационные потоки и технологию поддержки принятия управленческих решений по аттестации и аккредитации вузов, УДПО, УСПО, включая аттестацию и аккредитацию отдельных образовательных программ, реализуемых аккредитованными вузами и филиалами; методы и алгоритмы поддержки принятия управленческих решений по аттестации и государственной аккредитации:

• метод оценки показателя «качество подготовки»;

• математическая модель и алгоритм автоматизированного проектирования аттестационных педагогических измерительных материалов;

• методика оценки финансовой обеспеченности реализации основных образовательных программ в негосударственных вузах;

• методы информационно-аналитического сопровождения процедуры принятия решения по аттестации и аккредитации отдельных образовательных программ, реализуемых в вузах и филиалах.

• систему показателей и критериальных значений открытого конкурса;

• алгоритм категорирования УГС вузов;

Апробация и внедрение результатов исследования. Результаты исследований докладывались и обсуждались на российских конференциях и семинарах «Информационные технологии аккредитации учебных заведений» (г. Йошкар-Ола, 1995, 1996 гг.), «Проблемы качества образования» (г.Уфа, 1996, 1998 гг.), «Технология государственной аккредитации» (г. Йошкар-Ола, 1997 г.), II Российско-Американской конференции «Университеты как центры развития региона» (г. Йошкар-Ола, 1999 г.), «Технологии государственной регламентации (лицензирование, аттестация, аккредитация) образовательных организаций» (г. Йошкар-Ола, 1998, 1999 гг.), «Дополнительное профессиональное образование» (г. Москва, 2001 г.), «Комплексная система оценки деятельности образовательных учреждений» (г. Йошкар-Ола, 2001 г.), X Симпозиуме «Калиметрия в образовании: методология и практика» (г. Москва, 2002 г.), III Российско-Американской конференции «Пути развития образования в XXI веке» (г. Йошкар-Ола, 2002 г.), «Актуальные проблемы современного научного знания» (г. Йошкар-Ола, 1996-2004 гг.), «Совершенствование системы лицензирования, аттестации и государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования» (г. Йошкар-Ола, 2002,

2003 гг.), «Лицензирование, аттестация и государственная аккредитация образовательных учреждений» (г. Йошкар-Ола, 2004 г.); на международных конференциях: "Quality and Innovations in HE" (Гонконг, 2000 г.), CEENet Conference (г. Краков (Польша), 2001 г.), 7th Annual GATE Conference (г. Париж (Франция), 2002 г.), INQAAHE Workshop

2004 (г. Маскат (Султанат Оман), 2004 г.), «Содействие европейскому сотрудничеству в обеспечении качества образования» (г. Санкт-Петербург, 2004 г.), «Математическое моделирование социально-экономических процессов» (г. Дубай (ОАЭ), 2005 г.), международном семинаре

Комплексная система оценки деятельности образовательных учреждений» (г. Йошкар-Ола, 2000 г.), международной научно-практической конференции по проблемам развития и интеграции систем оценки качества высшего профессионального образования в странах СНГ и Балтии (г. Йошкар-Ола, 2003 г.), IV Международном социальном конгрессе «Социальные процессы и социальные отношения в современной России» (г. Москва, 2004 г.), XIII Международной научной конференции «Информатизация и информационная безопасность правоохранительных органов» (г. Москва, 2004 г.).

Результаты исследований прошли апробацию в международном проекте TACIS EDRUS9511 "Assistance in Licensing, Attestation, Accreditation and Certification of Business and Management Programmes in Russian Federation" (1997-1999).

Результаты научных исследований использовались при выполнении:

НИР по государственному контракту № 24.02.28 «Исследование и проектирование научно-методологических основ комплексного оценивания образовательных учреждений с целью усовершенствования процедур лицензирования, аттестации и государственной аккредитации», выполненному в рамках Федеральной программы развития образования (2002 г.); проекта «Разработка математической модели определения вида учреждения среднего профессионального образования при государственной аккредитации» в рамках НТП "Научное, научно-методическое, материально-техническое и информационное обеспечение системы образования" (2001— 2002 гг.); проекта «Научно-методическое и программное обеспечение определения вида учреждений среднего и дополнительного профессионального образования при государственной аккредитации» в рамках НОП «Научно-методическое обеспечение функционирования и модернизации системы образования» (2003 г.); проекта «Математические модели определения типа и вида учреждений высшего, среднего и дополнительного профессионального образования при государственной аккредитации» в рамках финансируемого Минобразования РФ тематического плана НИР Марийского государственного технического университета (1999-2005 гг.).

Результаты научных исследований поддержаны грантами: института «Открытое общество» Фонда Сороса (1995, 1996, 2000 гг.); Российской Академии Наук, раздел «Информатика» (1997-1999 гг.); Минобразования России (1999 г.), раздел «Проблемы педагогики»; фонда INTAS «Investigation of Western Europe quality assessment models and procedures, their adaptation to Russian education management system» (20012002 гг.);

Президента Республики Марий Эл (2000, 2001, 2003 гг.); Благотворительного фонда Владимира Потанина (2002 г.). Апробация результатов осуществлялась также во время научных стажировок автора: в Центре изучения проблем высшего образования (CHEPS) в Университете Твенте (Нидерланды) в рамках гранта INTAS (2002 г.); в Финляндии, Швеции, Норвегии в рамках программы «Оценка качества образования в России и странах Скандинавии» (2003 г.), а также в учебном процессе в системе дополнительного профессионального образования: при чтении авторских лекций на курсах Минобразования РФ по переподготовке экспертов, участвующих в аттестационных экспертизах вузов (2001-2002 гг.), на курсах Минобразования РФ по повышению квалификации руководителей высших учебных заведений по теме «Государственная аккредитация» (2002—2005 гг.).

Результаты исследований использовались при подготовке и проведении 65 Аккредитационных коллегий Минобразования РФ и Федеральной службы по надзору в сфере образования и науки (1997-2005 гг.), ведомственных коллегий Госстроя (2000-2003 гг.), Автодора (2000 г.), Минтранса, Минсельхоза, Минкульта, Минпечати, Госкомспорта (2001-2004 гг.), Федерального агентства по культуре и кинематографии (2005 г.) (по учреждениям среднего профессионального образования).

Получен акт о внедрении в практику работы Федеральной службы по надзору в сфере образования и науки: информационной технологии сопровождения процедуры государственной аккредитации учреждений среднего, высшего и дополнительного профессионального образования на основе Центрального банка данных государственной аккредитации; комплекса математических моделей, включающего модели видовой классификации учреждений высшего и среднего профессионального образования, математический аппарат моделирования критериальных значений показателей аккредитации образовательных учреждений среднего, высшего и дополнительного профессионального образования, модели оценки динамики деятельности вуза по показателям аккредитации, модели и алгоритм оценки потенциала вуза в ходе самообследования.

Результаты исследований отмечены свидетельствами Российского агентства по патентам и товарным знакам об официальной регистрации программ для ЭВМ: на программный комплекс сопровождения Единого банка данных лицензирования, аттестации и госаккредитации (№ 2004610162); на информационно-аналитический комплекс «Камертон» (№ 2004610161). Разработанные математические модели определения критериальных значений показателей аккредитации использованы при разработке: приказа Минобразования России от 29.06.2000 № 1965 «Об утверждении перечня показателей государственной аккредитации и критериальных значений, используемых при установлении вида высшего учебного заведения» (с последующими дополнениями); приказа Минобразования России от 01.10.2001 № 3249 «Об утверждении переченя показателей государственной аккредитации и критериальных значений, используемых при установлении вида учреждений среднего профессионального образования».

Разработанные методика и алгоритм расчета показателей утверждены Минобразования России.

Структура работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложения. Общий объем работы — 335 страниц.

Заключение диссертация на тему "Методологические основы построения информационно-аналитической системы государственной аккредитации учреждений профессионального образования"

Выводы по пятой главе:

1. Разработана информационная технология сопровождения открытого конкурса по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием на основе ЦБД ГА. Технология построена на едином с технологией аккредитации модуле доставки данных, что позволило сократить трудоемкость на подготовку конкурсной документации в вузах и повысить эффективность информационного сопровождения конкурса.

2. На основе показателей аккредитации разработана система показателей открытого конкурса, включающая, наряду с вузовскими, показатели УГС.

3. Разработаны алгоритмы категорирования УГС вузов по трем конкурсным категориям и механизм принятия решения по объему размещения госзадания.

4. Предложены методы информационно-аналитического сопровождения процедуры принятия решения по размещению госзадания.

Технология и математические модели внедрены в Министерстве образования России и использовались в 2003 и 2004 годах для информационно-аналитического сопровождения конкурса по размещению госзадания.

ЗАКЛЮЧЕНИЕ

Изменения, произошедшие в российской системе образования, начиная с 90-х годов двадцатого века, вызванные демократическими процессами в России и совершенствованием законодательной базы системы образования, определили новую для российской системы профессионального образования процедуру государственной аккредитации. Эффективное применение процедуры государственной аккредитации, как основного механизма управления системой образования, механизма обеспечения и гарантии качества образования, потребовало разработки нормативного, научного и методологического обеспечения государственной аккредитации как системы управления качеством образования. Одной из важнейших и необходимых подсистем государственной аккредитации является информационно-аналитическая, основанная на современных информационных технологиях и математических моделях сопровождения и поддержки принятия решений аккредотационным органом.

Проблемы анализа, исследования и создания методологических основ информационно-аналитической системы государственной аккредитации и определили тематику диссертационной работы. Были получены следующие результаты:

1. Система государственной аккредитации исследована как система управления качеством образования. Выделены функции системы, показана цель государственной аккредитации как основного механизма гарантии качества образования, проведен анализ субъекта и объекта управления через государственную аккредитацию. Показано, что управляющая система реализует управление через целый ряд организаций, вовлеченных в процесс государственной аккредитации: Федеральную службу по надзору в сфере образования и науки, Аккредитационную коллегию Федеральной службы, экспертные комиссии, Аккредитационные коллегии субъектов Российской Федерации, а также различных министерств и ведомств, Центр государственной аккредитации, а объект управления представляет собой сложную систему, включающую образовательные учреждения профессионального образования различных типов и видов. Анализ системы государственной аккредитации позволил выделить в ней информационно-аналитическую подсистему. Проведен анализ ее морфологических и функциональных характеристик, а в качестве основных элементов информационно-аналитической системы определены информационная, аналитическая подсистемы и Центральный банк данных государственной аккредитации.

2. Комплекс математических моделей государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, включающий:

• математический аппарат моделирования критериальных значений показателей аккредитации;

• алгоритмы и математические модели индексов соответствия критериям аккредитации для аналитической поддержки принятия решения по государственной аккредитации;

• математическую модель оценки потенциала вуза в ходе самообследования на основе методов нелинейного программирования.

• информационные потоки и технологию наполнения ЦБД ГА по вузам, УСПО и УДПО;

• информационную технологию сопровождения процедур самообследования и комплексной оценки деятельности вузов;

5. Методы и алгоритмы под держки принятия управленческих решений по аттестации и государственной аккредитации:

• метод количественной оценки показателя «качество подготовки»;

• математическая модель и алгоритм автоматизированного проектирования аттестационных педагогических измерительных материалов для оценки показателя «качество подготовки»;

• модели индексов финансовой обеспеченности образовательного процесса вуза и отдельных программ;

• систему показателей и критериальных значений открытого конкурса;

• алгоритм категорирования УГС вузов;

Таким образом, разработаны методические основы информационно-аналитической системы государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования. На основе данной системы успешно решаются другие задачи управления в системе профессионального образования — аналитическое сопровождение конкурса по размещению государственного задания на подготовку специалистов.

Библиография Петропавловский, Михаил Вячеславович, диссертация по теме Управление в социальных и экономических системах

1. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983. Т.1.

2. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. — М.: Финансы и статистика. 1989. Т. 3.

3. Афанасьев В.Н., Колмановский В.Б., Носов В.Р. Математическая теория конструирования систем управления. — М: Высшая школа, 1998. — 574 с.

4. Болотов В.А., Мотова Г.Н., Наводнов В.Г. О системе аккредитации образовательных учреждений в Российской Федерации// Контроль качества и оценка в образовании: Материалы международной конференции. — Санкт-Петербург, 1998. — С. 45-74.

5. Бурков В.Н., Ириков В. А. Модели и методы управления организационными системами. — М.: Наука, 1994.

6. Бурков В. Н., Новиков Д. А. Модели и механизмы теории активных систем в управлении качеством подготовки специалистов. — М.: ИЦ, 1998.

7. Боровиков В.П., Боровиков И.П. Statistica. Статистический анализ и обработка данных в среде Windows. — М.: Информационно-издательский дом «Филинъ», 1997. — 608 с.

8. Боровков А.А. Математическая статистика. — М.: Наука, 1984.

9. Васильев Ф.П. Численные методы решении экстремальных задач. — М: Наука, 1988. — 550 с.

10. Воеводин В.В. Вычислительные основы линейной алгебры. — М: Наука, 1987. —304 с.

11. Вроейнстийн А.И. Оценка качества высшего образования: Рекомендации по внешней оценке качества в вузах. — М.: Изд-во МНЭПУ, 2000. — 180 с.

12. Государственная аккредитация. Общие положения. — М.: Научно-информационный центр государственной аккредитации, 1997. — 41 с.

13. Государственная аккредитация учреждений высшего, среднего и дополнительного профессионального образования: Аналитический отчет. — М: Центр государственной аккредитации, 1999, 2000, 2001, 2002, 2003, 2004.

14. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. — М: Мир, 1985. —511 с.

15. Жамбю М. Иерархический кластер-анализ и соответствия. — М.: Щ Финансы и статистика, 1988. — 343 с.

16. Искаков В., Мешалкин В.И., Прокофьев В. Аттестация вуза: критерии оценки потенциала // Вестник высшей школы. — 1990. — № 11. — С. 19-24.

17. Келс Г.Р. Процесс самооценки: руководство по самооценке для высшего образования. — Изд. 4-е / Пер. с англ. О. Бухиной. — М.: Московский общественный фонд, 1999. — 152 с.

18. Ким Дж.-О. и др. Факторный, дискриминантный и кластерный анализ. — М.: Финансы и статистика, 1989. — 216 с.

19. Козырев О.Р., Куркин А.А. Теория обработки экономической информации. — Нижний Новгород: НГТУ, 2000. — 169 с.

20. Козырев О.Р., Куркин А.А. Информационная поддержка систем принятия решений. — Нижний Новгород: НГТУ, 2001. — 136 с.

21. Коллатц JI. Функциональный анализ и вычислительная математика. — М.: Мир, 1969.—447 с.

22. Колемаев В.А. Математические методы принятия решений в экономике. — М: ЗАО «Финстатинформ», 1999. — 383 с.fr 24. Колемаев В.А., Калинина В.Н. Теория вероятностей и математическаястатистика. — М: ИНФРА-М, 2001. — 302 с.

23. Колемаев В.А. Математическая экономика. — М:ЮНИТИ, 2002. — 399 с.

24. Конти Т. Самооценка в организациях: Пер. с англ. И.Н. Рыбникова при участии Г.И. Герасимовой / Науч. ред. В.А. Лапидус, М.Е. Серов. М.: РИА «Стандарты и качество», 1999. — 327 с.

25. Колеников С.О. Прикладной экономический анализ в статистическом пакете Stata. — М:Российская экономическая школа, 2001. — 65 с.

26. Комплексная оценка высших учебных заведений: Учебное пособие/ Наводнов В.Г., Геворкян Е.Н., Мотова Г.Н., Петропавловский М.В. — М.: Центр государственной аккредитации, 2003. — 176 с.

27. Куклин В.Ж. Системный анализ, моделирование и управление в системе высшего профессионального образования: Автореф. на соиск. уч. степ, доктора техн. наук. — Санкт-Петербург, 2000. — 42 с.

28. Куклин В.Ж., Наводнов В.Г. О сравнении педагогических технологий // Высшее образование в России. — 1994. — № 1. — С. 165-172.

29. Куклин В.Ж., Наводнов В.Г. Информационное сопровождение системы государственной аккредитации // Мешалкин В.И. Учреждения высшего и среднего профессионального образования. Аккредитация — самообследование — рейтинг. — М.: Изд-во РУДН, 1995. — С. 27-38.

30. Куклин В.Ж., Наводнов В.Г., Савельев Б.А. О классификации вузов по направленности подготовки // Квалиметрия человека и образования: методология и практика: Тез. докл. —М., 1996. — С. 198-199.

31. Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. О компьютерной технологии оценки качества знаний // Высшее образование в России. —1993.—№3. —С. 146-153.

32. Куклин В.Ж., Наводнов В.Г., Мешалкин В.И., Савельев Б.А. Формирование педагогических испытательных материалов для диагностики качества подготовки // Научные проблемы тестового контроля знаний: Тезисы докладов школы-семинара. —М., 1994. — С. 53-55.

33. Куклин В.Ж., Савельев Б.А. О процедурах государственной аккредитации // Проблемы качества образования в России: Материалы Всероссийской научно-практической конференции. — Уфа-Москва, 1997. — С. 64-66.

34. Куклин В.Ж., Наводнов В.Г., Мотова Т.Н. Сравнительный анализ систем аккредитации за рубежом // Проблемы качества образования: Тезисы докладов научно-методической конференции. 23-28 мая 1996 г. — Уфа, 1996. —С. 88-89.

35. Кулаичев А.П. Методы и средства анализа данных в среде Windows: Stadia 6.0. — М:НПО «Информатика и компьютеры», 1996. — 255 с.

36. Кумэ X. Статистические методы повышения качества. — М: Финансы и статистика, 1990. — 301 с.

37. Кушель А., Мешалкин В. Экспресс-оценка высших учебных заведений // Alma mater. 1992. - № 4-6. - С. 40-47.

38. Кушель А.А., Акимов Ю.П., Мешалкин В.И. Аттестация и аккредитация вузов // Вестник высшей школы. — 1991. — № 4. — С. 11-14.

39. Лебедев В.В., Лебедев К.В. Математическое и компьютерное моделирование экономики. — М:НВТ-Дизайн, 2002. — 256 с.

40. Литвак Б.Г. Автоматизированные системы экспертного оценивания и аккредитация: Труды исследовательского центра проблем качества подготовки специалистов. — М., 1993. — 144 с.

41. Литвак Б.Г. Экспертная информация. Методы получения и анализа. — М.: Радио и связь, 1982. — 184 с.

42. Лицензирование, аттестация, государственная аккредитация учреждений профессионального образования Российской Федерации: В 3 т.

43. М.: Центр государственной аккредитации, 2003.

44. Маринеску И. и др. Основы математической статистики и ее применение. — М.: Статистика, 1970. — 223 с.

45. Майоров А.Н., Сахарчук Л.Б., Сотов А.В. Элементы педагогического мониторинга и региональных стандартов в управлении. — СПб., 1992. — 77 с.

46. Масленников А.С., Савельев Б.А. О педагогических измерениях при аттестации вуза // Проблемы качества образования: Материалы 9-й Всероссийской научно-методической конференции. — Уфа Москва, 1999 г.1. С. 150-152.

47. Масленников А.С., Савельев Б.А. Оценка уровня обученности студентов в целях аттестации образовательного учреждения профессионального образования. — Йошкар-Ола: Центр государственной аккредитации, 2004. — 82 с.

48. Мешалкин В.И. Учреждения высшего и среднего профессионального образования в Российской Федерации. Аккредитация — самообследованиерейтинг. — М.: Изд-во РУДН, 1995. — 136 с.

49. Мину М. Математическое программирование. — М: Наука, 1990.— 375 с.

50. Мотова Г.Н., Наводнов В.Г., Куклин В.Ж., Савельев Б.А. Системы аккредитации за рубежом. — М., 1998. — 180 с.

51. Мотова Г.Н., Наводнов В.Г. Модели аккредитации за рубежом: Научное издание. — Йошкар-Ола: Центр государственной аккредитации, 2004. — 58 с.

52. Мотова Г.Н., Наводнов В.Г. Проектирование системы аккредитации образовательных организаций. — Йошкар-Ола, 1999. — 76 с.

53. Мотова Г.Н., Наводнов В.Г. Модели оценивания деятельности образовательных организаций — Йошкар-Ола, 1997. — 48 с.

54. Мотова Г.Н., Наводнов В.Г., Куклин В.Ж., Савельев Б.А. Аккредитация образовательных организаций за рубежом. — Йошкар-Ола, 1997. — 32 с.

55. Мотова Г.Н. Информационно-методическое сопровождение процедуры государственной аккредитации учреждений среднего профессионального образования // Среднее профессиональное образование. — 2003. — № 4. — С. 38-42.

56. Мотова Г.Н., Наводнов В.Г. Модели оценивания в процедуре аккредитации// Проблемы качества образования в России: Материалы Всероссийской научно-практической конференции. — Уфа-Москва, 1997. — С. 63-64.

57. Мотова Г.Н. Аккредитация образовательных систем.- Иошкар-Ола-Москва:Центр государственной аккредитации, 2004. — 257 с.

58. Наводнов В.Г. Оптимизация государственной аккредитации образовательных организаций на основе интегрированной системы концептуального моделирования и принятия решений: Автореф. на соиск. уч. степ, д-ра техн. наук. — Воронеж, 1997. — 40 с.

59. Наводнов В.Г., Куклин В.Ж., Масленников А.С., Ельцын А.В. Система формирования испытательных материалов Test-Gen. — Йошкар-Ола, 1995. — 83 с.

60. Наводнов В.Г., Куклин В.Ж., Савельев Б.А. Государственная аккредитация. Общие положения. — М.: Научно-информационный центр государственной аккредитации, 1997. — С. 41.

61. Наводнов В.Г., Ощепков Г.С., Логинов В.В., Шишкин Г.А. Система «Фонд» в управлении учебной, методической и научной работой в МарГТУ //

62. Прикладные исследования в электронике и новые технологии в обучении студентов. — Йошкар-Ола, 1996. — С. 95-97.

63. Наводнов В.Г., Паскаль А.П. Модели, процедуры и программные средства самообследования образовательной организации. Система ФОНД: Препринт № 3/97. — Йошкар-Ола, 1997. — 40 с.

64. Петропавловский М.В., Ижуткин B.C. Методы приведенных направлений на основе дифференцируемой штрафной функции для задачи нелинейного программирования // Известия вузов. Математика. — 1994. -№12. —С. 54-64.

65. Петропавловский М.В., Наводнов В.Г., Куклин В.Ж. Программно-аналитический комплекс КАМЕРТОН анализа результатов тестовых испытаний: Учебно-методическое пособие.— Йошкар-Ола, 1994. — 87 с.

66. Петропавловский М.В., Ижуткин B.C. Методы приведенных направлений на основе модифицированной функции Лагранжа для задачи нелинейного программирования // Известия вузов. Математика. — 1995. — №12. —С.34-43.

67. Петропавловский М.В., Ижуткин B.C., Блинов А.В. Методы центров и барьерных функций с использованием приведенных направлений для задачи нелинейного программирования // Известия вузов. Математика. — 1996. — №12. —С. 15-24.

68. Петропавловский М.В., Егошин В.Е., Куклин В.Ж., Наводнов В.Г. Технология формирования централизованного банка данных государственной аккредитации // Проблемы качества образования. — Уфа, — 1996. —С. 95.

69. Петропавловский М.В., Наводнов В.Г., Куклин В.Ж., Масленников А.С. Расширение возможностей технологии КАМЕРТОН средствами IRT-анализа // Тезисы Всероссийского семинара по вопросам аттестации.- Санкт-Петербург, 1997. С.37-38.

70. Петропавловский М.В., Наводнов В.Г., Масленников А.С., Ельцын А.В. Развитие системы тестирования учебных достижений в России // Образование и перспективы развития: Тезисы I Российско-Американской региональной конференции, —1997.

71. Петропавловский М.В., Наводнов В.Г., Ельцын А.В. Автоматизированное проектирование педагогических измерительных материалов: Научное издание.- Йошкар-Ола, ОПП МарГТУ, 1999. — 28 с.

72. Петропавловский М.В., Масленников А.С., Петров Д.И. Новые возможности системы КАМЕРТОН // Проблемы качества образования: Тезисы VII Всероссийской научно-методической конференциию- Уфа-Москва, 1998.-С. 123.

73. Петропавловский М.В., Масленников А.С., Петров Д.И. Информационно программное обеспечение процедуры анализа педагогических измерений в ходе самообследования и аттестации вуза // Труды научной конференции по итогам научно-исследовательских работо

74. МарГТУ, секция "Математика".- Йошкар-Ола, 1998. С. 10-15. - Деп. в ВИНИТИ 18.11.98 №3358-В98.

75. Петропавловский М.В., Масленников А.С., Петров Д.И. Программный модуль анализа результатов педагогических измерений при проведении аттестации вуза // Материалы Всероссийской междисциплинарной научной конференции. — Йошкар-Ола, 1999. — С.459.

76. Петропавловский М.В., Масленников А.С., Петров Д.И. О технологии анализа результатов аттестационных измерений «Камертон» // Развитие системы тестирования в России: Тезисы Всероссийской конференции. — М., 1999. —С.52-53.

77. Петропавловский М.В., Наводнов В.Г., Мотова Т.Н. Совершенствование системы государственной аккредитации учреждений высшего профессионального образования: Научное издание. — Йошкар-Ола, 1999. —64 с.

78. Петропавловский М.В. Классификация учреждений высшего профессионального образования методами дискриминантного анализа: Научное издание. — Йошкар-Ола: НИЦГА, 1999. — 23 с.

79. Петропавловский М.В., Китаев О.Ю. Математические модели определения индекса соответствия статистическим критериям государственной аккредитации: Научное издание. — Йошкар-Ола: НИЦГА, 1999.—37 с.

80. Петропавловский М.В., Наводнов В.Г., Мотова Г.Н. Методика математического сопровождения процедуры государственной аккредитации // Университеты как центры развития региона: II Российско-Американская конференция. — Йошкар-Ола, 1999. — С. 53-54.

81. Петропавловский М.В., Наводнов В.Г., Мотова Г.Н. Анализ результатов и перспективы развития системы государственной аккредитации

82. Университеты как центры развития региона: II Российско-Американская конференция. — Йошкар-Ола, 1999. — С. 26-37.

83. Петропавловский М.В. Модели аккредитации высших учебных заведений, основанные на методах математической статистики // Университеты как центры развития региона: II Российско-Американская конференция. — Йошкар-Ола, 1999. — С. 84-88.

84. Петропавловский М.В., Шадриков Е.Д., Геворкян Е.Н., Наводнов В.Г., Мотова Г.Н. О видах высших учебных заведений // Высшее образование в России. — 2000. — №3. — С. 15-27.

85. Петропавловский М.В., Китаев О.Ю.Применение индекса соответствия статистическим критериям при государственной аккредитации высших учебных заведений // Материалы X Всероссийской научно-методической конференции. — Уфа-Москва, 2000. — С. 112.

86. Петропавловский М.В., Петров Д.И. Модели оценки динамики деятельности вузов по показателям государственной аккредитации: Научное издание. — Йошкар-Ола: НИЦГА, 2001. — 32 с.

87. Петропавловский М.В., Шадриков Е.Д., Геворкян Е.Н., Наводнов В.Г., Мотова Г.Н. О процедуре комплексной оценки вуза // Высшее образование в России. — 2001. — №1. — С. 29-38.

88. Петропавловский М.В., Шадриков Е.Д., Геворкян Е.Н., Наводнов В.Г., Мотова Г.Н. О показателях государственной аккредитации вузов // Высшее образование в России. — 2001. — №2. — С. 18-23

89. Петропавловский М.В., Мотова Г.Н., Геворкян Е.Н., Наводнов В.Г. Комплексная оценка высших учебных заведений: Учебное пособие. — Москва-Йошкар-Ола, 2001. — 192 с.

90. Петропавловский М.В., Петров Д.И. Математические модели классификации учреждений среднего профессионального образования: Научное издание. — Йошкар-Ола: НИЦГА, 2001. — 36 с.

91. Петропавловский М.В., Наводнов В.Г. Об экспертном оценивании аккредитационных показателей деятельности высших учебных заведений в ходе процедуры комплексной оценки // Материалы III Российско-Американской конференции. —Йошкар-Ола, 2002. — С.41-43.

92. Петропавловский М.В., Наводнов В.Г. О проблемах и перспективах развития государственной аккредитации вузов // Россия и мировоесообщество в поисках новых форм стабильности: Материалы всероссийской конференции. — Йошкар-Ола, 2002. — С. 225-227.

93. Петропавловский М.В., Наводнов В.Г. Методика определения конкурсных категорий высших учебных заведений на основе центрального банка данных государственной аккредитации: Научное издание. — Йошкар-Ола: Центр государственной аккредитации, 2003. — 123 с.

94. Петропавловский М.В., Наводнов В.Г. О методике представления информации для оценки уровня деятельности вуза по показателям укрупненных групп специальностей: Научное издание. — Йошкар-Ола: Центр государственной аккредитации, 2003. — 32 с.

95. Петропавловский М.В., Геворкян Е.Н., Наводнов В.Г., Мотова Г.Н. Комплексная оценка высших учебных заведений: Учебное пособие. — М.: 2003. — 172 с.

96. Петропавловский М.В., Наводнов В.Г., Кравцова J1.A., Коновалов В.В., Киселев А.Ф. Конкурс на госзаказы: аналитическое сопровождение. Высшее образование в России // Высшее образование в России. — 2004. — № 1. — С. 15-25.

97. Петропавловский М.В. Информационно-аналитическая технология сопровождения государственной аккредитации на основе Центрального банка данных государственной аккредитации // Социальная политика и социология. 2004.- №4. - С. 174-178.

98. Петропавловский М.В. О математической формализации некоторых задач в процедуре государственной аккредитации // М: Социальные процессы и социальные отношения в современной России. IV Международный социальный конгресс. 2004.- Том 2. - С.181-185.

99. Петропавловский М.В. Математические модели государственной аккредитации учреждений профессионального образования: Монография. — Йошкар-Ола Москва: Центр государственной аккредитации. - 2004. - 190 с.

100. Попов JI.A. Анализ и моделирование трудовых показателей. — М: Финансы и статистика, 1999. — 208 с.

101. Робертсон Б. Лекции об аудите качества. — М: РИА «Стандарты и качество», 2000. — 264 с.

102. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с англ. — М.: Радио и связь, 1993. — 320 е.: ил.

103. Северцев В.А., Чащихин Б.Д. Аккредитация учебных заведений. Опыт США. — М.: Изд-во МГАП «Мир книги», 1993. — 240 с.

104. Селезнева Н.А., Субетто А.И., Кушель А.А., Коломиец Б.К., Казанович В.Г. Система аккредитации высших учебных заведений: концептуальная модель. — М.: Исследовательский центр Гособразования СССР, 1991. —43 с.

105. Солоницын В.А. Негосударственное высшее образование в России. -М., 1998. —274 с.

106. Терехина А.Ю. Анализ данных методами многомерного шкалирования. —М.: Наука, 1986.

107. Шамова Т.И., Давыденко Т.М., Шибанова Г.Н. Управление образовательными системами: Учеб. пособие для студ. высш. пед. учеб. заведений //Под ред. Т.И. Шамовой. — М.: Издательский центр «Академия», 2002. — 384 с.

108. Фихтенгольц Г.Н. Основы математического анализа. — М.: Гостехиздат, 1956.

109. Шадриков В. Д. Философия образования и образовательные политики. — М.: Изд-во ИЦ, 1993.

110. Энслейн К., Рэлстон Э., Уилф Г. Статистические методы для ЭВМ. — М: Наука, 1986. — 449 с.

111. Юдин Д.Б. Вычислительные методы теории принятия решений. — М: Наука, 1989. —290 с.

112. Adams Margareth. Evaluation and Educational Performance Making9sense of Performance Indicators in a Managerial Context // Educational Management Strategy Quality and Resources. — 1998. — Vol. 12.

113. Adema J.J. A Note on Solving Large-scale Zero-one Programming Problems. (Research Report 88-4) Enschede, The Netherlands, University of Twente.

114. Adema J.J. Models and Algorithms for the Construction of Achievement Test. — Sl.l.:s.n., 1990. — 165 p.

115. Adema J.J. Toetsconstructic met klassicke item- en test parameters. Test Construction Using Classical Item and Test Parameters. (Rapport 87-1) Enschede, The Netherlands, University of Twente.

116. Bartholomew-Biggs M. Unified approach of REQP methods on the Augmented Lagrangian // Journal of Optimization Theory and Applications. — 1989. —V.12. —P.67-84.

117. Boekkooi-Timminga E. The Construction of Parallel Test From IRT-Based Item Banks // Journal of Educational Statistics-Vol. 15. №. 2. 1990. P. 12914 145.

118. Brennan J., Frederiks M., Shah T. Improving the Quality of Education: The Impact of Quality Assessment on Institutions. Milton Keynes: QSC/HEFCE, 1997.

119. Campbell C., Rozsnyai C. Handbook on Quality Assurance and the Design of Study Programmes. Bucharest: UNESCO/CEPES, 2002.

120. Campbell C., Rozsnyai C. Quality Assurance and the Development of Course Programmes, Papers of Higher Education, UNESCO CEPES, Bucharest, 2002. —221 p.

121. Cave M., Yanney S. The use of performance indicators in higher education.-Jessica Kingsley Publishers, London, 1997. — 259 p.

122. Dirk L. Knol, Martijn P.F. Berger. Empirical comparison between factor analysis and Item Response Models // Research Report 88-11, University of Twente, 1988. —38 p.

123. Hopkins D., Massy W. Planning Models for Colleges and universities.-Stanford university press, California. — 1981. — 353 p.

124. Henk Kelderman. Loglinear multidimensional IRT models for polytomously scored items // Research Report 88-17, University of Twente, 1988.32 p.

125. Johnes J., Taylor J. Performance indicators in higher education. Open University Press, 1990. — 191 p.

126. Kells H. Self-Regulation in Higher Education; a Multinational Perspective on Collaborative Systems of Quality Assurance and Control. -London: Jessica Kingsley Publishers, 1992.

127. Kells H.R. Creating a Culture of Evaluation and Self-Regulation in Higher Education Organizations // Total Quality Management. — 1995. — No. 5-6.1. P. 457-467.

128. Kells H.R. The development of performance indicators in higher education. — OECD, Paris, 1993. — 147 p.

129. Linden W.J., van der. Item banking met een dialoog gebaseerd op klassicke item- en testparameters. Item Banking with a Dialogue Based on Classical Item and Test Parameters. (Rapport 86-3, pp. 1-25) Enschede, The Netherlands, University of Twente.

130. Linden W.J., van der, Boekkoi-Timminga E. A maximin model for test design with practical constraints. Psychometrica. 1989. 54. P. 237-247.

131. Linden W.J., van der, Boekkoi-Timminga E. A Zerro-one Programming Approach to Gulliksen's Matched Random Subset Method // Applied Psychological Mesuerment. 1988. №12. — P. 201-209.

132. Martijn P.F. Berger, Dirk L. Knol. On the assessment of dimensionality in multidimensional Item Response Theory Models // Research Report 90-8, University of Twente, 1990. — 44 p.

133. Petropavlovski M., Izhutkin V. Methods of Reduced Directions with Different Merit Functions for Nonlinear Programming Problems // Operations Research. — Physica Verlag, 1993. — P. 182.

134. Petropavlovski M., Izhutkin V. The Reduced Directions Methods for Solving Stochastic Problems in the Dialog Optimization System ODiS // Abstracts of the International Conference on Operation Research OR'94, 1994, Berlin. — P. 58-59.

135. Petropavlovski M., Izhutkin V. A Reduced Directions Method for Solving Stochastic Problems in the Dialog System ODiS // Operations Research Proceedings. — Springer-Verlag, 1994. — P. 45-47

136. Petropavlovski M., Izhutkin V. SQP-methods based of Exact-Barrier Cost Function for Nonlinear Programming Problem // Abstracts of the 16th International Symposium on Mathematical Programming, 1997, Lausanne. — P.135.

137. Petropavlovski M., Izhutkin V. Linear correction of smooth optimization problem solution with small data perturbations on the basis of reduced direction // Abstracts of the International Conference on Operation Research, 1998, Berlin. — P. 28.

138. Petropavlovski M., Izhutkin V. SQP-methods for solving nonlinear programming problem on the basis of reduced direction // Proceedings of the International Conference on Operation Research, 1999, Prague. — P. 112-115.

139. Petropavlovski M., Izhutkin V. The Hybrid Methods of Reduced Direction for Solving Nonlinear Extremal Problem // Mathematics in Economics, Ing. Jan Plesinger, 1999. — P. 127-132. ISBN 80-70-79-371-6.

140. Sensicle A. International Accreditation and Hong Kong // International Network for QAAHE. — 1992.— January. — № 1.

141. Theunissen T.J.J. Binary programming and test design. Psychometrica. 1985.50. P. 411-420.

142. Theunissen TJ.J.M. Combinatorial Issues in Test Construction. — University of Twente, 1996.

143. Theunissen T.J.J. Optimization Algorithms in Test Design. Applied Psychological Measurement. 1986. 10. P. 381-390.

144. Towards a Methodology for Comparative Quality Assessment in Щ European Higher Education: A Pilot Study on Economics in Germany, the

145. Netherlands and the United Kingdom / J. Brennan, L.C.J. Goedegebuure, T. Shah, D.F. Westerheijden, P.J.M. Weusthof. London / Enschede / Hannover: CNCC / CHEPS / HIS, 1992.

146. Van Vught F., Westerheijden D. Quality Management and Quality Assurance in European Higher Education: Methods and Mechanisms. TFHR Studies No 1. — Brussels/Luxembourg: CHEEC: Office for Official Publications of the European Communities, 1993.

147. Vroeijenstijn A.I. Improvement and Accountability: Navigating between Scilly and Charybdis. Guide for External Quality Assessment in Higher Education. — London: Jessica Kingsley publishers, 1995. — Higher Education Policy Series 30.

148. Vroeijenstijn A.I. Some Questions and Answers with Regard to External Quality Assessment // Higher Education in Europe. — UNESCO European Centre for Higher Education, 1993. — № 3. — Vol. XVIII.

149. Vroeijenstijn A.I. The European Dimension in Quality Assurance. — * Utrecht: VSNU, 1993.

150. Vroeijenstijn A.I., Waumans B.L.A., Wijmans J. International Programme Review Electrical Engineering. — Utrecht: VSNU, 1992.

151. William N. Dunn. Public policy analysis: an introduction. — Prentice Hall, University of Pittsburgh. — 2001 — 456 p.

Похожие работы

Информатика, вычислительная техника и управление
05.13.00