автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Рационализация управления деятельностью высших учебных заведений на основе рейтинговой системы оценивания

кандидата технических наук
Крупнова, Маргарита Сергеевна
город
Воронеж
год
2000
специальность ВАК РФ
05.13.10
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Рационализация управления деятельностью высших учебных заведений на основе рейтинговой системы оценивания»

Автореферат диссертации по теме "Рационализация управления деятельностью высших учебных заведений на основе рейтинговой системы оценивания"

На правах рукописи

КРУПНОВА Маргарита Сергеевна

РГБ ОД

2 2 ода г^}

РАЦИОНАЛИЗАЦИЯ УПРАВЛЕНИЯ ДЕЯТЕЛЬНОСТЬЮ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ НА ОСНОВЕ РЕЙТИНГОВОЙ СИСТЕМЫ ОЦЕНИВАНИЯ

Специальность 05.13.10- Управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Воронеж - 2000

Работа выполнена в Воронежском государственном техническом университете

Научный руководитель - Заслуженный деятель науки РФ,

доктор технических наук, профессор Фролов В.Н.

Официальные оппоненты: доктор технических наук, профессор

Рындин A.A.,

кандидат технических наук, старший научный сотрудник Паринова Л.В.

Ведущая организация - Томский политехнический университет

(г. Томск)

Защита диссертации состоится «25 » мая 2000 г. в 15 часов в конференц-зале на заседании диссертационного совета Д 063.81.02 при Воронежском государственном техническом университете по адресу: 394026, Воронеж, Московский проспект, 14.

С диссертацией можно ознакомиться в библиотеке Воронежского государственного технического университета.

Автореферат разослан «

М> ОЧгшт.

Ученый секретарь диссертационного совета

Львович Я.Е.

ЙГ^/ ¿Г/л J& о

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Основными факторами, определяющими функционирование и развитие вузов сегодня, являются, во-первых, общественно-экономические преобразования в стране, структурная перестройка науки и производства, формирование рынка интеллектуального труда и образовательных услуг. Во-вторых, реформы в российской системе высшего профессионального образования и переход его на многоуровневую структуру. В-третьих, изменение статуса многих вузов, преобразование их в академии и университеты.

Одной из важнейших проблем в деятельности высших учебных заведений является проблема качества образования, которая должна рассматриваться, в первую очередь, с позиций определения и соблюдения критериев оценки научно-образовательных учреждений и систематического контроля за их деятельностью.

Однако вуз, как любая сложная система, не может быть охарактеризована единственным числом, определяющим место данного вуза в ряде других. В тоже время, такие сравнения не определяют предпочтительность одного вуза перед другим и позволяют сравнивать их только по одной из граней деятельности. Наиболее важным является сравнение вузов, используя обоснованную совокупность показателей деятельности. - - ■

Таким образом, актуальность темы диссертационной работы определяется необходимостью создания комплексной системы мониторинга деятельности вузов, позволяющей повысить эффективность системы контроля, регулирования и регламентации функционирования высших учебных заведений.

Работа выполнена в соответствии с межвузовской комплексной научно-технической программой И.Т.бОГ'Перспективные информационные технологии в высшей школе" в рамках одного из основных научных направлений Воронежского государственного технического университета "Проблемно-ориентированные системы управления".

Цель и задачи исследования.

Целью диссертации является разработка базовых компонентов математического, информационного и программного обеспечения мониторинга деятельности вузов на основе рейтинговой системы оценивания.

Для достижения поставленной цели необходимо решить следующие задачи:

проанализировать особенности функционирования и развития вузов в социально-экономических условиях;

сформировать концептуальную модель рационализации управления деятельности вузов на основе рейтинговой системы оценивание,

разработать оптимизационные процедуры при принятии управленческих решений в системе мониторинга деятельности вузов;

создать методическое, программное и правовое обеспечение функционирования рейтинговой системы оценивания деятельности вузов.

Методы исследования. При выполнении работы использованы основные положения теории управления, концептуального моделирования, экспертного оценивания, оптимизации и принятия решений.

Научная новизна. В диссертации получены следующие основные результаты, характеризующиеся научной новизной:

концептуальная модель управления деятельностью вузов на основе рейтинговой системы оценивания, обеспечивающая решение задачи синтеза действенного механизма мониторинга и оперативного управления, позволяющая отслеживать функционирование управляемой системы в реальном времени и вносить коррективы в процесс управления;

оптимизационная процедура мониторинга деятельности вузов, отличающаяся рациональным выбором показателей оценивания на основе нечеткой и экспертной квалиметрии;

алгоритмическая схема обработки рейтинговой информации, отличающаяся математическими приемами формализации интегральных показателей по направлениям деятельности вузов на основе вероятностно-статистических распределений;

структура системы мониторинга деятельности высших учебных заведений, позволяющая интегрировать оптимизированное информационное, организационно-методическое, правовое обеспечение и процедуры принятия управленческих решений на основе анализа рейтинговой информации.

Практическая ценность работы.

Разработаны рекомендации по организации управления функционированием и развитием вузов на основе анализа результатов сравнительного оценивания по основным направлениям их деятельности.

Создан программно-методический комплекс рейтинговой оценки деятельности вузов.

Научные результаты, изложенные в диссертации, получены автором в рамках выполнения комплексной программы Министерства образования

РФ "Развитие вуза и совершенствование содержания образования в новых социально-экономических условиях".

Реализация результатов работы. Результаты работы внедрены в деятельность ассоциации вузов, УМО и отдельных вузов.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на: Всероссийской конференции "Интеллектуальные информационные системы" (Воронеж, 1999); Международной научно-практической конференции "Высшее техническое образование: качество и интернационализация" (Томск, 2000); Всероссийской школе-семинаре "Информационные технологии в управлении качеством образования и развитии образовательного пространства" (Москва, 2000); Всероссийской конференции "Интеллектуализация управления в социальных и экономических системах" (Воронеж, 2000).

Публикации. Основные результаты диссертации опубликованы в 10 печатных работах.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения на 104 страницах, списка литературы (107 наименований), приложения, содержит 19 рисунков, 3 таблицы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы, дается ее краткая характеристика, формулируются цель и задачи исследования, представляются основные научные результаты, выносимые на защиту.

Первая глава посвящена анализу процессов управления деятельностью вузов в современных социально-экономических условиях. Выделены основные факторы, определяющие направления функционирования и развития вузов и обоснована необходимость совершенствования всех видов деятельности - научно-образовательной, производственно-хозяйственной, финансово-экономической.

Отмечено, что функционирование и развитие вузов, соответствие содержания образования в новых социально-экономических условиях опираются на комплексы целевых установок, объединенных глобальной целыо, соответствующих им индикаторов достижения целей, а также на необходимую и достаточную для их реализации ранжированную по степени важности, упорядоченных по срокам исполнения, обеспеченных ресурсами

систему проектов социально-экономического, научно-методического, технического и организационного характера.

Показано, что управление деятельностью вуза осуществляется на основе комплексных программ по направлениям деятельности вуза и целевых программ развития вуза, в которых формируются целевые установки, индикаторы их достижения, а также необходимая и достаточная совокупность проектов, обеспечивающих развитие соответствующего направления как целостной социально-экономической и социально-культурной системы, производящей заданные конечные результаты.

Обоснованы принципы управления научно-образовательной системой вуза как объектом информатизации. Определены цели, задачи и направления, сформулированы важнейшие положения информатизации сферы образования как одного из инновационных направлений в высшем образовании.

Показано, что средством достижения целей и решения задач информатизации системы образования является системная интеграция информационных технологий в различных предметных областях образования, позволяющая целенаправленно объединить существующие и разрабатываемые информационные проекты (технологии, системы, подсистемы, компоненты, ресурсы, потоки и т.д.) в целостную систему, реализующую заданную функцию и удовлетворяющую предусмотренным требованиям.

Рассмотрены современные сетевые информационные технологии, используемые в процессах реализации основных направлений деятельности вузов.

Во второй главе проводятся исследования по формированию системы мониторинга деятельности вузов. Предложены различные структуры моделирования, характеризующие процесс функционирования научно-образовательных систем, обеспечивающие их целостность и сохранение основных свойств при различных внешних и внутренних изменениях.

Показано, что в деятельности вуза важным является понятие процесса, связанное с управлением всеми подразделениями для эффективной организации учебного процесса, научно-методического обеспечения и непосредственного проведения всех видов занятий, выполнения научных работ, а также осуществления хозяйственной деятельности. В этой связи, эффективность деятельности вуза должна оцениваться через оценку его способности остаться востребованным на длительной и конкурентной основе.

Рис. 1. Схема управления деятельностью вузов на основе рейтинговой системы оценивания

Для того, чтобы принимать управленческие решения, адекватные реальному положению дел, необходимо иметь представление о состоянии научно-образовательной системы, т.е. необходимо непрерывное слежение за ее состоянием, что может быть осуществлено путем мониторинга деятельности вузов (рис. 1).

Сформирована концептуальная модель управления деятельностью вузов на основе рейтинговой системы оценивания, позволяющая повысить эффективность ее функционирования и развития за счет оптимального использования связей, объединяющих как внутренние элементы этой системы, так и их связи с внешними объектами.

В рассматриваемой системе имеется центр (министерство) и п активных элементов (вузов), при этом характеристики 1-го элемента (множество возможных состояний, целевая функция и др.) зависят от параметра (формирование контингента, укомплектованность преподавательским составом, содержание образования, учебное оборудование и т.д.) Tj е Qj , i -\,п (в то же время, для вуза центром является ректорат, для факультета - выпускающая кафедра). Каждый параметр г, имеет оценку S|.. Функционирование системы осуществляется следующим образом:

1. Этап сбора информации. Элементы сообщаю центру оценки {s;} параметров { п };

2. Этап планирования. На основе полученный оценок центр,

п

используя некоторую процедуру планирования л: П—»X, где Г2=П^->

г=1 г

п

X = Yl Х- - множество допустимых планов (направления деятельности вуза /=1

по повышению эффективности функционирования вуза, а также качества подготовки специалистов), назначает планы Xj=jti(s) элементам i = \,п;

3. Этап выбора состояния. Получив плановые задания, элементы выбирают свои состояния yj е А,(г,).

Интересы центра и элементов выражаются целевыми функциями Ф(х,у) и fi(x„yi), i = 1,и , соответственно, где х=(х|,...,х„) и y=(yi,...,y„), т.е. у каждого элемента имеются два вида действий - сообщение оценок и выбор состояния. В предположении рационального поведения элементов, при фиксированных планах выбираемые действия будут максимизировать соответствующие целевые функции, т.е.

у 6 arg max f, (Xj, yi). • (1)

У! е Ai(r,)

Пусть у (х,г)=Ф(х,у ). Значение целевой функции элемента зависит от назначаемых планов, которые, в свою очередь, зависят от сообщенных элементами оценок, поэтому каждый элемент будет стремиться сообщить оценку, максимизирующую его целевую функцию, если даже эта оценка не совпадает с истинной. Таким образом в данной задаче сообщение достоверной информации является равновесной стратегией для элементов.

Задачей центра является выбор такой процедуры планирования, чтобы в решении (в точке равновесия) значение его целевой функции было максимально.

В месте с тем, важной характеристикой механизма является его эффективность, определяемая

К(£) = шш

тш УМ

(2)

где ув (г) - некоторая "весовая" функция, а Р5 - множество равновесных стратегий (б. е О) элементов.

Для каждого из множества задается Х-, (в.-,) и рассматривается

следующая процедура планирования:

тах хеХ

?>,(Х/Л)= шах (г>5Д

(3)

(4)

где <р, (•) - функция предпочтения ¡-го активного элемента. При этом процедура (3) - (4) является процедурой (механизмом) открытого управления, условие (4) - условием совершенного согласования.

Предложена структура системы мониторинга деятельности вузов, характеризующаяся объединением всех " элементов в единую информационную систему, обеспечивающую оперативное представление и использование данных о различных направлениях деятельности вузов мониторинга в виде информационных банков данных и знаний, состоящих из нормативной, справочной, структурированной, экспертной и другой информации. При этом все крупные конпоненты системы выполняют определенный набор функций, связанных с определением рейтинга вузов и специальностей, информационным обеспечением, созданием информационных потоков для участников процесса управления деятельностью вузов, которые облегчают решение учебных, научных,

экономических и административных задач, а также обеспечением функционирования и развития системы.

Для обеспечения информационных потребностей участников информационного обмена созданы и используются информационные фонды, включающие оценки деятельности вузов по основным показателям, объединенным в две тесно связанные группы: потенциал и активность.

Потенциал оценивается уровнем квалификации профессорско-преподавательского состава, материально-технической базой, социально-бытовыми условиями жизни студентов и т.д.

Активность же оценивается издательской деятельностью, научно-исследовательской, подготовкой аспирантов и докторантов, работой кандидатских и докторских советов и др.

Важным является определение показателя отношения потенциала к активности, введение которого позволяет использовать разработанную систему не только как справочную и аналитическую, но и как средство управления вузами: варьируя оценочную значимость того или иного критерия, возможно влиять на политику руководителей вуза.

Разработанная система мониторинга имеет блочно-иерархическую структуру, включающую следующие компоненты:

Исходные данные - исходные данные вузов, филиалов и данные по выпускаемым специальностям.

Чувствительность критериев - проведение статистических исследований на основе определения чувствительности критериев и отсечение наименее значимых их них.

Объединения вузов - создание объединений вузов и филиалов для последующего включения объединения наравне с вузами, филиалами и другими объединениями.

Определение рейтинга - определение рейтинга:

- групп вузов, объединений, классифицирующихся по профилям -т>_ ведомствам —> регионам —> областям —> городам;

специальностей, классифицирующихся по направлениям -» специальностям —> профилям —> ведомствам -> регионам —> областям —> городам.

Моменты распределения - анализ результатов и статистические исследования на основе данных мониторинга деятельности вузов и специальностей:

- обобщенный рейтинг вузов;

- рейтинг по отдельным критериям.

Включение информационных фондов в процесс оценивания деятельности вузов и учет гигантского роста информации привели к разработке эффективной технологии информационного обмена в системе мониторинга, на основе которого формируется единое информационное пространство системы (рис. 2).

Рис. 2. Технология информационного обмена в системе мониторинга деятельности вузов

В третьей главе рассматриваются вопросы оптимизации процесса оценивания при формировании рейтинга вузов. Система высшего образования, являясь в целом консервативной, чутко и эффективно реагирует на контролируемые показатели, подлежащие учету при оценке деятельности образовательного учреждения. Поэтому управление системой

образования естественным образом основывается на нормативном закреплении соответствующих показателей.

Определение показателей рейтинговой оценки является важной задачей, так как от правильности их выбора и назначения им весомости в значительной степени зависит достоверность результатов оценки деятельности вузов. Для ее решения используется методика экспертной оценки на основе многотуровой экспертизы с различными схемами взаимодействия между экспертами и моделями оценки, обеспечивающая необходимую достоверность при решении задач анализа качества существующих и синтеза перспективных образовательных систем с требуемым качеством.

Поскольку эксперт не всегда может сопоставить конкретную точку на экспертной шкале по тому или иному экспертному показателю, то ему предлагается выставить эту оценку в виде функции принадлежности, частным случаем которой является интервальная оценка. Выбрав промежуток экспертной шкалы, который по мнению эксперта служит базой функции принадлежности для данной системы и данного показателя, эксперт выставляет на этом промежутке значения принадлежности в каждом из концов интервалов разбиения.

Значения экспертных показателей и пороговых значений показателей представляется в виде нечетких чисел (НЧ) (1Л)-типа. Далее полученной таким образом нечеткой оценке приписывается значение экспертной шкалы, "ближайшее" к модели НЧ.

Результирующая оценка при этом определяется:

п

У у^-а- —> шах

/=1 11 _ (5)

¡=1 г

п п п п

X (\v.ai, а,Ь|, а,сО=[ £ , £ а,Ь„ £ ад], (7)

г=1 г=1 г=1 /=1

где а: - значение 1-го показателя; - значение "веса" ¡-го показателя.

Проведение многотуровой экспертизы позволило выбрать показатели деятельности вузов, объединенные в двенадцать основных групп.

Предложена структурная схема оптимизации процесса управления деятельностью вузов на основе рейтинговой системы оценивания, представленная на рис. 3.

Рис. 3. Структурная схема оптимизации процесса управления деятельностью вузов на основе рейтинговой системы оценивания

Эффективность функционирования и развития вузов определяется рационализацией управления по основным направлениям деятельности с учетом имеющихся ресурсов.

Целевая функция оптимизации направлений деятельности определяется максимальным повышением качества конечных продуктов деятельности вуза, совершенствованием системы, максимальным сокращением затрат на производство конечных продуктов при ограничениях.

Требования, предъявляемые к функционированию и развитию научно-образовательных систем вузов, позволяют сформировать оптимизационную модель.

Пусть управление деятельностью системы высшего образования характеризуется п=1,..., N — показателями и т=1,..., М - вузами. Вводится дискретная величина, характеризующая степень реализации показателей вузами:

Г1, если п-й показатель реализуется ш-м вузом

СптЧ (8)

1о, если п-й показатель не реализуется т-м вузом.

Другой характеристикой является значимость п-го показателя в ш-м вузе апга (п=Т,..., Ы; т=1,..., М). Для получения величины Ь:,т проводится априорное ранжирование показателей в каждом вузе,.Величина рангов Ьпт меняется от 1 до N в зависимости от значимости показателя. Таким образом, в качестве апт используются следующие ранжированные значения:

апт=1~-рШ~- (9)

ьпт

Тогда эффективность функционирования и развития вуза при сравнительной оценке по основным направлениям его деятельности должна определяться критерием оптимальности:

N М

I I а„тх„т-*гаах, ■ (Ю)

п=\т=\

где хпп, — значение п-го показателя в т-м вузе.

Ограничениями являются требования обязательной реализации всех показателей в системе управления высшим образованием:

М --Л п

У С х > 1 п-1 N U')

т-1

Окончательно оптимизационная модель имеет вид:

N М лг.

I I аптхпт тах> ( >

п=1т=1

УСх >1 n = lJV. (13)

т=1

На основе представленной вузами информации по основным направлениям деятельности проводятся статистические исследования. Информация, предоставляемая вузами, анализируется и помещается в базу данных (это позволяет проследить динамику изменения данных за определенный период времени).

Обработка данных и представление результатов сравнительной оценки деятельности вузов, а также направлений подготовки спецалистов -специальностей, проводится как по отдельным показателям, так и определяется обобщенный рейтинг.

Сравнительная оценка функционирования и развития вузов и специальностей представляется в форме рейтинга (в табличной форме и в виде гистограмм).

Определяются значения показателей, дающих количественное представление о функционировании и развитии вузов и специальностей и , позволяющих проводить сравнение научно-образовательных систем.

Четвертая глава посвящена вопросам реализации системы мониторинга деятельности вузов. Для повышения эффективности процедуры оценивания создан^ ~ программно-методический комплекс, имеющий модульную структуру, что дает возможность эффективного их использования за счет четко определенной области применения. Каждый из модулей (блоков), входящих в систему, выступает как обособленная программная единица, реализующая одну или несколько функций. Такой подход позволяет легко включать новые модули и обновлять старые. При этом появляется возможность коррекции структуры программы в процессе решения задач. В качестве аппаратной среды выбраны ПЭВМ типа Pentium. Все программные компоненты и соответствующие интерфейсные процедуры реализованы в операционной среде Windows. В качестве стандарта хранения информации принят стандарт хранения данных в

таблицах редактора Word, что объясняется удобством работы и распространенностью редактора, а также возможностью конвертирования без больших затрат в любой известный формат хранения информации, принятый на данный момент.

Представленное в интегрированном виде программное обеспечение дополняют соответствующие сервисные компоненты, которые включают методические рекомендации, регламентирующие порядок

взаимодействия пользователей с локальными элементами системы, а также используется активная форма диалога, многооконный интерфейс, скроллинг всех используемых окон. Все блоки объединены программной оболочкой, реализующей оконный интерфейс, поддерживающей всплывающее меню и диалоговое взаимодействие с пользователем, предоставляющей возможность доступа к каждому блоку и обеспечивающей информационный обмен между блоками.

На основе проведенного анализа результатов сравнительной оценки деятельности вузов выработаны рекомендации по рационализации управления деятельностью высших учебных заведений в виде комплексной программы "Совершенствование образовательной деятельности".

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ процессов функционирования высших учебных заведений в современных социально-экономических условиях. Определены основные задачи рационализации управления деятельностью вузов, а также тенденции развития информационных ресурсов в научно-образовательных системах.

2. Сформирована концептальная модель управления деятельностью вузов на основе рейтинговой системы оценивания, позволяющая отслеживать функционирование управляемой системы и обеспечивающая решение задачи синтеза оптимального управления.

3. Разработана структура системы мониторинга деятельности вузов, характеризующаяся объединением всех элементов в единую информационную систему, обеспечивающую оперативное представление и использование данных о различных направлениях деятельности вузов.

4. Предложены процедуры выбора показателей оценивания деятельности вузов, основанные на использовании экспертной информации и позволяющие осуществить построение единой нормативной базы и в дальнейшем сравнивать качество образования в различных вузах и

определять действительный рейтинг учебного заведения в отраслевой системе вузов.

5. Разработана оптимизационная схема управления деятельностью вузов на основе рейтинговой системы оценивания, 'позволяющая достичь эффективности их функционирования и развития с учетом имеющихся ресурсов.

6. Предложены алгоритмические процедуры обработки рейтинговой информации, дающие количественное представление о деятельности вузов и специальностей и позволяющие прослеживать динамику изменения показателей за определенный период времени.

7. Осуществлена реализация в виде программно-методического комплекса разработанных компонентов математического и информационного обеспечения системы мониторинга деятельности вузов и выработаны рекомендации по рационализации управления функционированием вузов на основе анализа результатов рейтингового оценивания.

Основные результаты диссертации опубликованы в следующих

работах:

1. Развитие вуза и совершенствование содержания образования в новых социально-экономических условиях / М.С. Крупнова, Ю.П. Похолков, Б.Л. Агранович и др.: Метод указания. М.,1996. 143 с."

2. М.С. Крупнова, В.Н. Кострова, C.B. Барковская. Мониторинговая структура рейтинговой оценки качества образования в вузах // Прикладные задачи моделирования и оптимизации: Межвуз. сб. науч. тр. Воронеж:ВГТУ 1999. Ч. 1.С. 145-149. - '

3. В.Н. Фролов, М.С. Крупнова. Разработка многоуровневой системы рейтинговой оценки деятельности вузов // Интеллектуальные информационные системы: Тр. Всерос. конф. Воронеж: ВГТУ, 1999.4. 2. С.10.

4. М.С. Крупнова. Рационализация выбора показателей рейтинговой оценки // Интеллектуальные информационные системы: Тр. Всерос. конф. Воронеж: ВГТУ, 1999. Ч. 2. С.66.

5. М.С. Крупнова, В.Н. Кострова. Построение моделей мониторинга качества образования для формирования рейтинга вузов вузах // Прикладные задачи моделирования и оптимизации: Межвуз. сб. науч. тр. Воронеж :ВГТУ, 1999. Ч. 2. С. 62-66.

6. В.Н. Фролов, М.С. Крупнова, В.11. Кострова. Формирование информационного пространства системы мониторинга деятельности вузов //Дистанционное образование. 2000. № 1. С. 29-31.

7. М.С. Крупнова. К вопросу мониторинга деятельности вузов // Высшее техническое образование: качество и интернационализация: Тр. IV Межд. науч.-практ. конф. Томск , 2000. С. 28.

8. М.С. Крупнова. Организация управления деятельностью вузов на основе информационных технологий // Информационные технологии в управлении качеством образования и развитии образовательного пространства: Матер. Всерос.шк.-сем. М., 2000. С. 47.

9. М.С. Крупнова. Формирование модели оценки деятельности вузов // Интеллектуализация управления в социальных и экономических системах: Тр. Всерос. конф. Воронеж; ВГТУ, 2000. С. 18.

10. М.С. Крупнова. Методология решения задачи управления деятельностью высших учебных заведений // Высокие технологии в технике, медицине, экономике и образовании; Межвуз. сб. науч. тр. Воронеж! ВГТУ, 2000. 4. 2.

ЛР № 066815 от 25.08.99. Подписано в печать 19.04.2000. Объем 1.0 уел: печ.л. Тираж 65 экз. Заказ № ш Издательство

Воронежского государственного технического университета 394026, Воронеж, Московский проспект, 14

Оглавление автор диссертации — кандидата технических наук Крупнова, Маргарита Сергеевна

Введение

1. Пути повышения эффективности управления деятельностью высших учебных заведений.

1.1. Анализ процессов управления деятельностью вузов в современных социально-экономических условиях.

1.2. Особенности использования информационных технологий в управлении деятельностью вуза. ф 1.3. Цель и задачи исследования.

2. Формирование системы мониторинга деятельности высших учебных заведений.

2.1. Моделирование системы удрарления деятельностью вуза.

2.2. Концептуальная модель управления деятельностью вузов на основе рейтинговой системы оценивания.

2.3. Структура системы мониторинга деятельности вузов.

2.4. Выводы второй главы.

3. Оптимизация процесса оценивания при формировании рейтинга вузов.

3.1. Рационализация выбора показателей рейтинговой оценки.

3.2. Разработка оптимизационных процедур мониторинга деятельности вузов.

3.3. Алгоритмизация обработки рейтинговой информации.

3.4. Выводы третьей главы.

4. Реализация рейтинговой системы оценивания деятельности вузов.

4.1. Создание программно-методического комплекса рейтинговой оценки деятельности вузов.

4.2. Организация процессов функционирования и развития вузов на основе результатов оценки их деятельности.

4.3. Выводы четвертой главы.

Введение 2000 год, диссертация по информатике, вычислительной технике и управлению, Крупнова, Маргарита Сергеевна

Актуальность темы. Основными факторами, определяющими функционирование и развитие вузов сегодня, являются, во-первых, общественно-экономические преобразования в стране, структурная перестройка науки и производства, формирование рынка интеллектуального труда и образовательных услуг. Во-вторых, реформы в российской системе высшего профессионального образования и переход его на многоуровневую структуру. В-третьих, измененйе статуса многих вузов, преобразование их в академии и университеты.

Одной из важнейших проблем в деятельности высших учебных заведений является проблема качества образования, которая должна рассматриваться, в первую очередь, с позиций определения и соблюдения критериев оценки научно-образовательных учреждений и систематического контроля за их деятельностью.

Однако вуз, как любая сложная система, не может быть охарактеризована единственным числом, определяющим место данного вуза в ряде других. В тоже время, такие сравнения не определяют предпочтительность одного вуза перед другим и позволяют сравнивать их только по одной из граней деятельности. Наиболее важным является сравнение вузов, используя обоснованную совокупность показателей деятельности.

Таким образом, актуальность темы диссертационной работы определяется необходимостью создания комплексной системы мониторинга деятельности вузов, позволяющей повысить эффективность системы контроля, регулирования и регламентации функционирования высших учебных заведений.

Работа выполнена в соответствии с межвузовской комплексной научно-технической программой И.Т.бОГ'Перспективные информационные технологии в высшей школе" в рамках одного из основных научных направлений Воронежского государственного технического университета "Проблемно-ориентированные системы управления".

Цель и задачи исследования.

Целью диссертации является разработка базовых компонентов математического, информационного и программного обеспечения мониторинга деятельности вузов на основе рейтинговой системы оценивания.

Для достижения поставленной цели необходимо решить следующие задачи: проанализировать особенности функционирования и развития вузов в социально-экономических условиях; сформировать концептуальную модель рационализации управления деятельности вузов на основе рейтинговой системы оценивания; разработать оптимизационные процедуры при принятии управленческих решений в системе мониторинга деятельности вузов; создать методическое, программное и правовое обеспечение функционирования рейтинговой системы оценивания деятельности вузов.

Методы исследования. При выполнении работы использованы основные положения теории управления, концептуального моделирования, экспертного оценивания, оптимизации и принятия решений.

Научная новизна. В диссертации получены следующие основные результаты, характеризующиеся научной новизной: концептуальная модель управления деятельностью вузов на основе рейтинговой системы оценивания, обеспечивающая решение задачи синтеза действенного механизма мониторинга и оперативного управления, позволяющая отслеживать функционирование управляемой системы в реальном времени и вносить коррективы в процесс управления; оптимизационная процедура мониторинга деятельности вузов, отличающаяся рациональным выбором показателей оценивания на основе нечеткой и экспертной квалиметрии; алгоритмическая схема обработки рейтинговой информации, отличающаяся математическими приемами формализации интегральных показателей по направлениям деятельности вузов на основе вероятностно-статистических распределений; структура системы мониторинга деятельности высших учебных заведений, позволяющая интегрировать оптимизированное информационное, организационно-методическое, правовое обеспечение и процедуры принятия управленческих решений на основе анализа рейтинговой информации.

Практическая ценность работы.

Разработаны рекомендации по организации управления функционированием и развитием вузов на основе анализа результатов сравнительного оценивания по основным направлениям их деятельности.

Создан программно-методический комплекс рейтинговой оценки деятельности вузов.

Научные результаты, изложенные в диссертации, получены автором в рамках выполнения комплексной программы Министерства образования РФ "Развитие вуза и совершенствование содержания образования в новых социально-экономических условиях".

Реализация результатов работы« Результаты работы внедрены в деятельность ассоциации вузов, УМО и отдельных вузов.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на: Всероссийской конференции "Интеллектуальные информационные системы" (Воронеж, 1999); Международной научно-практической конференции "Высшее техническое образование: качество и интернационализация" (Томск, 2000); Всероссийской школе-семинаре "Информационные технологии в управлении качеством образования и развитии образовательного пространства" (Москва, 2000); Всероссийской конференции "Интеллектуализация управления в социальных и экономических системах" (Воронеж, 2000).

Публикации. Основные результаты диссертации опубликованы в 10 печатных работах.

Структура и объем работы. Диссертация состоит из введения, четы-рех глав, заключения на 104 е., списка литературы (107 наименований), приложения, содержит 19 рис., 3 табл.

Заключение диссертация на тему "Рационализация управления деятельностью высших учебных заведений на основе рейтинговой системы оценивания"

4.3. Выводы четвертой главы

1. На основе принципов модульного программирования реализован программно-методический комплекс мониторинговой системы деятельности вузов, реализующий целостность процесса сравнительного оценивания и отличающийся развитым интерфейсом, обеспечивающим удобство пользователю при работе с ним.

2. Выработаны рекомендации по рационализации управления функционированием вузов, как центров высшего образования, переподготовки специалистов, повышения квалификации и подготовки на-учно-педагогических кадров.

ЗАКЛЮЧЕНИЕ

В соответствии с поставленной целью, заключающейся в создании системы мониторинга деятельности высших учебных заведений, основные результаты диссертационной работы заключаются в следующем;

1. Проведен анализ процессов функционирования высших учебных заведений в современных социально-экономических условиях. Определены основные задачи рационализации управления деятельностью вузов, а также тенденции развития информационных ресурсов в научно-образовательных системах.

2. Сформирована концептальная модель управления деятельностью вузов на основе рейтинговой системы оценивания, позволяющая отслеживать функционирование управляемой системы и обеспечивающая решение задачи синтеза оптимального управления.

3. Разработана структура системы мониторинга деятельности вузов, характеризующаяся объединением всех элементов в единую информационную систему, обеспечивающую оперативное представление и использование данных о различных направлениях деятельности вузов.

4. Предложены процедуры выбора показателей оценивания деятельности вузов, основанные на использовании экспертной информации и позволяющие осуществить построение единой нормативной базы и в дальнейшем сравнивать качество образования в различных вузах и определять действительный рейтинг учебного заведения в отраслевой системе вузов.

5. Разработана оптимизационная схема управления деятельностью вузов на основе рейтинговой системы оценивания, позволяющая достичь эффективности их функционирования и развития с учетом имеющихся ресурсов.

6. Предложены алгоритмические процедуры обработки рейтинговой информации, дающие количественное представление о деятельности вузов и специальностей и позволяющие прослеживать динамику изменения показателей за определенный период времени.

7. Осуществлена реализация в виде программно-методического комплекса разработанных компонентов математического и информационного обеспечения системы мониторинга деятельности вузов и выработаны рекомендации по рационализации управления функционированием вузов на основе анализа результатов рейтингового оценивания.

Библиография Крупнова, Маргарита Сергеевна, диссертация по теме Управление в социальных и экономических системах

1. Аванесов B.C. Математические модели педагогического измерения. - М.: ИЦПКПС, 1994. - 26 с.

2. Аветисов А. А. О системологической концепции качества образования // Сб. докл. Межд. симп. Новгород, 1995.

3. Айвазян С. А., Енюков И.С., Мешалкин Л. Д. Прикладная статистика. Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. - 471 с.

4. Артамонов Г.Т. Топология регулярных вычислительных сетей и сред. М.: Радио и связь, 1985. - 192 с.

5. Атоян В.Р. Организация научной и инновационной деятельности в вузе. Саратов: СГТУ, 1996. 226 с.

6. Базы данных, базы знаний и информационные технологии учебного назначения: состояние и перспективы / Под ред. Дзегеленка И.И. М.: ИЦПКПС, 1998- 19 с.

7. Березовский Б.А. и др. Многокритериальная оптимизация. Математические аспекты. М.: Наука, 1989. - 128 с.

8. Беспалько В.П. Основы теории педагогических систем. Воронеж: Изд-во ВГУ, 1980. - 304 с.

9. Беспалько В.П. Элементы теории управления процессом обучения. -М.: Знание, 1981.-71 с.

10. Беспалько В.П., Татур Ю.Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов. М.: Высш. шк., 1989.- 144 с.

11. И. Березовский А. Кадры в современной высшей школе. // Высшее образование в России № 2, 1998. С. 22-30.

12. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М.: Наука, 1973. -159 с.

13. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертного оценивания. М.: Статистика, 1980. - 263 е.: ил.

14. Богатырь Б.Н. Система образования России как объект информатизации. М.: ИЦПКПС, 1998. - 38 с.

15. Борисова Н.В., Бугрин В.П. Образовательные технологии как объект социального нормирования // Проблемы качества, его нормирования и стандартов в образовании: Сб. науч. ст. М.: ИЦПКПС, 1998. С.56-58.

16. Бурков В.Н., Новиков Д.А. Модели и механизмы теории активных систем в управлении качеством подготовки специалистов. М.: ИЦПКПС, 1997.- 157 с.

17. Бусленко Н.П. Моделирование сложных систем. М.: Наука, 1978.-400 с.

18. Вентцель Е.С. Исследование операций. М.: Советское радио, 1972. - 552 е.: ил.

19. Взятышев В.Ф., Савельев А .Я., Романкова Л.И. Инновации образования // Вестник образования в России, 1994. № 2.

20. Гершунский Б.С. Компьютеризация в сфере образования: проблемы и перспективы. М.: Педагогика, 1987. - 264 с.

21. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация: Пер. с англ. М.: Мир, 1985. - 452 с.

22. Горынин Л.Г., Морозов В.Г. Перспективы компьютеризации вуза // Новые информационные технологии в учебном процессе и управлении. Тез. докладов. Омск: ОГПИ, 1989. - С. 8-11.

23. Глобальная сеть EUnet/Relcom // Сети. 1994. - № 2. - С. 60-63.

24. Гладун В.П. Планирование решений. К.: Наукова думка, 1987.167 с.

25. Горынин Л.Г., Морозов В.Г. Перспективы компьютеризации вуза // Новые информационные технологии в учебном процессе и управлении. Тез. докладов. Омск: ОГПИ, 1989. - С. 8-11.

26. Гохман. О.Г. Экспертное оценивание: Учебное пособие. Воронеж: Изд-во ВГУ, 1991.-152 с.

27. Джонсон Н., Лион Ф. Статистика и планирование эксперимента в технике и науке. Методы обработки данных. М.: Мир, 1980. 610 с.

28. Дзегеленок И.И. Проектирование и реализация академических баз данных и баз знаний высшей школы. М.: ИЦПКПС, 1998. - 14 с.

29. Дзегеленок П.И. Интеграция сетевых информационных ресурсов для мобильной образовательной среды // Качество, содержание и технологии образования: Тез. докл. М.: ИЦПКПС, 1997. С.80-83.

30. Дзегеленок И.И. Сетевые образовательные технологии и проблема актуализации знаний // Проектирование образовательных информационных ресурсов, систем и технологий: Сб. докл. М.: ИЦПКПС, 1998. - С. 3-9.

31. Емельянов C.B., Ларичев О.П. Многокритериальные методы принятия решений. М.: Знание, 1985. - 32 с.

32. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. - 165 с.

33. Зайцева Ж.Н., Солдаткин В .И. Информатизация образования: состояние, проблемы и перспективы. М.: ИЦПКПС, 1998.-39.

34. Зернов В.А. Оптимизация управления качеством образования в негосударственном секторе высшего образования в современных условиях: Монография. М.: РосНОУ, 1999. - 185 с.

35. Зыков А.А. Принятие приближенных решений. М.: Наука, 1987.382 с.

36. Иванников А.Д., Ижванов Ю.Л. Образование в мире и в России на базе компьютерных сетей и информационных технологий: достижения и перспективы. Телекоммуникационные сети и информационные ресурсы. -М.: ИЦПКПС, 1998.- 12 с.

37. Кабакович Г.А. Внедрение новых информационных технологий -основа качества образования // Качество, содержание и технологии образования: Тез. докл. М: ИЦГЖПС, 1997. С.31-33.

38. Каган В.И., Сычеников И.А. Основы оптимизации процесса обучения в высшей школе. М.: Высш. шк., 1987. - 143 с.

39. Каплинский А.И., Руссман И.В., Леденева Т.М. Технология оценки соответствия качества вузовской подготовки специалистов требованиям сферы их использования // Методические указания. Воронеж: Изд-во ВПИ, 1992. 32 с.

40. Качалов В., Прудковский Б. По поводу оценки качества // Высшее образование в России, 1999. № 2. С. 54-58.

41. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещений: Пер. с англ. М.: Радио и связь, 1981. - 560.: ил.

42. Клир Дж. Системотология: Пер. с англ. М.: Радио и связь, 1990.544 с.

43. Когдов Н.М., Сазонов Б.А., Скуратович Э.К. Опыт использования ЭВМ в вузах // Автоматизированные системы научны исследований, обучения и управления в вузах. Межвуз. сб. науч. тр. Новосибирск: НГУ, 1985.-С. 3-24.

44. Койшибаев Б. Имитационные методы управления учебным процессом. Алма-Ата: Мектеп, 1991. - 175 с.

45. Кофман А. Введение в прикладную комбинаторику. М.: Наука,1975.

46. Кофман К. Введение в теорию множеств. М.: Радио и связь, 1982. - 429 с.

47. Крайзмер Л.П. Информатика и вычислительная техника. Л.: Лениздат, 1988. - 270 е.: ил.

48. Краснощеков П.С., Петров A.A. Принципы построения моделей. -M.: Изд-во МГУ, 1983. 264 с.

49. Крупнова М.С., Кострова В.Н., Барковская C.B. Мониторинговая структура, рейтинговой оценки качества образования в вузах // Прикладные задачи моделирования и оптимизации: Межвуз. сб. науч. тр. Воронеж: ВГТУ, 1999. 4.1. С. 145-149.

50. Крупнова М.С. Рационализация выбора показателей рейтинговой оценки // Интеллектуальные информационные системы: Труды всерос. конф. Воронеж: ВГТУ, 1999. Ч. 2. С.66.

51. Крупнова М.С., Кострова В.Н. Построение моделей мониторинга качества образования для формирования рейтинга вузов вузах // Прикладные задачи моделирования и оптимизации: Межвуз. сб. науч. тр. Воронеж: ВГТУ, 1999. Ч. 2. С. 62-66.

52. Крупнова М.С. К вопросу мониторинга деятельности вузов //Высокие технологии образования: Качество и интернализация: Труды IV Межд. науч.-практ. конф. Томск: ТТТУ, 2000. С 28.

53. Крупнова М.С.Организация управления деятельностью вузов на основе информационных технологий // Информационные технологии в управлении качеством образования и развитии образовательного пространства: Матер, всерос.нпс.-сем. М: ИЦПКПС, 2000. С 47.

54. Крупнова М.С. Формирование модели оценки деятельности вузов // Интеллектуализация управления в социальных и экономических системах: Труды всерос. конф. Воронеж: ВГТУ, 2000. С. 18.

55. Крупнова М.С. Методология решения задачи управления деятельностью высших учебных заведений // Высокие технологии в технике, медицине, экономике и образовании: Межвуз. сб. науч. тр. Воронеж: ВГТУ, 2000. 4.2.

56. Лазарев В.Г., Лазарев Ю.Г. Динамическое управление потоками информации в сетях связи. М.: Радио и связь, 1983. - 216 с.

57. Леонович И.И. Критерии качества учебного процесса. Минск: Вишэйшая шк., 1980. - 147 с.

58. Леонтьев Л.П., Гохман О.Г. Проблемы управления учебным процессом: математические модели. Рига: Зинатне, 1984. - 239 е.: ил.

59. Литвак Б.Г. Автоматизированная система экспертного оценивания // Автоматика и телемеханика. 1992, N 2. - С. 112-119.

60. Литвак Б.Г. Экспертная информация: методы получения и анализа. М.: Радио и связь, 1982. - 104 с.

61. Литвак Б.Г. О разрешающей способности принципов выбора при экспертных оценках И Автоматика и телемеханика. 1991, N 2. - С. 162-170.

62. Литвак Б.Г. Автоматизированные системы экспертного оценивания и аккредитация // Труды исследовательского центра проблем качества подготовки специалистов. М.: ИЦПКПС, 1993. - 144 с.

63. Логвинов И.И. Имитационное моделирование учебного процесса. М.: Педагогика, 1980. - 127 с.

64. Логвинов И.И. Некоторые теоретические основания использования ЭВМ в учебном процессе // Проблемы программированного обучения. Межвуз. сб. науч. тр. Владимир: Влад.ГПИ, 1987.-С. 12-18.

65. Лопухова Т.В. Подходы к оценке качества подготовки специалистов // Теория, методология, технология и практика квалиметрии человека и образования: Тез. докл. М.: ИЦПКПС, 1998. - С. 73-76.

66. Макаров A.A. Методические и методологические проблемы дистанционного обучения // Качество, содержание и технологии образования: Тез. докл. М.: ИЦПКПС, 1998. - С. 46-48.

67. Макаров A.A. Комплексный мониторинга качества образования. -М.: ИЦПКПС, 1999. 265 с.

68. Миркин Б.Г. Проблемы группового выбора. М.: Наука, 1974.256 с.

69. Михалевич М.В. Замечания к дискуссии Дж. Дайеро и Т.Саати. // Кибернетика и системный анализ. 1994, N1.-0. 94-102.

70. Моргунов И.Б. Основы дискретной оптимизации некоторых задач упорядочения (на примере учебного процесса). М.: Исследовательский центр, 1992.

71. Немцев О.В. Информационная среда вуза // Проектирование образовательных информационных ресурсов, систем и технологий: Сб. докл. М.: ИЦПКПС. С. 55-60.

72. Нечеткие множества в моделях управления и исследования интеллекта. М.: Наука, 1986. - 312 с.

73. Нуждин В.Н. Информатизация и система тотального управления качеством высшего образования. М.: ИЦПКПС, 1998. - 25 с.

74. Мехонцева Д.М. Самоуправление и управление: вопросы общей теории систем. Красноярск: Изд-во Краен. Ун-та, 1991. - 248 с.

75. Мушик Э., Мюллер П. Методы принятия технических решений: Пер. с англ. М.: Мир, 1990. - 247 е.: ил.

76. Попов В.В. Современное состояние и тенденции развития информационных ресурсов в образовании. М.: ИЦПКПС, 1998.-24.

77. Похолков Ю.П., Агранович Б.Л. и др. Развитие вуза и совершенствование содержания образования в новых социально-экономических условиях: Метод указания. М: Росвузаттестация, 1996. -143 с.

78. Растригин Л.А. Современные принципы управления сложными системами. М.: Советское радио, 1982. - 232 с.

79. Рейтинг российских университетов // Карьера, 1998. № 2. С. 18-29.

80. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с англ. М.: Радио и связь, 1993. - 320 е.: ил.

81. Скменин Л.Н. Лингвистическое и информационное обеспечение автоматизированной системы научно-педагогической информации. М.: НИИ общей педагогики, 1989.- 114 е.: ил.

82. Соловьев В.П., Филимонов Ю.П. О проблеме качества подготовки выпускников вузов // Политика качества образования и проблема квалиметрического мониторинга в сфере образования: Тез. докл. М.: ИЦПКПС, 1998. - С.54-62.

83. Субетто А.И., Чернус Е.А. Мониторинг качества образовательных систем на основе принципов макромоделирования // Теория, методология, технология и практика квалиметрии человека и образования: Тез. докл. -М.: ИЦПКПС, 1998. С. 108-109.

84. Суходольский Г.В. Математико-психологические модели деятельности. С-Пб.: Петрополис, 1994.

85. Титов A.B. "Взвешивание" критериев оценки качества на основе эталонного подхода и множеств уровня // Теория, методология, технология и практика квалиметрии человека и образования: Тез. докл. М.: ИЦПКПС, 1998. - С. 40-43.

86. Тюрин Ю.Н., Макаров A.A. Анализ данных на компьютере. М.: Финансы и статистика, 1995. - 384 с,

87. Уемов В.И. Системный подход и общая теория систем. М.: Наука, 1978. - 272 с.

88. Федотов A.B. Моделирование в управлении вузом. Л.: ЛГУ, 1985.- 120 с.

89. Фролов В.Н., Крупнова М.С. Разработка многоуровневой системы рейтинговой оценки деятельности вузов // Интеллектуальные информационные системы: Труды всерос. конф. Воронеж: ВГТУ, 1999. Ч. 2. С. 10.

90. Фролов В.Н., Крупнова М.С., Кострова В.Н. Формирование информационного пространства системы мониторинга деятельности вузов // Дистанционное образование2000. № 1. С. 29-31.

91. Хитосе Куме. Статистические методы повышения качества: Пер. сяпон. М.: Финансы и статистика, 1990. - 172 с.

92. Чебышев Н., Каган В. Основы развития современной высшей школы // Высшее образование в России, 1999. № 4. С.17-22.

93. Чучкалов И.А. Организационные основы оптимизации учебного процесса в многопрофильном вузе // Оптимизация обучения, воспитания и профильной подготовки студентов в высшей школе. Межвуз. сб. науч.тр. -Чебоксары, Чувашский гос. ун-т, 1983. С. 10-20.

94. Шаронов А.Н., Бабенков В.И. Экспертные методы в оценке качества образовательных систем // Квалиметрический мониторинг образования: содержание, организация, практика : Тез. докл. М.: ИЦПКПС, 1998.-С. 65-69.

95. Шаронов А.Н., Бабенков В.И. Метод экспертных факторов, существенно влияющих на качество системы. М.: ЦВНИ МО РФ, 1997. -14 с.

96. Штайер Р. Многокритериальная оптимизация. Теория, вычисления и приложения: Пер. с англ. М.: Радио и связь, 1992. - 504 е.: ил.

97. Юшманов С.В. Метод нахождения весов, нетребующий полной матрицы по парных сравнений // Автоматика и телемеханика. 1990, N 2. -С. 186-189.

98. Юдин Д.Б. Вычислительные методы принятия решений. М.: Наука, 1989. - 129 с.

99. Easton Е., Ritchie D. 'Expert System' for Special-Education Students // Education computer news. 1990, N 11. - C. 2-4.

100. Margaret L.N. Computer-using teachers in a new decade // Education and Computing. -1991, N 7. C. 151-156.

101. Roland G.R. Effective computing in education: teachers, tools end training // Education and Computing. 1991, N 7. - C. 157-166.

102. Moore M. Preparing computer-using educator // Education and Computing. 1989, N 12. - C. 48-52.

103. Niess. M. Preparing computer using educator in a new decade // Education and Computing. 1990, N 3. - C. 10-15.

104. Jacques D., Gibbs G. Teaching innovation works // Education and Computing. 1990, N 1. - C. 5-12.

105. Bork A. Production system for computer-based learning // Education and Computing. 1989, N 2. - C. 96-115.

106. Skinner B.F. Teaching machine //Education and Computing. 1992, N 9.-C. 65-73.

107. Hoyle E. Computer and education: a solution in search of a problem H Education and Computing. 1992, N 10. - C. 55-65.