автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Системы тестирования в вузе как инструмент управления учебным процессом

На правах рукописи

РГБ ОД

1 2 июл С П

Калугян Каринэ Хачересовна ,

СИСТЕМЫ ТЕСТИРОВАНИЯ В ВУЗЕ КАК ИНСТРУМЕНТ УПРАВЛЕНИЯ УЧЕБНЫМ ПРОЦЕССОМ (НА ПРИМЕРЕ ДИСЦИПЛИНЫ «ЭКОНОМИЧЕСКАЯ ИНФОРМАТИКА»)

Специальность 05.13.10 - Управление в социальных и

экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук

Ростов-на-Дону 1999

Работа выполнена в Ростовской государственной экономическо! академии на кафедре Экономической информатики и автоматизацт управления.

Научный руководитель -

Официальные оппоненты:

Ведущая организация -

доктор экономических наук, професс Хубаев Георгий Николаевич доктор экономических наук, профессор Маслова Нина Пименовна, кандидат экономических наук, доцент Овчарова Лилия Николаевна Донской государственный технический университет

Защита диссертации состоится «Н » (МЩ-Я 1999г. в "" часов на заседании диссертационного Совета К 064.24.02. в

Ростовской государственной экономической академии по адресу: 344007, г. Ростов-на-Дону, ул. Б. Садовая, 69, РГЭА.

С диссертацией можно ознакомиться в научной библиотеке академии.

Автореферат разослан « ^ » _1999г.

Ученый секретарь диссертационного Совета,

кандидат экономических наук Островская И.Я.

Общая характеристика работы Актуальность тзмы диссартзции.

В условиях перехода к рыночным отношениям вопросы качества подготовки специалистов любого профиля, а особенно экономистов, приобретают первостепенное значение. Ведь известно, что чем выше уровень квалификации работника, тем он быстрее адаптируется к изменениям среды, принимает более верные решения и творчески подходит к выполнению своих служебных обязанностей. Именно поэтому в указе Президента Российской Федерации от 11 июля 1991г. «О первоочередных мерах по развитию образования в РСФСР» провозглашена приоритетность сферы образования для развития интеллектуального, культурного и экономического потенциала России.

Развитие системы образования всегда тесным образом связано с теми социально-экономическими условиями, в которых оно происходит. Не случайно, что решающим источником экономического роста в современном мире являются знания и умение их использовать.

В соответствии с принятой концепцией информатизации общества цель внедрения компьютерных технологий в сферу образования состоит в глобальной рационализации интеллектуальной деятельности за счет использования новых средств информатики, радикальном повышении эффективности и качества подготовки специалистов, т.е. подготовки кадров с новым типом мышления, соответствующим требованиям постиндустриального общества.

В результате достижения этой цели в обществе должны быть обеспечены массовая компьютерная грамотность и формирование новой информационной культуры мышления путем индивидуализации образования. Действительно, рынок труда ставит специалистов з конкурентные отношения друг к другу. Поэтому только отличная профессиональная подготовка, глубокие теоретические знания и практиче-

ские навыки позволят им хорошо ориентироваться и успешно решать свои жизненные проблемы в сложных рыночных условиях.

Предполагается, что одним из ведущих элементов организационной инфраструктуры высшей школы должны стать центры тестирования знаний. Современное тестирование - это информационная технология для контроля уровня получаемых знаний, объединяющая новые технические и программные средства и традиционные способы методического обеспечения учебного процесса. Преимущество такой технологии контроля уровня подготовки состоит в более объективной аттестации и сертификации знаний, уменьшении влияния субъективного фактора при контроле знаний, обеспечении единства требований к уровню знаний. С этой целью предполагается внедрение государственных информационных технологий тестирования и создание на территории России разветвленной сети центров тестирования и сертификации высшего образования, а также разработка тестов, научных основ, методов и средств для аттестации и сертификации знаний абитуриентов, студентов и специалистов.

В научной литературе и периодике уделяется достаточно большое внимание вопросам контроля и оценки знаний. Это отражается в трудах таких ученых, как Аванесов B.C., Волкова В.Н., Горохов Ю., Поддубная JIM., Прудковский Б.А., Северцев В.А., Селезнева H.A., Субетто А.И., Татур А.О., Хубаев Г.Н., Мельникова М.Б. и др. Специалистами выделяются следующие основные преимущества тестовых систем:

« объективность оценки;

• позитивное стимулирующее воздействие на познавательную деятельность студента;

» возможность существенно снизить напряженность между преподавателем и студентом, а также снять эмоциональную

(стрессовую) нагрузку на преподавателя и студента;

• быстрота контроля знаний студентов;

• широкий охват материала;

• методическая основа для интеграции дисциплин - междисциплинарные тесты, тесты по спецпредмету;

• ориентированность на современные технические средства, на использование в среде автоматизированных обучающих и контролирующих систем;

• универсальность, охват всех стадий процесса обучения - тесты применяются при аттестации (промежуточной и итоговой), для обучения, самоконтроля и самоподготовки.

Однако, нам не известны исследования, посвященные сравнительному (количественному) анализу эксплуатационных характеристик различных систем тестирования. Нам также не встречались работы, связанные с построением шкалы оценок в системах тестирования и контроля качества сформированной шкалы.

В качестве объекта исследования выбраны системы тестирования.

Цель диссертационной работы - анализ систем тестирования и разработка.рекомендаций по совершенствованию процессов их создания и применения.

Для достижения поставленной цели на основе исследования сложившейся практики в изучаемой предметной области необходимо было решить следующие задачи:

• исследовать существующие подходы к созданию тестовых систем;

• разработать рекомендации по совершенствованию процесса создания тестов;

• провести содержательный анализ эксплуатационных характе-

ристик автоматизированных систем тестирования;

• определить перечень функций, реализуемых существующими системами тестирования;

• количественно оценить степень соответствия той или иной системы требованиям пользователя к функциональной полноте; про-ранжировать тестовые системы по критерию функциональной полноты; оценить степень взаимосвязи между тестовыми системами по функциональным операциям;

• рассмотреть существующие подходы к построению шкалы оценок в тестовых системах; оценить возможность применения статистического подхода к построению шкалы оценок и к контролю качества используемой шкалы.

Теоретической и методологической основой исследования явились труды российских и зарубежных ученых по рассматриваемой проблеме, материалы конференций и совещаний, статьи в сборниках научных трудов и периодической печати по проблемам, относящимся к теме исследования, большой теоретический и прикладной материал вузов, научно-исследовательских и проектных институтов, данные проведенных экспериментальных исследований. В качестве инструментария для решения поставленных задач использовались теория баз данных, теория экспертных оценок, метод формализованного анализа информационных характеристик объекта управления, алгоритм сравнения сложных систем по критерию функциональной полноты, а также современные программные средства - Windows 95, FoxPro, Excel 7.0, автоматизированные системы тестирования.

Эмпирическую базу исследования составили данные, собранные в ходе активных и пассивных экспериментов.

Научная новизна результатов исследования. Новыми являются:

а) сформированный в процессе содержательного и количественного (формализованного) анализа полный перечень функций, реализуемых наиболее распространенными тестовыми системами, а также предложения по составу обязательных функциональных операций;

б) результаты оценки функциональной полноты автоматизированных тестовых систем, позволившие систематизировать сведения о функциональной полноте существующих тестовых систем и количественно оценивать степень соответствия тестовой системы требованиям пользователя к функциональной полноте;

в) полученные количественные оценки степени взаимосвязи между системами тестирования и рассчитанные ранги тестовых систем по критерию функциональной полноты, использование которых позволяет формировать группы тестовых систем, имеющих одинаковую функциональную полноту, сопоставлять их цены и другие характеристики;

г) предложения по выбору количества вариантов ответов на задания закрытой формы, при использовании которых заметно снижается вероятность случайного угадывания правильного ответа;

д) разработанные алгоритмы создания тестовой системы и схемы функционирования автоматизированной тестовой системы, система тестов по информатике;

е) построенная с использованием методов непараметрической статистики шкала оценок для конкретной системы тестирования и результаты контроля качества построенной шкалы, также базирующиеся на применении математико-статистического инструментария.

Практическая значимость результатов заключается в том, что разработанные методики и рекомендации могут стать основой для разработки тестовых систем и проведения сравнительной оценки автоматизированных систем тестирования. В частности:

• разработанный алгоритм создания теста и схема функционирования автоматизированной тестовой системы могут быть использованы разработчиками тестов и систем тестирования;

• разработанная система тестирования по информатике используется преподавателями для проверки знаний студентов;

• реализация системы для проверки практических навыков позволит оценивать приемы работы с различными программными средствами, пакетами, системами;

• результаты количественного анализа систем тестирования по критерию функциональной полноты, полученные оценки степени взаимосвязи между системами по функциональным операциям, ранги систем по критерию функциональной полноты могут быть использованы для оптимального выбора систем тестирования;

• результаты исследования подтвердили целесообразность применения статистического подхода для построения шкалы оценок и контроля ее качества в любых системах тестирования.

Апробация работы.

Основные положения диссертационной работы обсуждались на Межгосударственных научно-практических конференциях

«Организационно-экономические проблемы проектирования и применения информационных систем» (Ростов-на-Дону, 25-26 октября 1994г., 23 января 1997 г., 25-26 ноября 1998г.), докладывались на Международной научно-методической конференции (Москва, Финансовая академия при Правительстве РФ, 22-24 марта 1999г.). По результатам исследования опубликовано 8 печатных работ.

Объем и структура работы.

Диссертация состоит из введения, трех глав, заключения, списка использованных источников, приложений.

Во введении обоснована актуальность темы диссертационной

работы; показано, что повышение качества контроля знаний студентов, уменьшение доли субъективности и других недостатков возможно с использованием систем тестирования; сформулированы задачи исследования, приведены положения, выносимые на защиту.

В первой главе «Тесты как элемент обратной связи системы управления учебным процессом вуза» рассматриваются вопросы теории управления социально-экономическими системами вообще и системой управления вузом, в частности. Показано, что высшее учебное заведение является социально-экономической системой, создающей в интересах всего общества такую ценность, как интеллектуальный ресурс, который инвестируется во все отрасти народного хозяйства. Переход высшей школы России к качественно новым условиям ее деятельности в рамках рыночной экономики диктует необходимость пересмотра основных принципов управления системой высшего образования на основе признания в ней ведущей роли высшего учебного заведения. Учебный процесс в вузе представляет собой сложный объект управления, включающий творческое взаимодействие преподавателей и обучаемых (рисунок 1).

Рисунок 1 - Схема системы управления учебным процессом-вуза

Знания студентов являются выходом системы управления учебным процессом вуза. Уровень достигнутых знаний характеризуется оценкой, полученной студентом. Оценка - это информация, которая по каналу обратной связи поступает в управляющую систему, характеризует текущее состояние объекта управления и дает возможность вносить коррективы в учебный процесс. Студенты получают оценки на экзаменах, зачетах, а также проходя тестирование, которое является более объективным способом определения уровня знаний. То есть, тесты выступают как инструмент управления, как элемент обратной связи системы управления учебным процессом.

Далее в главе рассмотрены вопросы разработки систем тестирования, предварительного анализа и автоматизации тестовых систем. Известно, что педагогический тест - это система заданий возрастающей трудности, специфической формы, позволяющая качественно оценить структуру знаний и эффективно измерить уровень знаний испытуемых. Педагогические тесты позволяют провести объективную оценку достигнутого уровня обученности при массовой проверке знаний, а также сравнить эффективность различных программ обучения, осуществить объективную аттестацию вузов. В повседневной практике контроля знаний с помощью педагогических тестов можно получить объективную информацию о владении студентом определенными знаниями, умениями и навыками и соотнести эти данные с задачами обучения для своевременной коррекции процесса усвоения новых знаний.

Процесс разработки тестов состоит из нескольких этапов: 1) определение целей тестирования и подготовка плана теста; 2) формирование тестовых заданий; 3) проведение «контрольного» тестирования; 4) анализ тестовой системы; 5) построение шкалы оценок; 6) оценка качества построенной шкалы и внесение изменений по ре-

зультатам оценки.

Тестовые задания создаются в различных формах. В отечественной научной литературе принята классификация, предложенная B.C. Аванесовым.

Выбор конкретной формы тестового задания зависит от содержания контролируемого материала, а также от определенной цели контроля. Тестовые задания в любой из форм должны создаваться в соответствии с определенными требованиями. Следует отдельно остановиться на такой специфической особенности тестов закрытой формы, как верное определение числа вариантов ответов на один вопрос. В литературе существует два противоположных мнения по этому вопросу. В первом случае считают, что количество вариантов ответов на вопросы теста должно быть одинаковым и колебаться от 4 до 8. Сторонники второго мнения находят лучшим вариант, когда количество ответов различно для каждого вопроса и варьируется от 2 до 8. Но здесь следует учитывать, по крайней мере, три важных момента. Во-первых, увеличение количества ответов до 8 приведет к существенному увеличению времени, необходимого для тестирования. Во-вторых, важна одинаковая правдоподобность неправильных ответов, которые должны быть равновероятно привлекательны. В-третьих, в случае, когда количество вариантов ответов различно для каждого вопроса, придется проводить соответствующую корректировку при оценке трудности заданий. При большом количестве ответов соблюсти эти условия будет достаточно трудно. Для нахождения оптимального количества вариантов ответов на вопрос целесообразно воспользоваться вероятностным подходом. При количестве вариантов ответов - к=2 вероятность случайного угадывания правильного ответа Рпр составляет 0.5; при к=3 - Рпр=0.33, т.е. она достаточно велика. При к=4 и к=5 вероятность равна соответственно 0.25 и 0.2. Пред-

ставляется, что это количество (4-5) и является оптимальным. Если увеличить число вариантов ответов, то при снижении вероятности Рпр в большей степени стали бы проявляться ранее отмеченные недостатки.

Использование параллельного теста значительно снижает эту вероятность. Наличие такого теста повышает качество результатов тестирования. Кроме того, использование параллельного теста заметно сократит вероятность угадывания правильного ответа (рисунок 2).

0.9 0.8 0.7

5

0

1 а =

о

• 0,4 в

0.3 0.2 0.1 0

Рисунок 2 - Зависимость вероятности случайного угадывания правильного ответа Рпр от количества вариантов ответов на вопрос при использовании основного и параллельного тестов

При анализе результатов тестирования определяется доля правильных ответов, которые студенты дали на один и тот же вопрос или группу вопросов, относящихся к одной теме. Это является особенно существенным для промежуточного контроля по каждой пройденной те'ме; когда у преподавателя есть возможность и время внести кор-

3 4

кол-во вариантов ответов

рективы в учебный процесс, а у студента - возможность оценить уровень своей подготовленности. Таким образом, тесты выступают как инструмент управления учебным процессом, как элемент обратной связи.

Исследование процессов разработки тестов позволило автору предложить алгоритм, который однозначно определяет последовательность шагов формирования тестовой системы.

Требование объективности результатов тестовых опросов накладывает определенные ограничения на организацию их проведения. Наиболее часто используются следующие варианты организации процедуры контрольных мероприятий:

• частичная автоматизация тестирования, когда контроль осуществляется на бумаге, а обработка результатов - с помощью компьютера;

• полная автоматизация, когда весь процесс тестирования (начиная с создания теста и кончая выдачей результатов тестирования и их анализом) проводится с использованием компьютеров.

Быстрое развитие и распространение новых информационных технологий позволит уже в ближайшем будущем использовать при создании обучающих и контролирующих систем следующие возможности:

• полное автоматическое формирование сценариев отдельных дисциплин и их совокупностей;

• использование гипертекстовой технологии;

• использование мощных анализаторов ответов студентов (поиск синонимов при ответе на тесты открытой формы);

• технологии мультимедиа, графических изображений, звуковых воспроизведений;

• многооконный режим работы.

Использование технологий Internet даст доступ к удаленным системам тестирования, позволит проводить тестирование в режиме видеоконференций.

С целью определения набора функций, которые как минимум должна выполнять система, чтобы соответствовать тестовой теории, автором была разработана схема функционирования автоматизированной тестовой системы (абстрактной).

Во второй главе «Сравнительный анализ тестовых систем» приводится содержательный и сравнительный количественный анализ наиболее распространенных автоматизированных тестовых систем: система тестового контроля знаний "Экзамен-зачет" (Одесский государственный экономический университет); АСККО (государственная малая научно-техническая фирма «Новые информационные технологии», Москва); ТЕСТ 1.0 (Исследовательский центр проблем качества подготовки специалистов Минвуза РФ); АИСТ 9.0 (Исследовательский центр проблем качества подготовки специалистов Минвуза РФ; Московская государственная текстильная акаде-• мия им. А.Н. Косыгина, Московский государственный институт стали и сплавов); Система проверки знаний (Российская экономическая академия им. Г.В. Плеханова, Москва); Система сетевого тестирования (Московский государственный университет экономики, статистики и информатики) и др.

Для количественной сравнительной оценки исследуемых тестовых систем необходимо выделить определяющие показатели качества. Для этой цели был использован метод групповых экспертных оценок. Проведено три тура опросов. Оценка согласованности мнений экспертов и выделение однородной подгруппы в составе экспертной

группы проводилось с использованием известных методик. В частно-

1

сти, рассчитывались матрицы коэффициентов ранговой корреляции

Спирмена, строились матрицы упорядочения а канонической форме и матрицы расстояний Кемени между ранжированиями экспертов.

В результате обработки материалов экспертных опросов был сформирован ранжированный перечень основных (определяющих) показателей качества автоматизированных тестовых систем. Среди этих показателей наивысший ранг получил показатель «функциональная полнота».

Сравнение тестовых систем по критерию функциональной полноты проводилось по методике 1. Перед проведением анализа был выявлен перечень функциональных операций, выполняемых всеми включенными в рассмотрение автоматизированными тестовыми системами (90 операций).

На первом этапе была сформирована исходная таблица: 5 = {$] - множество тестовых систем; {/)}»(./ = 1-5-90) . множество, составляющее словарь функциональных операций.

Выделили системы и ввели следующие обозначения:

по

fik ~ $¡ Г\ Sк . мощность пересечения систем S¡_u_Sk

функциональным операциям; Цк, S¡_u_Pik —S¡/ Sk

мощность разности соответствующих систем.

В качестве меры рассогласования между системами S¡_u_Sk

D _р<>1/рП,рЮ

выбрали величину — r¡k ' r¡k r¡k ; для оценки степени

поглощения системой S к системы $ ¡ величину

'Хубаев Г.Н. Алгоритм сравнения сложных систем по критерию функциональной полноты//Экономико-организационные проблемы анализа, проектирования и применения информационных систем: Материалы Межгосударственной научно-практической конференции/РГЭА. -Ростов-на-Дону, 1997. - с. 47-52.

А _О!1/Р|1,г,|0

л ¡к ~ г¡к ' "¡к ^ г\к ; для оценки степени подобия систем -

Г _р11/п11рЮ, Г> О I

меру подобия Жаккарда ^ ¡к ~ "¡к ' г¡к + "¡к ^ ^¡к ■

Рассчитанные матрицы были преобразованы в логические матрицы отношения поглощения. Для разных граничных значений по

матрице Ь° строились графы взаимосвязи между системами.

Группы связанных между собой систем по выполняемым функциям по результатам первого этапа представлены на рисунке 3.

Таблица 3.

Код тестовой системы Наименование тестовой системы

«Компьютерные тесты»

Б2 «Экзамен-зачет»

Б8 система сетевого тестирования

Б9 АИСТ 9.0

36 „-к 57

! 1 г ♦

35 Б8 Б2

Рисунок 3.

На 2-м этапе в расчеты был включен перечень обязательных

функций в качестве абстрактной (условной) системы. Были выполнены все необходимые расчеты. Системы, которые наиболее полно соответствуют требованию по наличию обязательных функций, включаются в расчеты на 3-м этапе (рисунок 4). По расчетным матрицам третьего этапа строятся две таблицы, в одной из которых перечисляются функции, не предусмотренные в обязательном перечне, но реализуемые какой-либо из систем (таблица 4), а в другой - функции, предусмотренные обязательным набором и не реализуемые системами.

Э5 Э8 Б2

Рисунок 4.

Таблица 4 - Список функциональных операций,

не предусмотренных условной системой, но реализуемых другими тестовыми системами

Обозначени е тестовой системы Наименование тестовой системы Обозначение и наименование выполняемой функции

XXX Я] - хххх Р]+к - ххххх

Из этих таблиц пользователь может выбрать одну или несколько заинтересовавших его функций и дополнить ими строку с обязательными функциями, после чего процедура повторяется. Таким образом, данный алгоритм позволил осуществить следующее:

• составить полный перечень функций, реализуемых исследован ными тестовыми системами;

• систематизировать сведения о составе и функциональной пол ноте существующих систем тестирования и количественно оценить сте пень соответствия той или иной тестовой системы требованиям пользо вателя к функциональной полноте;

• проранжировать наиболее распространенные тестовые системь по критерию функциональной полноты и на стадии предварительное анализа исключить из дальнейшего рассмотрения системы, в которы) не реализуются нужные пользователю функции;

• сформировать группы тестовых систем, имеющих одинаковук функциональную полноту, сопоставить их цены и другие характеристики;

• расширить для потребителя-пользователя возможности оптимального выбора на рынке компьютерных систем тестирования, предоставив перечень выполняемых каждой системой функций, а разработчику системы показать место его продукта среди существующих тестовых систем.

В третьей главе «Построение шкалы оценок в системах тестирования» дан анализ существующих тенденций в построении шкал оценок и оценивании знаний, приведен зарубежный опыт в этой области, рассмотрен статистический подход к построению шкалы оценок в системах тестирования 1 , а также подходы к оценке качества тесто' Хубаев Г.Н. О построении шкалы оценок в системах тестирования // Высшее образование в России. - 1996.- N1.

вых систем, в частности, к процедурам контроля качества используемой шкалы оценок 1 . Эти методы были практически применены для построения шкалы оценок и контроля ее качества в системе тестирования по дисциплине «Экономическая информатика».

Исходной информацией для решения задачи послужили результаты курсовых экзаменов. Экзаменационные ведомости сгруппированы по интересующим исследователя дисциплинам, а внутри дисциплины - по экзаменаторам. Выборочная совокупность для проведения анализа сформирована из студентов, сдавших экзамен по дисциплине конкретному преподавателю.

При одинаковых по объему выборках по каждому преподавателю для выделения группы преподавателей, однородной в смысле предъявляемых к знаниям студентов требований, в качестве тестовой статистики применялся биномиальный критерий и критерий Х~ ■

Если же объемы выборок по отдельным преподавателям разнились, то сведения о результатах курсовых экзаменов представлялись в виде таблиц сопряженности признаков, в т.ч. со многими входами. Однако, чтобы в полном объеме использовать информацию, содержащуюся в экзаменационных ведомостях, результаты экзаменов по каждому преподавателю анализировались также с применением известных статистических критериев.

Далее результаты тестирования соотносились с полученными на курсовых экзаменах оценками. Исходная статистическая информация для проведения анализа формировалась в следующей последовательности: из выбранной совокупности студенческих групп, участвую-

1 Хубаев Г.Н. Контроль качества шкалы оценок в системах тестирования: критерии, модели, алгоритмы // Проблемы стабилизации экономики России и региона: Сб. статей. - Владикавказ: СО Госуниверситет, 1998.-е. 38-52.

щих в эксперименте, одна часть была выделена в состав обучающей выборки, и по ней строилась шкала оценок для тестовой системы, а оставшиеся группы образовали контрольную (экзаменационную) выборку, которая использовалась для контроля качества построенной шкалы.

Обучающая выборка представляет собой совокупность оценок, полученных на курсовых экзаменах («отлично», «хорошо», «удовлетворительно», «неудовлетворительно»). Эти оценки соотносятся с результатами тестирования тех же студентов (балльная оценка; 50-ти балльная шкала). После экзаменов для двух классов (кластеров) оценок "хорошо" и "удовлетворительно" определяются средние значения, средние квадратические отклонения. Для расчета диапазонов баллов, соответствующих принятым в высшей и средней школах оценкам ("отлично", "хорошо", "удовлетворительно", "неудовлетворительно"), была использована формула:

М[у] +Ь ¿О] + к х = М[х], (1)

где М [у], М [*],£[ Л, £[*]_СООТветственно средние значения и средние квадратические отклонения числа баллов в кластерах «удовлетворительно» и «хорошо»;

к - искомый параметр, позволяющий выразить длину диапазона балльных оценок в долях соответствующих квадратических отклонений.

Использованная методика построения шкалы оценок в системах тестирования дает также возможность оценить и уровень организации учебного процесса в целом. Сопоставляя результаты тестирования и результаты курсовых экзаменов, можно анализировать качество контроля знаний тем или иным преподавателем и, в определенной мере, степень его объективности, т.е. тесты при правильно (корректно) по-

строенной шкале оценок выступают в качестве элемента обратной связи системы управления учебным процессом вуза. При использовании данного подхода решаются и некоторые другие проблемы, возникающие при тестовом контроле, например, вопрос о том, достаточно ли времени отводится на тестирование. Если на выполнение тестового задания отведено мало времени, то построенная шкала оценок будет смещена в сторону меньших значений.

Контроль качества построенной шкалы оценок был проведен по экзаменационной выборке. Экспериментальные данные были представлены в виде двух массивов, первый из которых, это оценки студентов по результатам тестирования, а второй - оценки тех же студентов на традиционном экзамене с преподавателем-экзаменатором. При выборе процедур сравнения учитывались следующие особенности исходной информации:

• исходные данные представляют собой связанные наблюдения (связанные выборки), поскольку каждая пара измерений относится к одному и тому же объекту (студенту);

• интересующее исследователя свойство объектов оценивается в баллах с четырьмя градациями (уровнями) - «отлично», «хорошо», «удовлетворительно» и «неудовлетворительно»;

• объем выборки, как правило, достаточно велик - не менее одной студенческой группы;

• из-за того, что измеряемая переменная принимает всего четыре значения, в анализируемой статистической совокупности может быть много одинаковых значений этой переменной.

Проверяемая гипотеза: оба способа оценки уровня знаний - с использованием тестовой системы и традиционный - статистически одинаковы (дают статистически одинаковые результаты).

Для расчетов были введены следующие обозначения: -

оценка полученная ¡-м студентом (¡=1,2,..., п) в результате тестирования (при использовании построенной шкалы), а У, - оценка полученная этим же ¡-м студентом на обычном экзамене, т.е. одно и то же свойство студента (уровень знаний по дисциплине) измеряется двумя разными способами. Таким образом, исходная статистическая совокупность состоит из 2п наблюдений по два наблюдения на каждый из п объектов. Разность связанных пар наблюдений - .

Для проверки адекватности обоих способов оценки уровня знаний был использован критерий знаков Диксона и Муда. Нулевые разности были исключены из рассмотрения и при расчетах число наблюдений п сократилось соответственно до числа ненулевых значений (до пг ). Вероятность определенного числа плюсов и минусов определялась на основе биноминального распределения при р = д = 0.5. при пг >50 биноминальные значения были аппроксимированы с помощью критерия X".

Учитывая, что с ростом объема выборки эффективность критерия уменьшается, при больших п для оценки вероятности определенного числа знаков использовалась аппроксимация нормальным распределением. В качестве быстрого критерия использовалась модификация критерия знаков.

Чтобы определить, есть ли статистически значимое различие в структуре оценок при контроле знаний тестовой системой и преподавателем, исходные статистические совокупности представлялись в виде таблиц (см. таблицу 5). Доверительный интервал для истинного значения связи рассчитывался с использованием коэффициентов связи О и коллигации У Юла.

Таблица 5

Оценка, выставленная преподавателем

Оценка «А» «удовл.» Оценка «выше А» «хор.», «отл.»

Оценка, полученная при тестировании Оценка «А» «удовл.» Оценка «выше А» «хор.», «отл.» и1(1) 25 п2[2) 11 п\{2) 9 п2{Х) 45 п\ п2

Использование рассмотренных быстрых статистических критериев не позволило установить влияние на результаты оценки абсолютного значения разности между парами наблюдений (а не только знака). Для того, чтобы получить более достоверные выводы относительно степени согласованности результатов оценки уровня знаний для рассматриваемых нами условий, мы использовали в качестве критерия при сравнении рядов оценок X и У статистику Кендэла Т и скорректированного коэффициента Спирмэна г$ (правда, за счет более трудоемких вычислений).

Анализируя полученные результаты, можно сказать, что разработанные тесты по информатике удовлетворяют требуемым условиям применения, построенная шкала оценок выдержала проверку на качество. Гипотеза о том, что оба способа оценки знаний студентов - на экзамене и при тестировании - статистически одинаковы, подтвердилась.

В заключении диссертации сформулированы выводы по результатам проведенного исследования.

Основные выводы и результаты заключаются в следующем:

1) содержательный и формализованный анализ систем тестирования позволил выявить их достоинства и недостатки, впервые соста-

вить полный перечень функций, реализуемых наиболее распространенными тестовыми системами, перечень функций, выполняемых каждой из рассмотренных систем в отдельности, сформировать предложения по составу обязательных функций;

2) сравнительный анализ тестовых систем по критерию функциональной полноты дал возможность впервые количественно оценить степень взаимосвязи между системами, проранжировать тестовые системы по критерию функциональной полноты;

3) в результате анализа процесса создания тестов выработаны предложения по его совершенствованию, в частности, рекомендации по выбору количества вариантов ответов на задания закрытой формы, при использовании которых заметно снижается вероятность случайного угадывания правильного ответа; разработаны алгоритм создания тестов и схема функционирования автоматизированной тестовой системы;

4) с учетом требований государственных образовательных стандартов разработана система тестов по информатике; в соответствии со спецификой информатики предложена схема проверки практических навыков и приемов работы;

5) определен перечень показателей качества,- характеризующих функционирование тестовых систем; с помощью метода групповых экспертных оценок выделена совокупность основных (определяющих) показателей;

6) построена с использованием методов непараметрической статистики шкала оценок для конкретной системы тестирования и получены результаты контроля качества построенной шкалы, также базирующиеся на применении математико-статистического инструментария.

По теме диссертационного исследования опубликованы:

1. Сравнительная оценка технико-эксплуатационных хараете-ристик информационных систем по специальности // Информационные системы, экономика, управление трудом и производством. Вып. 1.: Ученые записки. - Ростов-на-Дону: РГЭА, 1995. - с. 8-10 (в соавторстве). - 0.2 п.л.

2. Базы данных в оценке качества подготовки специалистов // Организационно-экономические проблемы проектирования и применения информационных систем: Материалы Межгосударственной научно-практической конференции. - Ростов-на-Дону: РГЭА, 1996. - с. 87-89. - 0.2 п.л.

3. О проблемах формирования компьютерных тестовых систем // Экономико-организационные проблемы анализа, проектирования и применения информационных систем: Материалы Межгосударственной научно-практической конференции. - Ростов-на-Дону: РГЭА, 1997. - с. 55-57,- 0.2 п.л.

4. Работа с текстами: лабораторный практикум по дисциплине Экономическая информатика. - Ростов-на-Дону: РГЭА, 1998. - 1.3 п.л. (в соавторстве, лично автора - 0.3 п.л.)

5. Информатика: методический комплекс. - Ростов-на-Дону: РГЭА, 1998. - 3.8 п.л. (в соавторстве, лично автора - 0.7 п.л.)

5. Применение статистического подхода для построения шкалы оценок в системах тестирования // Проблемы теории и практики статистики в условиях кризисной экономики: Материалы межвузовской научно-практической конференции. - Ростов-на-Дону: РГЭА, 1999. - с. 108-110.-0.2 п.л.

7. Разработка тестов по информатике // Организационно-экономические проблемы проектирования и применения информационных систем: Материалы III Межгосударственной научно-практической конференции. - Ростов-на-Дону: РГЭА, 1998. (в печати)

8. Формализованные процедуры при сравнении компьютерных тестовых систем // Организационно-экономические проблемы проектирования и применения информационных систем: Материалы III Межгосударственной научно-практической конференции. - Ростов-на-Дону: РГЭА, 1998. (в печати)

Лицензия ЛР № 020276 от 18. 02.97 Государственного Комитета Российской Федерации по печати

Изд. № 196/3823. Подписано к печати 27.04.99 Бумага офсетная. Печать офсетная. Формат 60x84/16. Гарнитура «Эризл». Объем 1,2 уч. изд. л. Заказ № 97. Тираж 100 экз. «С» 196

344007, г. Ростов-на-Дону, ул. Б. Садовая, 69. РГЭА. Издательство. Отпечатано в ООП издательства РГЭА.

Введение.

1 Тесты как элемент обратной связи системы управления учебным процессом вуза.

1.1 Общие вопросы теории управления социально-экономическими системами.

1.2 Управление учебным процессом в вузе.

1.3 Разработка тестовых систем.

1.3.1 Методика разработки тестовых систем.

1.3.2 Проведение контрольных опросов и анализ тестовой системы.

1.3.3 Автоматизация тестирования.

1.3.4 Разработка тестовой системы по. дисциплине «Экономическая информатика». ф 2 Сравнительный анализ тестовых систем.

2.1 Содержательный анализ тестовых систем.

2.2 Показатели качества тестовых систем.

2.3 Применение экспертных методов для оценки качества тестовых систем.

2.4 Сравнение тестовых систем по критерию функциональной полноты.

3 Построение шкалы оценок в системах тестирования.

3.1 Анализ существующих тенденций в оценке знаний и построении шкалы оценок.

3.2 Статистический подход к построению шкалы оценок. ф 3.3 Контроль качества построенной шкалы оценок.

В условиях перехода к рыночным отношениям вопросы качества подготовки специалистов любого профиля, а особенно экономистов, приобретают первостепенное значение. Ведь известно, что чем выше уровень квалификации работника, тем он быстрее адаптируется к изменениям среды, принимает более верные решения и творчески подходит к выполнению своих служебных обязанностей. Именно поэтому в указе Президента Российской Федерации от 11 июля 1991г. «О первоочередных мерах по развитию образования в РСФСР» провозглашена приоритетность сферы образования для развития интеллектуального, культурного и экономического потенциала России [60].

Развитие системы образования всегда тесным образом связано с теми социально-экономическими условиями, в которых оно происходит. Не случайно, что решающим источником экономического роста в современном мире являются знания и умение их использовать.

В соответствии с принятой концепцией информатизации общества цель внедрения компьютерных технологий в сферу образования состоит в глобальной рационализации интеллектуальной деятельности за счет использования новых средств информатики, радикальном повышении эффективности и качества подготовки специалистов, т.е. подготовки кадров с новым типом мышления, соответствующим требованиям постиндустриального общества [13].

В результате достижения этой цели в обществе должны быть обеспечены массовая компьютерная грамотность и формирование новой информационной культуры мышления путем индивидуализации образования. Действительно, рынок труда ставит специалистов в конкурентные отношения друг к друг/. Поэтому только отличная профессиональная подготовка, глубокие теоретические знания и практические навыки позволят им хорошо ориентироваться и успешно решать свои жизненные проблемы в сложных рыночных условиях.

С целью улучшения организации и повышения эффективности работ по созданию и внедрению новых технологий обучения в высшей школе в приказе Госкомитета РФ от 4 ноября 1994г. N 1071 среди прочих были определены следующие задачи [77]:

• анализ мировых тенденций и прогнозирование перспектив развития новых, в том числе информационных, технологий обучения, научное руководство фундаментальными и прикладными исследованиями в этой области,

• координация работ по созданию программных, информационных и методических средств учебного назначения, в том числе на основе открытых конкурсов (по грантам);

• координация работ по подготовке преподавательских кадров высшей школы в области новых технологии обучения, организация обмена опытом их внедрения в учебном процессе;

• координация работ по международному сотрудничеству в области новых технологий обучения, в том числе со странами СНГ.

Качественно новые возможности самоподготовки и совершенствования профессиональных знаний предоставляют новые информационные технологии обучения на расстоянии (дистанционное образование) с использованием локальных и распределенных сетей, аудиогра-фики, видеокассет, телевизионного кабельного и спутникового видео-вещания.

Предполагается, что одним из ведущих элементов организационной инфраструктуры высшей школы должны стать центры тестирования знаний. Современное тестирование - это информационная технология для контроля уровня получаемых знаний, объединяющая новые технические и программные средства и традиционные способы методического обеспечения учебного процесса. Преимущество такой технологии контроля уровня подготовки состоит в более объективной аттестации и сертификации знаний, уменьшении влияния субъективного фактора при контроле знаний, обеспечении единства требований к уровню знаний. С этой целью предполагается внедрение государственных информационных технологий тестирования и создание на территории России разветвленной сети центров тестирования и сертификации высшего образования, а также разработка тестов, научных основ, методов и средств для аттестации и сертификации знаний абитуриентов, студентов и специалистов [13, 46].

Контроль и оценка знаний - важные элементы процесса обучения. Они отражаются во всем методическом обеспечении учебного процесса, а также в специальных контрольно-оценочных материалах (контрольных работах, тестах, экзаменационных билетах) [88].

В научной литературе и периодике уделяется достаточно большое внимание вопросам контроля и оценки знаний [1, 5,8,13,14,16,26,29,31,39,40,41,42,43,46,47,60,66,74, 75,77,78,81,84,86,94, 95,101,102,104,106,110,112,121,127,128,133,134 и др.]. Специалистами выделяются следующие преимущества тестового контроля знаний по сравнению с традиционными формами [50,121,128]

• объективность оценки - независимо от симпатий и антипатий преподавателя,

• позитивное стимулирующее воздействие на познавательную деятельность студента;

• возможность существенно снизить напряженность между преподавателем и студентом, а также снять эмоциональную (стрессовую) нагрузку на преподавателя и студента;

• быстрота контроля знаний студентов - одновременное тести рование всей группы;

• широкий охват материала - в гест включаются вопросы по всем пройденным темам,

• методическая основа для интеграции дисциплин - междисциплинарные тесты, тесты по спецпредмету;

• невозможность пользоваться шпаргалкой;

• необходимость для студентов запоминать не только тему в целом, но и многие детали, которые при обычной подготовке ускользают от внимания,

• ориентированность на современные технические средства, на использование в среде автоматизированных обучающих и контролирующих систем;

• универсальность, охват всех стадий процесса обучения - тесты применяются при аттестации (промежуточной и итоговой), для обучения, самоконтроля и самоподготовки.

Таким образом, использование и широкое применение тестовых систем обусловлено рядом причин. И прежде всего необходимостью повысить качество контроля знаний, а следовательно, и уровень обу-ченности (подготовленности) специалиста.

Однако, нам не известны исследования, посвященные сравнительному (количественному) анализу эксплуатационных характеристик различных систем тестирования. Нам также не встречались работы, связанные с построением шкалы оценок в системах тестирования и контроля качества сформированной шкалы.

Цель настоящей работы - анализ систем тестирования и разработка рекомендаций по совершенствованию процесса их создания и применения

Для достижения поставленной цели на основе исследования сложившейся практики в изучаемой предметной области необходимо было решить следующие задачи;

1) исследовать существующие подходы к созданию тестовых систем,

2) разработать рекомендации по совершенствованию процесса создания тестов;

3) провести содержательный анализ эксплуатационных характеристик автоматизированных систем тестирования;

4) определить перечень функций, реализуемых существующими системами тестирования;

5) количественно оценить степень соответствия той или иной системы требованиям пользователя к функциональной полноте; проранжи-ровать тестовые системы по критерию функциональной полноты; оценить степень взаимосвязи между тестовыми системами по функциональным операциям;

6) рассмотреть существующие подходы к построению шкалы оценок в тестовых системах; оценить возможность применения статистического подхода к построению шкалы оценок и к контролю качества используемой шкалы.

В качестве объекта исследования выбраны системы тестирования как. инструмент управления учебным процессом в вузе.

В результате исследования получены новые прикладные и теоретические результаты На защиту выносятся:

• результаты исследования процесса разработки тестовых систем, позволившие выработать рекомендации по его совершенствова нию, в частности сформулировать предложения по выбору количества вариантов ответов на задания закрытой формы,

• результаты содержательного и формализованного анализа компьютерных систем тестирования, позволившие впервые выявить полный перечень функциональных операций, выполняемых наиболее распространенными автоматизированными тестовыми системами;

• результаты сравнительного анализа систем тестирования по критерию функциональной полноты, впервые позволившие количественно оценить степень взаимосвязи между системами тестирования по функциональным операциям, проранжировать тестовые системы по критерию функциональной полноты,

• построенная с использованием методов непараметрической статистики шкала оценок для системы тестирования и результаты количественного (математико-статистического) анализа качества построенной шкалы.

Новыми являются а) сформированный в процессе содержательного и количественного (формализованного) анализа полный перечень функций, реализуемых наиболее распространенными тестовыми системами, а также предложения по составу обязательных функциональных операций; б) результаты оценки функциональной полноты автоматизированных тестовых систем, позволившие систематизировать сведения о функциональной полноте существующих тестовых систем и количественно оценивать степень соответствия тестовой системы требованиям пользователя к функциональной попноте; в) полученные количественные оценки степени взаимосвязи между системами тестирования и рассчитанные ранги тестовых систем по критерию функциональной полноты, использование которых позволяет формировать группы тестовых систем, имеющих одинаковую функциональную полноту, сопоставлять их цены и другие характеристики; г) предложения по выбору количества вариантов ответов на задания закрытой формы, при использовании которых заметно снижается вероятность случайного угадывания правильного ответа; д) разработанные алгоритмы создания тестовой системы и схемы функционирования автоматизированной тестовой системы, система тестов по информатике; е) построенная с использованием методов непараметрической статистики шкала оценок для конкретной системы тестирования и результаты контроля качества построенной шкалы, также базирующиеся на применении математико-статистического инструментария.

Теоретической и методологической основой исследования явились труды российских и зарубежных ученых по рассматриваемой проблеме, материалы конференций и совещаний, статьи в сборниках научных трудов и периодической печати по проблемам, относящимся к теме исследования, большой теоретический и прикладной материал вузов, научно-исследовательских и проектных институтов, данные проведенных экспериментальных исследований. В качестве инструментария для решения поставленных задач использовались теория баз данных, теория экспертных оценок, метод формализованного анализа информационных характеристик объекта управления, алгоритм сравнения сложных систем по критерию функциональной полноты, а также современные программные средства

Внедрение тестовых систем позволяет повысить качество контрольных мероприятий, снизить долю субъективизма в процессе контроля знаний, сократить время для проведения зачетных занятий, повысить заинтересованность студентов в результатах обучения, осуществить на практике принцип единства требований к уровню знаний

• результаты исследования подтвердили целесообразность применения статистического подхода для построения шкалы оценок и контроля ее качества в любых системах тестирования.

Таким образом, использование тестовых систем на практике позволяет повысить качество контрольных мероприятий, снизить долю субъективизма, сократить время для проведения зачетных занятий, по высить заинтересованность студентов в результатах обучения, осуще ствить на практике принцип единства требований к уровню знаний.

Заключение

В диссертационной работе дано новое решение актуальной для вузов задачи. В процессе содержательного и количественного анализа тестов и тестовых систем разработаны и реализованы рекомендации по совершенствованию процессов их создания и применения.

1. Аванесов B.C. Форма тестовых заданий; Учебное пособие. М.; Исследовательский центр проблем качества подготовки специалистов, 1991.

2. Айнштейн В., Гольцова И. Об адекватности экзаменационных оценок // Высшее образование в России М , 1993. сентябрь. № 3. с. 40 42.

3. Аллахвердиева Д. Опыт применения тестов для дидактической экс пертизы обучения // Высшее образование в России. М., 1993. июль,- №2. с. 102 104.

4. Борисов И. Маленький тест лучше большого экзамена Н Современ ное образование, 1998. №2(12). - с. 3.

5. Браун Р., Мэзон Р., Фламгольц Э. и др. Исследование операций, в 2-х томах. Т. 2. Модели и применения. Пер. с англ. / Под ред. Дж. Моуде-ра, С. Элмаграби. М. Мир, 1981. 677 с.

6. Власов В Точные методы в организации обучения // Высшее образование в России М , 1993 - декабрь - № 4. - с 103-108

7. Волкова В.Н , Денисов А А. Основы теории систем и системного анализа СПб Издательство СПбГТУ, 1997 - 510 с.

8. Вопросы комплексного использования ВТ в образовании; С6 научн тр Свердловск; Свердловский пединститут, 1981 - 138 с.

9. Вычислительная математика и программирование: Сб. научн. трудов М.: МГПИ им Ленина, 1983. - 136 с

10. Герасимова И.А. Статистическое изучение качества подготовки специалистов с высшим образованием. Автореферат диссертации на соискание ученой степени кандидата экономических наук: 08.00,11 статистика. - Ростов-на-Дону, 1990.

11. Горохов Ю., Жевнов И., Иванников А. О главных направлениях и задачах информатизации высшей школы // Высшее образование в России. М., 1994. - март. - № 1. - с. 20-29.

12. Государственный образовательный стандарт РФ: Проект. Система образования Высшее профессиональное образование. Общие тре бования 1 сентября 1993 г // Высшее образование в России, М , 1993 - №3.-с. 125-129

13. Денисов А.А., Копесников Д.И, Теория бопьших систем управления Учебное пособие для вузов, Л. Энергоиздат, Ленинградское отделение, 1982 - 288 с.

14. Довгялло A M , Ю|.ценко F.J1. Обучающие системы нового поколения //Управляющие системы и машины. 198В ~ № 1 - с 83-86

15. Документация к тестовой системе «Экзамен-зачет» (Of ЭУ, Одесса).

16. Документация к системе «Компьютерные тесты » («Кобби», Москва)

17. Долженко О В., Шатуновский В.Л. Современные методы и технология обучения в техническом вузе: Метод, пособие. М : Высшая школа, 1990.

18. Долятовский В.А. Кибернетика и управление в экономике, Ростов-на-Дону, 1968

19. Житомирский В Г., Суханова О ТО Математические методы и про граммные средства построения шкалы для оценки знаний по математике // Вопросы комплексного использования ВТ в образовании Сб научн. тр Свердловск: Свердловский пединститут, 1981 о 120-136.

20. Жук И А Методология построения и разработка контрольно-обучающей системы для приобретения знаний Автореферат диссертации на соискание ученой степени кандидата экономических наук 08.00.13 Москва, 1993,

21. Зиновьева В Усвоение и контроль знаний // Высшее образование в России. М„ 1993 - сентябрь. - № 3. - с 154-158

22. Иванова Е, Орехов В., Ольховский А. Технология РИТМ в многоуровневой системе высшего образования // Высшее образование в России. М., 1993. - декабрь, - № 4. - с 115-119

23. Изучение путей интенсификации учебно-воспитательного процесса на основе сочетания новых и традиционных форм обучения. Тезисы межвуз. научн.-метод, конф. Гомель-Москва, 1990.

24. Использование тестов и средств автоматизации тестирования в системе экономического образования // Библиография Межвузовской конференции. М., Финансовая академия при правительстве РФ, 1995 - 22 с.

25. Калугян К.Х. Разработка тестов по информатике // Организационно-экономические проблемы проектирования и применения информационных систем: Материалы ill Межгосударственной научно-практической конференции / РГЭА Ростов на-Дону, 1998 (в печати).

26. Карпов В В , Катханов М.Н,, Свиридова Н.П Методология подготовки преподавателей на ФПКГ1 при многоступенчатой системе обучения в вузе. М.: Исследовательский центр проблем качества подготовки специалистов, 1992. - 140 с

27. Касимов Р., Зинченко В., Грандберг И. Рейтинговый контроль И Высшее образование в России. М., 1994. - июнь. - № 2 - с 83-91

28. Квалиметрия человека и образования : методология и практика Сб научн. статей. Книга 1 Часть 1. / Под ред. Субетто А.И., Селезневой Н А. М.: Исследовательский центр проблем качества подготовки специалистов, 1993. - 189 с

29. Квалиметрия человека и образования : методология и практика. Сб. научн. статей. Книга 1. Часть 2. / Под ред. Субетто А.И., Селезневой Н А. • М. Исследовательский центр проблем качества подготовки специалистов, 1993, 238 с.

30. Квалиметрия человека и образования ; методология и практика. Сб. научн статей Книга 2. Часть 2. / Под ред. Субетто А.И , Селезневой Н А М. Исследовательский центр проблем качества подготовки специалистов, 1993. -219 с.

31. Квалиметрия человека и образования методология и практика Сб научн. статей Книга 2 Часть 3. / Под ред. Субетто А.И., Селезневой Н А, М, Исследовательский центр проблем качества подготовки специалистов, 1993 163 с.

32. Квалиметрия человека и образования : методология и практика Сб научн статей. Часть 3 / Под ред. Субетто А.И., Селезневой Н А М Исследовательский центр проблем качества подготовки специалистов, 1994 225 с.

33. Концепция информатизации высшего образования РФ, М Госкоми"! ет РФ по высшему образованию, 1994 -100 с.

34. Концепция развития высшего технического образования в Российской Федерации II Высшее образование в России. М., 1993 - июпь- № 2. с, 37-56.

35. Кочетков А, Панкратова Г., Шумянкова Н. Контроль знаний студентов опыт организации //Социально-политическийжурнал. М , 1994- № 9-10. с. 91-96,

36. Кочетков А , Панкратова Г , Шумянкова Н. Контроль знаний студентов опыт организации //Социально-политический журнал. М , 1994- № 11-12 с, 113-123

37. Кочетков А , Панкратова I , Шумянкова Н. Контроль знаний студентов. опыт организации //Социально-политический журнал, М , 1995- № 1 с. 97-105

38. Краизмер Л П. Кибернетика. М.; Экономика, 1977 - 280 с.

39. Кривошеев А, Проблемы развития компьютерных обучающих программ // Высшее образование в России, М., 1994. - сентябрь - № 3- с. 12 20

40. Кунц Г, О' Доннел С Управление системный и ситуационный ана пиз управленческих функций Том 1 / Пер с ангп ~ М Прогресс, 1981, -496 с

41. Лаптев О Н Итеплектуальная система генерации контрольных заданий // Обучающие и контролирующие системы на базе ЭВМ. Сб. научн. трудов. Свердловск: Свердл Гос педагогич ин-т, 1982, - с 12-18.

42. Лаптев О Н. Машинная проверка ответов в автоматизированной системе контроля // Вопросы комплексного использования ВТ в образовании. Сб. научн. тр, Свердловск: Свердловский пединститут, 1981. - с 79-99.

43. Лаптев О Н. Об одном подходе к машинной генерации и проверке контрольных заданий // Вычислительная математика и программирование. Вып 9: Сб научн. тр М. МГПИ им Ленина, 19981 - с 13ОИ 45,

44. Лаптев О Н. Основные принципы генерации вариантов контрольных заданий // Проблемы комплексного использования ВТ в народном образовании; Сб. Научн. тр. Свердловск Свердловский пединститут, 1980. - с. 76-92.

45. Литвак Б Г. Экспертная информация: методы получения и анализа -М. Радио и связь, 1982.

46. Лобанов В , Иванников А., Богатырь Б Концепция информатизации высшего образования России // Высшее образование в России М , 1994 ■• март » № 1 с 30-52.

47. Макарова И В Преподаватель модель деятельности и аттестация М Исследовательский центр проблем качества подготовки специалистов, 1992 148 с

48. Маслова Н П. Качество и эффективность значение и взаимосвязь, взаимообусловленность этих экономических критериев // Блокнот агитатора, 1982.

49. Маслова Н П Статистика качества работы Ростов-на-Дону: РИНХ, 1987

50. Маслова Н П Статистическая теория предмет , содержание, структура и перспективы. Монография. Ростов на-Дону; РГЭА, 1995 -263 с

51. Математика в социологии: Моделирование и обработка информа ции Пер. с англ. / Под ред. А.Г. Аганбегяна, ФМ Бородкина М Мир, 1977 - 552 с

52. Международная стандартная классификация образования (МСКО) ЮНЕСКО / Перев. И В. Волковой. М.: Исследовательский центр проблем качества подготовки специалистов, 1998. - 61 с

53. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М Исследовательский центр проблем качества подготовки специалистов, 1995

54. Миллер Д Экзамен деловая игра // Высшее образование в России - М., 1994. - март. - № 1. - с. 118-120

55. Миркин В.Г Анализ качественных признаков М Статистика, 1976

56. Мирошникова М.М. Дидактические основы организации приема в вузы с использованием ЭВМ. М : Высшая школа, 1988 - 127 с.

57. Молчанов И Н. Статистическое изучение и прогнозирование развития высшего образования в переходный период. Автореферат дис сертации на соискание ученой степени кандидата экономических наук; 08.00 11 статистика. Ростов-на-Дону, 1996.

58. Мороз В.К Оценка эффективности и научно-технического уровня экспертно обучающих систем // Разработка и применение экспертно-обучающих систем Сб научн. тр. М. НИИВШ, 1989 - с 145-148

59. Новые информационные технологии в учебном процессе // Материалы научно-методической конференции. Минск: Bf ЭУ, 1994 ■ 148 с.

60. Новое качество высшего образования в современной России. Кон цептуально программный подход / Под ред Селезневой НА, Субетто Л И М Исследовательский центр проблем качества подготовки специалистов, 1995. 199 с

61. О компьютерной технологии оценки качества знаний / В Куклин, В. Мешалкин, В Наводнов, Б Савельев // Высшее образование в России. М„ 1993. - сентябрь. № 3. с 146-153

62. О разработке и внедрении новых технологий обучения в высшей школе. Приказ Госкомитета РФ по высшему образованию от 4 ноября 1994 г. № 1071 // Бюллетень Госкомитета РФ по высшему образованию. М., 1995. - № 1. - с. 23-25.

63. Об утверждении государственного образовательною стандарта высшего профессионального образования; Постановление Правительства РФ от 12 августа 1994 г. №940 // Высшее образование в России. М., 1994. - сентябрь. - № 3. - с. 113-119.

64. Обучающие и контролирующие системы на базе ЭВМ Сб научн трудов. ~ Свердловск Свердл. Гос. педагогич. ин-т, 1982, 135 с.

65. Овчарова Л.Н Статистическое изучение использования специалистов с высшим образованием (региональный аспект); Автореферат диссертации на соискание ученой степени кандидата экономических наук 08.00.11 статистика. Ростов-на-Дону, 1989 24 с

66. Околелов О Современные технологии обучения в вузе сущность, принципы проектирования, тенденции развития // Высшее образование в России, М., 1994 - июнь - № 2, - с 45-50.

67. Пальян 3 О. Статистическая оценка качества вузовской подготовки экономических кадров Автореферат диссертации на соискание ученой степени кандидата экономических наук: 08 00 11 статистика Киев, 1986 20 с

68. Пасхин Е Н , Митин АИ Автоматизированная система обучения ЭКСТЕРН. М. Издательство МГУ, 1985 144 с

69. Поддубная Л.М., Татур А О., Мельникова М Б. Задания в тестовой форме для автоматизированного контроля знаний студентов Учебное пособие М , 1995, - 80 с.

70. Попов Е. Система РИТМ: принципы, организация, методическое содержание И Высшее образование в России М , 1993 - декабрь № 4.-с. 109-115

71. Портных В. Научно-методическая триада // Высшее образование в России. М., 1994. - сентябрь. -- № 3. - с 38-45.

72. Применение ЭВМ в научных исследованиях и управлении Инструментальные средства АСНИ и АСУ Межвуз. сб. научн тр. / Под ред Петрова О М М : ВЗМИ, 1986 168 с

73. Проблемы информатизации высшей школы Я Бюллетень Госкомвуза России и ГосНИИ системной интеграции. М , 1995. - № 2.

74. Проблемы комплексного использования ВТ в народном образовании: Сб. научн тр. Свердловск: Свердловский пединститут, 1980 -125 с.

75. Пробпемы оптимизации учебного процесса в вузе / Под ред, Колесникова ЮС, Иноземцева А.А. и др Ростов-на-Дону: Издательство РГУ, 1981. -264 с.

76. Проблемы оценки качества подготовки специалистов на базе компьютерных технологий: Сб научн статей. / Под общ. ред. Селезневой НА, Субетто А.И., Прудковского Ь А. М., Исследовательский центр проблем качества подготовки специалистов, 1993. - 204 с. /

77. Программно-инструментальные и программно-педагогические средства автоматизированного контроля знаний студентов: Каталог. М Исследовательский центр проблем качества подготовки специалистов, 1995 - 6 с

78. Радченко А.И Основы государственного и муниципального управления; системный подход: Учебник, • Ростов-на-Дону АООТ «Ростовиздат», 1997. 448 с.

79. Разработка и применение экспертно обучающих систем Сб. научн тр.-М. НИИВШ, 1989 154 с.

80. Рейтинг в вузе: закономерное и случайное; Беседа за «круглым столом» в Московской сельскохозяйственной академии им. К Тимирязева // Высшее образование в России, ~ М., 1994. сентябрь, » № 3. - с. 66-70.

81. Рябых С, Невзоров В. Учим учиться // Высшее образование в России. М., 1994. - сентябрь. - № 3. - с 49-52.

82. Савельев А. Технологии обучения и их роль в реформе высшего образования // Высшее образование в России. М., 1994 - июнь. -№ 2. - с. 29-37.

83. Садовничий В. Компьютерная система проверки знаний студентов // Высшее образование в России М , 1994 - сентябрь № 3. с20.26.

84. Сантурова С М Менеджмент в образовании: теория и практика. М. Исследовательский центр проблем качества подготовки специа листов, 1993 66 с.

85. Свиридов А.П. Основы статистической теории обучения и контроля знаний. М. Высшая школа, 1981.

86. Северцев В А, Оценке знаний объективность // Вестник высшей школы. 1982 - №2 - с 3-9.

87. Хотяшов Э Н Проектирование машинной обработки экономической информации •■• М.: Финансы и статистика, 1987.

88. Хубаев Г.Н. Количественные методы принятия решений Ростов на-Дону, 1975 32 сЛ

89. Хубаев! Н. Компьютерные сети в системе оценки качества подготовки специалистов // Высшее образование в России -1995- N3

90. Хубаев ГН. Математико-статистические методы при сравнительной экспертной оценке качества сложных программных средств Н Оценка качества программных средств Тез. докл. Всесоюзн, науч.-техн. семинара. Калинин, 1990.

91. Хубаев Г.Н. Математические методы и вычислительная техника в задачах упорядочения объектов и при отборе значимых факторов. ■ Ростов-на-Дону, 1975.

92. Хубаев Г Н Математические модели и методы анализа качества продукции Ростов-на-Дону, 1974. - 37 с

93. Хубаев Г.Н Методика анализа предметной области // Компьютеризация информационных процессов в управлении народным хозяйством; Тез. докл. Всесоюзн. науч конф. (Москва, 3 5 октября 1988г.).- М„ 1988.

94. Хубаев Г Н, Методика сравнительной экспертной оценки качества сложных программных средств // Анализ и проектирование систем управления производством; Межвуз сб.- Н-Новгород; Изд-во Н-Новгор ун-та, 1992.

95. Хубаев Г.Н. Методика экономической оценки потребительского качества программных средств // Программные продукты и системы (SOFTWARE and SYSTEMS), 1995.-N1.

96. Хубаев Г.Н О построении шкалы оценок в системах тестирования // Высшее образование в России. 1996 - N1.

97. Хубаев Г Н Об экономической эффективности применения банков данных //Анализ и моделирование экономических процессов -Горький Изд~во Горьковск. госуд. ун-та, 1989.

98. Хубаев Г.Н Контроль качества шкалы оценок в системах тестирования: критерии, модели, алгоритмы // Проблемы стабилизации эко номики России и региона Сб статей. Владикавказ: СО Госуниверситет, 1998. - с 38-52.

99. Хубаев Г.Н. Статистический подход к построению шкалы оценок в компьютерных системах тестирования // Информационные системы, экономика, управление трудом и производством Выл 1 Ученые записки / РГЭА Ростов на-Дону, 1995 с. 69-74

100. Хубаев Г Н Экономика проектирования и применения банков данных ~ Ростов-на-Дону: Изд-во РИСХМ, 1989 69с.

101. Хубаев ПН. Экономическая оценка потребительского качества программных средств. Ростов-на-Дону: РИНХ, 1994.™ 15с

102. Хубаев Г.Н Экономическая оценка потребительского качества программных средств: Текст лекций / РГЭА. Ростов-на-Дону, 1997 94 с.

103. Мельникова М Ь. Разработка педагогических тестов на основе со временных математических моделей: Учебное пособие. • М. Исследовательский центр проблем качества подготовки специалистов,1995. -32 с.

104. Эддоус М , Отэнсфилд Р Методы принятия решений / Пер. с англ. под ред. ИИ. Елисеевой. М.; Аудит, ЮНИТИ, 1997 - 590 с.

105. Adelman I. A I inear Programming Model of Educational Planning, The Theory and Design of Economic Development Johns Hopkins Univ Press, Baltimore, 1966.

106. Blaug M. The Private and Social Returns of Investment in Education, Great Britain, Human Resources, 1967

107. Correa H. Quantitative Methodologies of Educational Planning, International Textbook Co , N Y., 1969.

108. Gale D, Roid H,, Haladina M. A Technology for Test Hem Writting. N-Y, Academic Press, 1982.

109. Kershaw J.A, McKean R.N Systens Analysis and Education, The Rand Corporation, Santa Monica, Calif, 1959

110. Levine S N. Economic Growth and the Development of Educational Facilities, Socio-Eco Plan. Sci., 1967

111. Mood A M. Macro-Analysis of Hie American Educational System, Operation Res., 1969144 finbergen J t Bos H O A Planning Model for Educational Requirementsof Economic Gr owth, OECD, Paris, 1964

112. Примеры тестов различных форм

113. Пример теста закрытой формы1. Выберите ПРАВИЛЬНЫЙ ответ

114. Командный файл это файл, содержащий1. последовательность команд операционной системы2. системную информацию3. последовательность команд языка программирования4. последовательность двоичных кодов

115. Выберите НЕПРАВИЛЬНЫЙ ответ

116. Базовая модель ПЭВМ состоит из1. дисплея2. сетевого адаптера3. клавиатуры4. системного блока

117. Пример теста открытой формы1. Дополните

118. Максимальная длина командной строки операционной системы должна быть не более символов

119. Продолжение приложения А Пример теста на соответствие1. Установите соответствие

120. Системное программное обеспече- А. Табличные процессоры ние

121. Прикладное программное обеспе- В Операционные системы чение

122. Системы программирования С. Утилиты1. D. Паскаль

123. Пример теста на уста?;с,птг>ние правильной последовательности

124. Установите правильную последовательность

125. Этапы решения задачи на ЭВМ1. Компановка1. Проектирование1. Кодирование1. Тестирование

126. Постановка задачи Документирование

127. Тестовые задания по информатике1. План теста

128. Изучаемое содержимое Количество Номера вовопросов просов1. Архитектура ЭВМ 6 3,76-80

129. Дополнительные устрой- 8 6-8,81,85-88ства ЭВМ

130. Алгоритмы, программы, 12 9 13,25,42,911. ПО, ППП 92,95,110111,116

131. Файлы, каталоги 14 1 15-24, 35-36, 84,94

132. Текстовые редакторы 7 27-28, 96-99,107

133. Электронные таблицы 8 29-32, 100-102,108

134. Базы данных, СУБД 8 33-34, 37-38,103.105, 1091. Сети 3 39, 89-90

135. Оболочки, ОС 42 14, 26, 40-41,43.64, 66-75, 93,106, 112-115

136. Прочие вопросы 1 1-2, 4-5, 65, 8283

137. Устройство "мышь" предназначено для1 вывода информации на экран2 обеспечения ввода информации в ЭВМ +3. включения ЭВМ в сеть4 вывода рисунков на экран

138. Устройствами вывода информации из ЭВМ являются 1 мышь2. сканнер3, клавиатура 4 графопостроитепь +1. Принтер предназначен для1, вывода информации на бумагу +2. ввода информации в ЭВМ3. вывода чертежа на бумагу4, хранения в ЭВМ данных и программ

139. А последовательность команд, реализующая апгоритм решения некоторой задачи +

140. Расширение файла "ехе" означает, что это файл1. командный2. системный3. двоичный4. выполняемый +

141. Текстовые файлы имеют расширение1. bak2.txt +3. tex4. ttx

142. К программам-архиваторам относятся1. raj2. ajr3. arj +4. zip26 Norton Commander это1 интегрированный пакет прикладных программ2. сервисная программа3. системная оболочка пользователя +4. графическая оболочка пользователя

143. Текстовый редактор это программное средство для1. обеспечения работы с таблицами чисел2 управления большими информационными массивами 3. хранения и использования данных4 создания и редактирования текстов +1.TS

144. Ж I ( •)',(: I ОПЫИ p(V>,rll! )fip ОТНОСИТСЯ К1 прикладным tifioi р(щмнм общего назначения + 7, графическим оболочкам пользователя3. дисковым операционным системам4. прикладным программам специального назначения

145. Т абличный процессор это программное средство для1. обеспечения работы с таблицами данных +2. управления большими информационными массивами3. хранения и использования данных4. создания и редактирования текстов

146. Основными элементом электронной таблицы является1. поле2. клетка +3. формула4. данное

147. Адрес в электронной таблице указывает координату1. клетки в электронной таблице +2. клетки в блоке клеток3. данного в строке4. данного в колонке

148. Команда очистки клетки или блока клеток в электронной таблице1.удалить 2. заменить3. функции4. бланк +33. База данных это1. набор взаимосвязанных модулей, обеспечивающих автоматизацию многих видов деятельности