автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Метод и алгоритмы измерения латентных переменных при управлении в образовательных системах

На правах рукописи Поздняков Станислав Александрович ¿ЙЗс^

МЕТОД И АЛГОРИТМЫ ИЗМЕРЕНИЯ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ ПРИ УПРАВЛЕНИИ В ОБРАЗОВАТЕЛЬНЫХ СИСТЕМАХ

Специальность 05.13.10 - Управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

о

г, О

Курск - 2009

003468294

Работа выполнена в ГОУ ВПО «Славянский-на-Кубани государственный педагогический институт» на кафедре информатики и методики преподавания информатики

Научный руководитель доктор технических наук, профессор

Маслак Анатолий Андреевич

Официальные оппоненты: доктор технических наук, профессор,

заслуженный деятель науки РФ Сизов Александр Семенович

кандидат технических наук, доцент Горбатенко Светлана Александровна

Ведущая организация: ГОУ ВПО Воронежский государственный

технический университет, г. Воронеж

Защита состоится «18» мая 2009 в 16:00 на заседании совета по защите докторских и кандидатских диссертаций Д 212.105.02 при Курском государственном техническом университете по адресу: 305040, г. Курск, ул. 50 лет Октября, 94 (конференц-зал)

С диссертацией можно ознакомиться в библиотеке университета.

Отзывы на автореферат в двух экземплярах, заверенных печатью, просьба направлять по адресу: 305040, г. Курск, ул. 50 лет Октября, 94, КурскГТУ, ученому секретарю совета по защите докторских и кандидатских диссертаций Д 212.105.02.

Автореферат разослан «16» апреля 2009 г.

Ученый секретарь совета по защите докторских * и кандидатских диссертаций Д 212.105.02 ТитенкоЕ.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Важнейшей фазой управления в образовательных системах в интересах повышения эффективности управленческих решений является обеспечение объективного контроля уровня подготовленности учащихся на всех этапах. Большинство переменных в этих системах являются латентными, т.е. непосредственно не измеряемыми. Такие переменные определяются операционально, т.е. через набор индикаторных переменных, которые можно непосредственно оценить в «логитах» -принятой единице измерения латентных переменных. Точное измерение латентных переменных необходимо для последующего принятия эффективных управленческих решений, составления приказов, прогнозирования качества квалификации выпускаемого специалиста.

Существующие методы измерения интегральных показателей характеризуются двумя существенными недостатками, препятствующими применению данных методов для управления в социально-экономических системах:

1) привнесение субъективности при экспертизе;

2) отсутствие линейной шкалы измерения.

Поэтому актуальным является применение теории измерения латентных переменных как информационной основы для управления в образовательных системах.

Измерение латентных переменных крайне важно для практики управления, поскольку позволяет в целом оценить уровень функционирования того или иного объекта, провести сравнительный анализ и мониторинг объектов, что, в свою очередь, актуально для выработки оптимальных управленческих решений. Более того, без объективных оценок латентных переменных невозможно установление закономерностей в социально-экономических системах образовательного и иного профиля.

Использование теории измерения латентных переменных является одним из перспективных направлений в создании системы контроля уровня подготовленности учащихся. На основе объективной оценки уровня подготовленности учащихся, вырабатываются управляющие воздействия индивидуальной и коллективной направленности, корректируется учебный процесс, выявляются «узкие места» в изложении материала, формализуются межпредметные связи, оценивается эффективность образовательных инноваций и т.д.

Однако в настоящее время существует противоречие между применяемым на практике субъективным контролем уровня подготовленности учащихся и возможностью получения точных объективных оценок латентных переменных.

Разрешение этого противоречия возможно путем применения методов теории измерения латентных переменных в образовательных системах.

Объектом исследования является система оценки уровня подготовленности учащихся в образовательных системах.

Предметом исследования являются средства измерения латентных переменных на линейной шкале в задачах контроля уровня подготовленности учащихся в образовательных системах.

Целью работы является повышение точности измерения на линейной шкале латентных переменных в образовательных системах.

Определение цели исследования обусловило необходимость решения основной научной задачи - разработать в рамках теории латентных переменных метод и средства управления качеством подготовленности учащихся, декомпозированной на частные:

1. Провести анализ существующих методов оценивания латентных переменных и обосновать наиболее адекватный метод для исследования точности измерения латентных переменных.

2. Разработать метод генерирования наборов данных, позволяющий оценить точность определения латентных переменных.

3. Разработать программно-алгоритмические средства для исследования точности измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных.

4. Разработать структурно-функциональную организацию системы управления качеством тестовых заданий и тестов на основе данной системы для типовых дисциплин.

Методы исследования. Для решения поставленных задач использовались методы системного анализа, теории управления сложными информационными системами, теории алгоритмов, имитационного моделирования, математического планирования эксперимента, прикладной математической статистики.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной и выносимые на защиту:

1. Метод и алгоритм генерирования значений индикаторных переменных в соответствие с моделью Раша, отличающийся тем, что на основе имитационного моделирования формируется полный класс экспериментальных ситуаций и позволяющий исследовать точность измерения латентных переменных методами имитационного моделирования.

2. Средства оценки точности измерений латентных переменных в зависимости от числа дихотомических индикаторных переменных, отличающиеся тем, что точность измерений оценивается на линейной шкале, что позволяет расширить область применения разработанных средств в различных ситуациях.

3. Структурно-функциональная организация системы управления качеством тестовых заданий, отличающаяся введением блока поиска заданий не соответствующих модели Раша и блока анализа качества дистракторов, позволяющая создавать тесты для контроля уровня подготовленности студентов на линейной шкале.

Практическая значимость полученных в диссертации результатов состоит в следующем:

1. Разработаны алгоритм и программа генерирования наборов дихотомических индикаторных переменных, которые используются доя исследования точности измерения латентных переменных в различных экспериментальных ситуациях и на их основе получены практически значимые рекомендации по выбору числа дихотомических индикаторных переменных для составления тестов.

2. Показано применение разработанных алгоритмических и программных средств для составления тестов, обеспечивающих требуемую точность вычислений, что создает основу для контроля уровня подготовленности учащихся в образовательных системах.

3. Определена точность измерения уровня подготовленности учащихся в зависимости от числа тестовых заданий.

Апробация работы. Основные идеи и результаты исследования были получены при выполнении следующих грантов:

- тематического плана НИР Федерального агентства по образованию «Разработка актуальных проблем измерения латентных переменных в образовании» (2005-2009гг).

- гранта РГНФ 06-02-38203а/Ю «Разработка методики измерения латентной переменной «уровень жизни населения» и мониторинг по этому показателю регионов Южного федерального округа» (2006-2007гг);

- гранта РФФИ 05-06-80110 «Разработка методики измерения на интервальной шкале латентных переменных в социально-экономических системах» (2005-2007гг).

- гранта РГНФ 08-06-00694а «Разработка методики анализа качества опросников для измерения латентных переменных» (2008-2009гг);

- фанта РФФИ 08-06-00321 «Разработка методики измерения и мониторинга на интервальной шкале уровня развития сферы образования в регионах Российской Федерации» (2008-201 Огг).

Основные идеи и результаты были представлены на следующих конференциях и семинарах: VI, VII, VIII, IX, X, XI всероссийских (с международным участием) научно-практических конференциях «Теория и практика измерения латентных переменных в образовании и других социально-экономических системах» (Славянск-на-Кубани, 2004 - 2009 гг.); XV, XVI международных научно-практических конференциях «Информационные технологии в образовании» (Москва, 2005, 2006 гг.); XV международной студенческой школе-семинаре «Новые информационные технологии» (г. Судак, Украина, 2007 г.); Региональной научно-практической конференции молодых учёных «Развитие социально-культурной сферы юга России» (г. Краснодар, 2008 г.); научной конференции «Психологическое здоровье нации: региональный аспект» (Краснодар, 2006 г.).

Внедрение работы. Славянский-на-Кубани государственный педагогический институт, Курский государственный технический университет, отдел мониторинга и образовательной политики Магнитогорского государственного университета, НИИ мониторинга качества образования г. Йошкар-Ола.

Награжден дипломом III степени за третье место конкурса «Лучшая научная и творческая работа аспирантов и соискателей Краснодарского края» в 2008 году. Награжден дипломом I степени за первое место в конкурсе докладов среди участников региональной научно-практической конференции молодых ученых «Развитие социально-культурной сферы юга России» в 2008 году.

Публикации. Результаты, полученные в диссертационной работе, опубликованы в 14 печатных работах, в том числе в изданиях по перечню ВАК РФ 3 [1,2,3].

Личный вклад автора. Все научные положения и результаты диссертационной работы получены автором самостоятельно. В работах [6, 8, 9, 12], опубликованных в соавторстве, автором представлен алгоритм генерирования значений индикаторных переменных, а также представлена модель точности измерений латентных переменных в зависимости от числа дихотомических индикаторных переменных [5].

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, приложения и библиографического списка включающего 130 наименований. Объем диссертации 133 страниц машинописного текста, 53 рисунка и 20 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цели и задачи исследования, используемые методы, научная новизна, практическая ценность, апробация и реализация результатов работы, перечень основных положений, выносимых на защиту, структура и объем диссертационной работы.

В первом разделе в рамках решения первой частной задачи диссертационного исследования проанализированы существующие методы оценивания интегральных показателей (латентных переменных) в образовательных системах, такие как - классическая теория тестирования, метод взвешивания, измерения на основе моделей Бирнбаума. Сравнение перечисленных методов с измерением интегральных показателей на основе модели Раша выявило основные ограничения существующих методов измерений в образовательных системах, а именно:

- оценка уровня подготовленности учащегося зависит от сложности

теста;

- оценка трудности тестового задания зависит от уровня подготовленности учащихся;

- шкала измерения уровня подготовленности является нелинейной, что в значительной степени затрудняет применение статистических методов анализа, предполагающих линейную шкалу измерения, для принятия адекватных управленческих решений;

• дисперсия оценки уровня подготовленности наименьшая в середине диапазона измерения и наибольшая по краям, что противоречит логике построения доверительных интервалов.

На практике для описания результатов тестирования нередко используется двухпараметрическая модель Бирнбаума. Однако модель Бирнбаума обладает существенным недостатком. В качестве примера рассмотрим две характеристические кривые с трудностью 1 и 2 логит соответственно (на рисунках 1 и 2).

Уровень подготовленности учащихся (логоты)

Рис. 1. Характеристические кривые 2 тестовых заданий с трудностью 1 и 2 логит соответственно, описываемых моделью Раша.

1,00|.................................................................................................................^—

0,001- I -ж»—-1-1-1-1-1

-2-1 0 12 3 4 5

Уровень подготовленности учащихся (лоты)

Рис. 2. Характеристические кривые 2 тестовых заданий с трудностью 1 и 2 логит соответственно, описываемых моделью Бирнбаума.

На рисунке 1 эти характеристические кривые описываются моделью Раша. Отличительная особенность этой модели состоит в том, что характеристические кривые тестовых заданий имеют одну и ту же дифференцирующую способность и поэтому не пересекаются на всей их протяженности. Это обусловливает, что ранжирование тестовых заданий по трудности одно и то же при любом уровне подготовленности учащегося. На рисунке 2 представлены характеристические кривые тестовых заданий с теми же уровнями трудности (1 и 2 логит), описываемых двухпараметрической моделью Бирнбаума. В данном случае второе тестовое задание обладает большей дифференцирующей способностью, чем первое. Однако здесь проявляется принципиальный недостаток модели Бирнбаума - размывается сущность понятия «трудность» тестового задания. Так, для учащихся с уровнем подготовленности от -2 логит до +2 логит первое задание является более легким, чем второе, однако, для учащихся с уровнем подготовленности от +2 логит до +5 логит второе задание является более легким чем первое. Этот принципиальный недостаток и не позволяет использовать модель Бирнбаума для измерения латентных переменных. Напротив, важным достоинством модели Раша является то, что она опирается на четкие и конструктивные понятия «уровень подготовленности учащегося» и «трудность тестового задания».

Математическая модель измерения на основе модели Раша имеет вид

где Р{Ху =/|Д, ¿У - вероятность правильного ответа /-ого учащегося с уровнем подготовленности Д нау'-е задание трудности 8Г

Сущность предлагаемого подхода заключается в том, что модель Раша задает линейную шкалу измерений. Так, вероятность правильного ответа зависит только от разности Д, - ф, а не от конкретных значений этих параметров. Таким образом, равным приращениям латентной переменной соответствуют равные приращения на шкале измерений, т.е. шкала измерений является линейной.

Во втором разделе в рамках решения второй частной задачи диссертационного исследования разработан метод генерирования наборов данных для исследования точности измерения латентных переменных на основе модели Раша для случая дихотомических индикаторных переменных. Результаты тестирования, представленные в виде дихотомических индикаторных переменных, - наиболее типовой способ контроля уровня подготовленности учащихся в образовательных системах, что упрощает автоматизацию расчетов, не сужая при этом спектра применения результатов исследования точности измерения латентных переменных для образовательных систем.

Начало

^«^об исследуемых объеюах -*—1

Тнет

Ввод числа объектов

Диапазон варьирования

Уровень дискретизации ' 'М-

Стандартная информация

-«^обисследуемых 1шдикаторах_1>^—-—" "

1 нет

Ввод число индикаторов

Диапазон варьирования

Уровень дискретизации

1

Вычисление матрицы -1-

Матрица данных соответствующих модели Раша

| Сохранение сгенерированных данных | Конец ^

Рис. 4. Блок-схема алгоритма генерирования матриц тестирования на основе дихотомических индикаторных переменных в соответствие с моделью

измерения Раша.

Метод генерирования наборов данных для исследования точности измерения латентных переменных на основе модели Раша реализовывается в 6 этапов.

Этап 0. Выбирается управляющий фактор, влияющий на точность измерения латентной переменной.

Этап 1. Задаются уровни подготовленности учащегося Д и уровень трудности задания Sj. Значения уровней подготовленности учащихся и трудности заданий находятся в диапазоне [—4; +4] логит, а шаг изменения уровней - 0,5 логита. Для всех возможных комбинаций уровней подготовленности и трудности заданий вычисляются элементы матрицы вероятностей правильного ответа (ри).

¿P-S,)

PijZ= l + ei/}'~S)) ' (2)

где Д - уровень подготовленности i-oro учащегося в логитах, <5, - трудность j-ого задания в логитах.

Этап 2. На основе вычисленных вероятностей генерируются результаты тестирования

x,j = Int (p,j+I- Rnd), (3)

где Int (Y) - целая часть числа Y, Rnd - случайное число, равномерно распределенное на отрезке [0; 1]. Предложенное выражение (3) для получения модельных результатов тестирования обеспечивает совместимость набора дихотомических индикаторных переменных, что в свою очередь говорит о соответствии данного набора дихотомических индикаторных переменных модели Раша.

Этап 3. Далее сгенерированные данные используются для вычисления оценок Д и ¿j истинных значений латентных переменных Д и Sj Для нахождения оценок использовалась лицензионная диалоговая система RUMM (Rasch Unidimensional Measurement Models). Происходит проверка соответствия данного набора дихотомических индикаторных переменных модели Раша.

Этап 4. Поскольку шкала измерения является интервальной, то наибольший интерес представляет абсолютная ошибка измерений. Вычисляется абсолютная погрешность вычисления латентной переменной Д,

Ai = ¡ 5j - Sj I (4)

Этап 5. На основании полученной абсолютной погрешности, с помощью статистических методов (дисперсионный анализ) - определяется значимость управляющего фактора (на основании уровня значимости управляющего фактора - если менее 0,05 - значим, иначе - незначим).

Этап 6. Делается вывод относительно значимости управляющего фактора для точности измерения латентной переменной в соответствие с моделью Раша.

Для автоматизации расчетов и повышения эффективности проведения операции генерирования для решения данной задачи, - была разработана программа генерирования наборов дихотомических индикаторных переменных - RMD_Simulation v.2.0 (Rasch Model Data Simulation), главное

Рис. 3. Главное окно программы RMD_Simulation v.2.0 (Rasch Model Data Simulation).

Преимуществом данной программы является возможность варьирования следующих параметров наборов индикаторных переменных:

несколько параметров:

- интервалы варьирования значений латентной переменной у исследуемых объектов и индикаторных переменных;

- шаг варьирования значений латентной переменной;

- количество индикаторных переменных;

- число повторений уровней латентной переменной у объектов и индикаторных переменных;

- число градаций индикаторных переменных.

Блок-схема алгоритма генерирования наборов дихотомических индикаторных переменных в соответствие с моделью измерения Раша представлена на рисунке 4. Особенность алгоритма определяется введением пороговой проверки вероятности правильного ответа с текущим сгенерированным случайным значением. Это позволяет генерировать не детерминированные модельные наборы данных для последующих вычислений.

В третьем разделе в рамках решения третьей частной задачи диссертационного исследования исследована точность измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных и разработаны соответствующие алгоритмы. Для генерации

экспериментальных данных - использовался метод генерирования, описанный во втором разделе диссертационного исследования.

Для оценивания выбран наиболее важный управляющий фактор, влияющий на точность измерения латентных переменных на основе модели Раша- число дихотомических индикаторных переменных.

Для практического использования необходимо установить количественную зависимость абсолютной ошибки измерения от числа индикаторных переменных и подготовить соответствующие рекомендации.

Данные имитационного эксперимента генерировались в соответствии с моделью Раша по выражению (2).

В соответствии с этапами 3, 4 и 5 ранее рассмотренного метода на основе матрицы модельных результатов тестирования размерностью тхп выполнены вычисления абсолютных погрешностей вычисления для ситуаций с числом тестовых заданий 10, 30, 50 и 100 соответственно на основе разработанных алгоритмов.

Вычисления показали:

- точность измерения уровня подготовленности практически одна и та же на всем диапазоне варьирования латентной переменной;

- с увеличением числа тестовых заданий средняя абсолютная ошибка уменьшается. Так, при 10 тестовых заданиях максимальное значение абсолютной ошибки превышает 2,5 логита, при 100 тестовых заданиях абсолютная ошибка не превышает 0,5 логита, то есть порога чувствительности;

- с увеличением числа тестовых заданий дисперсия ошибок оценки одного и того же уровня подготовленности уменьшается.

Для решения поставленной задачи исследуется влияние следующих управляющих факторов:

1) фактор А - уровень подготовленности учащихся - варьируется на 17 уровнях (-4,0 логита, -3,5 логита,..., +4 логита);

2) фактор В - число тестовых заданий - варьируется на 10 уровнях (10 заданий, 20 заданий, ...,100 заданий).

Для оценки среднего квадрата ошибки (который необходим для проверки значимости всех источников дисперсии) вводится фактор-повторение, а именно каждый используемый в имитационном эксперименте уровень знания повторяется три раза.

Откликом F является абсолютная ошибка измерения.

Для обработки результатов Д и 8j исследования использовался дисперсионный анализ, реализованный в диалоговой системе SPSS.

Поскольку оценки параметров $ и <5; вычисляются по одному и тому же алгоритму, то в таблице 1 приведены результаты анализа только для оценок уровня подготовленности учащихся. Далее дается интерпретация полученных результатов:

1) фактор А незначим (Рэксп = 0,67 < Ргабл = 1,66). Это означает, что точность измерения не зависит от уровня подготовленности учащихся в

Таблица 1

Анализ точности измерения в зависимости от уровня подготовленности учащихся и числа тестовых заданий

Источник Сумма Степени Средний Рэксп Ртабл Р

дисперсии квадратов свободы квадрат а=0,05

Фактор Л 1,354 16 0,085 0,67 1,66 0,822

Фактор В 13,090 9 1,454 11,54* 1,90 <0,001

Взаимодействие АВ 17,620 144 0,122 0,97 1,28 0,576

Ошибка 42,859 340 0,126

Всего 74,923 509

диапазоне от -4 до +4 логит;

2) фактор В, как и следовало ожидать, оказался значим (Рэксп = 11,54 > Ртабл = 1,90). Это означает, что точность измерения зависит от числа индикаторных переменных в диапазоне от 10 до 100;

3) взаимодействие А В незначимо (Рэксп = 0,97 < Ртабл = 1,28). Это означает, что эффект фактора В не зависит от того, на каком уровне находится фактор А, то есть влияние числа тестовых заданий на точность измерения одно и то же для всех исследуемых уровней подготовленности учащихся.

Для повышения точности оценок имитационный эксперимент был повторен 5 раз. Полученные усредненные ошибки измерения уровня подготовленности приведены в таблице 2. Необходимо отметить, что усреднение возможно потому, что точность измерения одна и та же на всем диапазоне варьирования уровня подготовленности.

Таблица 2

Абсолютная ошибка измерения уровня подготовленности учащихся в зависимости от числа тестовых заданий

Нисло заданий 10 20 30 40 50 60 70 80 90 100

¡Абсолютная |ошибка, логиты 0,85 0,60 0,52 0,42 0,37 0,34 0,34 0,31 0,29 0,30

Из таблицы 2 видно, что средняя абсолютная ошибка измерений при 30 тестовых заданиях равна 0,5 логита. Эта точность является,приемлемой для многих практических применений. С увеличением числа тестовых заданий абсолютная ошибка, естественно, уменьшается, однако даже при 100 тестовых заданиях не становится меньшей 0,3 логита. Точность же в 0,3 логита достигается при 80 тестовых заданиях.

Полученные результаты по измерению дихотомических переменных позволили обосновать практически значимый диапазон числа тестовых заданий для обеспечения требуемой точности измерений:

- для достижения точности в 0,5 логита достаточно 30 дихотомических тестовых заданий;

- дальнейшее увеличение числа тестовых заданий незначительно увеличивает точность измерения. Так, даже 100 заданий не обеспечивают точность измерения большую, чем 0,3 логита.

В четвертом разделе в рамках решения четвертой частной задачи проведена разработка структурно-функциональной системы управления качеством тестовых заданий в соответствии с моделью Раша и выработаны практические рекомендаций по управлению качеством тестовых заданий.

В соответствие с измерением латентных переменах в образовательных системах разработана структурно-функциональная организация системы управления качеством тестовых заданий (рис. 5), содержащая шесть уровней обработки. Отличительная особенность данной структурно-функциональной организации связана с введением блока поиска заданий, не соответствующих модели Раша и блока анализа качества дистракторов, что позволяет создавать тесты для контроля уровня подготовленности студентов на линейной шкале.

Рис. 5. Структурно-функциональная организация системы управления качеством тестовых заданий.

Рассмотрены две практические задачи - разработка теста для измерения уровня подготовленности студентов (на примере учебной дисциплины «Педагогика») и анализ качества тестовых заданий с выбором одного правильного ответа (на примере учебной дисциплины «Компьютерные сети».

Исследования проводились в типовом ГОУ ВПО «ГОУ ВПО Славянский-на-Кубани государственный педагогический институт».

Разработка и управление качеством тестовых заданий по дисциплине «Педагогика»

В соответствии с государственным образовательным стандартом и рабочей программой по учебному предмету «Педагогика» был разработан тест, состоящий из 97 тестовых заданий с выбором одного правильного ответа из четырех.

В соответствие с блоками структурно-функциональной организации системы для управления качеством тестовых заданий, после исключения 34

тестовых заданий был получен набор тестовых заданий, состоящий из 63 заданий требуемого качества.

Разработанный набор тестовых заданий позволяет эффективно оценивать уровень подготовленности студентов на всем диапазоне варьирования латентной переменной. Оценки уровня подготовленности студентов оказались распределенными по нормальному закону: относительно небольшое число студентов с низким и высоким уровнем подготовленности и относительно много студентов со средним уровнем подготовленности. Средний уровень подготовленности студентов на 0,99 логит превышает среднюю трудность теста, это говорит о том, что «средний студент» имеет больше шансов (на 25%) ответить правильно на разработанный тест, чем неправильно.

Управление качеством теста по дисциплине «Компьютерные сети»

При управлении качеством набора тестовых заданий наиболее эффективным является управление качеством дистракторов - неправильных вариантов ответа на тестовое задание. Один из возможных способов управления качеством дистракторов состоит в следующем. В идеальном случае неправильные варианты ответов (дистраеторы) должны выбираться с одинаковой частотой. Теоретически это означает, что можно сравнить эмпирическое распределение дистракторов с равномерным с помощью критерия Хи-квадрат. Однако на практике это, как правило, невозможно из-за небольшого числа наблюдений: для применения критерия Хи-квадрат требуется не менее пяти наблюдений в каждой ячейке. Кроме того, этот анализ неэффективен из-за того, что не позволяет проследить, как меняется частота выбора дистракторов в зависимости от уровня подготовленности студентов.

Поэтому более эффективным является анализ поведения дистракторов в зависимости от уровня подготовленности студентов. В качестве примеров на рисунке 4 показано поведение типовых видов дистракторов.

Из рисунка 4 видно, что вероятность выбора правильного варианта ответа (1) увеличивается с увеличением уровня подготовленности студентов, причем увеличивается в соответствии с моделью измерения - вероятность выбора правильного ответа близка к характеристической кривой.

Вероятность выбора неправильного варианта ответа (3) очень высока у студентов с низким уровнем подготовленности и равна нулю у студентов с высоким уровнем подготовленности.

Неправильный вариант ответа (2) выбирают только студенты с низким уровнем знания.

Вероятность выбора неправильного варианта ответа (вариант 4) увеличивается с увеличением уровня знания студентов. Из рисунка 4 видно, что студенты со средним уровнем знания выбирают неправильный вариант ответа (4) чаще, чем студенты с низким уровнем подготовленности. Более того, студенты с высоким уровнем подготовленности выбирают этот неправильный вариант ответа чаще, чем студенты со средним уровнем подготовленности. Естественно, такие тестовые задания нуждаются в пересмотре - корректировке набора дистракторов.

Проведенный статистический анализ показал, что управление качеством

1.0-т

в

е

Уровень подготовленности (лотиты)

Рис. 4. Вероятность выбора правильного и неправильного вариантов ответов тестового задания № 28 в зависимости от уровня подготовленности студентов

теста в парадигме измерения латентных переменных на линейной интервальной шкале позволяет дать многоаспектную содержательную оценку теста и получить важные результаты для управления его качеством.

Заключение содержит основные результаты работы.

В Приложении представлены наборы тестовых заданий по дисциплинам «Педагогика» и «Компьютерные сети».

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В диссертационном исследовании решена научно-техническая задача по разработке теоретических основ измерения на линейной шкале и управления качеством подготовленности учащихся и получены следующие результаты:

1. Проведен анализ существующих методов оценивания латентных переменных. На основе полученных результатов для проведения исследования выбрана парадигма измерения латентных переменных на основе модели Раша.

2. Разработан метод генерирования наборов данных позволяющий оценить точность определения латентных переменных и разработаны алгоритм и соответствующая ему программа дня имитационного моделирования матриц тестирования. Разработанная программа используется для оценки точности измерения латентных переменных.

3. На основе разработанных алгоритмов исследована точность измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных. Выполнен анализ точности измерения в зависимости от уровня подготовленности учащихся и числа тестовых заданий. Обоснован практически значимый диапазон количества тестовых заданий для составления тестов, нижнюю границу которого следует отсчитывать от 30 заданий, а верхнюю границу не рационально повышать

свыше 80 заданий. Так, при увеличении числа тестовых заданий от 30 до 40 абсолютная ошибка измерения уровня подготовленности учащихся уменьшается на 19%.

4. Реализована структурно-функциональная организация системы управления качеством тестовых заданий и выполнен анализ поведения дистракторов в зависимости от уровня подготовленности студентов. Новизна разработанной структурно-функциональной организации связана с введением блока поиска заданий, не соответствующих модели Раша и блока анализа качества дистракторов, что позволяет повысить точность измерения уровня подготовленности. Блок анализа качества дистракторов позволяет уменьшить вероятность случайного выбора правильного ответа, что важно для объективного контроля уровня подготовленности студентов.

Основное содержание диссертации изложено в следующих работах:

Публикации в изданиях, рекомендованных ВАК Министерства образования и науки РФ:

1. Маслак A.A., Поздняков С.А. Модель Раша для проверки качества измерения толерантности [Текст] / С.А. Поздняков И Социология: методология, методы, математическое моделирование. - Москва: Институт социологии РАН, 2008. № 26. - С. 87-105.

2. Маслак A.A., Поздняков С.А. Методика измерения и мониторинга уровня жизни населения в субъектах Южного федерального округа Российской Федерации // Вестник Воронежского государственного технического университета, 2008. Т. 4. № 10. - С. 159 - 171.

3. Маслак A.A., Поздняков С.А., Данилов A.A. Измерение уровня развития инфраструктуры сферы образования в субъектах РФ» [Текст] // «Высшее образование в России». 2008. № 2. - С. 102-108.

Монография:

4. Поздняков С.А. Исследование точности измерения латнтных переменных в образовании [Текст] / С.А. Поздняков - Славянск-на-Кубани: Издательский центр СГПИ, 2007. -118 с.

Статьи и материалы конференций:

5. Анисимова Т.С., Маслак A.A., Осипов С.А., Поздняков С.А. Исследование точности измерения латентной переменной в зависимости от числа градаций индикаторных переменных [Текст] / С.А. Поздняков // Теория и практика измерения латентных переменных в образовании: Материалы Седьмой всероссийской (с международным участием) научно-практической конференции. - Славянск-на-Кубани: Издательский центр СГПИ, 2005.-С. 12-22.

6. Анисимова Т.С., Маслак A.A., Поздняков С.А. Исследование точности измерения латентной переменной в зависимости от коррелированное™ индикаторных переменных [Текст] / С.А. Поздняков // Вестник СГПИ, 2005, № 1 (1), с. 126-136.

7. Виноградов Б.В., Маслак A.A., Поздняков С.А., Гайворонская О.В. Измерение на линейной шкале качества выпускной квалификационной работы по истории [Текст] / С.А. Поздняков // Теория и практика измерения латентных переменных в образовании: Материалы 9-ой научно-практической конференции. - Славянск-на-Кубани: Издательский центр СГПИ, 2007. - С. 26-42.

8. Маслак A.A., Осипов С.А., Поздняков С.А. Разработка программы имитационного моделирования для исследования точности измерения латентных переменных [Текст] / С.А. Поздняков // XV конференция-выставка «Информационные технологии в образовании»: Сборник трудов участников конференции. Ч. IV. - М.: БИТ про, 2005. - С. 238 - 239.

9. Маслак A.A., Поздняков С.А., Дейнека В.В. Формализация и анализ индикаторных переменных при измерении латентной переменной [Текст] / С.А. Поздняков // Материалы 8-ой научно-практической конференции «Теория и практика измерения латентных переменных в образовании». -Славянск-на-Кубани: Издательский центр СГПИ, 2006. - С. 40-45.

10. Маслак A.A., Поздняков С.А., Кукса O.A. Измерение на линейной шкале уровня физической подготовки студентов [Текст] / С.А. Поздняков // Вестник СГПИ, 2006, № 1 (2), с. 151-164.

12. Осипов С.А., Маслак A.A., Поздняков С.А. Имитационное моделирование ситуаций возникающих при измерении латентных переменных в социально-экономических системах [Текст] / С.А. Поздняков // Вестник СГПИ, 2005, № 1 (1), с. 117-125.

13. Поздняков С.А. Исследование точности измерения латентной переменной в зависимости от вида распределения индикаторных переменных [Текст] / С.А. Поздняков // Сборник материалов научно-практической конференции преподавателей и студентов. Вып. 6. - Славянск-на-Кубани: Издательский центр СГПИ, 2007. - С. 213 - 217.

14. Поздняков С.А., Маслак A.A. Генерирование наборов данных на основе модели измерения RMD Simulation v.2.0 (Rasch Model Data Simulation) // Программное и информационное обеспечение областей народного хозяйства (Образование). 2009. № 2. С. 71.

В работах, написанных в соавторстве, автору принадлежат основные идеи и построения.

Соискатель

С.А. Поздняков

Подписано в печать 27.03.2009 г. Формат 60x84/16. Бумага типографская. Гарнтура «Тайме». Объем 1 усл.п.л. Тираж 100 экз. Заказ № 21.

Отпечатано в Издательском центре С ГНИ 353563 г. Славянск-на-Кубани ул. Коммунистическая, 2

Введение.

ГЛАВА 1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ ИЗМЕРЕНИЯ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ В ОБРАЗОВАТЕЛЬНЫХ СИСТЕМАХ

1.1. Классическая теория тестирования.

1.2. Метод взвешивания.

1.3. Измерения на основе модели Раша.

1.4. Измерения на основе моделей Бирнбаума.

1.5. Свойства измерений на основе модели Раша.

1.6. Сравнение моделей Раша и Бирнбаума.

1.7. Выводы.

ГЛАВА 2. РАЗРАБОТКА МЕТОДА ГЕНЕРИРОВАНИЯ НАБОРОВ ДАННЫХ ДЛЯ ОЦЕНКИ ТОЧНОСТИ ИЗМЕРЕНИЯ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ.

2.1. Метод генерирования наборов данных для исследования точности 34 измерения латентных переменных на основе модели Раша

2.2. Моделирование экспериментальных ситуаций с дихотомическими независимыми индикаторными переменными.

2.3. Моделирование экспериментальных ситуаций с дихотомическими коррелированными индикаторными переменными.

2.4. Моделирование экспериментальных ситуаций наборов независимых индикаторных переменных с несколькими градациями.

2.5. Программа генерирования наборов данных, позволяющая оценить точность определения латентных переменных.

2.6. Выводы.

ГЛАВА 3. ПРОГРАММНО-АЛГОРИТМИЧЕСКИЕ СРЕДСТВА ДЛЯ ИССЛЕДОВАНИЯ ТОЧНОСТИ ИЗМЕРЕНИЯ ЛАТЕНТНЫХ

ПЕРЕМЕННЫХ В ЗАВИСИМОСТИ ОТ ЧИСЛА ДИХОТОМИЧЕСКИХ

ИНДИКАТОРНЫХ ПЕРЕМЕННЫХ.

3.1. Метод анализа влияния числа дихотомических индикаторных переменных на точность измерения латентных переменны.

3.2. Метод анализа влияния числа градаций индикаторных переменных б точность измерения латентных переменных.

3.3. Выводы.

ГЛАВА 4. АНАЛИЗ КАЧЕСТВА ТЕСТОВ ДЛЯ ИЗМЕРЕНИЯ УРОВНЯ ПОДГОТОВЛЕННОСТИ УЧАЩИХСЯ.

4.1. Структурно-функциональная организация системы управления качеством тестовых заданий.

4.2. Точность измерения уровня подготовленности студентов по учебной дисциплине «Педагогика».

4.3. Точность измерения уровня подготовленности студентов по учебной дисциплине «Компьютерные сети».

4.4. Выводы.

Актуальность темы. Важнейшей фазой управления в образовательных системах в интересах повышения эффективности управленческих решений является обеспечение объективного контроля уровня подготовленности учащихся на всех этапах. Большинство переменных в этих системах являются латентными, т.е. непосредственно не измеряемыми. Такие переменные определяются операционально, т.е. через набор индикаторных переменных, которые можно непосредственно оценить в «логитах» — принятой единице измерения латентных переменных. Точное измерение латентных переменных необходимо для последующего принятия эффективных управленческих решений, составления приказов, прогнозирования качества квалификации выпускаемого специалиста.

Существуют различные способы конструирования обобщенных или интегральных показателей. Самый простой — это формирование интегрального показателя на основе «взвешивания» отдельных показателей. Недостаток этого метода состоит в том, что он крайне субъективен: веса отдельным показателям присваиваются экспертом или группой экспертов. Одним из наиболее известных и распространенных сегодня методов оценивания латентных переменных является индексный метод, позволяющий интегрировать разнородные показатели. Примером является индекс развития человеческого потенциала (ИРЧП) в странах мира.

Существующие методы измерения интегральных показателей характеризуются двумя существенными недостатками, препятствующими применению данных методов для управления в социально-экономических системах:

1) привнесение субъективности при экспертизе;

2) отсутствие линейной шкалы измерения.

Поэтому актуальным является применение теории измерения латентных переменных как информационной основы для управления в образовательных системах.

Измерение латентных переменных крайне важно для практики управления, поскольку позволяет в целом оценить уровень функционирования того или иного объекта, провести сравнительный анализ и мониторинг объектов, что, в свою очередь, актуально для выработки оптимальных управленческих решений. Более того, без объективных оценок латентных переменных невозможно установление закономерностей в социально-экономических системах образовательного и иного профиля [50, 64, 75, 78].

Использование теории измерения латентных переменных является одним из перспективных направлений в создании системы контроля уровня подготовленности учащихся. На основе объективной оценки уровня подготовленности учащихся вырабатываются управляющие воздействия индивидуальной и коллективной направленности, корректируется учебный процесс, выявляются «узкие места» в изложении материала, формализуются межпредметные связи, оценивается эффективность образовательных инноваций и т.д.

Однако в настоящее время существует противоречие между применяемым на практике субъективным контролем уровня подготовленности учащихся и возможностью получения точных объективных оценок латентных переменных.

Разрешение этого противоречия возможно путем применения методов теории измерения латентных переменных в образовательных системах.

Создание системы тестирования на основе модели Раша является одним из перспективнейших направлений в создании системы оценки качества образования. Использование современных компьютерных технологий и методов математического моделирования и статистики дает возможность провести количественный анализ эффективности систем тестирования.

В настоящее время подобные системы в России практически не разработаны, а использование иностранных разработок затруднено. Поэтому разработка такой системы оценивания является сегодня актуальным направлением исследований.

Объектом исследования является система оценки уровня подготовленности учащихся в образовательных системах.

Предметом исследования являются средства измерения латентных переменных на линейной шкале в задачах контроля уровня подготовленности учащихся в образовательных системах.

Целью работы является повышение точности измерения на линейной шкале латентных переменных в образовательных системах.

Определение цели исследования обусловило необходимость решения основной научной задачи - разработать в рамках теории латентных переменных метод и средства управления качеством подготовленности учащихся, декомпозированной на частные:

1. Провести анализ существующих методов оценивания латентных переменных и обосновать наиболее адекватный метод для исследования точности измерения латентных переменных.

2. Разработать метод генерирования наборов данных, позволяющий оценить точность определения латентных переменных.

3. Разработать программно-алгоритмические средства для исследования точности измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных.

4. Разработать структурно-функциональную организацию системы управления качеством тестовых заданий и тестов на основе данной системы для типовых дисциплин.

Методы исследования. Для решения поставленных задач использовались методы системного анализа, теории управления сложными информационными системами, теории алгоритмов, имитационного моделирования, математического планирования эксперимента, прикладной математической статистики.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной и выносимые на защиту:

1. Метод и алгоритм генерирования значений индикаторных переменных в соответствие с моделью Раша, отличающийся тем, что на основе имитационного моделирования формируется полный класс экспериментальных ситуаций и позволяющий исследовать точность измерения латентных переменных методами имитационного моделирования.

2. Средства оценки точности измерений латентных переменных в зависимости от числа дихотомических индикаторных переменных, отличающиеся тем, что точность измерений оценивается на линейной шкале, что позволяет расширить область применения разработанных средств в различных ситуациях.

3. Структурно-функциональная организация системы управления качеством тестовых заданий, отличающаяся введением блока поиска заданий, не соответствующих модели Раша, и блока анализа качества дистракторов, позволяющая создавать тесты для контроля уровня подготовленности студентов на линейной шкале.

Практическая значимость полученных в диссертации результатов состоит в следующем:

1. Разработаны алгоритм и программа генерирования наборов дихотомических индикаторных переменных, которые используются для исследования точности измерения латентных переменных в различных экспериментальных ситуациях, и на их основе получены практически значимые рекомендации по выбору числа дихотомических индикаторных переменных для составления тестов.

2. Показано применение разработанных алгоритмических и программных средств для составления тестов, обеспечивающих требуемую точность вычислений, что создает основу для контроля уровня подготовленности учащихся в образовательных системах.

3. Определена точность измерения уровня подготовленности учащихся в зависимости от числа тестовых заданий.

Апробация работы. Основные идеи и результаты исследования были получены при выполнении следующих грантов:

- тематического плана НИР Федерального агентства по образованию «Разработка актуальных проблем измерения латентных переменных в образовании» (2005-2009 гг).

- гранта РГНФ 06-02-38203а/Ю «Разработка методики измерения латентной переменной «уровень жизни населения» и мониторинг по этому показателю регионов Южного федерального округа» (2006-2007 гг);

- гранта РФФИ 05-06-80110 «Разработка методики измерения на интервальной шкале латентных переменных в социально-экономических системах» (2005-2007 гг).

- гранта РГНФ 08-06-00694а «Разработка методики анализа качества опросников для измерения латентных переменных» (2008-2009 гг);

- гранта РФФИ 08-06-00321 «Разработка методики измерения и мониторинга на интервальной шкале уровня развития сферы образования в регионах Российской Федерации» (2008-2010 гг).

Основные идеи и результаты были представлены на следующих конференциях и семинарах: VI, VII, VIII, IX, X, XI всероссийских (с международным участием) научно-практических конференциях «Теория и практика измерения латентных переменных в образовании и других социально-экономических системах» (Славянск-на-Кубани, 2004 — 2009 гг.); XV, XVI международных научно-практических конференциях «Информационные технологии в образовании» (Москва, 2005, 2006 гг.); XV международной студенческой школе-семинаре «Новые информационные технологии» (г. Судак, Украина, 2007 г.); региональной научно-практической конференции молодых учёных «Развитие социально-культурной сферы юга России» (г. Краснодар, 2008 г.); научной конференции «Психологическое здоровье нации: региональный аспект» (Краснодар, 2006 г.).

Внедрение работы. Славянский-на-Кубани государственный педагогический институт, Курский государственный технический университет, лаборатория тестирования Магнитогорского государственного университета, НИИ мониторинга качества образования г. Йошкар-Ола.

Награжден дипломом III степени за третье место конкурса «Лучшая научная и творческая работа аспирантов и соискателей Краснодарского края» в 2008 году. Награжден дипломом I степени за первое место в конкурсе докладов среди участников региональной научно-практической конференции молодых ученых «Развитие социально-культурной сферы юга России» в 2008 году.

Публикации. Результаты, полученные в диссертационной работе, опубликованы в 14 печатных работах, в том числе в изданиях по перечню ВАК РФ 3 [52, 53, 54].

4.4. Выводы

1. Реализована структурно-функциональная организация системы управления качеством тестовых заданий, и выполнен анализ поведения дистракторов в зависимости от уровня подготовленности студентов.

2. Разработанная структурно-функциональная организация обладает существенной новизной: введен блок поиска заданий, не соответствующих модели Раша, и блок анализа качества дистракторов, что позволяет повысить точность измерения уровня подготовленности.

3. Анализ качества дистракторов позволяет уменьшить вероятность случайного выбора правильного ответа, что важно для объективного контроля уровня подготовленности студентов.

119

Заключение

В диссертационном исследовании решена научно-техническая задача по разработке теоретических основ измерения на линейной шкале и управления качеством подготовленности учащихся и получены следующие результаты:

1. Проведен анализ существующих методов оценивания латентных переменных. На основе полученных результатов для проведения исследования выбрана парадигма измерения латентных переменных на основе модели Раша.

2. Разработан метод генерирования наборов данных, позволяющий оценить точность определения латентных переменных, и разработаны алгоритм и соответствующая ему программа для имитационного моделирования матриц тестирования. Разработанная программа используется для оценки точности измерения латентных переменных.

3. На основе разработанных алгоритмов исследована точность измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных. Выполнен анализ точности измерения в зависимости от уровня подготовленности учащихся и числа тестовых заданий. Обоснован практически значимый диапазон количества тестовых заданий для составления тестов, нижнюю границу которого следует отсчитывать от 30 заданий, а верхнюю границу не рационально повышать свыше 80 заданий. Так, при увеличении числа тестовых заданий от 30 до 40 абсолютная ошибка измерения уровня подготовленности учащихся уменьшается на 19 %.

Реализована структурно-функциональная организация системы управления качеством тестовых заданий, и выполнен анализ поведения дистракторов в зависимости от уровня подготовленности студентов. Новизна разработанной структурно-функциональной организации связана с введением блока поиска заданий, не соответствующих модели Раша, и блока анализа качества дистракторов, что позволяет повысить точность измерения уровня подготовленности. Блок анализа качества дистракторов позволяет уменьшить вероятность случайного выбора правильного ответа, что важно для объективного контроля уровня подготовленности студентов.

1. Аванесов B.C. Композиция тестовых заданий: Учебная книга. — 3 изд., доп. М.: Центр тестирования, 2002. - 240 с.

2. Аванесов B.C. Форма тестовых заданий: Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. — 2 изд., перераб. и расш. М.: Центр тестирования, 2005. - 156 с.

3. Аванесов B.C., Анисимова Т.С., Маслак А.А., Семенцова О.А., Смирнова Г.И. Педагогические измерения. Тезаурус // Педагогические измерения. 2005. - № 1. - С. 28-32.

4. Алгоритм построения рейтингов. Рейтинг субъектов Российской Федерации по показателям развития образования. Тематическое приложение к журналу «Вестник образования», № 2, Часть 1. Издательство «Просвещение», 2007, с. 23-26.

5. Анисимова Т.С. Измерение латентных переменных в образовании. М.: Исследовательский центр проблем качества подготовки специалистов, 2004. - 148 с.

6. Анисимова Т.С., Маслак А.А. Система измерения латентных переменных: разработка, исследование, применение // Известия Белорусской инженерной академии. № 2 (20) / 1-2005. С. 301 - 314.

7. Анисимова Т.С., Маслак А.А. Статистические аспекты оценки качества тестов // Материалы 3-ей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». — М.: МГУП, 20-21 апреля 2005 г.-С. 7 -9.

8. Анисимова Т.С., Маслак А.А., Осипов С.А. Ранжирование регионов России по уровню успеваемости школьников на основе результатовцентрализованного тестирования в 2003 году // ИТО: Сборник трудов участников конференции. М.: Просвещение, 2003. - 248 с.

9. Анисимова Т.С., Маслак А.А., Осипов С.А., Пушечкин Н.П., Хлебников В.А. Исследование дифференцирующей способности модели Раша на основе имитационного эксперимента // Педагогическая диагностика. -2003.-№1.-С. 103-117.

10. Анисимова Т.С., Маслак А.А., Поздняков С.А. Исследование точности измерения латентной переменной в зависимости от коррелированности индикаторных переменных // Вестник СГПИ, 2005, № 1 (1),с. 126-136.

11. Анисимова Т.С., Маслак А.А., Пушечкин Н.П., Осипов С.А. Выявление статистических взаимосвязей в образовательном процессе // Наука Кубани. 2003. - №2. - С. 10 - 15.

12. Бабанский Ю.К. Оптимизация процесса обучения (Общедидактический аспект). М.: Педагогика, 1977.

13. Белова С.Н. Миссия внутреннего аудита в системе оценивания качества образовательного процесса в вузе // Педагогическое образование и наука. 2008. № 11. С. 65-70.

14. Бойченко М.М. Современная система контроля знаний обучаемых. В кн.: Материалы международной конференции «Динамика процессов в природе, обществе и технике: информационные аспекты», часть I, Таганрог: ТРТУ, 2003, с. 12-13.

15. Болотов В.А., Круглов В.И., Шаулин В.Н., Трифонова О.Д., Соловьев Б.Б. Развитие оценки качества образования. // Оценка качества образования, 2007. № 2. С. 3-8.

16. Булыгин В.Г. Основы автоматизации процесса обучения. — Йошкар-Ола, 2003.

17. Бурмакина В.Ф., Старцев Б.Ю. ИКТ-компетентность и качество образования. // Оценка качества образования, 2007. № 2. С. 71-73.

18. Вальдман И.А. Ключевые аспекты качества образования: обзор международных тенденций. М.: АПКиППРО, 2008. - 48 с.

19. Васильев В.И., Тягунова Т.Н. Теория и практика формирования программно-дидактических тестов. М.: Издательство МЭСИ, 2001. - 130 с.

20. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. - 496 с.

21. Звонников В.И. Измерения и шкалирование в образовании. — М.: Логос, 2006.- 134 с.

22. Звонников В.И. Современные средства оценивания результатов обучения: учеб. Пособие для студ. высш. учеб. заведений / В.И. Звонников, М.Б. Челышкова. М.: Издательский центр «Академия», 2007. — 224 с.

23. Качество общего образования в российской школе: по результатам международных исследований. М.: Логос, 2006.

24. Ким B.C. Коррекция тестовых баллов на угадывание // Педагогические измерения, 2006. №4.

25. Кромер В.В. О многопараметрической оценке уровней подготовленности испытуемых и трудности заданий // Педагогические измерения, 2005. №3. С. 65-72.

26. Кромер В.В. О некоторых вопросах тестовых технологий // Тезисы докладов Второй Всероссийской конференции «Развитие системы тестирования в России», г. Москва 23-24 ноября 2000 г. Ч. 4. М: Прометей, 2000. С. 59-61.

27. Лукьянова Н.А. Динамика коммуникативного пространства образовательных систем // Высшее образование в России. 2006. — № 11. — С. 75-86.

28. Майоров А.Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования). М., 2000. - 352 с.

29. Маркова Е.В., Маслак А.А. Рандомизация и статистический вывод. М.: Финансы и статистика, 1986. — 208 с.

30. Маслак А.А, Осипов С.А., Биянов В.В. Программно-алгоритмическое обеспечение анализа результатов тестирования на основе модели Раша // Сборник трудов XII конференции-выставки "Информационные технологии в образовании". Ч. V. — М.: МИФИ, 2002. — С. 34-35.

31. Маслак А.А. Измерение латентных переменных в образовании и других социально-экономических системах: теория и практика. Славянск-на-Кубани: Изд. центр СГПИ, 2007. - 424 с.

32. Маслак А.А. Критерии оценки качества тестов // Формирование контингента инженерно-технического вуза: мировой опыт и основные тенденции совершенствования. Труды Международного симпозиума. -Томск: Изд-во ТПУ, 2004. С. 58 - 60.

33. Маслак А.А. Основы планирования и анализа сравнительного эксперимента в педагогике и психологии. Курск: РОСИ, 1998. - 167 с.

34. Маслак А.А. Особенности статистического анализа данных мониторинга образовательного процесса // Наука Кубани. 2003. - №2. — С. 16-21.

35. Маслак А.А., Анисимова Т.С. Измерение качества высшего образования в странах мира // Педагогическая диагностика. — 2004. №1. — С. 130- 153.

36. Маслак А.А., Анисимова Т.С., Осипов С.А., Пушечкин Н.П., Хлебников В.А. Исследование дифференцирующей способности модели Раша на основе имитационного эксперимента // Педагогическая диагностика. 2003. -№1. - С. 103-117.

37. Маслак А.А., Анисимова Т.С., Осипов С.А., Хлебников В.А. Исследование смещения оценок уровня знаний в зависимости от сдвига теста // Вопросы тестирования в образовании. — 2003. — №5. — С. 56 70.

38. Маслак А.А., Махненко А.Я., Поздняков С.А. Методика измерения латентных переменных расширение инструментария политэкономических исследований // Экономический вестник Ростовского государственного университета. - 2008. Т. 6. - № 2 - Ч. 3. С. 19-23.

39. Маслак А.А., Поздняков С.А. Методика измерения и мониторинга уровня жизни населения в субъектах Южного федерального округа Российской Федерации // Вестник Воронежского государственного технического университета, 2008. Т. 4. № 10. С. 159-171.

40. Маслак А.А., Поздняков С.А. Модель Раша для проверки качества измерения толерантности // Социология: методология, методы, математическое моделирование. Москва: Институт социологии РАН, 2008. №26.-С. 87-105.

41. Маслак А.А., Поздняков С.А., Данилов А.А. Измерение уровня развития инфраструктуры сферы образования в субъектах РФ // «Высшее образование в России». 2008. № 2. С. 102-108.

42. Маслак А.А., Поздняков С.А., Кукса О.А. Измерение на линейной шкале уровня физической подготовки студентов // Вестник СГПИ, 2006, № 1 (2), с. 151-164.

43. Матвеева О.И. Управление знаниями как технология достижения цели // «Высшее образование в России». 2008. № 9. С. 106-109.

44. Медведенко Н.В., Рубцова С.Ю. Совершенствование контроля знаний и учета успеваемости студентов в контексте Болонского процесса // Высшее образование сегодня. 2008. - № 3. — С. 93-96.

45. Мелик-Гайказян И.В. Исследовательская программа моделирования нелинейной динамики образовательных систем // Труды Института теории образования. Вып. 3. — Томск, 2007.

46. Мелик-Гайказян И.В. Моделирование образовательных систем: исследовательская программа // «Высшее образование в России». 2008. № 9. С. 88-94.

47. Михайлычев Е.А. Дидактическая тестология. М.: Народное образование, 2001. 432 с.

48. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000.- 168 с.

49. Осипов С.А., Маслак А.А., Поздняков С.А. Имитационное моделирование ситуаций возникающих при измерении латентных переменных в социально-экономических системах // Вестник СГПИ, 2005, № 1 (1),с. 117-125.

50. Оценка качества образования: обзор международных подходов и тенденций / Всемирный банк. М., 2005.

51. Пашкова JI.M., Анисимова Т.С., Маслак А.А. Разработка мониторинга здоровья студентов в Славянском филиале АГПИ // Наука Кубани. 2003. - №2. - С. 22 - 26.

52. Поздняков С.А. Исследование точности измерения латнтных переменных в образовании — Славянск-на-Кубани: Издательский центр СГПИ, 2007.-118 с.

53. Поздняков С.А., Маслак А.А. Генерирование наборов данных на основе модели измерения RMD Simulation v.2.0 (Rasch Model Data Simulation) // Программное и информационное обеспечение областей народного хозяйства (Образование). 2009. № 2. С. 71.

54. Регионы России. Социально-экономические показатели. 2004: Р32 Стат.сб. / Росстат. М., 2004. - 966 с.

55. Рогов Е.И. Настольная книга практического психолога: В 2 кн. Кн. 1. М.: ВЛАДОС, 1998. - 384 с.

56. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании. М.: МИФИ, 1995.

57. Сокольская Н.В., Прокопенко М.Н., Прокопенко Ю.А. Существенные факторы, обуславливающие качество знаний студентов // Открытое и дистанционное образование. 2008. - № 4 (32). - С. 24-27.

58. Социальное положение и уровень жизни населения России: Статистический сборник / Госкомстат России. — М., 2001. — 463 с.

59. Степанов П.В. Воспитание толерантности у школьников: теория, методика, диагностика / Под ред. Л.И. Новиковой. М.: АПК и ПРО, 2003. — 84 с.

60. Трофимова Т.Н. Измерение качества образования в школе // Педагогическая диагностика. 2008. - № 3. - С. 141-146.

61. Чекмарева Т.К., Шарай Н.А., Контарь Л.В. Вариативное управление образовательными учреждениями // Педагогическое образование и наука.-2008. № 11. С. 9-17.

62. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Исследовательский центр проблем качества подготовки специалистов, 2001. — 410 с.

63. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002. 432 с.

64. Чмыхова Е.В., Терехин А.Т. Методологические проблемы использования результатов тестирования знаний студентов. // Инновации в образовании, 2008. №6. С. 36-46.

65. Штейнберг В.Э. Дидактические многомерные инструменты: Теория, методика, практика. М.: Народное образование, 2002. 304 с.

66. Andrich D. Advanced Social and Educational Measurement. Perth: Murdoch University, 2001. - 128 p.

67. Andrich D. An elaboration of Guttman scaling with Rasch models of measurement. In N.B. Tuma (Ed.), Sociological methodology, San Francisco: Jossy-Bass, 1985.-p. 33-80.

68. Andrich D. Rasch Models for Development. London: Sage Publications, Inc., 1988. - 94 p.

69. Andrich D. Rasch Models for Measurement. -Newbury Park, CA: Sage, 1988.

70. Berk R.A. Criterion-referenced measurement. The state of art. Baltimore, MD: Johns Hopkins University Press, 1980.

71. Bezruczko N. Rasch Measurement in Health Sciences. Maple Grove, Minnesota: JAM Press, 2005. - 483 p.

72. Bloom B.S. at al. Taxonomy of Educational Objectives: The Classification of educational Goals. Handbook 1. Cognitive Domain. N.-Y., David Mckay Co. 1956.

73. Bond T.G., Fox C.M. Applying the Rasch model. Fundamental Measurement in the Human Sciences. Mahwah, New Jersy: Lawrence Erlbaum Associates, Inc., Publishers, 2001. - 255 p.

74. Bond T.G., King J.A., Rigano D. Parent and Student Forms for the School Opinion Survey. Townsville, Australia: James Cook university, 1997.

75. Cattell D.J. McK. Mental Tests and Measurement. Mind, 1890, v. 15. - p. 373-380.

76. Cattell R.B. Personality: A Systematic Theoretical and Factual Study. N-Y, 689 p.

77. Choppin В. Testing the Questions The Rasch Model and Item Banking, MESA Research Memorandum Number 49, MESA Psychometric Laboratory, 1979.

78. Cohen I. A modified logistic response model for item analysis. Unpublished manuscript, 1976.

79. Cracker L., Algina J. Introduction to classical and modern test theory. Univ. of Florida. HBJCP, 1986.

80. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Univ. of. Florida. HBJCP, 1986.

81. Draba R.E. The Identification and Interpretation of Item Bias. MESA Memorandum No. 25, 1977.

82. Fischer G.H., Molenaar I.W. (Eds.) Rasch models: Foundations, recent developments, and applications. New York: Springer-Verlag, 1995.

83. Getting Started RUMM 2010. Rasch Unidimensional Measurement Models. Pert: RUMM Laboratory Ltd, 2001. - 87 p.

84. Gronlud N.E. How To Construct Achievement Test. N.-J.: Prentice-Hall, 1998.

85. Hambelton R.K. Application of Item Response Theory. Vancouver. ВС: Educ Res Inst B.C., 1983.

86. Ingebo G.S. Probability in the Measure of Achievement. Chicago: MESA Press, 1997.- 148 p.

87. Karabatsos G. Axiomatic measurement theory as a basis for model selection in item-response theory. Paper presented at the 32nd annual conference of the Society for Mathematical Psychology, Santa Cruz, CA, 1999.

88. Karabatsos G. Rasch vs. two- and three-parameter logistic models from the perspective of conjoint measurement theory. Paper presented at the annual meeting of the American Education Research Association, Montreal, Canada, 1999.

89. Lazarsfeld P.F., Henry N.W. Latent Structure Analyses. Houghton Mifflin Co. Boston. N-Y. 292 pp.

90. Linacre J.M. Detecting multidimensionality: Which residual data-type works best? / Journal of Outcome Measurement, 1998, 2(3). p. 266-283.

91. Linacre J.M. Many-Facet Rasch Measurement. — Chicago: MESA Press, 1994.- 149 p.

92. Linacre J.M. MESA Note 6: Iterations and Convergence of Estimation. MESA Research Note 6, November 1998 http://www.rasch.org/rn6.htm

93. Linacre J.M. UCAT: a BASIC computer-adaptive testing program. MESA Memorandum number 40, MESA Psychometric Laboratory, 1987.

94. Linn K.L. Educational Measurement (3rd ed.) N.-Y. Macmillan, 1989.

95. Maslak А.А., Karabatsos G., Anisimova T.S., Osipov S.A. Measuring and Comparing Higher Education Quality between Countries Worldwide // Journal of Applied Measurement. 2005. - V. 6. - N. 4. - P. 432 - 442.

96. Popham W.J. Criterion-referenced measurement. Englewood Cliffs. N.-J.: Prentice-Hall, 1978.

97. Postlethwaite, T.N. Monitoring educational achievement. UNESCO: International Institute for Educational Planning, 2004.

98. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright). -Chicago: University of Chicago Press, 1980. 199 p.

99. Sijtsma К., Molenaar I.W. Introduction to Nonparametric Item Response Theory. London: SAGE Publications, 2002. - 168 p.

100. Smith E.V., Smith M.S. Introduction to Rasch Measurement. Theory, Models and Applications. Maple Grove, Minnesota: JAM Press, 2004. - 689 p.

101. Smith R.M. Rasch Measurement Models: Interpreting WINSTEPS/BIGSTEPS and Facets Output. Gainesville, Florida: JAM Press, 1999.-68 p.

102. Statistical Yearbook. Paris: UNESCO Publishing & Bernan Press,1995.

103. Wilson M. Constructing Measures: An Item Response Modeling Approach. Mahwah, New Jersey: Lawrence Erlbaum associates, 2005. - 228 p.

104. Wright B.D. Solving measurement problem with the Rasch model // Journal of Educational Measurements. 1977. - V.14. - N 2. - P. 97 - 116.

105. Wright B.D., Masters G.N. Rating Scale Analysis. Chicago: MESA PRESS, 1982.-206 p.

106. Wright B.D., Stone M.H. Best Test Design. Chicago, MESA PRESS, 1979. - 222 p.134