автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Разработка оптимальных тестовых композиций для высшего профессионального образования

На правах рукописи

ТКАЧЕНКО ИРИНА МИХАЙЛОВНА

005004690

РАЗРАБОТКА ОПТИМАЛЬНЫХ ТЕСТОВЫХ КОМПОЗИЦИЙ ДЛЯ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Специальность:05.13.10 — Управление в социальных и экономических системах

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

- 1 ЛЕК 2011

Астрахань - 2011

005004690

Работа выполнена в ФГБОУ ВПО «Саратовский государственный технический университет имени Гагарина Ю.А.»

Научный руководитель: доктор технических наук, доцент

Загаров Александр Александрович Официальные оппоненты: доктор технических наук, профессор

Шуршев Валерий Федорович, доктор экономических наук, профессор Кальянов Леонтий Вениаминович Ведущая организация: ФГБОУ ВПО «Астраханский

государственный университет».

Защита состоится «16» декабря 2011 года в 13 часов 30 минут на заседании диссертационного совета Д 307.001.06 при Астраханском государственном техническом университете по адресу: 414025, г. Астрахань, ул. Татищева, 16, гл. корп., ауд. Г.313.

Отзывы на автореферат в двух экземплярах, заверенные гербовой печатью организации, просим направлять по адресу: 414025, г. Астрахань, ул. Татищева, 16, ученому секретарю диссертационного совета Д.307.001.06

С диссертацией можно ознакомиться в научно-технической библиотеке Астраханского государственного технического университета.

Автореферат разослан «^/у, ноября 2011 г.

Ученый секретарь диссертационного совета

А.А. Ханова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Применение тестовых технологий в России значительно расширилось. Разрабатываются системы тестирования и в образовательных структурах. В принятом Федеральном государственном образовательном стандарте высшего профессионального образования от 21.12.09 г. указывается, что ВУЗ должен обеспечить качество подготовки, взаимосвязанное с разработкой объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников, которым требуются модернизация и развитие на основе появления новых направлений.

Существенный вклад в достижение значительных успехов в этом направлении внесли следующие ученые: в квалитологии (А.И. Субетто, И.О. Коломиец, A.B. Титов, JI.B. Макарова, В.И. Байденко и др.); в теории и практике измерений в образовании (В.В. Налимов, А.И. Субетто, JI.B. Макарова, И.А. Зимняя и др.); в теории и практике создания педагогических тестов и тестовых технологий (B.C. Аванесов, М.Б. Челышкова, П. Клайн, Ю.М. Нейман и др.); в разработке управленческих решений (Д.А. Новиков, Б.Г. Литвак и др.).

Измерительные процедуры, которые базируются на тестовых технологиях, позволяют получить адекватную информацию о состоянии учебного процесса на различных его этапах и информировать о недостатках в различных составляющих, проводить мониторинг обучаемости студентов в текущих ситуациях, а также выявлять остаточные знания. Создание оптимальных тестовых композиций является актуальной и нерешенной в полной мере задачей. Применяемые конструкции, как правило, сводятся к тестам на выбор правильного ответа из определенного перечня. Реже используются структуры, получившие название «на соответствие», в которых задаются два множества элементов, соответствие среди которых необходимо найти. При этом одно из них является основным множеством (события: объекты, образы, явления, процессы и т.д.), другое - вспомогательным (признаки). Переход от таких структур к композициям матричного типа, состоящим из нескольких множеств, где одно является основным (событий), а остальные вспомогательными, позволяет выйти на новый уровень оценочной процедуры, в т.ч. с использованием логистических моделей и систем распознавания образов. Простейшие структуры тестовых заданий, включая тесты на выбор правильного ответа, обладают фактически только контролирующей функцией, тогда, как предлагаемые в диссертации оптимальные тестовые композиции имеют обучающую составляющую, что позволяет принимать своевременные и сбалансированные решения по управлению учебным процессом и повышению его качества. Понятие многократных измерений как способа избавления от погрешности практически не нашел применения в тестовых образовательных технологиях, что снижает достоверность их применения в оценке знаний обучающихся. До настоящего времени научно обоснованная система

показателей качества подготовки обучаемых на основе тестовых моделей не создана.

Объект исследования - оценка качества знаний обучаемых.

Предмет исследования - алгоритмы и методики проектирования тестовых композиций матричного типа.

Цель работы - повышение эффективности учебного процесса высшего профессионального образования на основе создания и исследования оптимальных тестовых композиций матричного типа. Для достижения указанной цели поставлены следующие задачи:

1. Определение вероятности появления нового знания на основе иерархической модели структуры передачи информации от источников знаний. Оценка уровня информативности источников информации одной или ряда групп относительно появления нового знания.

2. Вычисление критерия оптимальности тестовых композиций различной формы с помощью формул Байеса.

3. Разработка новых принципов формирования тестовых структур на основе сложных композиций матричного типа.

4. Разработка логистических моделей для интерпретирования возможности создания тестовых заданий и экспертных систем.

5. Оптимизация современных моделей теории тестов на основе преобразования трехпараметрической логистической модели А. Бирнбаума в двухпараметрическую.

6. Применение многократного тестирования для многократных наблюдений в учебном процессе.

Научная новизна диссертационной работы заключается в следующем:

1. Предложен алгоритм определения вероятности появления нового знания в образовательной процедуре и оценки уровня информативности источников информации одной или различных групп относительно появления нового знания, отличающийся использованием иерархической модели структуры передачи информации от источников знаний и критерия оптимальности тестовых композиций на основе теории Байеса.

2. Построена методика применения разработанных автором логистических правил, позволяющая формировать интегрированные тестовые композиции матричного типа.

3. Создан метод, позволяющий свести трехпараметрическую модель А.Бирнбаума к двухпараметрической понижением коэффициента случайной идентификации.

4. Разработан алгоритм идентификации вычисляемых параметров качества подготовки обучаемых в образовательных системах с использованием многократных наблюдений, отличающийся уменьшением погрешности при использовании тестовых технологий.

Практическая значимость работы. В работе создана иерархическая модель структуры передачи информации от источников знаний различного уровня, позволяющая получить тесты в соответствии с критериями, которые реализуют функции тестовых технологий по управлению качеством образовательной процедуры. Алгоритм исследования качества тестовой композиции на основе соотношений Байеса позволяет оценить оптимальность структуры относительно выбранных элементов основного и вспомогательных множеств. Предложенные автором логистические модели и правила позволяют построить интегрированную эффективную систему управления информационными потоками для детализированного изучения исследуемого объекта. Разработан метод понижения коэффициента случайной идентификации, связанный с преобразованием трехпараметрической модели А.Бирнбаума в двухпараметрическую, который является важным для измерительных систем. Обоснована необходимость многократного тестирования как оптимального способа идентификации измеряемых параметров в образовательных и научно - исследовательских системах.

Апробация работы. Основные положения и результаты работы обсуждались и докладывались на Международной научно-технической конференции «Радиотехника и связь» (Саратов, 2006 - 2009); Международной научно-технической конференции «Актуальные проблемы электронного приборостроения» (Саратов, 2006, 2008); Международной научно-практической конференции «Современная техника и технологии СТТ» (Томск: ТПУ, 2008); ПВсероссийской научно-технической конференции «Информационные технологии, системы автоматизированного проектирования и автоматизация» (Саратов, 2010); Всероссийской научно-практической конференции молодых ученых «Инновации и актуальные проблемы техники и технологий» (Саратов, 2010).

Диссертационная работа поддержана фондом содействия развитию малых форм предприятий в научно-технической сфере в рамках программы «У.М.Н.И.К.».

Публикации. По теме диссертации опубликовано 23 публикации из них 7 в журналах из перечня ВАК, 2 свидетельства о государственной регистрации программ для ЭВМ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, трех приложений. Общий объем диссертации составляет 159 страниц, который включает 24 рисунка, 12 схем, 48 формул и 28 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность задачи, решенной в диссертационной работе.

В первой главе проведено исследование задачи качества высшего профессионального образования и пути ее решения с помощью тестовых технологий. Рассмотрена возможность и обоснована необходимость использования тестовых технологий в образовательной системе, позволяющих управлять качеством учебного процесса. Проведен обзор публикаций в области

разработки, исследования и применения тестовых технологий, и на его основе выполнен критический анализ. Сформулирована цель работы и определены задачи, решение которых необходимо для ее достижения.

Во второй главе рассматриваются вопросы, связанные с адекватным преобразованием текста, представленного в различных источниках, в тестовые композиции и оценка возможных потерь информации. Для решения этой задачи предложен метод, основанный на применении формулы Байеса.

Существующие источники информации можно подразделить на две основные группы. К одной из них относятся первичные источники, обладающие высокой информационной емкостью (публикации в журналах, патенты другие виды научных изданий), к другой - вторичные, переработанные, упрощенные, адаптированные для различных условий (учебники, учебные пособия, конспекты лекций и другие документы).

Если проводить аналогию с радиотехническими системами, то первая группа представляет собой генераторы информации (сигналов), а ко второй - относятся преобразователи (по аналогии, например, с первичными измерительными и другими видами преобразователями) информации, в число которых может входить несколько каскадов. При этом цепь должна заканчиваться выходным устройством, которое отображает соответствующую информацию. Этим элементом в учебном процессе является обучающийся (студент).

При переходе обучающегося в процессе познания от одного источника информации к другому внутри одной или различных групп существует вероятность появления нового знания. В работе предложен метод применения известной формулы Байеса для расчета вероятности появления нового знания, полагая, что Р(А)=1 (априорная вероятность гипотезы А), т.е. знание, полученное обучающимся в процессе познания на основе источника информации, является «новым» относительно его базы начальных знаний. Задача состоит в определении полноты и информативности знания относительно выбранного источника.

Пусть событие, связанное с изучением первичного источника, характеризуется определенной вероятностью:

где Р(А:В) - вероятность появления нового знания А при наличии информации источника В, Р(А^В) - вероятность правильного выбора источника информации В при условии истинности нового знания в рамках исследуемой области, т.е. информация, представляемая источником В является достаточной для истинности нового знания А, Р(В) - вероятность выбора источника информации В. Тогда равенство

может выступать в качестве условия появления нового знания А.

Проведем оценку уровня информативности, т.е. сравнительную характеристику уровней полученного знания А относительно различных источников информации В1,В2,С помощью соотношения (1):

п/1 ДЛиЯ,) Р(АиВ2) Р(АиВ,,В2) (3)

Р(А : В{) = р(ВЛ » ПА : Вг) = -i-г-, Р(А : В ,В ) = --

W Р(В2) 1 2

Из полученных формул (3) уровень информативности {/ источника по отношению к возникновению нового знания А выражается в виде:

и =

б

]

Аналогично и =

Р{А\В) Р(АиВ ) Р(В В2) (4)

. Р(А:В ,В ) Р(В ) Р(А:В ,В ) 1 12 112

Р(А: В ) P(AkjB ) Р(В ,В ) (5)

2 _ 2 12

, ,В ) Р(В ) Р(А: В ,В )

2 1 2 2 12

Из полученных формул (4), (5) уровень информативности источников ВХ,В2 по отношению к друг другу может быть представлен в виде:

и = Р(А^В1)-Р(В2) ^

и Р{АиВ2)-Р(Вх)' в

2

Таким образом, необходимо перейти на функционирование учебного процесса, направленного на работу с высокими уровнями информативности.

На современном этапе развития тестовых технологий достаточно важным является создание оптимальных условий при формировании тестовых композиций для наиболее корректного решения поставленной задачи. Рассмотрим критерий оптимальности, используя формулы из теории Байеса. Для тестовых композиций матричного типа используется понятие уровня соответствия, при этом возможны две ситуации: полное и неполное соответствие элементов множеств. В первом случае каждому элементу вспомогательного множества должен ставиться в соответствие элемент основного множества, при этом важную роль играет принцип максимального соответствия. С помощью теоремы Байеса вероятность решения задачи может быть представлена формулой:

Р{А и В) ■ Р(А) (7)

Р(А:В) = —-——,

Р(В)

где Р(А:В) — вероятность распознавания элементов основного множества А при наличии элементов (признаков) вспомогательного множества В, Р{А^)В) -вероятность верного распознавания при установлении соответствий между

элементами множеств А и В, при условии истинности элементов множества А, Р(В)~ вероятность выбора элементов (признаков) вспомогательного множества В,

причем P(B) = "ZP(bvb2,...Jbm), Р(А) = 1, т.к. выбор элементов основного множества

является первым этапом в разработке тестовых композиций матричного типа, которые разработчик использует при подборе элементов вспомогательного множества В. Второй случай характеризуется наличием невостребованных элементов вспомогательного множества, при этом величина полученной вероятности (7) уменьшается в связи с появлением дистракторов (неинформационных признаков). Приведем соотношения для определения значений вышеуказанного критерия оптимальности на основе генерируемых тестовые струюур, содержащие два, три и п - множеств

В первом случае вспомогательное множество В должно быть достаточным для распознавания элементов основного множества А, при этом вероятность полного соответствия элементов определяется из формулы (7)

Р(АиВ) = 1. (8)

Во втором случае возможны три ситуации, не учитывая случай некорректного составления:

• одно из множеств является достаточным В, другое - избыточным С, дополняющим достаточное множество и при этом формула (8) имеет вид:

P{AkjB) = 1, Р(АиС)( 1, Р(Аи(ВеС)) = 1; (9)

• оба множества В, С являются достаточными, при этом формула (8) имеет вид

P(AvjB) = \, Р(А и С) = 1; (10)

• множества В, С являются взаимодополняющими, при этом формула (8) имеет вид

Р(Аи(ВиС)) = 1. (11)

В третьем случае количество вспомогательных множеств может быть неограниченным, при этом задания должны быть составлены так, чтобы вероятность решения поставленной задачи была равна 1 при абсолютных знаниях тестируемого в рамках заданной области

P(A^jB) (12)

Р(А:В) = —-- = 1.

PCB)

Если имеется несколько вспомогательных множеств В, С, то можно оценить их уровни информативности, т.е. сравнительные характеристики уровней распознавания элементов основного множества А на основе элементов вспомогательных множеств В, С, с помощью выражения (7):

Р(АиВ) P(A и С) P(AuB,C) (13)

P(A : В) = —--, P(A : С) = -i--, P(A : В, С) = —--.

P(B) Р(С) Р(В,С)

Из полученных формул (13) уровень информативности

U вспомогательного множества В по отношению к основному множеству А равен:

Р(А:В) Р(АиВ) Р{В,С) (И)

Р(А: В, С) Р(А:С)

Р(В) Р(А и В, С) Р(АиС) Р(В,С)

(15)

Аналогично: и = -

Р(А : В, С) Р(С) Р(А и В, С)

Из полученных формул (14), (15) уровень взаимной информативности вспомогательных множеств В, С можно представить в виде:

= Ue_ = Р(АуВ)-Р(С) (16)

U Р{А о С) • Р(В) '

с

В третьей главе представлены разработка и интерпретация логистических моделей. Используя традиционные понятия логистики в тестовых технологиях, автор предложил методику построения тестовых композиций различного уровня трудности, которая включает следующие этапы: выделение объектов исследования в соответствии с рассматриваемой областью; определение перечня наиболее значимых категорий для данных объектов и их возможного диапазона изменений; ранжирование признаков (свойств), входящих в составленный перечень и выделение наиболее значимых для исследуемых объектов; оценка модели на достаточность, избыточность признаков, установление соответствий построением траекторий с дальнейшем определением уровня информативности цепочек необходимого для обеспечения корректности схемы. В общем случае матричная структура тестовой композиции на соответствие имеет вид:

«1 V' К\ ci 4 м, Л

«2 к2 с2 4' fM2

«3 bt> К-х С33 мъ h

ап >>J; сКк к fMm J т

где ап - элементы основного множества А, п= 1 ,2,...; Ь -, ск, , ...,/ш -

элементы вспомогательных множеств В, С, О, ..., Г соответственно,у, к, г, т = I, 2, ...; з .,Кк,1пМт = 0,1,2,...п - число востребованности элемента.

Для таких структур в диссертации сформулированы правила, необходимые для интерпретации сложных логистических схем. Ниже приведены 4 из 12 правил.

1. Каждому элементу основного множества ставится в соответствие единственный элемент другого множества, т.е. справедливо однозначное соответствие элементов сопоставляемых множеств.

2. Число элементов во вспомогательных множествах может быть равным, большим или меньшим числу элементов в основном множестве: п-}=к = 1 = =т или п> ],п> к,п> г, ..., п> т, или п <_/, п <к, п < г, ..., п <т.

3. Отдельные элементы вспомогательных множеств могут быть востребованы для соответствия элементам основного множества один и более раз, т.е. элементы вспомогательных множеств не являются дистракторами.

4. При наличии дистракторов во вспомогательных множествах необходимо корректировать неравенства, указанные в пункте 2, т.к. появятся невостребованные элементы в вспомогательных множествах.

Автором разработан комплекс тестовых композиций по направлению 210100 «Электроника и микроэлектроника». На примере тестового задания «ЛБВ, ЛОВ -О или -М типа в генераторном или усилительном режиме» (табл. 1) представлена логистическая схема (рис. 1).

Таблица 1

Тестовое задание «ЛБВ, ЛОВ -О или -М типа в генераторном

или усилительном режиме»

А) Тип устройства Б) Ввод энергии В) Вывод энергии Г) Поглотитель Д) Фазовая и групповая скорости волны по направлению Е) Групповая скорость направлена Ж) Самовозбуждение устройств 3) Принцип передачи энергии И) Направление магнитного поля относительно электронного потока

1.ЛБВу-0 1.На входе ЗС 1.На входе ЗС 1 .На входе ЗС 1.Совпадают 1.Вдоль пучка 1 .Принимаются меры для борьбы с самовозбуждением 1 .Потенциальной 1 .Совпадают

2.ЛБВу -М 2.На выходе ЗС 2.На выходе ЗС 2.В центре ЗС 2.Проти-воположны 2.Против пучка 2.Взаимно-перпендикулярны

З.ЛОВу -О З.От- сутству ет З.На выходе ЗС 2.Выполня-ются условия самовозбуждения 2.Кинети-ческой

4-ЛОВу-М

5-ЛБВг-0

6.ЛБВГ-М

7.ЛОВг -О

8.ЛОВг-М

ЛБВ - лампа бегущей волны; ЛОВ - лампа обратной волны; ЗС - замедляющая система.

Обобщенная логистическая схема (рис.1) обладает наиболее полной информацией об изучаемых распознаваемых устройствах и позволяет анализировать с позиций достаточности и избыточности характеристик, что лучше детализирует материал и способствует расширению возможности идентификации устройств, используя различные сочетания множеств.

ЕХ

СЗ-1......:

и'.....

м

о

ы и-

-и

п

и

Рис.1. Логистическая схема несимметричной структуры тестового задания, представленного в табл. 1 Использование логистических правил для разработки логистических схем позволяет выделить следующие возможности в тестовых технологиях: создание интегрированной эффективной системы управления информационными потоками; определение наиболее правдоподобных соответствий между объектами и информационными потоками; контроль за отдельными данными об объектах для обеспечения передачи наиболее полной и достоверной информации; развитие навыков анализа и синтеза; управление операциями движения по траекториям с выявлением наиболее коротких и информативных цепочек взаимосвязей (принципы достаточности и избыточности).

В четвертой главе проведена оптимизация применения тестовых композиций в образовательном процессе. Разработан метод понижения коэффициента случайной идентификации, позволяющий преобразовать трехпараметрическую модель А. Бирнбаума в двухпараметрическую. Задача теста, используемого в качестве оценки уровня знаний для дифференциации обучающихся, состоит в достижении значения выявленного коэффициента минимума с ■ —* 0. Формула для определения коэффициента случайной

идентификации с ■ в случае тестовых заданий на соответствие из 2-х

множеств, в отличие от заданий на выбор правильного ответа, где с у = и-1,

п - количество предложенных вариантов ответа, имеет вид

-1

(17)

где N - количество элементов основного множества, п - элементов вспомогательного множества. Коэффициент случайной идентификации для оптимальных тестовых композиций матричного типа, к которым относятся тесты на установление соответствий, определяется количеством вспомогательных множеств, следующим образом:

С = сбсв

с

р'

(18)

б > V в "в ' ••• V" р

где Сб,Св,... ,Ср - коэффициенты случайной идентификации вспомогательных

множеств Б, В,..,Р соответственно.

В результате анализа тестовых композиций матричного типа на уровень коэффициента случайной идентификации с у получен вывод: при наличии в

основном и вспомогательных множествах числа элементов N. п > 4 трехпараметрическая модель А.Бирнбаума преобразуется в двухпараметрическую.

Обоснована необходимость многократных наблюдений как основы достоверности измерений в тестовых образовательных технологиях.

Нет

I

N = 1,100

I Да

Вычисление

Ьмп к - уровня

Вычисление КК

НВП

аппроксимирующего

ряда Фурье с числом гармоник N и количеством уровней р

т

Принимает- Принима-

ся гипотеза ется ги-

Н1 потеза НО

о

Конец

ВП - вейвлет - преобразование; НВП - непрерывное вейвлет - преобразование; КК - коэффициент корреляции.

Рис.2. Алгоритм работы программы «8сЬетзгау_1» 12

С помощью программы для ЭВМ «Генератор подструктур» на базе тестовой композиции «ЛБВ, ЛОВ -О или -М типа в генераторном или усилительном режиме» (табл. 1) получен тест, состоящий из 64 заданий одинаковой трудности. С помощью программы «АСТ» проведен эксперимент в виде многократного тестирования группы обучающихся для выявления и снижения погрешности экспериментальных измерений. На основе результатов тестирования построены частотные распределения успеваемости студентов, а также индивидуальных баллов тестируемых, определяющие эффективность тестовых заданий. Показана возможность адаптации программ «Schemsrav_l» (рис. 2) к оценке погрешности полученного распределения от ожидаемого. Анализ полученных результатов показал, что многократное тестирование позволяет снизить погрешность измерений и получить относительно точные данные об уровне подготовки тестируемого; обладает не только контролирующей, но и обучающей функцией.

Применение и реализация предлагаемых автором новых методов и правил, позволяют определить направления принятия управленческих решений: повышение качества подготовки выпускников по специальностям (направлению подготовки в вузе); повышение качества подготовки студентов по этапам обучения; рост эффективности научно - исследовательских работ и их взаимосвязей с образовательным процессом; уменьшение числа отчисленных студентов.

ЗАКЛЮЧЕНИЕ

В диссертационной работе получены следующие основные результаты:

1. На основе теории Байеса предложены алгоритм определения вероятности появления нового знания в образовательной процедуре, оценки уровня информативности источников информации и критерий оптимальности тестовой композиции, позволяющий оценить структуру на максимальное соответствие подобранных элементов основного и вспомогательных множеств (Р(ЛиВ) = 1), которое характеризуется, набором критериев и эффективностью в

результате применения.

2. Предложена методика логистического построения различных форм тестовых структур, которая позволяет наиболее глубоко исследовать материал на базе создания логических цепочек изучаемых объектов, категорий.

3. Предложены логистические правила по формированию оптимальных тестовых композиций для использования в образовательных технологиях, которые успешно апробированы при создании комплекса тестовых композиций по направлению «Электроника и микроэлектроника».

4. Создан метод понижения коэффициента случайной идентификации, позволяющий преобразовать трехпараметрическую модель А. Бирнбаума в двухпараметрическую, причем для тестовой композиции матричного типа, где

основное множество включает 5 элементов, а 4 вспомогательных множеств -различное количество признаков (3 - 5): с = 5,76 1(Г6.

5. Обоснована необходимость применения многократных наблюдений для повышения достоверности измерений, а также возможность применения вейвлет-анализа для исследования результатов тестирования, представленных в виде распределения (частотные характеристики и т.д.). Полученные величины среднего выборочного (х t = 4,9;Jfcp2 =6,1;Хсрг =7,2) указывают на рост среднего

балла в рамках многократного тестирования на 45 %, что подтверждает наличие обучающей составляющей. При этом мера изменчивости (дисперсия)

уменьшается на 24% (512=5,22;^=4,55;532=3,96), что характеризует более устойчивые

показатели в контролирующей составляющей. Разработано специальное математическое и программное обеспечение (программа для ЭВМ «Schemsrav_l»).

Личный вклад автора. В результате теоретических и практических исследований созданы алгоритм определения вероятности появления нового знания и оценки уровня информативности источников информации одной или различных групп относительно появления нового знания, критерий оптимальности тестовых композиций на основе теории Байеса [10, 17]; методика логистического построения различных форм тестовых структур [1]; логистические правила к формированию оптимальных тестовых структур [2]; метод понижения коэффициента случайной идентификации [3]; целесообразность применения вейвлет — анализа для исследования результатов тестирования [20] (сбор информации и отладка программы для ЭВМ «Schemsrav_l»),

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Статьи в ведущих рецензируемых научных журналах и изданиях, включенных в список ВАК РФ

1. Ткаченко, И.М. Исследование возможности формирования сложных тестовых композиций систем распознавания образов на основе логистических структур / И.М.Ткаченко, A.A. Захаров, В.А. Ткаченко // Саратов: Вестник Сар. гос. техн. ун-та. - 2008. №2 (32). - С. 99-105 .

2. Ткаченко, И.М. Проектирование моделей тестовых структур на основе логистических схем с произвольным числом множеств и элементов / И.М.Ткаченко, А.А.Захаров, Е.Н.Калашникова // Саратов: Вестник Сар. гос. техн. ун-та. - 2009.№2 (39) Вып.2. - С. 92-101.

3. Ткаченко, И.М. Эффект случайной идентификации в тестовых структурах на основе трехпараметрической логистической модели А. Бирнбаума / И.М.Ткаченко, А.А.Захаров, Е.Н.Калашникова, Т.Г. Сенокосова // Саратов: Вестник Сар. гос. техн. ун-та. - 2009. №4 (43) Вып. 2. - С. 146-151.

4. Ткаченко, И.М. Разработка программного продукта по использованию вейвлет - функций для анализа сигналов различного вида / Е.Р.Кожанова,

А.А.Захаров, И.М.Ткаченко // Саратов: Вестник Сар. гос. техн. ун-та. - 2010. №4 (51) Вып. З.-С. 160-165.

5.Ткаченко, И.М. Модель системы управления развитием общеобразовательного учреждения / И.К. Гевлич, А.А.Захаров, И.М.Ткаченко// Саратов: Вестник Сар. гос. техн. ун-та. - 2010. №4 (50) Вып. 2. - С. 145-149.

6. Ткаченко, И.М. Применение тестовых композиций матричного типа для повышения обучающей составляющей учебного процесса / И.М.Ткаченко // Астрахань: Вестник Астр. гос. техн. ун-та. Серия: управление, вычислительная техника и информатика №2. - 2011. - С. 205 - 209.

7. Ткаченко, И.М. Разработка интерфейса программного продукта по использованию вейвлет - функций для анализа сигналов / Е.Р.Кожанова, А.А.Захаров, И.М.Ткаченко // Научно технический вестник Поволжья №4 2011г. -Казань.-2011.-С. 172-179.

Статьи в материалах международных, всероссийских конференций, научных журналах и изданиях

8.Ткаченко, И.М. Системы распознавания образов как основа тестовых технологий / И.М.Ткаченко, А.А.Захаров // Радиотехника и связь: материалы третьей Междунар. науч. -техн. конф. Саратов: СГТУ. - 2006. - С. 120-127.

9.Ткаченко, И.М. Общие принципы формирования тестовых заданий матричного типа более низкого порядка на базе сложных тестовых композиций / И.М.Ткаченко, А.А.Захаров, А.М.Фролов // Актуальные проблемы электронного приборостроения АПЭП - 2006: материалы Междунар. науч. - техн. конф. Саратов: СГТУ.-2006.-С. 501-506.

Ю.Ткаченко, И.М. Выбор множеств признаков в целях оптимального формирования структур различных порядков на основе сложных тестовых композиций матричного типа / И.М.Ткаченко, А.А.Захаров // Радиотехника и связь: материалы четвертой Междунар. науч. -техн. конф. Саратов: СГТУ. — 2007.-С. 57-61.

11.Ткаченко, И.М. Достаточные и избыточные множества признаков в системах распознавания образов на основе логистических структур тестовых композиций / И.М.Ткаченко, А.А.Захаров, Е.Н.Калашникова // Радиотехника и связь: материалы четвертой Междунар. науч. —техн. конф. Саратов: СГТУ, 2007. С. 52-57.

12.Ткаченко, И.М. Исследование качества тестовых структур различной формы с помощью методов статистической обработки / И.М.Ткаченко, А.А.Захаров, А.М.Фролов // Сб. науч. ст. «Актуальные задачи управления социально-экономическими и техническими системами». Саратов: СГТУ. - 2008. -С. 41-44.

13.Ткаченко, И.М. Структурный анализ систем распознавания образов в тестовых технологиях / И.М.Ткаченко, АЛ.Захаров, E.H. Калашникова // Актуальные проблемы электронного приборостроения АПЭП - 2008: материалы Междунар. науч. - техн. конф. Саратов: СГТУ. - 2008. - С. 436-440.

М.Ткаченко, И.М. Тестовые технологии в решении проблем качества профессионального образования / И.М.Ткаченко, А.А.Захаров, В.А.Ткаченко // Сб. науч. ст. «Современные теория и практика управления в региональных социально -экономических системах». Саратов: СГТУ. -2008. - С. 189-192.

15.Ткаченко, И.М. Тестовые технологии в решении проблем качества профессионального образования / И.М.Ткаченко, А.А.Захаров // Современная техника и технологии СТТ 2008: Междунар. науч. -пракг. конф. Томск: ТПУ. -2008.-С. 291-293.11.

16.Ткаченко, И.М. Многократные наблюдения как основа достоверности измерений в образовательных технологиях / ИМ.Ткаченко, А.А.Захаров, Е.Н.Калашникова // Радиотехника и связь: сб. науч. тр. Саратов: СГТУ. - 2008. - С. 28-34.

17.Ткаченко, И.М. Моделирование информационных потоков в системе «объяснение - понимание - интерпретация» / И.М.Ткаченко, А.А.Захаров, E.H. Калашникова // Радиотехника и связь: сб. науч. тр.. Саратов: СГТУ. - 2009. - С. 39-43.

18.Ткаченко, И.М. Использование законов комбинаторики в системе распознавания образов / И.М.Ткаченко, А.А.Захаров // Радиотехника и связь: сб. науч. тр.Саратов: СГТУ. - 2009. - С.43-49.

19.Ткаченко, И.М. Модель проектирования тестовых структур на основе текстов различного уровня / И.М.Ткаченко, А.А.Захаров // Актуальные проблемы электронного приборостроения АПЭП - 2010: материалы Междунар. науч. - техн. конф. Саратов: СГТУ. -2010. - С.343-347.

20.Ткаченко, И.М. Интерфейс программы "SchemasravJ" / Е.Р.Кожанова, A.A. Захаров, И.М.Ткаченко // Инновации и актуальные проблемы техники и технологий : материалы Всерос. науч.-практ. конф. молодых ученых, г. Саратов, 2629 окт. 2010 г.: в 2 т. / СГТУ. - Саратов. - 2010. - Т. 1. - С. 188-190.

21.Ткаченко, И.М. Комплекс программ LABPRAKTIKUM_OSNOV_WAVELET для изучения основ вейвлет-анализа / Е.Р.Кожанова, А.А.Захаров, И.М.Ткаченко // Информационные технологии, системы автоматизированного проектирования и автоматизация: сборник научных трудов II Всероссийской научно-технической конференции, посвященной 80-летию Саратовского государственного технического университета. Саратов:СГТУ. - 2010. -С.300-304.

Свидетельства об официальной регистрации программы для ЭВМ

22. «Генератор подструктур (ГП)»: Свидетельство о государственной регистрации программы для ЭВМ №2011610165 / В.Г.Каширин, A.A. Захаров, И.М. Ткаченко и др.//от 11.01.2011г.

23. «Schemsrav_l»: Свидетельство о государственной регистрации программы для ЭВМ №2011610164 / Е.Р. Кожанова, A.A. Захаров, И.М. Ткаченко // от 11.01.2011г.

Тип. зак. № ~~ тир. 100 экз. Подписано в печать "f• 'f У 2011г.

Введение

Глава 1. Аналитическое исследование понятия качества и Ю проблемы качества высшего профессионального образования

1.1 Управление качеством высшего профессионального Ю образования

1.2 Характеристики видов контроля и измерений в тестовых 12 технологиях

1.3 Критерии качества тестовых композиций в тестовых 16 технологиях

1.4 Аналитическое исследование математико-статистической 17 обработки тестовых структур для» оптимизации их основных характеристик

1.5 Исследование математических моделей современной теории 22 тестов

1.6 Постановка задачи исследования

На современном этапе развития сферы тестовых технологий, полученные теории и методики занимают важное место в решении проблем, связанных с повышением уровня качества профессионального образования. Образование занимает существенное место в развитии общества (развитие науки, духовное развитие, наследование культуры, ценностей и т.д.), личности (социализация' человека) и в настоящее время представляет собой ценность и необходимость для каждого из нас. Совокупность требований, предъявляемая к современному человеку, определяет необходимое качество — высокий уровень информационной культуры, развитый интеллект, умение грамотно работать с любой информацией. Образование - это процесс информатизации общества (личности), способствующий интеллектуализации всех видов человеческой деятельности, а также развитию творческого потенциала индивида;

Проблемы качества подготовки специалистов с. высшим образованием представляет собой совокупность актуальных теоретических и практических вопросов в сфере качества подготовки специалистов с высшим образованием, требующих исследования и решения в целях обеспечения сбалансированного соответствия подготовки специалистов многообразны потребностям, нормам, стандартам.

Управление качеством образования связано с идентификацией потребителя и его требований и общим развитием и улучшением научно - образовательного потенциала вуза с учетом формирования инновационной среды образовательных процессов для предоставления образовательных услуг с новым конкурентоспособным качеством.

Для управления качеством необходимым является воздействие на процессы становления, обеспечения, поддержки развития качества по отношению к объектам и процессам в высшем образование со стороны «субъекта управления» и организация им обратной связи (контроля, оценки, анализа) в соответствии со сформулированными целями, нормами, стандартами. На современном этапе приобретает особое значение работа по определению системы показателей качества, методов измерений и измерительных устройств, к которым наиболее часто относят тесты. Наиболее трудным и существенным является «постулат об «измеримости» составляющих образовательного процесса, его характеристик и параметров (семантических величин), то есть возможности формализации измерительных процедур, как это успешно сделано при измерении физических величин. Проблема приобретения заданного уровня образованности, удовлетворяющего общественным и личным потребностям, может быть решена с использованием полученных ' достижений в области тестовых технологий, представляющая измерительный аппарат в системе высшего профессионального образования. Создание системы оценки качества подготовки основывается на теории научной организации тестового контроля и использовании возможности тестов: Системные и процессуальные аспекты образования« также могут быть стандартизированы и, следовательно, обладать признаками диагностичности № проверяемости. Так, проблема результативности в образовании достаточно тесно связана с понятием «распознавания образов, рассуждая^ о сравнении полученных результатов в образовании с эталонными по оптимальному числу наиболее существенных параметров», которых должно быть достаточно для обоснованного суждения о соответствии результатов (контроля'тому или иному стандарту.

В принятом от 21.12.09 г. Федеральном государственном образовательном стандарте высшего профессионального образования отмечается, что высшее учебное заведение обязано обеспечить! качество подготовки, тесно взаимосвязанное с разработкой объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников (типовые задания, контрольные работы, тесты), которым требуются модернизация и развитие на основе появления! новых направлений.

Измерительные процедуры, которые в основном базируются на тестовых технологиях, позволяют получить адекватную информацию о состоянии учебного процесса на различных его этапах и сигнализировать о недостатках в различных составляющих. Оптимальные тестовые структуры позволяют проводить мониторинг обучаемости студентов в текущих ситуациях, а также выявлять, при необходимости, остаточные знания. Полученные результаты и характеристики должны определить выбор адекватных решений, направленных на повышение качества учебного процесса. Создание оптимальных тестовых композиций является актуальной задачей и нерешенной в настоящее время.

Применяемые конструкции тестов, как правило, сводятся к тестам на выбор правильного ответа среди некоторого перечня представляемых. Реже используются структуры, получившие название «на соответствие», в которых задаются два множества элементов, соответствие среди которых необходимо найти. При этом одно из них является основным множеством (события: объекты, образы, явления, процессы и т.д.), другое - вспомогательное (признаки)! Переход от таких структур к композициям матричного типа, состоящих из нескольких множеств (более 2-х); где одно множество является основным (событий), а остальные вспомогательными (признаков), позволяет выйти на.новый уровень оценочных процедур, в том числе с использованием логистических моделей и систем распознавания образов.

Кроме того, простейшие структуры тестовых заданий, включая' на выбор правильного ответа, и соответствующие тесты, созданные на их основе, обладают фактически только контролирующей функцией, тогда, как предлагаемые в диссертации оптимальные тестовые композиции имеют значительную величину обучающей составляющей, что позволяет принимать своевременные и сбалансированные решения^ по управлению учебным процессом и- повышению его качества.

Понятие многократных измерений как способа' избавления- от погрешности практически не нашел применения в тестовых образовательных технологиях, что снижает достоверность их применения в оценке знаний обучающихся.

Существенный вклад в достижении значительных успехов в данном направлении внесли известные исследователи в области:

- квалитологии (А.И. Субетто, Коломиец, A.B. Титов, JT.B. Макарова, В.И. Байденко);

- теории и практики измерений в образовании (В.В. Налимов, А.И. Субетто, JI.B. Макарова, И.А. Зимняя);

- теории и практики создания педагогических тестов и тестовых технологий (B.C. Аванесов, М.Б. Челышкова, П. Клайн, Ю.М. Нейман и другие);

- разработки управленченского решения (Д.А. Новиков, Б.Г. Литвак).

В настоящее время тестирование способно усовершенствовать организацию образовательного процесса, путем внедрения постоянного текущего контроля с возможностью управления учебным процессом, а контроль, в свою очередь, является системообразующим элементом. С помощью тестов наиболее возможным становится выявление пробелов в подготовке обучающихся, а также устанавливание причин их возникновения, что является существенным моментом в педагогической деятельности.

Однако до настоящего времени научно обоснованная система показателей качества подготовки обучаемых с помощью тестовых моделей не создана.

Цель работы — повышение результативности учебного процесса высшего профессионального образования»на основе создания и исследования оптимальных тестовых композиций матричного типа.

Для достижения указанной цели поставлены следующие задачи:

1. Определение вероятности появления нового знания на основе иерархической модели структуры передачи информации от источников знаний. Оценка уровня информативности источников информации • одной или ряда групп относительно появления нового знания.

2. Вычисление критерия оптимальности тестовых композиций различной формы с помощью формул Байеса.

3. Разработка новых принципов формирования тестовых структур на основе сложных композиций матричного типа.

4. Разработка логистических моделей для интерпретирования возможности создания тестовых заданий и экспертных систем.

5. Оптимизация современных моделей теории тестов на основе преобразования трехпараметрической логистической модели А. Бирнбаума в двухпараметрическую.

6. Применение многократного тестирования для многократных наблюдений в учебном процессе.

Научная новизна диссертационной работы заключается в следующем:

1. Предложен алгоритм определения вероятности появления нового знания' в образовательной процедуре и оценки уровня информативности источников информации одной или различных групп относительно появления нового знания, отличающаяся использованием иерархической модели структуры передачи информации от источников знаний и критерия оптимальности тестовых композиций на основе теории Байеса1.

2. Построена методика применения разработанных автором логистических правил для формирования интегрированных тестовых композиций матричного типа.

3. Создан метод, позволяющий свести трехпараметрическую модель А. Бирнбаума к двухпараметрической понижением коэффициента случайной идентификации.

4. Разработан алгоритм идентификации вычисляемых параметров в образовательных системах с использованием многократных наблюдений, отличающийся- уменьшением погрешности при использовании тестовых технологий.

Во введении обосновывается актуальность задачи, решенной в диссертационной работе.

В первой главе проведено исследование проблемы качества высшего профессионального образования и пути ее решения с помощью тестовых технологий. Рассмотрена возможность и обоснована необходимость использования тестовых технологий в образовательной системе, позволяющих управлять качеством учебного процесса. Проведен обзор публикаций в области разработки, исследования и применения тестовых технологий, и на его основе выполнен критический анализ. Сформулирована цель работы и определены задачи, решение которых необходимо для ее достижения.

Во второй главе рассматриваются вопросы, связанные с адекватным преобразованием текста, представленного в различных источниках, в тестовые композиции и оценка возможных потерь информации. Для решения этой задачи предложен метод, основанный на применении формулы Байеса.

В третьей главе представлены разработка и интерпретация логистических моделей.

В четвертой главе приведена оптимизация применения тестовых композиций в образовательном процессе. Разработан метод понижения коэффициента случайной идентификации, позволяющий преобразовать трехпараметрическую модель А. Бирнбаума в двухпараметрическую модель. Обоснована необходимость многократных наблюдений как основы достоверности измерений в тестовых' образовательных технологиях. Л

Основные положения и результаты работы обсуждались и докладывались на Международной научно-технической конференции «Радиотехника и связь» (Саратов, 2006 - 2009); Международной научно-технической конференции «Актуальные проблемы электронного приборостроения» (Саратов, 2006, 2008); Международной научно-практической конференции «Современная техника и технологии СТТ» (Томск: ТПУ, 2008); II Всероссийской научно-технической конференции «Информационные технологии, системы автоматизированного проектирования и автоматизация» (Саратов, 2010); Всероссийской научно-практической конференции молодых ученых «Инновации и актуальные проблемы техники и технологий» (Саратов, 2010).

Диссертационная работа поддержана фондом содействия развитию малых форм предприятий в научно-технической сфере в рамках программы «У.М.Н.И.К.».

По теме диссертации опубликовано 23 публикации из них 7 в журналах из перечня ВАК.

4.3 Основные результаты и выводы по главе 4

1. Рассмотрены показатели' качества тестовых композиций, полученные с помощью математико-статистической обработки эмпирических данных, позволяющие оценить пригодность тестовой композиции в соответствии с целью разработки и применения тестовой структуры, что является неотъемлемой частью в процессе его проектирования и поправки.

2. Впервые предложен метод понижения коэффициента случайной идентификации С} в тестовых композициях матричного типа. В результате анализа тестовых композиций на соответствие с различным уровнем' трудности, разработанных с учетом новых методов и правил на возможность снижения эффекта случайное идентификации к минимуму, расчета коэффициентов случайное идентификации для тестов матричного типа позволили выделить правило проектирования тестовых композиций матричного типа на соответствие с С} -» 0:

При наличие в основном и вспомогательных множествах числа элементов п, у, к., л > 4 трехпараметрическая модель- А.Бирнбаума преобразуется в двухпараметрическую.

3. Обоснованна необходимость применения многократных наблюдений в тестовых технологиях с целью повышения уровня- достоверности результатов измерений. В результате анализа характеристик, полученных при многократных наблюдений, было выявлено, что: »

- во-первых, трехкратное тестирование позволяет существенно изменение снизить погрешность измерений, таким образом получить наиболее точные данные об уровне подготовки тестируемого, а, следовательно, о качестве образования в целом, однако картина измерений остается неустойчивой и следует провести дальнейшее увеличение числа измерений, увеличивая сложность тестовых заданий, что приведет к смещению максимума влево;

- во-вторых, многократное тестирование обладает не только контролирующей, но и обучающей функцией, которая способствует лучшему пониманию предметной области, ее особенностей и основных характеристик.

123

4. Рассмотрен анализ тестового задания дихотомического типа «ЛЕВ, ЛОВ -О или -М типа в генераторном или усилительном режиме», полученного на основе тестовой композиции матричного типа, на соответствие показателям качества теста с помощью математико - статистической обработки данных.

5. Для анализа тестовых характеристик, результатов тестирования проведена адаптация программ по использованию вейвлет - функций для анализа сигналов различного вида «8сЬеш5гау1». Анализ характеристик распределений и полигонов частот результатов тестирования на основе вейвлет-спектрограмм, контурных и поверхностных графиков, указывает на то, что многократное тестирование, проводимое на основе оптимальных тестовых композиций матричного типа, соответствующих критериям качества теста, обеспечивает не только рост эффективности контролирующей составляющей, но и наличие обучающей составляющей данного процесса, что видно из смещения характеристик каждого последующего тестирования в сторону наивысших баллов.

Заключение

Диссертационная работа на тему «Разработка оптимальных тестовых композиций для высшего профессионального образования» посвящена детальному исследованию существующих актуальных проблем в сфере высшего профессионального образования, а именно:

• повышение качества подготовки выпускников по специальностям^ (направлению подготовки в вузе);

• повышение качества подготовки студентов по этапам обучения;

• - повышение конкурентоспособности выпускников по специальностям на отечественном и международном рынках труда;

• уменьшение числа отчисленных студентов;

• рост эффективности научно — исследовательских работ и их взаимосвязей с образовательным процессом;

• увеличение вклада в обеспечение социально - экономического развития регионального социума.

В' работе представлены возможные перспективы развития высшего профессионального образования в направлении более высокого международного уровня на основе использования новых методик и направлений в сфере тестовых технологий.

На современном этапе приобретает особое значение работа по определению системы показателей качества, методов измерений и измерительных устройств, к которым наиболее частоотносят тесты (тестовые технологии).

В работе показаны основные формы тестовых структур, рассмотрены основные показатели, характеристики композиций, позволяющие оценить эффективность их применения в изучаемой области.

В связи с этим, проведено аналитическое исследование понятия качества, позволяющее изучить основные признаки, раскрывающие семантику за данной категории, представлены основные цели системы высшего образования, совокупность внешних и внутренних факторов, влияющих на качество высшего образования, представлены интегрированные процессы управления необходимые

125 организовать для роста уровня вуза. Рассмотрена составная часть науки квалитологии - квалиметрия, изучающая измерения и оценку качества объектов, систем, процессов. Квалиметрия образования позволяет оценить качество систем образования;, эффективность действующей" структуры^ выявить положительные и отрицательные стороны функционирующего образовательного комплекса. С учетом специфики данного направления под качеством образования; понимают «степень достижения заданного уровня обученности, связанного с; формированием определенных знаний, умений и навыков».

В качестве метода;, регулирования^ учебным процессом разработаны, автором, новые процедуры- И1 методы, тестовых технологий; способные усовершенствовать организацию образовательногоь процесса, путем: внедрения, постоянного текущего контроля- с: возможностью, управления; учебным- процессом, а контроль, в свою очередь,, является; системообразующим: элементом, причем с помощью полученных достижений? возможным; становится выявление пробелов в подготовке обучающихся, с дальнейшим определением причин их возникновения; что является; существенным моментом в педагогической деятельности. Для« наиболее глубокого изучения^ метода регулирования качеством в работе представлены виды контроля, его основные функции. Также приведены.и проанализированы достоинства метода тестовой» оценки, как метода контроля-образовательного процесса;

В? работе автором представлены, как, известные критерии качества тестовых структур, определяющих их эффективность, среди которых надежность и валидность тестовой композиции, так и новые, с учетом представленных подходов и методов.

Качество тестовой структуры определяет качеепю тестовой' оценки, знаний обучающихся. При этом достоинствами такого метода контроля образовательногопроцесса являются:

• достаточно высокая объективность, процесса измерений, незначительный уровень влияния субъективных факторов;

• объективность интерпретации результатов;

• необходимый уровень надежности, возможность обеспечения валидности измерений, валидности содержания; точность, экономия времени;

• возможность управления познавательной деятельностью обучающихся.

Знания тестируемого по дисциплине составляют меру качества, которая выражается через полученные результаты. В работе автором, представлены этапы формирования корректной тестовой композиции, способной обеспечить необходимое качество подготовки специалистов. В области тестовых технологий при генерировании тестовых композиций различного вида и сложности необходимым является их удовлетворение* целому набору принципов и характеристик, причем понятие «качество» выражает ценность, полезность и пригодность теста.

Критерии качества теста могут быть изучены с1 помощью?следующих методов:

• ' статистические методы (диаграмма сродства, причинно — следственная диаграмма, диаграмма в виде дерева);

•' законы комбинаторики;

•5 формулы Байеса;

• ' логистические моделей;

•1 математико-статистическая обработка тестовых структур;

• метод понижения, • коэффициента. случайной.» идентификации (двухпараметрической модели А.Бирнбаума; трехпараметрической логистической модели А. Бирнбаума);

• многократные наблюдения.

Автором рассматрены- вопросы, связанные с адекватным преобразованием текста, представленного * в; различных источниках, в тестовые композиции, и возможными потерями при таких преобразованиях. Впервые предложена иерархическая модель передачи информации от различных источников информации в рамках герменевтической процедуры «объяснение — понимание — интерпретация», а также в качестве радиотехнической системы. При проектировании тестовых композиций важным моментом является выбор источника информации для работы с конкретным тестом, позволяющего- получить структуры, отвечающие критериям качества теста и реализующие возможные функции тестовых технологий по управлению качеством образовательной процедуры. При необходимости работать с

127 современными источниками информации с целью актуализации «банка» тестовых композиций в рамках исследуемой области.

В работе автором построен алгоритм применения методов статистической обработки, позволяющий получить корректно структурированные тестовые композиции, что определяет возможности теста как в роли контролирующей составляющей, так и обучающей, тесно взаимосвязанной с управлением качеством учебного процесса.

Автором сформулирован критерий оптимальности, полученный на основе нового метода исследования качества тестовой композиции с помощью соотношений Байеса, позволяющий оценить- структуру * на оптимальность подобранных элементов основного и вспомогательных множеств (критерий оптимальности), что характеризуется;, в свою очередь, набором критериев.

Hai основе разработанных автором комплекса тестовых композиций на соответствие матричного типа по направлению'«Электроника и микроэлектроника», фактически представляющие собой элемент системы распознавания образов, были приведены интерпретация'структур, позволившая исследовать тесты на достаточность и избыточность элементов вспомогательных множеств, а также определить возможность идентификации объектов в рамках решении задачи системы распознавания образов.

В работе автором представлен метод формирования тестов с использованием законов комбинаторики (бином и полином Ньютона, метод случайной выборки), который является достаточно эффективным, т.к. может быть использован для составления не только простых заданий, но и тестовых композиций матричного типа различного уровня трудности.

В работе наиболее интересны, впервые представленные автором, логистические схемы тестовых композиций различного уровня трудности, рассматриваемые, начиная с истории возникновения понятия «логистики», заканчивая глубоким анализом построенных логистических моделей и схем. Такая система, при определенных условиях преобразующаяся в распознавание образов, опираясь на логику распознавания объектов исследования, дает возможность получить наиболее полную информацию об изучаемых распознаваемых устройствах, позволяет наиболее широко исследовать их признаки и свойства, а, следовательно, структуры можно анализировать с позиций достаточности и избыточности характеристик, что лучше детализирует материал и способствует расширению возможности идентификации устройств, используя различные сочетания множеств.

Возможности логистической модели:

• создание интегрированной эффективной системы управления, регулирования и контроля информационных потоков, предоставляющие возможность наиболее детализировано изучить исследуемый материал;

• определение наиболее правдоподобных соответствий (связей) между объектами и информационными потоками (признаками, свойствами);

• предоставление возможности управления и контроля, за отдельными данными* об, объектах для. обеспечения» передачи наиболее полной и достоверной информации обучающемуся в процессе исследования;

• предоставление возможности1 развития навыков анализа и- синтеза в соответствии со спецификой представления логических цепочек (специальные обозначения основных и вспомогательных элементов в^ форме-геометрических фигур с соединительными логическими траекториями);

• предоставление возможности управления операциями движения по< траекториям^ с выявлением наиболее коротких и информативных цепочек взаимосвязей (принцип достаточности, принцип избыточности), если они существуют.

Автором впервые предложен метод понижения коэффициента случайной идентификации CJ и формула расчета С для тестовых композиций на соответствие.

В результате* анализа тестовых композиций на соответствие с различным уровнем трудности, на возможность снижения эффекта случайное идентификации к минимуму получено правило проектирования тестовых композиций матричного типа на соответствие с CJ 0, а именно, при наличии в основном и вспомогательных множествах числа элементов п, у, к., л > 4 трехпараметрическая модель А.Бирнбаума преобразуется в двухпараметрическую.

В работе автором обоснована необходимость многократных наблюдений как основы достоверности измерений в тестовых образовательных технологиях. С помощью программы «Конструктор Тестов Адаптивной Среды Тестирования ACT» проведены эксперименты в виде многократного тестирования группы учащихся по направлению «Электроника и микроэлектроника» с целью выявления и снижения к минимуму погрешности экспериментальных измерений, для получения наиболее достоверных данных об уровне (качестве)' подготовки тестируемых в рамках конкретного курса. В результате анализа характеристик, полученных при многократных наблюдений, выявлено следующее:

- во-первых, многократное тестирование позволяет увидеть существенное изменение результатов, что дает возможность снизить к минимуму погрешность измерений, таким образом получить наиболее точные данные об уровне подготовки тестируемого, а, следовательно, о качестве образования в целом, однако картина измерений остается неустойчивой и следует провесги дадьнейшее увеличение числа измерений, увеличивая сложность тестовых заданий,5 что приведет к смещению максимума влево;

- во-вторых, многократное тестирование обладает не только контролирующей, но и обучающей функцией; которая способствует лучшему пониманию предметной области, ее особенностей и основных характеристик.

Также автором проведен анализ тестового задания дихотомического типа «ЛБВ, ЛОВ -О или -М типа в генераторном или усилительном режиме» и комплексного тестового задания матричного типа.«Диоды», на соответствие показателям качества теста с помощью математико — статистической обработки данных.

В работе автором проведена адаптация программного продукта по использованию вейвлет — функций для анализа сигналов различного вида «Schemsravl», к анализу тестовых характеристик, результатам тестирования.

Автором разработана схема проектирования, разработки и применения новых методов и подходов для получения оптимальных тестовых композиций, I позволяющие управлять качеством учебного процесса (ex. 12).

Схема 12

СИу>

Применение ТК Многократные наблюдения как основа достоверности измерений (многократное тестирование)

Анализ ТК на соответствие показателям качества теста с помощью математико -статистической обработки результатов тестирования

Адаптация программного продукта «БсІіеітгау1» к анализу тестовых характеристик, результатов тестирования.

Схема представляет собой этапы проектирования и разработки тестов в тестовых технологиях, позволяющие реализовать образовательную и контролирующую функцию данного направления, что, в свою очередь, выявляет качество образовательного процесса на различных уровнях.

На основе результатов исследования выделены основные направления управления качеством учебного процесса с помощью полученных в диссертационной работе достижений в сфере тестовых технологий:

• повышение качества подготовки выпускников по специальностям (направлению подготовки в вузе);

• повышение качества подготовки студентов по этапам обучения;

• уменьшение числа отчисленных студентов;

• рост эффективности научно - исследовательских работ и их взаимосвязей с образовательным процессом.

1. Аванесов, B.C. Композиция тестовых заданий: Учебная книга дляпреподавателей вузов, учителей школ, аспирантов и студентов пед. вузов.- 2 изд.,испр. и доп. М.: Адепт, 1998. 217 с.

2. Аванесов, B.C. Научные проблемы тестового контроля знаний: Учеб. метод, пособие, / B.C. Аванесов - М.:. Исследовательский центр проблем качества подготовки специалистов; 1994'. — 135 с.

3. Аванесов, B.C. Теоретические основы разработки^ заданий в,тестовой форме: Пособие для проф.-преп. состава высш. школы. / B.C. Аванесов М.:Наука, 1995.-95 с.

4. Аванесов, B.C. Тесты в' социологическом исследовании. / B.C. Аванесов М:: Наука, 1982.-180 с.

5. Агеев, В. Н. Примеры гипертекстовых и- гипермедиа систем (обзор) // Компьютерные технологии в высшем образовании: Сб. тр. под. Ред. А. Н. Тихонова и др., М.: Изд-воМГУ, 1994.- С. 223-229.

6. Белов, В. Система оценки качества образования // Высшее образование в России.2002.№1. С.44-47.

7. Бобровский, Ю.Л. Электронные, квантовые приборы и микроэлектроника: Учеб.пособие для вузов / Ю.Л.Бобровский, С.А.Корнилов, И.А.Кратиров и др.; Под ред.Н.Д.Федорова. М.: Радио и связь, 1998. - 560 с.

8. Ю.Васильев, В.И., Красильников, В.В., Плаксий С.И., Тягунова Т.Н. Статистический анализ многомерных объектов произвольной природы. М.: Из-во ИКАР, 2004, 382 с.

9. П.Вербицкий, A.A. Новая образовательная парадигма и контекстное обучение. / А.А'. Вербицкий М.: Исслед. Центр проблем качества подготовки специалистов, 1999.-75с.

10. Воробейчикова, О.В-. Структурированные тесты как средство контроля знаний //Информатика и образование.2001.№7.- С. 14-17.

11. Гагарина, Л. Г. Основы технологии разработки программных продуктов : учеб. пособие / Л. Г. Гагарина, Б. Д. Виснадул, А. В. Игошин. М. : ФОРУМ: ИНФРА-М, 2006. - 192 с.

12. Гадамер, Х.Г. Истина и метод: Основы философской герменевтики / Гадамер Х.Г. Пер. с нем.; Общ. ред. и вступ. ст. Б.Н. Бессонова.- М.: Прогресс, 1988.-704с.

13. Галямина, И.Г. Методика соответствия определения качества образовательного процесса требованиям государственных образовательных стандартов // Качество, содержание и технологии образования: Тез.докл.

14. Седьмого симпозиума.- М.: Исслед.центр проблем качества подготовки специалистов, 1999. Книга вторая.Ч. IV.- С. 128-134.

15. Герман, О.'В. Введение в теорию экспертных систем и обработку знаний. / О.В. Герман Минск: Дизайн ПРО, 1995. - 255с.

16. Б.Гришанова, H.A. Тестовый контроль знаний и умений: Метод, рекомендации. / H.A. Гришанова* М.: Ин-т повышения квалификации и переподготовки кадров CK, 1996.-33с.

17. Домрачеев, В. Г. О' классификации^ компьютерных образовательных информационных технологий // Информационные технологии, 1996 №2 - С. 10-13.

18. Дралин, В.И., Дралина, Е.А., Темнов, В.И. Проекционное моделирование в оценке качества образования // Квалиметрия человека и образования. Методолгия и практика: Сб.науч.статей.-М., 1994.4.2.-С. 109-112.

19. Ильин, Г.Л. Личностно-ориентированная» педагогическая технология* (анализ I понятия и практика применения). / Г.Л. Ильин М.: Исслед. центр роблем > качества подготовки специалистов, 1999.-24с.

20. Кабанов, А. Тестирование студентов: достоинства и недостатки // Педагогика.1999. №2.- С.66-70.

21. Казиев, В.М. Информация: понятия, виды, получение, измерение и проблема обучения // Информатика и образование.2000.№4,- С. 12-17.

22. Клайн Пол. Справочное руководство по конструированию тестов. Введение в психологическое проектирование. / Клайн Пол Киев, 1994. - 276 с.

23. Кожанова, Е.Р. Сравнительные характеристики' Фурье- и вейвлет1? 1t преобразований для анализа сигналов / Е.Р. Кожанова, A.A. Захаров //

24. Радиотехника и связь: сб. науч. тр. Саратов: СГТУ, 2009. С. 53-58.

25. Коломиец, Б.К. Качество, содержание и технологии образования (Обзорный доклад) //Качество, содержание и технологии образования: Тез. докл.1.I

26. Компьютерные технологии в высшем образовании // Тез. докл. Всероссийский: научно-методической конференции; С. Пб. 14-18 марта 1994г.- 150 с.

27. Кривошеев, А. О. Разработка и использование КОП // Информационные . технологии, 1996 №2.- С. 14-18.

28. Лебедев, И.В; Техника и приборы ОВЧ1Т.21 Электровакуумные приборьгСВЧ'; М.: Высшая школа, 1972.

29. Мельников, В. П. Управление качеством: учеб. / В. П. Мельников, В; П. Смоленцев, А. Г. Схиртладзе ; под ред. В: П. Мельникова. 5-е изд:, стер. -М. : ИЦ "Академия", 2009. - 352 с.40.0гвоздин, В.Ю. Управление: качеством: Основы теории и практики: Учебн.

30. Пособие:-4-е изд., испр: №дот-М:: Дело?шсервис, 2002.- 160 с. 41 .Перельман, Б. J1. Полупроводниковые приборы: справочник / Б. Л. Перельман. М.: СОЛОН; МИКРОТЕХ, 1996. - 176 с.

31. Ретинская, И. В., Шугрима, М. В. Характеристики качества инструментальных систем для создания компьютерных учебных программ // Информатика и образование. 1994.- №5.- С. 68-77.

32. Ричард Уаттс. ЭВМ- и непрофессиональные, пользователи. Организация взаимодействия. М.: Радио и.связь, 1989.- 94с.

33. Сергеев, А. О., Сигалов, А. В. Применение инструментальных систем для автоматизированного контроля знаний // Компьютерные технологии в. высшем образовании: Сб. трудов под ред А: Н Тихонова и др., М: Ивд-во МГУ; 1994- С. 234-238;

34. Сундарон, Э.М. Статистические методы контроля и управления качеством. / Э.М Сундарон- Улан Удэ: издательство ВСГТУ, 2002.

35. Субетто, А.И. Введение в квалиметрию высшей школы. Книга I «Общие основания квалиметрии высшей школы»: Учебн. Пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1991.-94с.

36. Субетто, А.И. Введение в квалиметрию высшей школы. Книга II «Концепция квалиметрии. Система категорий и понятий»: Учебн. Пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1991.-120с.

37. Субетто, А.И. Введение в квалиметрию высшей школы. Книга III «Концепция * квалиметрии. Система категорий и понятий»: Учебн. Пособие. М.: Исслед. центр проблем качества*подготовки специалистов, 1991.-115с.

38. Субетто, А.И. Качество непрерывного образования в Российской Федерации: состояние, тенденции, проблемы и перспективы (опыт мониторинга). — СПб. — М.: Исслед. центр проблем качества подготовки специалистов, 1999:41. С. 165-174.

39. Сулима, И. Философская герменевтика и образование//Педагогика 1998~№1.-С.36-39.

40. Татур, Ю.Г. Образовательные программы: традиции и новаторство // Высшее образование в России.2000.№4.- С.12-15.

41. Ткаченко, И.М. Системы распознавания образов как основа тестовых технологий / И.М.Ткаченко, А.А.Захаров // Радиотехника и связь: материалы третьей Междунар. науч. -техн. конф. Саратов: С1 ГУ, 2006 С. 120-127.

42. Ткаченко, И.М: Общие принципы формирования тестовых заданий матричного типа более низкого порядка на базе сложных тестовых композиций

43. И.М.Ткаченко, А.А.Захаров, А.М.Фролов // Актуальные проблемы электронного приборостроения АПЭГТ 2006: материалы Междунар. науч. -техн. конф. Саратов: СГТУ, 2006 - С. 501-506.

44. Ткаченко, И.М. Тестовые технологии в решении проблем качества профессионального образования / И.М.Ткаченко, А.А.Захаров // Современная техника и технологии СТТ 2008: Междунар. науч. практ. конф. Томск: ТПУ, 2008-С. 291-293.11.

45. Ткаченко, И.М. Многократные наблюдения как основа достоверности измерений в образовательных технологиях / И.М.Ткаченко, А.А.Захаров, Е.Н.Калашникова // Радиотехника и связь: сборник научных трудов. Саратов: СГТУ, 2008-С. 28-34.

46. Ткаченко, И.М. Моделирование информационных потоков в системе «объяснение понимание - интерпретация» / И.М.Ткаченко, А.А.Захаров, E.Hl Калашникова // Радиотехника и связь: сборник научных трудов. Саратов: СГТУ, 2009. - С. 39-43.

47. Ткаченко, И.М. Использование законов комбинаторики в системе распознавания образов / И.М.Ткаченко, А.А.Захаров // Радиотехника и связь : сборник научных трудов. Саратов: СГТУ, 2009. С.43-49.

48. Ткаченко, И.М. Разработка программного продукта по использованию вейвлет функций для анализа сигналов различного вида / Е.Р.Кожанова,

49. А.А.Захаров, И.М.Ткаченко // Саратов: Вестник Саратовский государственный технический университет, 2010. №4(51)Вып. 3 С.160-165.

50. Ткаченко, И.М. Модель системы управления развитием общеобразовательного учреждения / И.К. Гевлич, А.А.Захаров, И.М.Ткаченко // Саратов: Вестник Саратовский государственный технический университет, 2010. №4(50)Вып. 2 С.145-149.

51. Ткаченко, И.М. Комплекс' программ LABPRAKTIKUMOSNOVWAVELET для изучения основ вейвлет-анализа / Е.Р.Кожанова, А.А.Захаров,

52. Тугов, Н.М. Полупроводниковые приборы: учеб. для вузов / Н.М.Тугов, Б.А.Глебов, НАЛарыков; Подред.В.АЛабунцова. М.: Энергоатомиздат, 1990. - 576 с.

53. Федоров, В. А. Педагогические технологии управления качеством профессионального образования : учеб. пособие / В. А. Федоров, Е. Д. Колегова. М.: ИЦ "Академия", 2008. - 208 с.

54. Хабаев, Г.О построении шкалы оценок в системах тестирования // Высшее образование в России. 1996. №1.- С. 122-125.

55. Хвастунов, РМ. Зарождение квалиметрии // Квалиметрия человека и образования. Методолгия и практика: Сб. науч. статей М., 1994. Ч. 2. - С.45-50.1

56. Хлебников, В.А. Теоретические основы объективного измерения учебных достижений учащихся. / В:А. Хлебников М.: Федеральное государственное учреждение «Федеральный центр тестирования», 2005.-127 с.

57. Цапенко, М.П. Измерительные информационные системы: Структуры и алгоритмы, системотехническое проектирование: Учеб. пособие для вузов. -2-е изд., перераб. и доп. М., 1999. - С.108-114.

58. Челышкова, М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. / М.Б. Челышкова-М.: Логос, 2002. 432 с.

59. Челышкова, М.Б. Разработка педагогических тестов.на основе современных математических моделей: Учеб. пособие. / М.Б. Челышкова М.: Исслед. центр проблем качества подготовки специалистов, 1995.- 32с.

60. Электронные приборы СВЧ: Учебн. Пособие для вузов по спец. «Электронные приборы» / В. М. Березин, Э. М. Гутцайт и др. М: Высшая школа, 1985- 296с.

61. Генератор подструктур (ГП)/ Каширин В.Г., Захаров A.A., Ткаченко1 И.М., Гевлич И.К, Каширин Е.Г./ Свидетельство о государственной регистрации программы для ЭВМ №2011610165 от 11.01.2011 г.

62. Schemsravl Свидетельство о государственной регистрации программы для ЭВМ №2011610164 /Кожанова Е.Р., Захаров A.A., Ткаченко И.М./ от 11.01.2011г.