автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Теоретические основы построения автоматизированной системы сертификации работников отрасли образования



БОЯШОВА СВЕТЛАНА АНАТОЛЬЕВНА

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ СЕРТИФИКАЦИИ РАБОТНИКОВ ОТРАСЛИ ОБРАЗОВАНИЯ

Специальность 05.13.06 - автоматизация и управление технологическими процессами и производствами (образование)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора технических наук

Санкт-Петербург 2010

" 2 ДЕК 2010

004615578

Работа выполнена в Головном центре мониторинга и сертификации Отраслевой системы ГОУВПО «Санкт-Петербургский государственный университет информационных технологий, механики и оптики»

Научный консультант:

Заслуженный деятель науки Российской Федерации доктор технических наук, профессор Васильев Владимир Николаевич

Официальные оппоненты:

доктор технических наук, профессор Бухановский Александр Валерьевич

доктор технических наук, профессор Ястребов Анатолий Павлович

доктор технических наук, профессор Розенберг Владимир Яковлевич

Ведущая организация: Санкт-Петербургский государственный

политехнический университет

Защита состоится «25» декабря 2010 года в 15. 00 часов на заседании диссертационного совета Д 212.227.06 при ГОУВПО «Санкт-Петербургский государственный университет информационных технологий, механики и оптики» по адресу: 197101, Санкт-Петербург, Кронверкский пр., 49

С диссертацией можно ознакомиться в библиотеке ГОУВПО «Санкт-Петербургский государственный университет информационных технологий, механики и оптики»

Автореферат разослан « » но,3л)|за2010 года

Ученый секретарь диссертационного совета — Л.С. Лисицына

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. В настоящее время Российская система профессионального образования находится в состоянии системных преобразований. Одним из приоритетных направлений модернизации системы является повышение квалификации работников отрасли образования в трех основных областях: специальная профессиональная подготовка, социальное взаимодействие, новые информационно-коммуникационные технологии (ИКТ). Основные требования к уровню квалификации работников отрасли образования определены в Едином квалификационном справочнике (ЕКС)1.

Современные исследования грамотности и компетентности работников отрасли образования в области ИКТ демонстрируют, что количество преподавателей общеобразовательных учреждений, свободно использующих компьютер в профессиональной деятельности, не превышает 25%, современные средства ИКТ - не более 30%, возможности сервисов сети Интернет - не более 35%. Аналогичная ситуация наблюдается и в других областях деятельности работников отрасли образования2.

Противоречие, обусловленное несоответствием уровня квалификации работников отрасли образования единым квалификационным требованиям в заданных областях компетенций (профессиональной, правовой, коммуникационной, информационной), ставит проблему пересмотра целевой и содержательной части подготовки кадров, а также методов и средств контроля уровня их грамотности и компетентности.

Установление соответствия уровня грамотности и компетентности работников отрасли образования квалификационным требованиям, как правило, происходит на основе использования технологий тестирования и сертификации. В России наиболее распространенной считается вендориая сертификация, которая проводится через государственные и негосударственные образовательные учреждения3.

Научные основы построения автоматизированных систем тестирования (ACT), используемых при различных видах сертификации, заложены работами таких специалистов, как Аванесова В. С., Васильева В. Н., Колесникова Ю. Л., Королева А. А., Кузнецова В. Г., Лисицыной Л. С., Лямина А. В., Майорова А. Н., Неймана Ю. М., Розенберга В. Я., Стафеева С. К., Скуратова А. К., Татура 10. Г., Тихонова А. Н. Хлебникова В.А. и др.

' ЕКС разработан с учетом приказа Министерства здравоохранения и социального развития Российской Федерации от 5 мая 2008 г. № 216н «Об утверждении профессиональных квалификационных групп должностей работников образования» (зарегистрирован в Министерстве юстиции Российской Федерации 22 мая 2008 г., регистрационный № 11731).

2 «Создание многоуровневой системы мониторинга и тестирования компьютерной грамотности и икт-компегентвости» (200б-2007гг.) и «Разработка организационной, методической, технической документации отраслевой системы мониторинга и сертификации компьютерной грамотности и икт-компетекгносга» (2008-2009 гг.)».

3 Например, в области ИКТ в России наиболее распространенной считается вендорная сертификация Cisco, Microsoft, Oracle, IBM, которая проводится через государственные и негосударственные образовательные учреждения такие, как: Центр колсаыотернот обучения «Специалист» при МГТУ им. Баумана; общество «Знание»; компании Softline и 1Си др. и независимая - European Computer Driving License (ECDL)

Опыт показывает, что при практической реализации существующих моделей ACT в системах сертификации специалистов возникает ряд существенных проблем:

• наиболее распространенные вендорные системы ориентированы на интересы отдельных производителей и не могут способствовать решению государственных задач в области управления качеством подготовки работника;

• ни одна из существующих систем не обеспечивает измерения грамотности и компетентности с заданной степенью валидкости, надежности и достоверности (наиболее близкая к решению этой задачи система ECDL)4;

• ни одна из существующих систем в должной мере не обеспечивает выполнение метрологических требований (единство измерений).

Как следствие, дальнейшее развитие ACT и систем сертификации тесно связано развитием подходов к измерению грамотности и компетентности работника как объективного процесса. В связи с этим возникает необходимость в поиске новых методов и средств обеспечения единства педагогических измерений в системах сертификации работников, что и определяет актуальность данного исследования.

Объект диссертационного исследования - отраслевые системы автоматизированной сертификации, обеспечивающие технологический контроль уровня подготовки работников в соответствии с квалификационными требованиями, государственными и международными стандартами.

Предмет исследования - теоретические основы, средства, методики и алгоритмы в составе промышленной технологии создания ACT для сертификации грамотности и компетентности работников в отрасли образования.

Цель исследования - разработка теоретических основ построения автоматизированной системы сертификации работников отрасли образования в рамках обеспечения принципа единства педагогических измерений.

Задачи исследования:

1) разработать формализованную модель системы объективного педагогического измерения, позволяющую автоматизировать процессы сертификации в образовании;

2) обосновать концептуальную модель автоматизированной организационно-технологической системы отраслевой сертификации грамотности и компетентности работников отрасли образования на основе единых квалификационных требований с использованием объективных педагогических измерений;

3) разработать и реализовать методики автоматизации измерения формализованных сертификационных показателей (грамотности и компетентности работников отрасли образования) в рамках модели автоматизированной организационно-технологической системы;

4) разработать методику автоматизированной экспертной оценки компетентности работника отрасли образования на основе количественного анализа сертификационных показателей;

' В существующих системах объективный контроль валидности, надежности и достоверности невозможен в силу отсутствия адекватных методов узмерений.

5) провести исследование эффективности многоуровневой автоматизированной организационно-технологической системы сертификации работников отрасли образования в процессе ее опытной эксплуатации;

6) разработать образовательную программу повышения квалификации, ориентированную на развитие инновационной деятельности работников отрасли образования.

Гипотеза исследования. Автоматизированная организационно-технологическая система отраслевой сертификации, разработанная на новой теоретической основе, позволяет объективно5 оценить результаты подготовки работников образования в системе повышения квалификации в целях модернизации образовательных программ, тем самым, обеспечивая соответствие уровня квалификации работников отраслевым квалификационным требованиям.

Методы исследования. В ходе выполнения работы были использованы методы теории сложных систем, методы математической статистики, методы инженерии знаний (включая анкетирование), методы проектирования и разработки программного обеспечения, методы психологического и педагогического тестирования, методы оптимизации и оценки эффективности систем.

Научная новизна результатов исследований заключается в том, что в работе впервые предложен научно обоснованный метрологический подход к проведению объективных педагогических измерений. Данный подход позволяет перейти от формального тестирования испытуемых к объективному педагогическому измерению количественных характеристик грамотности и компетентности, обеспечивая единообразие единиц измеряемых педагогических величин и их мер, тем самым достигается сопоставимость результатов измерений.

На основе предложенного формализма педагогических измерений разработана, обоснована и практически внедрена новая концептуальная модель автоматизированной организационно-технологической системы отраслевой сертификации, которая позволяет унифицировать кодификаторы, базы данных тестовых заданий, средства измерения, проведение измерений в режиме реального времени, обработку данных измерений, а также выдачу и каталогизацию сертификатов.

В целом новизна результатов диссертационной работы достигнута за счет совокупного использования существующих ранее моделей сертификации в рамках целостной модели автоматизированной организационно-технологической системы контроля грамотности и компетентности работников отрасли образования, адаптации методов физических измерений к задачам отрасли образования, а также формирования целостного комплекса технического, организационного, правового и программного обеспечения.

Практическая значимость. На основе обоснованных в диссертации теоретических положений разработан и внедрен в опытную эксплуатацию программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования.

5 С вероятностью, определяемой условиями проведения процесса проведения сертификации

Опытная эксплуатация комплекса проведена в семнадцати регионах РФ (Санкт-Петербург, Ленинградская область, Пермь, Калининград, Новокузнецк, Владимир, Воронеж, Калуга, Краснодар, Новосибирск, Псков, Омск, Самара, Ставрополь, Тамбов, Чувашия, Пермь).

Результаты мониторинга грамотности и компетентности работников на основе применения нового комплекса позволяют вырабатывать управленческие решения в области оценки эффективности системы повышения квалификации и тем самым обеспечить отрасль образования квалифицированными специалистами.

В ходе практической реализации и внедрения результатов работы разработана образовательная программа (инновационная составляющая) повышения квалификации работников отрасли образования, построенная на основе единых квалификационных требований и включающая в себя четыре основных модуля: «Педагогическое проектирование в отрасли образования», «Теория и практика педагогических измерений», «Педагогическая метрология как основа педагогических измерений», «Новые информационно-коммуникационные технологии в профессиональной деятельности работников отрасли образования».

На защиту выносятся:

1. Теоретическая модель педагогических измерений как основа процессов автоматизации сертификации, определяющая способы формализации педагогических понятий, систему педагогических величин и их единиц, методы, процедуры, средства измерения, методы анализа и контроля результатов.

2. Концептуальная модель автоматизированной организационно-технологической системы сертификации работников отрасли образования, систематизирующая кодификаторы квалификационных требований, систему оценки квалификации, систему мониторинга сертификационных показателей, систему оценки качества самой сертификации, а также соответствующую технологическую и организационную инфраструктуру.

3. Способы, процедуры и алгоритмы автоматизации процессов педагогического измерения и экспертизы грамотности и компетентности работников отрасли образования, отражающие порядок структуризации автоматизированной системы измерения (АСИ), ограничения к ее применению, архитектуру системного уровня (включая базы данных), правила проведения измерений в режиме удаленного доступа, принципы обработки данных измерений и анализа полученных результатов.

4. Набор методик и инструментальных средств, используемых в автоматизированной организационно-технологической системе сертификации, а также средств разработки образовательных программ повышения квалификации работников отрасли образования на основе единых квалификационных требований.

5. Результаты оценки количественных показателей эффективности функционирования автоматизированной организационно-технологической системы сертификации работников отрасли образования в сопоставлении с ранее существующими системами сертификации в области ИКТ на основе экспертных технологий.

Достоверность результатов работы обеспечивается:

• корректностью совокупного использования теоретических положений теории общих систем, метрологии, информатики, педагогики, психологии;

• адекватностью информационно-логических моделей реальным процессам, подтвержденной результатами статистической обработки результатов экспериментальных исследований;

• положительным результатом опытной эксплуатации программно-аппаратного комплекса в процессе оценки качества подготовки специалистов на всех ступенях непрерывного образования;

• апробацией основных положений докторской диссертации на научно-практических конференциях различного уровня и в печатных изданиях.

Внедрение результатов работы. Результаты теоретических исследований использованы при выполнении 2 НИОКР в рамках Федеральной целевой программы развития образования по заказу Министерства образования и науки РФ и четырех НИОКР по заказу Комитета по образованию Санкт-Петербурга. Программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования внедрен в Лицее №273 Колпинского района Санкт-Петербурга, в ФГУ ГНИИ «Информика», а также в образовательный процесс СПбГУ ИТМО.

Апробация работы. Материалы диссертационного исследования обсуждались на 6 международных, 8 всероссийских, 5 межрегиональных и 4 межвузовских конференциях, в том числе «Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России» (СПб., Смольный, 2000-2004 гг.); «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов» (СПб, ВМИРЭ, 2001-2005 гг.); «Телематика» (СПб., ГРОЦ, 20032009 гг.); «Новые технологии в образовании» (Воронеж, ВШУ, 2003, 2004 гг.); «Развитие тестовых технологий в России» (М., Центр тестирования, 2005-2007 гг.); Международный оптический конгресс «Огггика XXI век» (СПб., СПбГУ ИТМО, 2008 г.); «Уткинские чтения» (СПб., Военмех., 2008, 2009 гг.) «Измерения в современном мире» (СПб, Политехнический университет, 2009 г.) и др., а также на совещании в Департаменте государственной политики в образовании (2008 г); на рабочем совещании в Российской Академии образования (2009 г); на научно-практических семинарах по опытно-экспериментальной работе в Колпинском районе СПб (Лицей №273, 2005-2009 гг.); на предметно-методических и научно-практических конференциях, организованных в рамках УМО «Приборостроение» (СПбГУ ИТМО 2006-2009 гг.).

Публикации. По теме диссертации опубликовано 44 печатных работы, из них - 9 статей в изданиях, рекомендованных ВАК Министерства образования и науки РФ, 1 монография.

Личный вклад автора в работах, выполненных в соавторстве, заключается в постановке задач педагогических измерений, разработке и обосновании концептуальной модели системы сертификации, разработке соответствующего математического аппарата, интерпретации результатов и в формулировке общих закономерностей.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы, и восьми приложений. Основная часть работы изложена на 367 страницах машинописного текста. Работа содержит 52 рисунка и 83 таблицы.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследования, формулируются его цели и задачи, выдвигается гипотеза, характеризуется новизна и практическая значимость, раскрываются основные положения, выносимые на защиту, указывается теоретико-методологическая база исследования.

В первой главе проводится исследование существующих Российских и международных систем сертификации кадров. В процессе анализа было установлено, что в настоящее время в мировой практике различают два основных вида систем сертификации: вендорные (например, в области ИКТ -Microsoft, IBM, Oracle, и др.) и независимые (По7нание», ECDL и др.).

В процессе исследования выявлено, что в существующих системах сертификации объективность оценки уровня подготовки испытуемого в определенных областях знаний достигается в большей степени за счет массовых экспертных оценок, автоматизированные элементы в основном обеспечивают только процедуру тестирования. Данный факт существенно влияет на объективность и достоверность измерений.

Новая концептуальная модель автоматизированной организационно-технологической системы сертификации грамотности и компетентности работников отрасли образования, разработанная в диссертации и описанная в данной главе, позволяет с известной степенью вероятности определить значения сертификационных показателей, полученных в процессе объективного педагогического измерения, оценить погрешность результатов, сравнить результаты измерения с результатами экспертиз.

Основные составляющие компоненты концептуальной модели автоматизированной организационно-технологической системы сертификации грамотности и компетентности работников, в свою очередь, сами представляют собой сложноорганизованные системы.

Компоненты модели представлены в виде блок-схемы (рис. 1):

— ОППК _ соксс

Рис. 1. Блок-схема концептуальной модели системы сертификации

Первый блок - квалификационные требования к работнику (КТР).

В блоке КТР представлены кодификаторы понятий и компетенций, которыми должны обладать работники в соответствии с едиными квалификационными требованиями (60 кодификаторов).

Второй блок - образовательные программы повышения квалификации, составленные в соответствии с квалификационными требованиями (ОППК). Каждый образовательный модуль ОППК разделен на блоки (всего 120 блоков).

Третий блок - система оценки квалификации (СОК), разработанная в соответствии с образовательной программой повышения квалификации и КТР.

Оценка уровня квалификации работника проводится с использованием автоматизированной системы измерений, обеспечивающей их единство, при котором результаты измерений выражаются в единых узаконенных единицах педагогических величин, погрешность результатов педагогических измерений известна с заданной вероятностью, и не выходит за рамки установленных пределов. Совместно с объективным измерением в СОК проводится экспертиза компетентности работника. Данные экспертизы обрабатываются с использованием современных информационных технологий. Результаты измерений и экспертизы являются основой для выдачи сертификата.

Четвертый блок — система мониторинга квалификации работников (СМК). Данная система выполняет функции сбора, обработки, хранения и распространения информации о результатах функционирования системы сертификации. По результатам мониторинга принимаются управленческие решения по оптимизации и повышению эффективности системы сертификации в отрасли образования.

Пятый блок - система оценки качества самой системы сертификации (СОКСС). Основным показателем качества системы является ее эффективность и оптимальность. Оценка эффективности проводится методом последовательных уступок, так как он учитывает приоритет системы по тому или иному показателю и взаимосвязь показателей.

Технологическая инфраструктура отраслевой сертификации построена на базе современных и высокопроизводительных и надежных решений. Компьютеры, обслуживающие систему, объединены в локальную сеть, имеющую выход в Интернет.

Организационная инфраструктура сертификации представлена на рис. 2

Органы управления образованием ;

Принятие решения о присосешь квалификации

Разработка нормативно-правовых \ документов

Тести

Сертификаты

Сеть учреждений образования,' обеспечивающая повышение квалификации работников

Работник

Сертификация

Проектная организация, обеспечивающая разработку УМК : для системы повышения квалификации ..

Отраслевой центр мониторинга и : | сертификации : ;; ¡*>

Обошгдснпые р^ >уль (ати сорт 1}ф!!;,':гцш1

Рис. 2. Организационная структура отраслевой сертификации

Во второй главе диссертационного исследования разработана и описана обобщенная структура учебного модуля, а также набор методик и инст-

рументальных средств разработки образовательных программ повышения квалификации работников отрасли образования на основе единых квалификационных требований.

В соответствии с данной структурой разработаны три инновационных учебных модуля повышения квалификации работников двух основных категорий: «Руководители» и «Педагогический персонал образовательного учреждения». Для этих и всех других категорий работников разработан инновационный учебный модуль «Новые информационно-коммуникационные технологии в профессиональной деятельности работников отрасли образования».

Обобщенная структура инновационного учебного модуля представлена на рис.3.

Цель изучения

Продолжительность обучения

Предполагаемый результат

Учебный план

Организтртнно-педагогические условия

Особенности использования технологии обучения

Требования к кадровому обеспечению учебного процесса

Итоговая аттестация

Рис. 3. Обобщенная структура учебного модуля

Далее на примере инновационного учебного модуля «Педагогическая метрология как основа педагогических измерений» описаны методики и инструментальные средства разработки системы понятий, как основы отбора содержания учебных модулей и соответствующих учебно-методических комплексов и оценочных средств.

В третий главе представлена новая теоретическая модель системы педагогических измерений как основа педагогической метрологии. Модель включает в себя три основных компоненты.

Описание объектов исследования в педагогической метрологии. К объектам исследования отнесены: системы, функционирующие в отрасли образования, процессы и явления, которые развиваются и наблюдаются в данных системах. В диссертации исследованы: «система образования» «педагогическая система», «система обучения», «учение человека как процесс и как явление», «преподавание как процесс и как явление», «учебная деятельность».

Система педагогических величин и их единиц. По результатам исследования перечисленных выше систем и процессов были формализованы педагогические понятия: знание, умение, навык, грамотность, компетентность и введена система педагогических величин, разработанная по существующим метрологическим правилам6

Система педагогических величин (СПВ) - это совокупность педагогических величин, образованная в соответствии с принятыми принципами из основных (независимых) и производных (функционально зависящих от основных) педагогических величин (табл. 1).

Таблица 1. СПВ

Основные величины Буквенное обозначение Размерность Единица величины

Объем ЗУН ЗУН понятие (и)

Объем понятий учебной дисциплины V понятии N понятие(п)

Время | / т секунда (с)

Производные величины

Буквенное обозначение Размерность Единица величины

Обученность V тун ЗУН понятие(и)

Коэффициент грамотности а Безразмерный коэффициент

Скорость мышления Р сПт М = ЗУНТ1 понятие [п] секунда (с)

Компетентность ч> йшК = ЗУНТ-1 понятии (п} секунда 1ч с )

Система педагогических величин обеспечивает единообразие единиц измеряемых педагогических величин и их мер, позволяет вещественно воспроизводить эти величины с требуемой точностью, тем самым достигается сопоставимость результатов измерения при сертификации работников.

Система педагогического измерения включает в себя: конкретизированные цели, принцип измерения, методы и средства, математические методы обработки данных измерения, математические методы анализа данных измерения, определение понятия эталонов педагогического измерения, спо-

6 ГС. ГСИ, Метрология. Основные термины и определения. МИ 2247-93. - СПб, 1994.

соб разработки эталонов понятий, способ разработан эталон-шкалы измерения грамотности, способ измерения компетентности, способ разработки эталон-шкалы измерения компетентности. Обобщенно теоретическая модель системы измерения представлена на рис 4.

Рис. 4. Теоретическая модель системы педагогических измерений

В четвертой главе описана методика измерения грамотности и компетентности работников отрасли образования, разработанная на основе теоретической модели педагогического измерения. В методике отражены способы, процедуры и алгоритмы автоматизации процессов педагогического измерения. Методика конкретизирована для измерения икт-грамотности и икт-компетентности работников отрасли образования.

Выбор объектов измерения обусловлен тем, что грамотность и компетентность в области информационно-коммуникационных технологий является инвариантной для всех категорий работников.

Под «икт-грамотностью» понимается свойство психической системы испытуемого (работника), количественной мерой которого является объем усвоенных им понятий научной области «Информационно-коммуникационные технологии» в виде соответствующей системы знаний, умений, навыков (ЗУН).

Под «информационно-коммуникационной компетентностью» понимается свойство психической системы испытуемого, количественной мерой которого является скорость операций усвоенными понятиями научной области «Информационно-коммуникационные технологии».

Основной целью измерения является определение действительного значения икт-грамотности и икт-компетентности испытуемого. Чем выше уровень развития мышления испытуемого (работника) на индуктивной основе, тем выше действительные значения исследуемых величин.

В качестве основного метода измерения икт-грамотности и икт-компетентности применяется «метод сравнения с мерой», при котором измеряемую величину сравнивают с величиной, воспроизводимой мерой.

Процесс разработки эталонов (мер) измерения состоит из трех основных шагов: формирование кодификатора; формирование эталонов; установление сертификационных норм.

Кодификатор представляет собой структурную содержательную матрицу, включающую в себя системы понятий и их структурные составляющие, подлежащие обязательному усвоению испытуемым в исследуемой области компетенций - «Информационно-коммуникационные технологии».

В соответствии с кодификатором формируется эталонное распределение понятий исследуемой области компетенций по блокам, которое является эталонным распределением наивысшего класса точности, обладающим 100% ва-лидностью относительно кодификатора рис. 5.

10Г

1 блок

2 блох

3 блок

4 блок

Рис. 5. Пример эталонного распределения понятий по блокам

В каждом следующем по классу точности эталоне количество понятий в блоке уменьшается на единицу.

Далее устанавливаются значения коэффициента грамотности испытуемого, исходя из того, что в процессе тестирования испытуемый должен воспроизводить предметно-специфические понятия кодификатора не ниже заданного эталона точности. Пример эталонных распределений понятий приводится в табл. 2.

Таблица 2. Эталонные распределения коэффициента грамотности

Эталоны 1 блок { 2 блок 3 блок | 4 блок 5 блок среднее

Эталонные распределения коэффициента грамотности

Первичный эталон 1 1 1 1 1 1

1-го разряда 0,80 0,88 0,89 0,90 0,89 0,87

2-го разряда 0,60 0,75 0,78 0,80 0,78 0,74

3-го разряда 0,40 0,63 0,67 0,70 0,67 0,61

4-го разряда 0,25 0,5 0,56 0,60 0,56 0,49

а~ Утий (эталон заданного разряда точности)/ . (первичный эталон).

На следующем шаге рассчитываются средние (сертификационные) значения коэффициента грамотности по модулям и погрешность среднего значения для каждого эталона. В данном примере число наблюдений признака - п = 5. Доверительная вероятность - Р = 0,95. 1-Стьюдента - 1с- 2,77.

Пример расчета погрешности эталона коэффициента грамотности приводится в табл. 3.

Таблица 3. Эталон первого разряда

а XX Д а (АаУ 5 ± Да Дог

0,80 0,872 0,072 0,005184 0,025846 0,008173 0,02264 0,87 ±0,02 0,02 (2%)

0,83 -0,008 6.4Е-05

0,89 -0,018 0,000324

0,90 -0,028 0,000784

0,89 -0,018 0,000324

Среднее: 0,001336

Чтобы сформировать эталоны максимальной скорости мышления задается время, в течение которого проводится измерение.

С учетом свойств психической системы человека (ее способности удерживать внимание) следует ограничить время измерения двумя астрономическими часами (7200 с). Полагается, что при проведении измерения испытуемый в промежутке времени, равном двум астрономическим часам, воспроизводит понятия равномерно. Рассчитывается значение максимальной скорости равномерного мышления испытуемого без учета коэффициентов сложности воспроизводимых им понятий (для четырех эталонов понятий).

„ Л'понятий А

Пример получаемых результатов расчета приводится в табл. 4

Таблица 4. Эталонные значения максимальной скорости мышления

Эталон Общее число воспроизводимых понятий Время измерения (с) Максимальная скорость мышления (п/с)

Первичный 41 7200 0,005694 ±0,000139

1-го разряда 36 7200 0,005000 ±0,000139

2-го разряда 31 7200 0,004306 ± 0,000139

3-го разряда 26 7200 0,003611± 0,000139

4-го разряда 21 7200 0,002917± 0,000139

Расчет погрешности косвенного измерения максимальной скорости мышления проводится по формуле:

Л/? ДГ Дг ЛI п/ а ч 4 „ „ ДК

= — + —. ——»0 (погрешностью можно пренебречь), д/? = /?• .

Сертификационные нормы икг-грамотности и икт-компетентности устанавливаются в соответствии с целями измерения и с учетом эталонных значений коэффициента грамотности и максимальной скорости мышления.

Пример получаемых результатов расчета эталонных значений сертификационных показателей представлен в табл. 5.

Таблица 5. Эталонные значения сертификационных показателей

Эталон Коэффициент грамотности Время измерения (с) Максимальная скорость мышлешш (п/с)

Первичный 1±0 7200 0,0056Э4± 0,000139

1-го разряда 0,87 ± 0,02

2-го разряда 0,74 ± 0,05

3-го разряда 0,61 ± 0,07

4-го разряда 0,49 ± 0,08

Выбор эталона зависит от того, с какой точностью (погрешностью) проводятся педагогические исследования.

В качестве рабочего средства в АСИ измерения используются тесты, которые формируются в соответствии с первичным эталоном измерения.

Тесты могут быть составлены в системе из тестовых заданий минимального уровня сложности (knowledge-based test), и более сложных имитационных заданий (performance-based test).

Измерение икт-грамотности и икт-компетентности происходит в процессе тестирования, основанного на использовании автоматизированной системы измерений. В процессе тестирования испытуемый выполняет тест, формируемый АСИ непосредственно в процессе измерения. Тест формируется методом типического бесповоротного отбора из базы тестовых заданий. База тестовых заданий формируется в соответствии с первичным эталоном понятий.

Последовательность операций, проводимых в процессе педагогического измерения, состоит из совокупности четырех основных шагов.

Шаг первый. Результаты прямого измерения объема понятий, усвоенных испытуемым, фиксируются в тестовой матрице.

Шаг второй. По данным прямого измерения первичного бала, который наблюдается по тестовой матрице, АСИ строит экспериментальное распределение коэффициента икт-грамотности.

Вначале система сравнивает количество правильно воспроизведенных испытуемым понятий с количеством понятий, определенным в первичном эталоне. Далее рассчитываются значения коэффициента икт-грамотности по блокам, определяется среднее значение показателя и погрешность среднего при заданной вероятности. Если среднее значение коэффициента грамотности испытуемого а попадает в интервал сертификационного значения а

точности, но вместе с тем наблюдается отличие доверительных интервалов для среднего, то в этом случае следует установить, есть ли существенное статистическое различие между двумя выборками. Принимается нулевая гипотеза о сходстве уровня подготовленности испытуемого стандарту как верная, и если она отклоняется, то тем самым обосновывается гипотеза о различии.

Нулевая гипотеза записывается так: Н„ = (м, ~ М 2) л (£>, ~ Ог).

Это означает, что средние и дисперсии первой и второй выборок статистически однородны. Альтернативная гипотеза записывается так: Н = (М, ~/~М,)л(о, ~/>2Мм, ~Мг)л(£>, ~/~£>2)у(М, ~/~М2)л(Д ~£>г).

Это означает, что средние не однородны, а дисперсии однородны, или средние однородны, а дисперсии не однородны, или не однородны и средние и дисперсии. Любые из трёх несовместимых вариантов являются достаточным условием для отклонения гипотезы о сходстве в пользу гипотезы о различии. Для проверки гипотез используют парные критерии Стьюдента и Фишера. Распределение Стьюдента (критерий для сравнения средних):

- 1М,-Мг| .....__ "¡иг(к, ' "2—Распределение Фишера (критерий

4{п,-\)0,+(пг-\)0г -у

для сравнения дисперсий): (о, >д2)= ^ (о, >о,) ? распределение

Фишера-Снедекора (критерий для сравнения дисперсий).

1-1 п "1

Шаг третий. АСИ рассчитывает значение скорости правильного мышления испытуемого (икт-компетентность).

(¡Упснятай

^ ~а Ж '

Расчет абсолютной погрешности измерения компетентности проводится по правилам расчета погрешности косвенного измерения.

Д? _ Аа ( АV | Ы <р ~ а V /

Шаг четвертый Формирование сертификационного заключения в АСИ производится по результатам измерения (табл. б).

Таблица 6. Пример расчетов. Сравнение проводится с эталоном 1-го разряда._

Блики Результаты измерений и расчетов

1 I 2 ! 3 I 4 | 5

Экспериментальное распределение«

0,93 | 0,78 | 0,50 | 0,80 | 0,82 а = 0,77 ± 0,09

Заданное АСИ значение максимальной скорости оперирования понятиями р = 0,005694± 0,000139 (п/с)

Значение компетентности испытуемого (р = 0,004384 ± 0,000618 (п/с)

Коэффициент компетентности испытуемого 0,004384 , 0?7±012 Р 0,005694

Продолжение таблицы б_

Расчеты погрешностей косвенных измерений

А<р _ Да ЛГ . А/ у а V Г

До = 0,00438/— + — + —— | = 0,000618 1Д77 41 7200)

Относительная погрешность 8Г = 0,14(14%) Дет _ Д_£ Д/?

( 0,004384 0,005694;

По результатам измерения икт-грамотности и икт-компетентности формируется сертификационное заключение.___

СЕРТИФИКАЦИОННОЕ ЗАКЛЮЧЕНИЕ

1. Испытуемый сертифицирован.

2. Испытуемый усвоил 77% понятий области ИКТ компетенций согласно единым квалификационным требованиям. Относительная погрешность измерения грамотности испытуемого равна 9%.

3. За одну секунду испытуемый воспроизводит правильно 77% понятий области ИКТ компетенций. Скорость правильного воспроизведения понятий испытуемым (компетентность) равна <р = 0,0043 ± 0,0006 (п/с) Относительная погрешность измерения компетентности испытуемого равна 16%.

4. Измерение проводилось при малом числе наблюдений признака п = 5, с доверительной вероятностью Р = 0,95.

Измерение сертификационных показателей проводится в режиме реального времени на сайте testcentre.ru.

При исследовании компетентности испытуемого усложняется содержание заданий и одновременно проводится измерение времени выполнения заданий по каждому отдельному блоку.

Система предусматривает перестройку методов и приемов автоматизации в соответствии с новыми возможностями ИКТ. Данное свойство предполагает минимальную затрату времени и средств на ее перестройку и получение экономического, социального или иного эффекта автоматизации.

Система позволяет решать три основные класса задач: 1) расчетные задачи, которые реализуются на основе расчетных моделей (результат - числовое значение); 2) информационные задачи, которые реализуются на основе информационных моделей (результат - смысловой текст, график, рисунок); 3) модельные задачи, которые реализуются на основе моделей знаний о предметной области (результат - модель объекта или процесса).

Разработанная и описанная выше методика является универсальной, она может быть адаптирована к измерению других составляющих грамотности и компетентности работников отрасли образования.

Автоматизированные элементы системы измерений представлены в виде обобщенной блок-схемы рис. 6.

Испытуемый

Представление результатов

ВХОД ВЫХОД -

Автоматизированные элементы системы Щ

\

И

Процесс измерения

X

Обработка данных

........т.......

Анализ результатов

I

■Апробация тгегов я тллшых заданий'

0оржгровЬййе:раб6чих с)кдств .-4 БЖммстгиионное'.т^ -

(тестов) *

БД (типовое тестирование)

формирование эталонов:

Формирование Б/;

V.

ВВОД

I Разработка кодификатора

ВВОД

P Неавтоматизированные элементы системы

Рис. 6. Общая структура АСИ

В пятой главе диссертационного исследования описана новая методика экспертной оценки компетентности работников отрасли образования по всем ее составляющим. В методике отражены способы, процедуры и алгоритмы автоматизации экспертизы компетентности.

Количественной мерой компетентности работника является относительный показатель - коэффициент компетентности а.

Коэффициент компетентности о равен отношению объема усвоенных работником всех составляющих видов деятельности к объему заданному ква-

V

лификационнымн требованиями: а ~

^год

Основной целью экспертной оценки является установление соответствия выполняемых работником функций (видов деятельности) квалификационным требованиям. Чем выше уровень квалификации работника, тем выше значение коэффициента его компетентности.

Данный принцип экспертной оценки определяет основной метод исследования как «метод сравнения с мерой», при котором измеряемую величину сравнивают с величиной, заданной мерой.

Процесс разработки эталонов (мер) экспертной оценки, как и процесс объективного педагогического измерения, состоит из трех основных шагов: формирование кодификатора компетенций; формирование эталонов; установление сертификационных норм.

Основным рабочим средством экспертизы является машиночитаемая карточка эксперта в форме бланка, который составляется в соответствии с кодификатором компетенций.

При разработке машиночитаемой формы такого бланка предусмотрены поля для ввода измеряемых параметров и поля для ввода данных о работнике, а также разработана инструкция по его заполнению.

Основание экспертизы. Экспертиза проводится на единой нормативной и организационно-методической основе (квалификационные требования к работникам отрасли образования).

Предмет исследования. Как было отмечено выше, целью и содержанием экспертизы является установление соответствия квалификации работника квалификационным требованиям.

В процессе проведения экспертизы определяются значения коэффициента компетентности работника, исследуемого для каждой составляющей области компетенций.

Форма проведения. Под формой проведения экспертизы понимается время, место и организационные условия ее проведения.

В системе сертификации рекомендованы такие формы как: анализ экспертом поргфолио работника (без участия работника), устное собеседование. Время экспертизы устанавливается по согласованию с работником.

Критерии экспертизы. Под критериями понимаются значения показателей, коэффициента компетентности работника и их соответствие коэффициентам компетенции, которые заданы эталонами.

Самообследование. Перед началом экспертизы работник проводит самообследование своей деятельности по заданным кодификаторам компетенций и подтверждает результаты выполнения своих трудовых функций.

Результаты самообследования передаются эксперту.

Экспертное обследование. Эксперт знакомится с результатами самообследования работника и заполняет машиночитаемый бланк (карточку обследования). Бланк сканируется и обрабатывается с помощью специальных или типовых компьютерных программ. По результатам экспертизы выдается сертификат, который передается в аттестационную комиссию для принятия управленческого решения о присвоении работнику соответствующей категории. Система сбора и обработки данных в системе отраслевой сертификации удовлетворяет нижеперечисленным техническим требованиям: 1) поддерживает корректность и целостность данных; 2) обеспечивает шифрование информации; 3) поддерживает данные, необходимые для формирования базовых отчетных форм.

Экспертное заключение формируется в автоматическом режиме и предоставляется испытуемому в виде бланка (рис. 7).

ЭКСПЕРТНОЕ ЗАКЛЮЧЕНИЕ ИНФОРМАЦИЯ О РАБОТНИКЕ

ФИО работника: ПЕТРОВ ПЕТР ИВАНОВИЧ Категория: ПЕДАГОГИЧЕСКИЕ РАБОТНИКИ Должность: УЧИТЕЛЬ ИНФОРМАТИКИ

Учреждение образован™: ЛИЦЕЙ 273 КОЛПИНСКИЙ РАЙОН г. САНКТ-ПЕТЕРБУРГ Базовое образование: ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ПЕДАГОГИЧЕСКОЕ Стаж работы: 8 ЛЕТ

РЕЗУЛЬТАТЫ ЭКСПЕРТИЗЫ

£3 распределение коэффициента компетентности по блокам

0,6 -0,4--

о/.

1 блок 2 блок 3 блок 4 блок сред

Значение коэффициента компетентности: О =0,67 ±0,11 Погрешность экспертизы; = 16%

Неусвоенные компетенции по кодификатору

Блок Г. 2,6,7,10.

Блок 2: 3.

Блок 3: 3.

Блок 4: 4,8,9,14,15,16,17

Рекомендован«! первая квалификационная категория

| Эксперт: СМИРНОВ АНАТОЛИЙ ПАВЛОВИЧ Дата экспертизы: 22. 01. 2010.

I_______________

Рис. 7. Образец экспертного заключения

В шестой главе описан процесс внедрения системы сертификации работников отрасли образования, разработанной на новой теоретической основе, и экспериментальное исследование ее характеристик.

В описании отражены результаты оценки количественных показателей эффективности функционирования автоматизированной организационно-технологической системы сертификации работников отрасли образования в сопоставлении с ранее существующими системами сертификации в области ИКТ на основе экспертных технологий.

Исследование основных элементов системы сертификации было разделено на две составляющие в зависимости от уровня системы повышения квалификации.

Первый уровень - локальный (Лицей № 273 Колпинского района Санкт-Петербурга).

Второй - межрегиональный (экспериментальное исследование икт-грамотности и икт-компетентности работников отрасли образования с использованием АСИ в 17 регионах РФ).

Исследование грамотности и компетентности работников Лицея

Данные исследования результатов измерения грамотности и компетентности работников Лицея категории «Руководители» и «Педагогические работники» показывают, что грамотность и компетентность испытуемых растет по мере внедрения инновационных учебных модулей в процессе повышения квалификации, реализуемой в рамках проведения опытно-экспериментальной работы. Средние значения исследуемых показателей представлены в табл. 7.

Таблица 7. Средние значения показателей

Распределение исследуемых показателей по этапам эксперимента

а | а__а__

Первый этап__Второй

0,37 1 0,28 | 0,45

Третий этап

1 этап

2 этап

Зэтап

Проверка статистической гипотезы о наличии различия между выборками по этапам исследования позволяет сделать вывод, что исследуемые выборки а и а являются статистически неоднородными. Следовательно, по мере повышения квалификации работников выделенных категорий с использованием инновационных учебных модулей в процессе педагогической деятельности грамотность и компетентность испытуемых повышается. Результаты дисперсионного анализа полученных данных позволили установить факт влияния внедрения инновационных учебных модулей в процесс повышения квалификации работников Лицея.

Экспертиза экспертизы компетентности работников Лицея проводилось на последнем, заключительном этапе эксперимента по мешдике, описанной в главе 5 настоящего диссертационного исследования.

В процессе анализа результатов устанавливалась корреляционная зависимость между данными, полученными при измерении коэффициента компетентности и данными, полученными при экспертизе (табл. 8).

Таблица 8. Результаты сравнения коэффициента компетентности <т

Испытуемые Измерение ет1 Экспертиза аг Квалификационная категория работника

Третий этап

1 2 3 4 1

13Р1 0,31 ±0,04 0,62 ±0,41 1 первая

23Р2 0,42 ±0,13 0,73 ±0,24 1 высшая

Продолжение таблицы 8

1 2 3 4

33?3 0,39 ±0,20 0,52 ±0,310 1 вторая

43Р4 0,43 ±0,14 0,54 ±0,49 2 первая

53Р5 0,34 ±0,16 0,58 ±0,48 2 первая

63Р6 0,57 ±0,09 0,85 ±0,29 2 высшая

7РЛ1 0,49 ±0,13 0,64 ±0,46 3 первая

8РЛ2 0,44 ±0,16 0,72 ±0,29 3 высшая

9РЛЗ 0,56 ±0,21 0,67 ±0,33 ' 3 высшая

10РЛ4 0,42 ±0,13 0,59 ±0,43 4 первая

ИРЛ5 0,39 ±0,08 0,48 ±0,42 4 вторая

120Д1 0,46 ±0,06 0,67 ±0Д8 4 высшая

130Д2 0,58 ±0,14 0,83 ±0,27 5 высшая

140ДЗ 0,40 ±0,21 0,54 ±0,49 5 вторая

15ИТ1 0,39 ±0,04 0,64 ±0,38 5 первая

16ИТ2 0,69 ±0,11 0,75 ±0,23 6 высшая

17ИН1 0,63 ±0,23 0,84 ±0,27 7 высшая

18ИН2 0,43 ±0,09 0,60 ±0,39 6 первая

18ИНЗ 0,52 ±0,16 0,73 ±0,22 8 высшая

20ЕН1 0,67 ±0,24 0,69 ±0,38 9 высшая

21ЕН2 0,59 ±0,11 0,61 ±0,40 7 первая

22ЕНЗ 0,41 ±0,09 0,52 ±0,41 6 вторая

23ЕН4 0,42 ±0,16 0,79 ±0,23 10 высшая

24АГ1 0,34 ±0,13 0,63 ±0,36 8 первая

25АГ2 0,65 ±0,10 0,78 ±0,25 и высшая

26НШ1 0,57 ±0,09 0,82 ±0,24 12 высшая

27НШ2 0,46 ±0,13 0,65 ±0,33 13 высшая

28НШЗ 0,42 ±0,18 0,59 ±0,44 9 первая

29Д01 0,36 ±0,04 0,71 ±0,20 14 высшая

30ДО2 0,40 ±0,17 0,62 ±0,31 10 первая

Примечание:

1) 13Р1: 1 - порядковый номер испытуемого; ЗР- должность (заместитель руководителя); 1 - порядковый номер в должности.

2) РЛ - учитель русского языка и литературы; ОД - учитель общественных дисциплин; ИТ -учитель информатики; ИН - учитель иностранного языка; ЕН ИТ - учитель естественнонаучных дисциплин; АГ - учитель математики; НШ - учитель начальной школы; ДО - педагог дополнительного образования.

Коэффициент корреляции между двумя выборками значений коэффициента компетентности равен: г12= 0,62 ± 0,12, что указывает на явно выраженную корреляцию. Таким образом, исследование результатов экспертизы показало, что между результатами измерения коэффициента компетентности и экспертной оценкой существует прямая, явно выраженная корреляция. Вместе с тем, погрешность результата измерения компетентности методом экспертизы значительно выше, чем погрешность измерения той же величины с использованием АСИ. Кроме того, применение АСИ обеспечивает более объективное и технологическое измерение, которое может происходить на больших выборках испытуемых.

Экспериментальное исследование компьютерной грамотности в отрасли образования (первый этап эксперимента)

Для проведения педагогических измерений компьютерной грамотности испытуемых в каждом регионе были сформированы три фокус-группы испытуемых численностью тридцать человек каждая в соответствии с требованиями государственного заказа (минимальная статистическая выборка).

Выборка преподавателей средних общеобразовательных школ состояла из преподавателей всех предметов, согласно типовому штатному расписанию среднего общеобразовательного учреждения.

Выборка административных работников средних общеобразовательных школ - из директоров, заместителей директоров и администраторов школьной информационной сети.

Выборка студентов - из учащихся педагогических вузов или университетов (педагогические специальности).

Характеристики выборок представлены в табл. 9.

Таблица 9. Распределение испытуемых по и возрасту

Ла Возраст

Регион До 30 До 45 До 55 Старше

1 Калининград 41 37 11 1

2 Новокузнецк 45 28 17 0

3 Санкт-Петербург 39 37 14 0

4 Ленинградская область 34 38 17 1

5 Пермь 33 46 11 0

Итого испытуемых: 450 192 186 70 2

Расп реаеление испытуемых по и возрасту {%)

№ Регион Возраст

До 30 До 45 До 55 Старше

1 Калининград 46 41 13 0

2 Новокузнецк 50 31 19 0

3 Санкт-Петербург 43 41 16 0

4 Ленинградская область 38 43 19 0

5 Пермь 36 51 13 0

Расп ределение испытуемых по категориям

№ Регион Категория

Студенты Преподаватели Администрация ОУ

1 Калининград 30 30 30

2 Новокузнецк 30 30 30

3 Санкт-Петербург 30 30 30

4 Ленинградская область 30 30 30

5 Пермь 30 30 30

Педагогические измерения компьютерной грамотности в рамках экспериментального исследования проводились на основе методики, разработанной в главе 3 с использованием АСИ.

В основу разработки эталонов измерения были положены кодификаторы понятий и их систем, составленные на основе ФГОС начального обще-

го, среднего общего (полного), высшего профессионального педггогическо-го (ступень бакалавра) образования область - «Информатика».

Установление сертификационных норм проводилось в соответствии с основными метрологическими правилами, при проведении измерений не рекомендовалось использовать эталоны ниже, чем 4-го разряда точности.

По результатам тестирования выделенных категорий испытуемых были получены следующие результаты (табл. 10).

Таблица 10. Распределение сертификатов по регионам и категориям

Регион Не сертифицировано Сертифицировано % сертификатов КГ

Калининград Преподаватели 11 19 63

Администрация 9 21 70

Студенты 6 24 80

Новокузнецк Преподаватели 13 17 57 (min)

Администрация 7 23 77

Студенты 3 27 90

Санкт-Петербург Преподаватели 11 19 63

Администрация 13 17 57 (rain)

Студенты 0 30 100 (max)

Ленинградская область Преподаватели 12 18 60

Администрация 10 20 67

Студенты 2 28 93

Пермь Преподаватели 2 28 93

Администрация 3 27 90

Студенты 0 30 100 (max)

Сравнение результатов измерения по выбранным категориям испытуемых показало, что наиболее подготовленными в области «Информатика» являются студенты педагогических вузов, испытуемые в возрасте до 30 лет, менее подготовленными - преподаватели средних общеобразовательных учреждений.

Можно предположить, что отличие в результатах связано с наличием проблем в системе профессионального дополнительного образования и повышения квалификации специалистов в области «Информатика».

Экспериментальное исследование компьютерной грамотности и икт-компетентности в отрасли образования (второй этап эксперимента)

Для проведения исследования компьютерной грамотности и икг-компетентности на данном этапе были сформированы фокус-группы по принципам добровольности и принадлежности испытуемого к одной из названных выше категорий.

Общие характеристики выборок: фокус-группа - 15 испытуемых; региональная выборка -180 испытуемых; общая выборка - 2160 испытуемых.

Результаты обработки данных измерений компьютерной грамотности, приводятся в табл. 11.

Таблица 11. Распределение сертификатов компьютерной грамотности

Категории Регионы

1 1 2 |3 |4 i 5 |6 ! 7 | 8 j 9 | ХО [11 i 12 1 »того | %

НПО

Учащиеся 3 6 6 8 7 8 5 2 |3 7 5 10 70 39%

Преподаватели 0 0 1 1 2 1 1 0 jo 0 0 3 9 5% (min)

Администрация 4 4 4 6 8 4 3 3 |2 5 3 6 52 29%

спо

Учащиеся 2 5 7 7 13 4 7 4 3 4 4 5 65 36%

Преподаватели 1 0 2 3 3 3 i 1 0 2 0 2 18 10%

Администрация 4 4 5 9 9 7 6 5 2 3 3 7 64 36%

сош

Учащиеся 11 11 13 13 13 13 12 11 11 4 4 5 121 67%

Преподаватели 1 2 3 4 4 2 2 0 0 0 0 4 22 12%

Администрация 9 7 9 10 11 И 19 8 7 7 7 9 104 58%

впо

Студенты 12 10 11 13 11 12 13 10 11 11 10 13 137 76% (max)

Преподаватели 9 7 10 7 9 8 10 7 7 6 6 10 96 53%

Администрация 8 ¡ 5 5 9 10 8 7 7 4 4 6 8 81 ¡ 45%

Сравнение результатов измерения по выбранным категориям испытуемых показало, что наиболее подготовленными являются студенты, менее подготовленными преподаватели НПО. Таким образом, наблюдается та же закономерность, что и при проведении экспериментального исследования компьютерной грамотности испытуемых на первом этапе эксперимента. Результаты обработки данных измерений икт-компетентности приводятся в табл. 12.

Таблица 12. Распределение сертификатов икт-компетентности

Категории Регионы

1 2 3 4 5 6 7 8 9 10 ч 12 итого %

НПО

Учащиеся 0 1 1 1 2 0 2 0 1 2 i 0 11 6%

Преподаватели 0 3 6 5 4 4 4 7 4 2 5 4 48 27%

Администрация 0 2 2 1 1 о 0 0 0 2 0 4 12 7%

СПО

Учащиеся 0 0 2 1 1 1 0 1 0 1 1 2 10 6%

Преподаватели 0 0 1 1 1 1 0 0 0 1 0 1 6 3%

Адмштстрация 3 1 1 2 5 2 0 0 1 1 2 2 20 11%

СОШ

Учащиеся 0 3 6 5 4 4 4 7 4 2 5 4 48 27%

Преподаватели 0 0 0 0 1 0 0 0 0 0 0 0 1 1% (min)

Администрация 3 1 1 9 5 2 3 3 2 4 2 б 41 23%

ВПО

Студенты 7 9 10 12 7 12 9 9 6 7 8 10 106 59% (max)

Преподаватели 5 0 3 6 6 3 7 5 6 3 5 7 56 31%

Администрация 1 5 0 9 2 2 1 4 1 2 2 4 33 18%

Сравнение результатов измерения по выбранным категориям испытуемых показало, что наиболее подготовленными являются студенты, менее подготовленными - преподаватели.

На основании результатов исследования компьютерной грамотности и икт-компетентности были сделаны выводы о необходимости повышения уровня обученности учащихся и уровня квалификации работников в области «Информатика и ИКТ», и о необходимости модернизации системы подготовки специалиста на всех ступенях непрерывного образования.

Распределение сертификатов компьютерной грамотности и икт-компетентности позволяет сравнить результаты тестовых испытаний по всем категориям испытуемых и по всем регионам, и может быть использовано в дальнейшем для принятия управленческих решений (рис. 8).

1 РСертификат грамотности □ сертификат компетентности 1

80%->|--------------1--- -1-1

70%-60% 50% 40% 30% 20% 10% 0%

Рис. 8. Распределение сертификатов по категориям испытуемых У - Учащиеся, П - Преподаватели, А - Административные работники

Из распределения видно, что проблема повышения качества подготовки учащихся и работников отрасли образования в области «Информатика и ИКТ» является актуальной и требует системного решения.

Для этого необходимо: 1) разработать новые образовательные стандарты, отвечающие современным мировым стандартам и требованиям рынка труда (ФГОС-3); 2) разработать новые образовательные программы, как основного, так и дополнительного образования, ориентированные на новые стандарты; 3) оптимизировать сеть образовательных учреждений, реализующих данные образовательные программы; 4) повысить эффективность органов управления образованием за счет своевременного и оперативного принятия решений по результатам мониторинга компьютерной грамотности и икт-компетентности с использованием АСИ.

Экспериментальное исследование эффективности автоматизированной системы измерения (АСИ)

В системе сертификации работников отрасли образования исследование качества АСИ проводится на основании оценки ее абсолютной эффективности, Под абсолютной эффективностью понимается ее влияние на достижение (при прочих равных условиях) конечной цели измерения - установление соответствия уровня подготовки работников отрасли образования квалификационным требованиям, а также степень ее автоматизации.

нпо спо сош нпо спо сош нпо спо сош впо впо впо

(у) (У) (У) (П) !П) (П) (А) (А) (А) (С) <П) (А)

Показатель абсолютной эффективности АСИ - 0 является численной мерой, количественно характеризующей степень выполнения системой цели функционирования, и определяется функциональной зависимостью:

0 = /(Х„,У„,2)

где 0 - избранный показатель эффективности; / - вид функции, связывающей показатель эффективности с аргументом; Х„- совокупность параметров, характеризующих свойства системы; Уп- совокупность параметров, характеризующих степень ее автоматизации; Ъ - совокупность параметров, характеризующих среду. Полагая 2=1 (влияние параметров, характеризующих среду, не исследуется), преобразуем формулу расчета абсолютной эффективности к виду:

© = /(Х„,У„)

Критерий эффективности АСИ определяется по значению показателя эффективности 0.

Оценка эффективное™ АСИ проводилась методом последовательных уступок, так как он учитывает приоритет системы по тому или иному показателю и взаимосвязь показателей. Сущность метода раскрывается в последовательности проводимых операций.

1. С помощью моделирования или методов экспертных оценок производится качественный анализ относительной важности показателей эффективности.

2. Показатели располагаются и нумеруются в порядке убывания важности: ф^со^со з сог.

3. Максимизируется первый показатель е>,и определяется его наибольшее значение .

4. Определяется (назначается) величина допустимого снижения (уступки) показателя й),(Д©, > 0) и наибольшее значение второго показателя а>2 -Ж2 при условии, что значение первого показателя должно быть не меньше, чем 1¥х ~Лщ.

5. Определяется (назначается) величина уступки, но уже по второму показателю - Дю2 > 0, которая используется при нахождении условного максимума IV, третьего показателя соъ и т. д.

6. Максимизируется последний показатель со„ при условии, что (и -1) предыдущих показателей должны быть не менее соответствующих величин

Полученная в результате совокупность показателей соответствует оптимальной системе или варианту ее построения. Математическое решение задачи определяется следующей совокупностью последовательных действий:

1) И-^ирсуХх); ^

2) Щ = зир®2(л), при о^х)^.^ - Дй),;

п) = ьира^х), при - Да>„_, I

где х e X; X - множество значений характеристик; * - значения характеристик, обеспечивающих соответствующие значения показателей эффективности.

В результате (л-l) шагов определяется совокупность характеристик, обеспечивающих рациональные значения показателей эффективности системы.

Модернизированная в процессе исследования система сравнивается с исходной системой.

В результате решения задачи получается номер оптимальной системы, которой соответствуют оптимальные технические характеристики.

В диссертационном исследовании оценка эффективности АСИ проводилась по пяти основным группам показателей, характеризующим систему; 1) актуальность выбранной формы сертификации; 2) качество средств измерения; 3) качество процедуры измерения; 4) качество представления результатов тестирования; 5) уровень автоматизации процесса тестирования.

Для определения показателей в качестве экспертов привлекались преподаватели (специалисты в области ИКТ), администраторы информационных сетей, административные работники, методисты.

Общее количество экспертов 300 человек (по 150 экспертов на каждый год эксперимента). Перечень показателей, расположенных в порядке уменьшения важности, был представлен в анкете эксперта.

Полагалось, что АСИ является максимально эффективной, если все основные исследуемые показатели равны - 1. Далее сравнивались показатели эффективности АСИ, полученные эмпирически с показателями, соответствующими оптимальному варианту ее построения (табл. 13).

Таблица 13. Сравнение систем

Первый этап исследования 2006 г. Второй этап исследования 2008 г.

Экспериментальная система Оптимальная система Экспериментальная система Оптимальная система

1 0,93 0,93 0.98 0,98

0,42 0,92 0,66 0,97

0,38 0,91 0,47 0,96

0,19 0,9 0,95 0,95

2 0,44 0,89 0,52 0,94

0,24 0,88 0,67 0,93

0,17 0,87 0,34 0,92

0,87 0,86 0,91 0,91

0,63 0,85 0,81 0,9

0,73 0,84 0,75 0,89

0,9 0,83 0,96 0,88

0.96 0,82 0,91 0,87

0,21 0,81 0,89 0,86

4 0,12 0,8 1 0,85

0,27 0,79 0,83 0,84

0,17 0.78 0,79 0,83

5 0,05 0,77 0.27 0,82

Исследование АСИ показало, что ее эффективность возрастает по мере внедрения и усовершенствования. Вместе с тем, по-прежнему сохраняется проблема ее оптимизации.

Оценка характеристик средства измерения (теста) как целостной системы и характеристик отдельных тестовых заданий не описывается в автореферате в силу существующего ограничения объема. В диссертационном исследовании использовались общепринятые методики.

Исследование качественных характеристик АСИ в структуре сертификации работников отрасли установило, что они соответствуют международным стандартам тестирования (табл. 14).

Таблица 14. Качественные характеристики АСИ

Наличие основных элементов

Часть I Конструирование тестов. Обработка (оценка) и документация:

Валидность; 100%.

Надежность и ошибки измерения; Относительная погрешность измерения не превышает 20%.

Разработка и усовершенствование тестов; Проводится автоматически. Тестовые задания составляются экспертами в соответствии кодификаторам, разработанным на основе ФГОС или квалификационных требований.

Шкалирование, нормирование, стандарты и сравнимость показателей; Проводится в соответствии ФГОС и квалификационным требованиям. Основным методом сравнения является сравнение с эталонной мерой (используется эталон-шкала). Наличие различия с эталоном проводится с помощью дисперсионного анализа с применением критерия Фишера-Снедекора.

Проведение тестов, подсчет баллов и их представление; Педагогические измерения проводятся в режиме on-lain, расчет баллов и сертификационных показателей проводится автоматически и представляется испытуемому сразу после завершения процесса в виде таблицы и столбиковой диаграммы.

Сопроводительная документация для тесга. Представлена на сайте Отраслевого центра сертификации и включает в себя описание процедуры сертификации, демо-версию теста, информацию о выданных сертификатах.

Часть П. Законность в тестировании:

Честность в подготовке и проведении тестов; Все процессы (формирование варианта теста, проведение тестирования, обработка результатов) автоматизированы. Система сертификации соответствует требованиям информационной безопасности

Права и ответственность тестируемых; Сертификация проводится добровольно по личному договору испытуемого с Отраслевым центром.

Тестирование лиц на неродном языке; Сертификация проводится на родном (русском) языке.

Тестирование недееспособных лиц Не проводится.

Часть Ш. Применение тестов:

Ответственность пользователей тестов; Регулируется договором.

Психологическое тестирование и оценивание; Не проводится.

Образовательное тестирование и оценивание; Не проводится.

Продолжение таблицы 14

Тестирование при приеме на работу, лицензирование и аккредитация; Проводится по договоренности с региональными органами управления образованием.

Тестирование в оценке программ и государственной политики. Результаты сертификации в обобщенном виде представляются федеральным и региональными органами управления образованием по их заявке.

В заключении отмечается, что разработанные в диссертационном исследовании теоретические основы построения новой системы сертификации позволяют практически полностью автоматизировать систему оценки уровня квалификации работников отрасли образования и перейти от экспертизы к объективному измерению сертификационных показателей (функции экспертов минимизированы, хотя полностью не исключены).

Внедрение системы автоматизированной сертификации позволит повысить качество измерений, и, как следствие, перейти к научно обоснованному управлению процессами подготовки и повышения квалификации кадров в отрасли образования за счет научно обоснованного принятия решений по статистическим данным измерений грамотности и компетентности работников.

Созданная в процессе теоретической разработки и широкого практического внедрения система автоматизированной сертификации отвечает современным мировым тенденциям развития принципов построения и архитектуры автоматизированных сред, логической организации систем, методов, форм, средств, методик применения новых информационных технологий в практику оценки учебных достижений специалистов.

Научные публикации по теме диссертационного исследования

1. Бояшова С. А. Учебно-методический комплекс как средство обеспечения преемственности образовательных программ «школа-вуз». / С. А. Бояшова, С. В. Николаев. // Материалы III межрегиональной НПК: "Дополнительное профессиональное образование. Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России". - СПб. : Изд-во Смольный, 2000.

2. Бояшова С. А. Системный подход к проблеме качества обучения учебному предмету. / С. А. Бояшова. //Материалы IV межрегиональной НПК: "Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России в контексте реформирования образования". - СПб. : Изд-во Смольный, 2001.

3. Бояшова С. А. Системный подход к выбору педагогических технологий. / С. А. Бояшова, С. В. Николаев. // Материалы 12-й межвузовской НТК: "Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов". - СПб.: Изд-во ВМИРЭ, 2001.

4. Бояшова С. А. Проблема качества обучения и образования. / С. А. Бояшова. //Материалы V межрегиональной НПК: "Качество образования. Про-

блемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России в контексте модернизации образования". - СПб.: Изд-во Смольный, 2002.

5. Бояшова С. А. О качестве обучения. / С. А. Бояшова, С. В. Николаев. //Материалы 13-й межвузовской НТК: "Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов". - СПб.: Изд-во ВМИРЭ, 2002.

6. Бояшова С. А. Система учебных элементов в подготовке курсантов и учащихся военно-специализированных классов. / С. А. Бояшова. //Межвузовский информационно-методический сборник по проблемам военного образования. - СПб.: Изд-во ВМИ, 2002.

7. Бояшова С. А. Методические рекомендации к составлению тестов по естественнонаучным дисциплинам. / С. А. Бояшова. //Материалы 14-й межвузовской НТК: "Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов". — СПб.: Изд-во ВМИРЭ, 2003.

8. Бояшова С. А. Проектирование УМК по учебной дисциплине. / С. А. Бояшова //Материалы VI Международной научно-практической конференции: "Санкт-Петербург в образовательном пространстве России". - СПб.: Изд-во Смольный, 2003.

9. Бояшова С. А. Оценка качества результатов педагогической деятельности в системе аттестации и аккредитации школ Санкт-Петербурга. /' С. А. Бояшова. //Материалы X Всероссийской научно-методической конференции: "Телематика 2003". - СПб.: Изд-во ГРОЦ, 2003.

10. Бояшова С. А. Проектирование учебно-методического комплекса по учебной дисциплине для решения проблем управления обучением в системе «школа-вуз». /' С. А. Бояшова. //Материалы VI международной электронной научной конференции: "Новые технологии в образовании". -Воронеж: Изд-во ВШУ, 2003.

11. Бояшова С. А. Оценка качества результатов обучения предметам естественнонаучного цикла в школах Санкт-Петербурга. / С. А. Бояшова. //10 межвузовский сборник научных трудов из серии «Образовательные технологии». -Воронеж : Изд-во ВШУ, 2003.

12. Бояшова С. А. Рационализация предметного обучения в системе непрерывного профессионального образования ВМФ. / С. А. Бояшова. авто-реф. дисс... .канд. пед. наук. - СПб.: Изд-во ВМИРЭ, 2004. - 28 с.

13. Бояшова С. А. Проектирование контрольно-измерительных материалов для новой версии системы аттестации общеобразовательных школ Санкт-Петербурга : учебно-методическое пособие. / С. А. Бояшова. - СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2004.- 64 с.

14. Бояшова С. А. Проектирование контрольно-измерительных материалов для системы аттестации учреждений среднего общего образования как предмет деятельности регионального ресурсного центра в ОСОКО. / С. А. Бояшова, И. С. Пахомов. //Материалы Всероссийской научно-методической конференции «Развитие тестовых технологий в России». - М.: Изд-во Центр тестирования, 2005. - 161 с.

15. Бояшова С. А. Средства контроля качества обучения в структуре учебно-методического комплекса (УМК) по физике. / С. А. Бояшова

//Материалы Всероссийской научно-методической конференции «Развитие тестовых технологий в России». - М.: Изд-во Центр тестирования, 2005. -126 с.

16. Бояшова С. А. Оценка качества результатов педагогической деятельности в системе аттестации и аккредитации школ Санкт-Петербурга. / С. А. Бояшова. //Материалы XI Всероссийской научно-методической конференции: "Телематика 2004". - СПб.: Изд-во ГРОЦ, 2004.

17. Бояшова С. А. Оценка эффективности моделей обучения в педагогической метрологии. / С. А. Бояшова, //Материалы XII Всероссийской научно-методической конференции: "Телематика 2005". - СПб.: Изд-во ГРОЦ, 2005.

18. Бояшова С. А. Метрологический подход к понятию компетентности. / С. А. Бояшова. //Материалы ХШ Всероссийской научно-методической конференции: "Телематика 2006".". - СПб.: Изд-во ГРОЦ, 2006.

19. Бояшова С. А. Национальная система сертификации компьютерной грамотности и ИКТ-компетентности - важнейший элемент информатизации управления образованием / С. А. Бояшова. А. К. Скуратов, Е. К. Хен-нер, В. А. Перевалов //Материалы IV Всероссийской научно-методической конференции. - Псков, 2007.

20. Бояшова С. А Создание многоуровневой системы сертификации и тестирования компьютерной грамотности и ИКТ-компетентности. / С. А. Бояшова. //Материалы Международного оптического конгресса «Оптика XXI век». - СПб.: Изд-во СПбГУ ИТМО, 2007.

21. Бояшова С. А. Национальный центр тестирования компьютерной грамотности и ИКТ-компетентности - актуальная потребность системы образования РФ. / С. А. Бояшова. //Материалы XIV Всероссийской научно-методической конференции "Телематика - 2007" - СПб.: Изд-во ГРОЦ, 2007.

22. Бояшова С. А. Оценка эффективности управления процессом подготовки специалистов как механизм повышения качества системы высшего профессионального образования. / С. А. Бояшова. //Материалы Международного оптического конгресса «Оптика XXI век». - СПб.: Изд-во СПбГУ ИТМО. 2008.

23. Бояшова С. А. Метрология в курсе школьной физики: учебно-методическое пособие. / С. А. Бояшова. - СПб.: Изд-во СПБГУ, 2004. ~ 52 с.

24. Бояшова С. А. Физические величины и единицы физических величин : справочное пособие. / С. А. Бояшова. - СПб.: Изд-во СПбГУ, 2000. - 31 с.

25. Бояшова С. А. Проектирование контрольно-измерительных материалов для новой версии системы аттестации общеобразовательных школ Санкт-Петербурга : учебно-методическое пособие. / С. А. Бояшова. - СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2004. - 61 с.

26. Бояшова С. А.. Что должен знать и уметь школьный тестолог : методическое пособие. / С. А. Бояшова, С. В. Николаев. - СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2003. - 40 с.

27. Бояшова С. А. Технологии массового тестирования в системе оценки качества обучения школьников : учебно-методическое пособие. / С. А. Бояшова. - СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2005. - 35с.

28. Бояшова С. А. Тестовые задания как структурные элементы теста, их отличительные особенности и характеристики : учебно-методическое пособие. / С. А. Бояшова. -СПб.: Изд-во СПбГУ ИШО, 2008. - 16с.

29. Бояшова С. А. Учебно-методический комплекс по учебной дисциплине : учебно-методическое пособие. / С. А. Бояшова. - СПб. : Изд-во СПбГУ ИТМО, 2008. - 16с.

30. Бояшова С. А. Методика разработки теста как средства педагогического измерения, обладающего валидностыо и надежностью : учебно-методическое пособие. / С. А. Бояшова. - СПб.: Изд-во СПбГУ ИТМО, 2008. - 32с.

31. Бояшова С. А. Теоретические основы, методы и средства педагогических измерений в автоматизированных тестовых системах контроля качества подготовки специалистов : монография. / С. А. Бояшова -СПб.: Изд-во СПбГУ ИТМО, 2007. - 199 с.

32. Бояшова С. А. Улучшение качества оценки профессиональной подготовки специалистов. / С. А. Бояшова. П Материалы Международной научно-технической конференции. - СПб. : Изд-во Балтийский ГТУ «Воен-мех»., 2008. С - 17-21.

33. Бояшова С. А. Планирование и организация новых форм образовательного процесса специалистов информационного противоборства в современных условиях. / С. А. Бояшова, С. В. Николаев. // Материалы Международной научно-технической конференции. Четвертые Уткинские чтения. - СПб. : Изд-во Балтийский ГТУ «Военмех»., 2009. - Т.2. С - 143-146.

34. Бояшова С. А. Система отраслевой сертификации / С. А. Бояшова Труды Международной научно-технической конференции. Четвертые Уткинские чтения. - СПб.: Изд-во Балтийский ГТУ «Военмех»., 2009. - №5, С -115-118.

35. Бояшова С. А. Метрологический и системный подходы к измерению грамотности и компетентности / С. А. Бояшова Сборник тучных трудов международной научно-практической конференции «Измерения в современном мире». - СПб.: Нзд-ео Политехнического университета, 2009. - №5, С - 222 -224.

Публикации в журналах, рекомендованных перечнем ВАК

1. Бояшова С. А. Национальный центр мониторинга и сертификации компьютерной грамотности и ИКТ-компетентнэсти в системе образования российской федерации. / С. А. Бояшова, А. К. Скуратов, Е. К. Хеннер, М. Ю. Богданов, И.С. Пахомов, А. В. Хорошилов, В. В. Ярных В. А. Перевалов, С. И. Макаров. // Открытое образование. Информационные технологии в образовании и экономике. - М.: Изд-во МЭСИ, №5(64) 2007. - С. 12-18.

2. Бояшова С. А. Разработка эталонных средств измерения как структурного элемента автоматизированных систем тестирования, обеспечивающих сертификацию специалистов в области информатики и информационно-коммуникационных технологий. / С. А. Бояшова. // Качество инновации образование. - М.: Изд-во МИЭМ, №4 2009. - С. 10-16.

3. Бояшова С. А. Методика разработки тестов для автоматизированных систем тестирования, обеспечивающих сертификацию специалистов в области

информатики и информационно-коммуникационных технологий. / С. А. Бояшова. // Качество инновации образование. - М.: Изд-во МИЭМ, №5 2009. - С. 12-16.

4. Бояшова С. А Психолого-педагогические подходы к процессу оценки уровня подготовки специалистов в области информатики и информационно-коммуникационных технологий с использованием автоматизированных систем тестирования. / С. А. Бояшова. // Качество инновации образование. - М.: Изд-во МИЭМ, №6 2009. - С. 11-16.

5. Бояшова С. А Методика обработки данных педагогических измерений в сертификационных автоматизированных системах тестирования. / С. А. Бояшова. // Качество инновации образование. - М.: Изд-во МИЭМ, №7 2009. - С. 15-19.

6. Бояшова С. А. Измерение коэффициента грамотности специалиста в области информационного противоборства. / С. А. Бояшова, С. В. Николаев. // Научно-теоретический журнал «Ученые записки университета имени П. Ф. Лесгафта». - СПб.: Изд-во СПбГУ им Лесгафта, №5(39), 2008. - С. 23-26.

7. Бояшова С. А. Учебно-методический комплекс по интегрированным дисциплинам как средство повышения качества подготовки специалиста в области информационного противоборства. Научно-теоретический журнал «Ученые записки университета имени П. Ф. Лесгафта». - СПб. : Изд-во СПбГУ им Лесгафта, №9(43), 2008. - С. 65-69.

8. Бояшова С. А. Метрологический подход к определению понятия профессиональной компетентности специалиста. / С. А. Бояшова. // Известия вузов. Приборостроение. - СПб.: Изд-во СПбГУ ИТМО, №9, 2009. С. 82-84 Бояшова С. А. Метрологическая основа построения автоматизированной системы тестирования. / С. А. Бояшова. // Известия вузов. Приборостроение. -СПб.: Изд-во СПбГУ ИТМО, №5,2009. С. 82-85 с.

9. Бояшова С. А. Метрологическая основа построения автоматизированной системы тестирования. / С. А. Бояшова. // Известия вузов. Приборостроение- СПб.: Изд-во СПбГУ ИТМО, №5,2009. С. 82-85 с.

Монография

1. Бояшова С. А. Теоретические основы, методы и средства педагогических измерений в автоматизированных тестовых системах контроля качества подготовки специалистов. - СПб.: Изд-во СПбГУ ИТМО, 2007.199 с.

Тиражирование и брошюровка выполнены в учреждении «Университетские телекоммуникации» 197101. Санкт-Петербург. Саблинская ул., 14 Тел. (812) 233 46 69. Объем 2,0 у.п.л. Тираж 100 экз.

Список принятых сокращений.

Введение.

1. Концептуальная модель системы сертификации работников отрасли образования.

1.1. Исследование Российских и международных систем сертификации кадров.

1.1.1. Определение основных понятий теории общих систем.

1.1.2. Исследование основных моделей сертификации специалистов.

1.1.3. Анализ Российской системы подготовки кадров.

1.1.4. Анализ основных требований к уровню квалификации работников отрасли образования в системе повышения квалификации.

1.2. Определение основных структурных составляющих системы сертификации работников отрасли образования.

1.2.1. Определение основных компонентов системы сертификации.

1.2.2. Определение структурных элементов блока

Квалификационные требования».

1.2.3. Определение структурных элементов блока

Образовательные программы повышения квалификации».

1.2.4. Определение структурных элементов блока

Системы оценки квалификации».

1.2.5. Определение структурных элементов блока

Система мониторинга квалификации».

1.2.6. Определение структурных элементов блока

Система оценки качества системы сертификации».

1.3. Организационная инфраструктура отраслевой системы сертификации.

1.4. Технологическая инфраструктура отраслевой системы сертификации.

Выводы

глава 1).

2. Инновационные учебные модули в системе повышения квалификации работников отрасли образования.

2.1. Определение структуры образовательных модулей образовательной программы повышения квалификации работников отрасли образования.

2.2. Инновационный учебный модуль «Педагогическое проектирование в отрасли образования».

2.3. Инновационный учебный модуль «Теория и практика педагогических измерений».

2.4. Инновационный учебный модуль «Педагогическая метрология как основа педагогических измерений». t; 2.5. Инновационный учебный модуль «Новые информационнокоммуникационные технологии в профессиональной деятельности работников отрасли образования».

2.6. Методика формирования онтологии отраслевых понятий как основы содержания учебных модулей. Учебный инновационный модуль «Педагогическая метрология как основа педагогических измерений».

2.7. Методика формирования оценочных средств учебных модулей (учебный модуль «Педагогическая метрология как основа педагогических измерений»).

2.8. Методика разработки учебно-методического комплекса для учебных модулей.

Выводы

глава 2).

Э. Теоретическая модель системы педагогических измерений как основа педагогической метрологии.

измерений.138

3.2. Объекты исследования в педагогической метрологии.139

3.2.1. Педагогическая система.139

3.2.2. Система обучения.141

3.2.3. Процессы и явления.142

3.2.4. Учение человека как процесс и как явление.143

3.2.5. Преподавание как процесс и как явление.145

3.2.6. Учебная деятельность как процесс и как явление.147

3.3. Педагогические величины.147

3.4. Значение и размер педагогической величины.

Единица педагогической величины.148

3.5. Истинное и действительное значение педагогической величины.149

3.6. Система педагогических величин и их единиц.149

3.6.1. Определение свойств объекта педагогического исследования.149

3.6.2. Формализация педагогических понятий.153

3.6.3. Измерение обученности.156

3.6.4. Измерение скорости мышления.157

3.6.5. Формирование системы педагогических величин.157

3.7. Виды педагогических измерений.160

3.8. Принцип, метод, методика педагогического измерения.161

3.9. Средства педагогических измерений.162

3.10. Характеристики результата педагогического измерения.165

3.11. Погрешность результата педагогического измерения.165

3.12. Статистическая обработка данных педагогического измерения.167

3.13. Статистический анализ элементов средства педагогического измерения (тестов).173

3.13.1. Статистическая трудность задания.173

3.13.2. Дифференцирующая способность задания.174

3.14. Проверка статистических гипотез.174

3.15. Обобщенная теоретическая модель системы педагогических измерений. .175 Выводы (глава 3).179

4. Методика автоматизированного измерения грамотности и компетентности работников отрасли образования применительно к области ИКТ).180

4.1. Определение объекта измерения.180

4.2. Определение цели и принципа и метода измерения.181

4.2.1. Формирование кодификатора.182

4.2.2. Формирование эталонов понятий.183

4.2.3. Формирование эталонов икт-грамотности.184

4.2.4. Формирование эталонов максимальной скорости мышления.186

4.2.5. Установление сертификационных норм.187

4.3. Разработка рабочего средства педагогического измерения.188

4.4. Алгоритм проведения педагогических измерений и оценка результатов. 197

4.5. Методика автоматизации измерений в системе отраслевой сертификации.200

4.5.1. Определение структуры АСИ.200

4.5.2. Граничные условия автоматизации системы измерений.202

4.5.3. Архитектура системного уровня программно-методического комплекса АСИ.206

4.5.4. Система управления базами данных.208

4.5.5. Формирование теста из БД.218

4.5.6. Апробация тестов.219

4.5.7. Процесс измерения и обработка данных в АСИ.224

4.5.8. Отличительные особенности АСИ.227

Выводы (глава 4).228

5. Методика экспертной оценки компетентности работников отрасли образования.231

5.1. Определение объекта экспертизы.231

5.2. Определение цели, принципа и метода экспертизы.234

5.2.1. Формирование кодификатора.234

5.2.2. Формирование эталонов компетенций.236

5.2.3. Формирование эталонов коэффициента компетентности.237

5.3. Рабочие средства экспертной оценки.238

5.4. Проведение экспертизы и оценка ее результатов.239

5.4.1. Структура экспертизы.239

5.4.2. Компьютерная обработка результатов экспертизы.241

5.4.3. Обработки данных экспертизы.243

Выводы (глава 5).245

6. Экспериментальное исследование системы сертификации работников отрасли образования.247

6.1. Мониторинг системы отраслевой сертификации.247

6.2. Уровни экспериментального исследования (мониторинга) системы отраслевой сертификации.249

6.3. Мониторинг грамотности и компетентности работников отрасли образования на уровне локальной системы (Лицей 273 СПб).251

6.3.1. Исследование результатов измерения грамотности и компетентности работников Лицея категории «Руководители» и «Педагогические работники».255

6.3.2. Исследование результатов экспертизы компетентности работников Лицея категории «Руководители» и «Педагогические работники».258

6.4. Экспериментальное исследование компьютерной грамотности в отрасли образования (первый этап эксперимента).259

6.5. Экспериментальное исследование компьютерной грамотности и икт-компетентности в отрасли образования (второй этап эксперимента).273

6.6. Экспериментальное исследование оптимальности эффективности АСИ.279

6.7. Практические рекомендации по использованию АСИ.285

Выводы (глава 6).288

Заключение.290

Список использованных источников.300

Приложения.311-3 67

СПИСОК ПРИНЯТЫХ СОКРАЩЕНИЙ

АСИ - автоматизированная система измерения ACT - автоматизированная система тестирования БД - базы данных

ВПО - высшее профессиональное образование

ГЦМиСОС - Головной центр мониторинга и сертификации Отраслевой системы

ДО - дополнительное образование

ДПО - дополнительное профессиональное образование

ЕКС - единый квалификационный справочник

ИКТ- информационно-коммуникационные технологии икт-компетентность - информационно-коммуникационная компетентность кг - компьютерная грамотность

КТР - квалификационные требования к работнику

НПО - начальное профессиональное образование

ОП - образовательные программы

ОТТПК - образовательные программы повышения квалификации, ОУП - органы управления образованием ПВ - педагогическая величина ПО - программное обеспечение

СМК - система мониторинга квалификации работников

СОК - системы оценки квалификации, разработанные в соответствии с образовательной программой повышения квалификации и КТР СОКСС - система оценки качества системы сертификации. СОШ - средняя общеобразовательная школа

СПбГУ ИТМО - Санкт-Петербургский Государственный Университет информационных технологий, механики и оптики СПВ - система педагогических величин СПО - среднее профессиональное образование СУ - система управления СУБД - Система управления базами данных УО - учреждений образования

ФГОС - федеральные государственные образовательные стандарт

ВВЕДЕНИЕ

Актуальность диссертационного исследования

В настоящее время Российская система профессионального образования, функционирующая с целью формирования, воспроизводства и обеспечения кадрового потенциала по всему социально необходимому перечню профессий, находится в состоянии системных преобразований.

Одним из приоритетных направлений модернизации системы является повышение квалификации работников отрасли образования в трех основных областях: специальная профессиональная подготовка, социальное взаимодействие, новые информационно-коммуникационные технологии (ИКТ).

Основные требования к уровню квалификации работников отрасли образования определены в Едином квалификационном справочнике (ЕКС).

ЕКС разработан с учетом приказа Министерства здравоохранения и социального развития Российской Федерации от 5 мая 2008 г. № 216н «Об утверждении профессиональных квалификационных групп должностей работников образования» (зарегистрирован в Министерстве юстиции Российской Федерации 22 мая 2008 г., регистрационный № 11731).

Квалификационные характеристики должностей работников образования предназначены для решения вопросов, связанных с регулированием трудовых отношений, обеспечением эффективной системы управления персоналом в учреждениях сферы образования независимо от их организационно-правовых форм и форм собственности.

Они могут применяться как в качестве нормативных документов, служащих основой для разработки должностных инструкций работников, так и при разработке систем повышения квалификации и сертификации.

Настоящее диссертационное исследование посвящено решению важной научной проблемы, связанной с построением целостной системы отраслевой сертификации, ориентированной на достижение заданного в ЕКС уровня грамотности и компетентности работников учреждений среднего образования (общего и профессионального).

Актуальность поставленной проблемы была выявлена в ходе предварительного исследования уровня компьютерной грамотности и информационно-коммуникационной компетентности учащихся средней общеобразовательной школы, студентов и работников отрасли образования, проводимых в рамках научно-исследовательских работ по заказу Министерства образования и науки РФ:

1) «Создание многоуровневой системы мониторинга и тестирования компьютерной грамотности и икт-компетентности» (2006-2007гг.);

2) «Разработка организационной, методической, технической документации отраслевой системы мониторинга и сертификации компьютерной грамотности и икт-компетентности» (2008-2009 гг.)».

Сравнение результатов измерения по выбранным категориям испытуемых показало, что наиболее подготовленными в области «Информатика и ИКТ» являются студенты педагогических вузов, а так же испытуемые в возрасте до 30 лет, менее подготовленными - преподаватели средних общеобразовательных учреждений в возрасте от 45 лет.

Так, например, по статистическим данным количество преподавателей общеобразовательных учреждений, свободно использующих компьютер в профессиональной деятельности, не превышает 25%, современные средства ИКТ -не более 30%, возможности сервисов сети Интернет - не более 35% (итоги перечисленных выше научно-исследовательских работ).

Можно предположить, что данная ситуация наблюдается не только в области «Информатика и ИКТ», но и в других областях деятельности работников отрасли образования (специальной профессиональной, социальной и др.). Данное предположение получило свое подтверждение в процессе настоящей диссертационной работы.

Противоречие, обусловленное несоответствием уровня квалификации работников отрасли образования единым квалификационным требованиям в заданных областях компетенций (профессиональной, правовой, коммуникационной, информационной) создает проблемы, связанные с пересмотром целевой и содержательной части подготовки кадров, а также методов и средств контроля уровня их грамотности и компетентности.

Сегодня во многих странах мира приняты стандарты, определяющие требования к уровню подготовки специалистов и порядок его оценки. В качестве примера можно привести различные технические стандарты ISO, устанавливающие соответствие производства определенным нормам, в которых также предъявляются обязательные требования к уровню подготовки работников.

Установление соответствия уровня подготовки специалистов принятым стандартам, как правило, происходит на основе использования технологий тестирования и сертификации.

Например, в области ИКТ наиболее распространенно используется тестовая система European Computer Driving License (ECDL). Наличие Сертификата ECDL в странах Западной Европы зачастую является обязательным условием при приеме на работу, как в государственных учреждениях, так и в негосударственном секторе экономики. В ряде стран (например, Англии) используются стандарты, разработанные ведущими национальными Университетами или независимыми фондами.

В России наиболее распространенной считается вендорная сертификация Cisco, Microsoft, Oracle, IBM, которая проводится через государственные и негосударственные образовательные учреждения такие, как: Центр компьютерного обучения «Специалист» при МГТУ им. Баумана; общество «Знание»; компании Softline и 1С. Одновременно с вендорной сертификацией внедряются новые технологии независимой оценки уровня подготовки учащихся в области ИКТ, например, единый государственный экзамен (ЕГЭ).

Как правило, проведение процедуры сертификации специалистов основано на широком использовании автоматизированных систем тестирования (АСТ), обладающих различной степенью автоматизации.

Научные основы построения таких систем и их практическое использование подробно описаны в ряде работ известных авторов: Аванесова В. С., Васильева В. Н., Колесникова Ю. Л., Королева А. А., Кузнецова В. Г., Лисициной Л. С., Лямина А. В., Майорова А. Н., Неймана Ю. М., Розенберга В.Я. Стафеева С. К., Скуратова А. К., Татура Ю. Г., Тихонова А. Н. Хлебникова В. А. и др.

Несмотря на большое количество и разнообразие научно обоснованных моделей ACT, при их практической реализации в системах сертификации специалистов, возникает ряд существенных проблем:

• наиболее распространенные вендорные системы ориентированы на интересы отдельных производителей и не могут способствовать решению государственных задач в области управления качеством подготовки работника;

• ни одна из существующих систем не обеспечивает измерения грамотности и компетентности с достаточной степенью валидности, надежности и достоверности (наиболее близкая к решению этой задачи система ECDL); ни одна из существующих систем в должной мере не обеспечивает выполнение метрологических требований, выполнение которых обеспечивает единство измерений.

Очевидно, что роль измерений в системах сертификации с использованием ACT будет непрерывно возрастать и, как следствие, вырастут требования к их качеству. Неправильное использование методов и средств может привести к существенным погрешностям и стать причиной ошибочных выводов.

Таким образом, к измерению грамотности и компетентности работника необходимо подходить как к объективному процессу, а полученные результаты обрабатывать стандартными математическими методами и сопровождать стандартными характеристиками точности.

В связи с этим возникает необходимость в поиске новых методов и средств обеспечения единства педагогических измерений в системах сертификации работников.

Настоящее диссертационное исследование по теме «Теоретические основы построения автоматизированной системы сертификации работников отрасли образования» направлено на решение актуальных научных проблем, связанных с разработкой системы сертификации грамотности и компетентности работайков отрасли образования с учетом единых квалификационных требований, одним из основных элементов которых является автоматизированная система объективного измерения (АСИ).

Объект диссертационного исследования - отраслевые системы автоматизированной сертификации, обеспечивающие технологический контроль уровня подготовки работников в соответствии с квалификационными требованиями, государственными и международными стандартами.

Предмет исследования - теоретические основы, средства, методики и алгоритмы в составе промышленной технологии создания ACT для сертификации грамотности и компетентности работников в отрасли образования.

Цель исследования - разработка теоретических основ построения автоматизированной системы сертификации работников отрасли образования в рамках обеспечения принципа единства педагогических измерений.

Задачи исследования:

1) разработать формализованную модель системы объективного педагогического измерения, позволяющую автоматизировать процессы сертификации в образовании;

2) обосновать концептуальную модель автоматизированной организационно-технологической системы отраслевой сертификации грамотности и компетентности работников отрасли образования на основе единых квалификационных требований с использованием объективных педагогических измерений;

3) разработать и реализовать методики автоматизации измерения формализованных сертификационных .показателей (грамотности и компетентности работников отрасли образования) в рамках модели автоматизированной организационно-технологической системы;

4) разработать методику автоматизированной экспертной оценки компетентности работника отрасли образования на основе количественного анализа сертификационных показателей;

5) провести исследование эффективности многоуровневой автоматизированной организационно-технологической системы сертификации работников отрасли образования в процессе ее опытной эксплуатации;

6) разработать образовательную программу повышения квалификации, ориентированную на развитие инновационной деятельности работников отрасли образования.

Гипотеза исследования. Автоматизированная организационно-технологическая система отраслевой сертификации, разработанная на новой теоретической основе, позволяет объективно оценить результаты подготовки работников образования в системе повышения квалификации в целях модернизации образовательных программ, тем самым, обеспечивая соответствие уровня квалификации работников отраслевым квалификационным требованиям.

Методы исследования. В ходе выполнения работы были использованы методы теории сложных систем, методы математической статистики, методы инженерии знаний (включая анкетирование), методы проектирования и разработки программного обеспечения, методы психологического и педагогического тестирования, методы оптимизации и оценки эффективности систем.

Научная новизна результатов исследований заключается в том, что в работе впервые предложен научно обоснованный метрологический подход к проведению объективных педагогических измерений.

Данный подход позволяет перейти от формального тестирования испытуемых к объективному педагогическому измерению количественных характеристик грамотности и компетентности, обеспечивая единообразие единиц измеряемых педагогических величин и их мер, тем самым достигается сопоставимость результатов измерений.

На основе предложенного формализма педагогических измерений разработана, обоснована и практически внедрена новая концептуальная модель автоматизированной организационно-технологической системы отраслевой сертификации, которая позволяет унифицировать кодификаторы, базы данных тестовых заданий, средства измерения, проведение измерений в режиме реального времени, обработку данных измерений, а также выдачу и каталогизацию сертификатов.

В целом новизна результатов диссертационной работы достигнута за счет совокупного использования существующих ранее моделей сертификации в рамках целостной модели автоматизированной организационно-технологической системы контроля грамотности и компетентности работников отрасли образования, адаптации методов физических измерений к задачам отрасли образования, а также формирования целостного комплекса технического, организационного, правового и программного обеспечения.

Практическая значимость. На основе обоснованных в диссертации теоретических положений разработан и внедрен в опытную эксплуатацию программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования.

Опытная эксплуатация комплекса проведена в семнадцати регионах РФ (Санкт-Петербург, Ленинградская область, Пермь, Калининград, Новокузнецк, Владимир, Воронеж, Калуга, Краснодар, Новосибирск, Псков, Омск, Самара, Ставрополь, Тамбов, Чувашия, Пермь).

Результаты мониторинга грамотности и компетентности работников на основе применения нового комплекса позволяют вырабатывать управленческие решения в области оценки эффективности системы повышения квалификации и тем самым обеспечить отрасль образования квалифицированными специалистами.

В ходе практической реализации и внедрения результатов работы разработана образовательная программа (инновационная составляющая) повышения квалификации работников отрасли образования, построенная на основе единых квалификационных требований и включающая в себя четыре основных модуля: «Педагогическое проектирование в отрасли образования»; «Теория и практика педагогических измерений»; «Педагогическая метрология как основа педагогических измерений»; «Новые информационно-коммуникационные технологии в профессиональной деятельности работников отрасли образования».

На защиту выносятся:

1. Теоретическая модель педагогических измерений как основа процессов автоматизации сертификации, определяющая способы формализации педагогических понятий, систему педагогических величин и их единиц, методы, процедуры, средства измерения, методы анализа и контроля результатов.

2. Концептуальная модель автоматизированной организационно-технологической системы сертификации работников отрасли образования, систематизирующая кодификаторы квалификационных требований, систему оценки квалификации, систему мониторинга сертификационных показателей, систему оценки качества самой сертификации, а также соответствующую технологическую и организационную инфраструктуру.

3. Способы, процедуры и алгоритмы автоматизации процессов педагогического измерения и экспертизы грамотности и компетентности работников отрасли образования, отражающие порядок структуризации автоматизированной системы измерения (АСИ), ограничения к ее применению, архитектуру системного уровня (включая базы данных), правила проведения измерений в режиме удаленного доступа, принципы обработки данных измерений и анализа полученных результатов.

4. Набор методик и инструментальных средств, используемых в автоматизированной организационно-технологической системе сертификации, а также средств разработки образовательных программ повышения квалификации работников отрасли образования на основе единых квалификационных требований.

5. Результаты оценки количественных показателей эффективности функционирования автоматизированной организационно-технологической системы сертификации работников отрасли образования в сопоставлении с ранее существующими системами сертификации в области ИКТ на основе экспертных технологий.

Достоверность результатов работы обеспечивается:

• корректностью совокупного использования теоретических положений теории общих систем, метрологии, информатики, педагогики, психологии;

• адекватностью информационно-логических моделей реальным процессам, подтвержденной результатами статистической обработки результатов экспериментальных исследований;

• положительным результатом опытной эксплуатации программно-аппаратного комплекса в процессе оценки качества подготовки специалистов на всех ступенях непрерывного образования;

• апробацией основных положений докторской диссертации на научно-практических конференциях различного уровня и в печатных изданиях.

Внедрение результатов работы. Результаты теоретических исследований использованы при выполнении 2 НИОКР в рамках Федеральной целевой программы развития образования по заказу Министерства образования и науки РФ и четырех НИОКР по заказу Комитета по образованию Санкт-Петербурга.

Программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования внедрен в Лицее №273 Колпинского района Санкт-Петербурга, в ФГУ ГНИИ «Информи-ка», а также в образовательный процесс СПбГУ ИТМО.

Апробация работы. Материалы диссертационного исследования обсуждались на 6 международных, 8 всероссийских, 5 межрегиональных и 4 межвузовских конференциях, в том числе: «Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России» (СПб., Смольный, 2000-2004 гг.); «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов» (СПб, ВМИРЭ, 2001-2005 гг.); «Телематика» (СПб., ГРОЦ, 2003-2009 гг.); «Новые технологии в образовании» (Воронеж, ВГПУ, 2003, 2004 гг.); «Развитие тестовых технологий в России» (М., Центр тестирования, 2005-2007 гг.); Международный оптический конгресс «Оптика XXI век» (СПб., СПбГУ ИТМО, 2008 г.); «Уткинские чтения» (СПб., Военмех., 2008, 2009 гг.) «Измерения в современном мире» (СПб, Политехнический университет, 2009 г.) и др., а также на совещании в Департаменте государственной политики в образовании (2008 г); на рабочем совещании в Российской Академии образования (2009 г); на научно-практических семинарах по опытно-экспериментальной работе в Колпинском районе СПб (Лицей №273, 2005-2009 гг.); на предметно-методических и научно-практических конференциях, организованных в рамках УМО «Приборостроение» (СПбГУ ИТ-МО 2006-2009 гг.).

Публикации. По теме диссертации опубликовано 44 печатных работы, из них - 9 статей в изданиях, рекомендованных ВАК Министерства образования и науки РФ, 1 монография.

Личный вклад автора в работах, выполненных в соавторстве, заключается в постановке задач педагогических измерений, разработке и обосновании концептуальной модели системы сертификации, разработке соответствующего математического аппарата, интерпретации результатов и в формулировке общих закономерностей.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы, и восьми приложений. Основная часть работы изложена на 367 страницах машинописного текста. Работа содержит 52 рисунка и 83 таблицы.

Выводы (глава 6)

В данной главе диссертационного исследования приведены результаты работы по опытной эксплуатации АСИ.

Проведенная эксплуатация опытной АСИ на фокус-группах показала, что система позволяет обеспечить высокую точность и надежность измерения грамотности и компетентности испытуемых, и как следствие, эффективное управление процессом подготовки и повышения квалификации работников отрасли образования. Результатом данного этапа явилось:

• создание структурно-функциональной модели отраслевой системы сертификации;

• разработка методических рекомендаций и типовых инструкций для центров сертификации по использованию и эксплуатации АСИ;

• апробация тестов с целью исследования данного вида средств педагогических измерений на метрологическую пригодность;

• апробация методики измерения грамотности и компетентности на отдельных выборках испытуемых.

В дальнейшем, полученные в процессе мониторинга результаты исследования грамотности и компетентности позволят разработать типовые образовательные программы и соответствующие этим программам учебно-методические комплексы для систем повышения квалификации и переподготовки работников отрасли образования. А также:

• реализовать отраслевой проект в области информатизации и создания единого информационного пространства в части повышения уровня квалификации специалистов, реализующих данный проект на всех уровнях системы образования;

• оптимизировать и повысить эффективность системы профессионального дополнительного образования работников отрасли образования за счет улучшения качества контроля их подготовки.

ЗАКЛЮЧЕНИЕ

В диссертационной работе «Теоретические основы построения автоматизированной системы сертификации работников отрасли образования» проведено исследование Российских и международных систем сертификации, обеспечивающих контроль уровня подготовки работников к выполнению своих трудовых функций (в большей части проведенный анализ касался отраслевых систем, функционирующих в области ИКТ).

В результате системного анализа объекта исследования было установлено, что несмотря на большое количество организаций, выполняющих функцию контроля качества подготовки кадров в различных областях профессиональной деятельности, сохраняется однообразие концептуальных моделей сертификации. Существующие модели молено разделить на два основных класса: вендор-ные и независимые сертификации.

Анализ моделей вендорных и независимых систем сертификации показал, что наиболее приемлемой моделью, элементы которой могут быть использованы при разработке Российской системы, является независимая сертификация.

Структурными составляющими независимой сертификации являются: учебные планы подготовки работника в определенной области профессиональной деятельности, система контроля уровня квалификации, сертификат качества.

Все структурные составляющие независимой сертификации разрабатываются высококвалифицированными экспертами. Оценка уровня квалификации специалиста проводится с использованием систем тестирования с различной степенью автоматизации.

Разработанные в диссертационном исследовании теоретические основы построения новой системы сертификации позволяют практически полностью автоматизировать систему оценки уровня квалификации работников отрасли образования и перейти от экспертизы к объективному измерению сертификационных показателей (функции экспертов минимизированы, хотя полностью не исключены). В новой концептуальной модели вместо системы тестирования используется система педагогического измерения, разработанная по всем метрологическим правилам объективного измерения.

В процессе разработки концептуальной модели последовательно решены поставленные задачи и тем самым достигнута основная цель диссертационной работы. В соответствии с целевой установкой и задачами исследования получены научные результаты, научная новизна, достоверность и практическая значимость которых полностью раскрыта в содержании шести глав диссертации.

В ходе диссертационного исследования на локальном уровне функционирования системы повышения квалификации работников (среднее общеобразовательное учреждение Лицей № 273 Колпинского района Санкт-Петербурга) подтвердилась основная гипотеза экспериментальной части исследования.

Концептуальная модель системы отраслевой сертификации, разработанная на новой теоретической основе, позволяет с известной степенью вероятности объективно оценить результаты подготовки работников в системе повышения квалификации и на основании полученных данных объективного педагогического измерения и экспертизы грамотности и компетентности работника в исследуемых областях компетенций, скорректировать образовательную программу повышения квалификации, и тем самым обеспечить соответствие уровня квалификации работников отраслевым квалификационным требованиям.

На межрегиональном уровне (15 регионов РФ) с применением методики оценки эффективности системы, разработанной в процессе диссертационной работы на основе метода последовательных уступок, было установлено, что эффективность системы растет по мере ее внедрения в реальную среду функционирования. Внедрение системы автоматизированной сертификации позволит повысить качество измерений, и, как следствие, перейти к научно обоснованному управлению процессами подготовки и повышения квалификации кадров в отрасли образования за счет научно обоснованного принятия решений по статистическим данным измерений грамотности и компетентности работников.

Проведенное исследование является частью общей концепции построения единого информационного пространства и автоматизированной технологии оценки уровня квалификации работников (профессиональной, правовой, социальной, информационной компетентностей).

Созданная в процессе теоретической разработки и широкого практического внедрения система автоматизированной сертификации отвечает современным мировым тенденциям развития принципов построения и архитектуры автоматизированных сред, логической организации систем, методов, форм, средств, методик применения новых информационных технологий в практику оценки учебных достижений специалистов.

С учетом вышеизложенного полученные научные результаты: модели, принципы, архитектура, теоретические основы, алгоритмы являются новыми, достоверными, значимыми и, в совокупности, классифицируются как решение значимой научной проблемы, что позволяет сделать вывод о достижении цели и задач исследования на базе применения ИКТ.

Основные научные результаты исследования докладывались, обсуждались и получили одобрение научной общественности и специалистов на методических совещаниях и научных конференциях (межвузовских, российских и международных).

Перечень основных публикаций по теме исследования представлен совокупностью 42 печатных работ, монографии, 6 НИР.

Научные публикации по теме диссертационного исследования

1. Бояшова С. А. Учебно-методический комплекс как средство обеспечения преемственности образовательных программ «школа-вуз». / С. А. Бояшова, С. В. Николаев. // Материалы П1 межрегиональной НПК: "Дополнительное профессиональное образование. Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России". - СПб.: Изд-во Смольный, 2000.

2. Бояшова С. А. Системный подход к проблеме качества обучения учебному предмету. / С. А. Бояшова. //Материалы IV межрегиональной НПК: "Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России в контексте реформирования образования". - СПб.: Изд-во Смольный, 2001. 1

3. Бояшова С. А. Системный подход к выбору педагогических технологий. / С. А. Бояшова, С. В. Николаев. // Материалы 12-й межвузовской НТК: "Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов". -СПб. : Изд-во ВМИРЭ, 2001.

4. Бояшова С. А. Проблема качества обучения и образования. / С. А. Бояшова. //Материалы V межрегиональной НПК: "Качество образования. Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России в контексте модернизации образования". - СПб. : Изд-во Смольный, 2002.

5. Бояшова С. А. О качестве обучения. / С. А. Бояшова, С. В. Николаев. //Материалы 13-й межвузовской НТК: "Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов". - СПб. : Изд-во ВМИРЭ, 2002.

6. Бояшова С. А. Система учебных элементов в подготовке курсантов и учащихся военно-специализированных классов. / С. А. Бояшова. //Межвузовский информационно-методический сборник по проблемам военного образования. - СПб. : Изд-во ВМИ, 2002.

7. Бояшова С. А. Методические рекомендации к составлению тестов по естественнонаучным дисциплинам. / С. А. Бояшова. //Материалы 14-й межвузовской НТК: "Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов". - СПб.: Изд-во ВМИРЭ, 2003.

8. Бояшова С. А. Проектирование УМК по учебной дисциплине. / С. А. Бояшова //Материалы VI Международной научно-практической конференции: "Санкт-Петербург в образовательном пространстве России". - СПб. : Изд-во Смольный, 2003.

9. Бояшова С. А. Оценка качества результатов педагогической деятельности в системе аттестации и аккредитации школ Санкт-Петербурга. / С. А. Бояшова. //Материалы X Всероссийской научно-методической конференции: "Телематика 2003". - СПб.: Изд-во ГРОЦ, 2003.

10. Бояшова С. А. Проектирование учебно-методического комплекса по учебной дисциплине для решения проблем управления обучением в системе «школа-вуз». / С. А. Бояшова. //Материалы VI международной электронной научной конференции: "Новые технологии в образовании". - Воронеж : Изд-во ВГПУ, 2003.

11. Бояшова С. А. Оценка качества результатов обучения предметам естественнонаучного цикла в школах Санкт-Петербурга. / С. А. Бояшова. //10 межвузовский сборник научных трудов из серии «Образовательные технологии». - Воронеж : Изд-во ВГПУ, 2003.

12. Бояшова С. А. Рационализация предметного обучения в системе непрерывного профессионального образования ВМФ. / С. А. Бояшова. автореф. дисс. .канд. пед. наук. - СПб.: Изд-во ВМИРЭ, 2004. - 28 с.

13. Бояшова С. А. Проектирование контрольно-измерительных материалов для новой версии системы аттестации общеобразовательных школ Санкт-Петербурга : учебно-методическое пособие. / С. А. Бояшова. - СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2004.- 64 с.

14. Бояшова С. А. Проектирование контрольно-измерительных материалов для системы аттестации учреждений среднего общего образования как предмет деятельности регионального ресурсного центра в ОСОКО. / С. А. Бояшова, И. С. Пахомов. //Материалы Всероссийской научно-методической конференции «Развитие тестовых технологий в России». — М. : Изд-во Центр тестирования, 2005. - 161 с.

15. Бояшова С. А. Средства контроля качества обучения в структуре учебно-методического комплекса (УМК) по физике. / С. А. Бояшова. //Материалы Всероссийской научно-методической конференции «Развитие тестовых технологий в России». -М.: Изд-во Центр тестирования, 2005. -126 с.

16. Бояшова С. А. Оценка качества результатов педагогической деятельности в системе аттестации и аккредитации школ Санкт-Петербурга. / С. А. Бояшова. //Материалы XI Всероссийской научно-методической конференции: "Телематика 2004". - СПб.: Изд-во ГРОЦ, 2004.

17. Бояшова С. А. Оценка эффективности моделей обучения в педагогической' метрологии. / С. А. Бояшова. //Материалы ХП Всероссийской научно-методической конференции: "Телематика 2005". - СПб. : Изд-во ГРОЦ, 2005.

18. Бояшова С. А. Метрологический подход к понятию компетентности. / С. А. Бояшова. //Материалы ХШ Всероссийской научно-методической конференции: "Телематика 2006". - СПб.: Изд-во ГРОЦ, 2006.

19. Бояшова С. А. Национальная система сертификации компьютерной грамотности и ИКТ-компетентности - важнейший элемент информатизации управления образованием / С. А. Бояшова. А. К. Скуратов, Е. К. Хеннер, В. А. Перевалов //Материалы IV Всероссийской научно-методической конференции. -Псков, 2007.

20. Бояшова С. А Создание многоуровневой системы сертификации и тестирования компьютерной грамотности и ИКТ-компетентности. / С. А. Бояшова. //Материалы Международного оптического конгресса «Оптика XXI век». -СПб.: Изд-во СПбГУ ИТМО, 2007.

21. Бояшова С. А. Национальный центр тестирования компьютерной грамотности и ИКТ-компетентности - актуальная потребность системы образования РФ. / С. А. Бояшова. //Материалы XIV Всероссийской научно-методической конференции "Телематика - 2007" - СПб. : Изд-во ГРОЦ, 2007.

22. Бояшова С. А. Оценка эффективности управления процессом подготовки специалистов как механизм повышения качества системы высшего профессионального образования. / С. А. Бояшова. //Материалы Международного оптического конгресса «Оптика XXI век». - СПб. : Изд-во СПбГУ ИТМО. 2008.

23. Бояшова С. А. Метрология в курсе школьной физики: учебно-методическое пособие. / С. А. Бояшова. - СПб. : Изд-во СПБГУ, 2004. - 52 с.

24. Бояшова С. А. Физические величины и единицы физических величин : справочное пособие. / С. А. Бояшова. - СПб. : Изд-во СПбГУ, 2000. - 31 с.

25. Бояшова С. А. Проектирование контрольно-измерительных материалов для новой версии системы аттестации общеобразовательных школ Санкт-Петербурга : учебно-методическое пособие. / С. А. Бояшова. - СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2004. - 61 с.

26. Бояшова С. А. . Что должен знать и уметь школьный тестолог : методическое пособие. / С. А. Бояшова, С. В. Николаев. - СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2003. - 40 с.

27. Бояшова С. А. Технологии массового тестирования в системе оценки качества обучения школьников : учебно-методическое пособие. / С. А. Бояшова. — СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2005. - 35с.

28. Бояшова С. А. Тестовые задания как структурные элементы теста, их отличительные особенности и характеристики : учебно-методическое пособие. / С. А. Бояшова. -СПб. : Изд-во СПбГУ ИТМО, 2008. - 16с.

29. Бояшова С. А. Учебно-методический комплекс по учебной дисциплине : учебно-методическое пособие. / С. А. Бояшова. - СПб. : Изд-во СПбГУ ИТМО, 2008. - 16с. .

30. Бояшова С. А. Методика разработки теста как средства педагогического измерения, обладающего валидностью и надежностью : учебно-методическое пособие. / С. А. Бояшова. - СПб. : Изд-во СПбГУ ИТМО, 2008. - 32с.

31. Бояшова С. А. Теоретические основы, методы и средства педагогических измерений в автоматизированных тестовых системах контроля качества подготовки специалистов : монография. / С. А. Бояшова -СПб. : Изд-во СПбГУ ИТ-МО, 2007. - 199 с.

32. Бояшова С. А. Улучшение качества оценки профессиональной подготовки специалистов. / С. А. Бояшова. // Материалы Международной научно-технической конференции. - СПб. : Изд-во Балтийский ГТУ «Военмех»., 2008. С-17-21.

33. Бояшова С. А. Планирование и организация новых форм образовательного процесса специалистов информационного противоборства в современных условиях. / С. А. Бояшова, С. В. Николаев. // Материалы Международной научно-технической конференции. Четвертые Уткинские чтения. - СПб. : Изд-во Балтийский ГТУ «Военмех»., 2009. - Т.2. С - 143-146.

34. Бояшова С. А. Система отраслевой сертификации / С. А. Бояшова Труды Международной научно-технической конференции. Четвертые Уткинские чтения. - СПб.: Изд-во Балтийский ГТУ «Военмех»., 2009. - №5, С - 115-118.

35. Бояшова С. А. Метрологический и системный подходы к измерению грамотности и компетентности / С. А. Бояшова Сборник научных трудов международной научно-практической конференции «Измерения в современном мире». -СПб.: Изд-во Политехнического университета, 2009. - №5, С - 222 -224.

Практическая апробация АСИ. Научно-исследовательские работы (НИР)

1. Организация сопровождения процедур регламентации, аттестации и аккредитации учреждений образования в области информационных технологий. Государственное образовательное учреждение дополнительного профессионального образования Центр информационных технологий и телекоммуникаций (ГОУ ДПО ЦИТиТ), Санкт-Петербург, 2002.

2. Разработка подходов к созданию концепции психолого-педагогической компоненты аттестации всех видов и типов образовательных учреждений. Государственное образовательное учреждение дополнительного профессионального образования Центр информационных технологий и телекоммуникаций (ГОУ ДПО ЦИТиТ), Санкт-Петербург, 2002.

3. Разработка предложений по обоснованию и созданию формальных методов определения рейтинга образовательных учреждений Санкт-Петербурга (на примере учреждений начального профессионального образования). Государственное образовательное учреждение дополнительного профессионального образования Центр информационных технологий и телекоммуникаций (ГОУ ДПО ЦИТиТ), Санкт-Петербург, 2002.

4. Формирование подходов к созданию тестов нового поколения (на примере создания контрольных измерительных материалов в образовательной области «естествознание»). Государственное образовательное учреждение дополнительного профессионального образования Центр информационных технологий и телекоммуникаций (ГОУ ДПО ЦИТиТ), Санкт-Петербург, 2002.

5. Создание многоуровневой системы мониторинга и тестирования компьютерной грамотности и ИКТ - компетентности». СПбГУ ИТМО 2007.

6. Организация новых форм реализации учебного процесса на базе кредит-но-модульной системы. СПбГУ ИТМО 2008.

Публикации в журналах, рекомендованных перечнем ВАК

1. Бояшова С. А. Национальный центр мониторинга и сертификации компьютерной грамотности и ИКТ-компетентности в системе образования российской федерации. / С. А. Бояшова, А. К. Скуратов, Е. К. Хеннер, М. Ю. Богданов, И.С. Пахомов, А. В. Хорошилов, В. В. Ярных В. А. Перевалов, С. И. Макаров. // Открытое образование. Информационные технологии в образовании и экономике. -М.: Изд-во МЭСИ, №5(64) 2007. - С. 12-18.

2. Бояшова С. А. Разработка эталонных средств измерения как структурного элемента автоматизированных систем тестирования, обеспечивающих сертификацию специалистов в области информатики и информационно-коммуникационных технологий. / С. А. Бояшова. // Качество инновации образование. - М. : Изд-во МИЭМ, №4 2009. - С. 10-16.

3. Бояшова С. А. Методика разработки тестов для автоматизированных систем тестирования, обеспечивающих сертификацию специалистов в области информатики и информационно-коммуникационных технологий. / С. А. Бояшова. // Качество инновации образование. - М.: Изд-во МИЭМ, №5 2009. - С. 12-16.

4. Бояшова С. А Психолого-педагогические подходы к процессу оценки уровня подготовки специалистов в области информатики и информационно-коммуникационных технологий с использованием автоматизированных систем тестирования. / С. А. Бояшова. // Качество инновации образование. - М. : Изд-во МИЭМ, №6 2009. - С. 11-16.

5. Бояшова С. А Методика обработки данных педагогических измерений в сертификационных автоматизированных системах тестирования. / С. А. Бояшова. // Качество инновации образование. - М.: Изд-во МИЭМ, №7 2009. - С. 15-19.

6. Бояшова С. А. Измерение коэффициента грамотности специалиста в области информационного противоборства. / С. А. Бояшова, С. В. Николаев. // Научно-теоретический журнал «Ученые записки университета имени П. Ф. Лесгафта». - СПб. : Изд-во СПбГУ им Лесгафта, №5(39), 2008. - С. 23-26.

7. Бояшова С. А. Учебно-методический комплекс по интегрированным дисциплинам как средство повышения качества подготовки специалиста в области информационного противоборства. Научно-теоретический журнал «Ученые записки университета имени П. Ф. Лесгафта». - СПб. : Изд-во СПбГУ им Лесгафта, №9(43), 2008. - С. 65-69.

8. Бояшова С. А. Метрологический подход к определению понятия профессиональной компетентности специалиста. / С. А. Бояшова. // Известия вузов. Приборостроение. - СПб. : Изд-во СПбГУ ИТМО, №9, 2009. С. 82-84 Бояшова С. А. Метрологическая основа построения автоматизированной системы тестирования. / С. А. Бояшова. // Известия вузов. Приборостроение. - СПб. : Изд-во СПбГУ ИТМО, №5, 2009. С. 82-85 с.

9. Бояшова С. А. Метрологическая основа построения автоматизированной системы тестирования. / С. А. Бояшова. // Известия вузов. Приборостроение-СПб. : Изд-во СПбГУ ИТМО, №5, 2009. С. 82-85 с.

Монография

1. Бояшова С. А. Теоретические основы, методы и средства педагогических измерений в автоматизированных тестовых системах контроля качества подготовки специалистов. - СПб. : Изд-во СПбГУ ИТМО, 2007.199 с.

1. Аванесов В. С. Теоретические основы разработки заданий в тестовой форме : учебное пособие для профессорско-преподавательского состава высшей школы. / В. С. Аванесов.- М. : Изд-во МГТА, 1995. 198 с.

2. Аванесов, В. С. Композиция тестовых заданий : учебное пособие. / В. С. Аванесов. М. : Изд-во Центр тестирования, 2002. - 217 с.

3. Андреев В. И. Проблемы педагогического мониторинга качества образования / В. И. Андреев. // Известия РАО. 2001. - № 1. - С. 35 - 42.

4. Афанасьев В. Г. Общество: системность, познания и управление. / В. Г. Афанасьев-М. : Изд-во Политиздат, 1981. 259 с.

5. Баженова В. Ю. Исследования в образовании: методы анализа и обработки данных: учебно-методическое пособие. / В. Ю. Баженова. СПб. : Изд-во Центр информационных технологий и телекоммуникаций, 2005. - 29 с.

6. Бачило И. Л. Глобальная информатизация и право. / И. Л. Бачило. // Проблемы информатизации. 1999. - № 3. - С. 10 - 19.

7. Бендарт Дж. Прикладной анализ случайных данных. / Дж. Бендарт, А. Пирсол. М. : Изд-во Мир, 1989. - 324 с.

8. Беспалько В. П. Основы теории педагогических систем. / В. П. Беспалько. -Воронеж.: Изд-во Воронежского университета, 1977.

9. Большов Л. Н. Таблицы математической статистики. / Большое Л. Н., Смирнов Н. В. М.: Изд-во Наука, 1965. - 464 с.

10. Бордовский Г. А. Образование в области управления качеством: системный взгляд. / Г. А. Бордовский. // Высшее образование сегодня. -2004. -№ 3. -С.14 -19.

11. Бороненко Т. А. Теоретическая модель системы методической подготовки учителя информатики : автореф. дисс. докт. пед. наук. СПб., 1998.

12. Бояшова С. А. Теоретические основы, методы и средства педагогических измерений в автоматизированных тестовых системах контроля качества подготовки специалистов : монография. / С. А. Бояшова. СПб. : Изд-во СПбГУ ИТМО, 2007. - 199 с.

13. Бурдун Г. Д. Основы метрологии : учебное пособие. / Г. Д. Бурдун, Б. Н. Марков,-М.: Изд-во стандартов, 1971.

14. Вербицкий А. А. Концептуальные основы непрерывного образования / А. А Вербицкий, В. А. Юрасов, Н. Н. Нечаев. // Непрерывное образование как педагогическая система. М., 1998. - С. 5 - 14.

15. Вероятность и математическая статистика : большая российская энциклопедия / Под. ред. Ю. В. Прохорова. М., 1999. 910 с.

16. Вилфорд Д. Современная типология педагогических тестов. / Д. Вилфорд. // Информационный бюллетень «Тесты в образовании», 1999. -№1.

17. Волынец Ю. Ф. Теоретические основы построения и сущность процесса обучения в автоматизированной среде подготовки специалистов ВМФ : дис. . докт. пед. наук. СПб., 2000. - 286 с.

18. Воробьев М. Н. Оценка эффективности АСУ ВМФ : учебное пособие. / М. Н. Воробьев. Л.: Изд-во BMA, 1985.

19. Выгодский Л. С. Избранные психологические сочинения. / Л. С. Выгодский. // Собр. Соч. М., 1984.

20. Габай Т. В. Учебная деятельность и ее средства. / Т. В. Габай. М. : Изд-во МГУ, 1988.

21. Гавайцев М. И. Математическое обеспечение управления. / М. И. Гавайцев, П. Г. Кузнецов, В. Я. Розенберг. М. : Изд-во Радиосвязь, 1996.

22. Гальперин П. Я. Развитие исследований по формированию умственных действий. / П. Я. Гальперин. // Психологическая наука в СССР. М. : Изд-во АПН РСФСР, 1959.

23. Гальперин П. Я. Управление познавательной деятельностью учащихся. / П. Я. Гальперин, Н. Ф. Талызина. М. : Изд-во МГУ, 1972.

24. Гальперин П. Я., Талызина Н. Ф. Современная теория поэтапного формирования умственных действий. / П. Я. Гальперин, Н. Ф. Талызина. -М., 1979. 185 с.

25. Герасимович А. И. Математическая статистика. / А. И. Герасимович, Я. И. Матвеева. Минск : Изд-во Высшая школа, 1978.

26. Гладышев И. Анализ и. обработка данных: справочник. / И. Гладышев -СПб. : Изд-во Питер, 2001. 752 с.

27. Гласс Дж. Статистические методы в педагогике и психологии. / Дж. Гласс, Дж. Стэнли. М. : Изд-во Прогресс, 1976.

28. ГОСТ 34.003-90 «Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения».

29. ГОСТ Р 51171-98. Качество служебной информации. Правила предъявления информационных технологий на сертификацию.

30. ГС. ГСИ. Метрология. Основные термины и определения. МИ 2247-93. -СПб, 1994.

31. Государственные образовательные стандарты высшего профессионального образования: перспективы развития : монография. /Под ред. Я. И. Кузьминова, Д. В. Пузанкова, И. Б. Федорова, В: Д. Шадрикова. -М.: Изд-во Логос, 2004. 328 с.

32. Государственные образовательные стандарты высшего профессионального образования (ГОС ВПО), http://db.mformika.ru/spe/index.htm.

33. Громов Г. Р. Очерки. Информационные технологии. / Г. Р. Громов. М. : Изд-во ИНФОАРТ, 1993.

34. Гутник Г. В. Мониторинг в контексте информатизации образования. / Г. В. Гутник. // Стандарты и мониторинг. 2001. - №4. - С. 25 - 31.

35. Дж Ван Гиг. Прикладная общая теория систем. / Дж Ван Гиг. М. : Изд-во Мир, 1981.

36. Доктрина информационной безопасности Российской Федерации. // Российская газета. 2000. - 28 сентября. - С. 4 - 6.

37. Долгова Л. М. Формирование ключевых компетенций. / Л. М. Долгова // Тезисы доклада конференции «Введение в современные социальные проблемы».-М., 2001.

38. Ершов А. П. Избранные труды. / А. П. Ершов. Новосибирск : Изд-во ВО Наука, 1994.

39. Жданов С. А. Программа учебной дисциплины «Информационные системы» для студентов педвузов по специальности 030100 «Информатика». / С. А. Жданов, С. Д. Каракозов, Е. К. Хеннер,- М. : Изд-во Флинта, Наука, 2002. С.175 183.

40. Загвоздкин В. К. Определение и границы понятия ключевых компетенций. / В. К. Загвоздкин. (http://psv.lseptember.ni/2001/47/4 5.htm)

41. Зайдель А. И. Погрешности измерений физических величин. / А. И. Зай-дель. Л. : Изд-во Наука, 1985.

42. Закон РФ «Об образовании». Москва, Кремль. 10.07.92, № 3266-1 / ред. 16.11.97, Консультант Плюс: Версия Проф.

43. Зимняя И. А. Ключевые компетенции новая парадигма результата образования. / И. А. Зимняя. // Высшее образование сегодня. - 2003. - № 5.

44. Иванов Ю. И. Статистическая обработка биологических исследований. / Ю. И. Иванов, О. Н. Погорелюк. -М. : Изд-во Медицина, 1990.

45. Иванова Д. И. Компетентностный подход в образовании : Проблемы. Понятия. Инструкции. / Д. И. Иванова, К. Р. Митрофанов, О. В. Соколова. М. : Изд-во АПК и ПРО, 2003. - 101 с.

46. Ильясов И. И. Структура процесса учения. / И. И. Ильясов. М.: 1986. - 458 с.

47. Информатика. Базовый курс / С. В. Симонович и др. СПб. : Изд-во Питер, 2001.-640 с.

48. Кагановский М. Р. Перспективные технологии информационных систем. / М. Р. Кагановский. М. : Изд-во ДМК Пресс, 2003. - 288 с.

49. Квалиметрия человека и образования: методология и практика / Под. ред.I

50. Н. А. Селезневой, А. И. Субетто. Кн. 1: От квалитативной культуры - к квалитативному образованию. - М.: 2000. - 49 с.

51. Кларин М. В. Инновационные модели обучения в зарубежных педагогических поисках. / М. В. Кларин. М., 1994.

52. Клинберг Л. Проблемы теории обучения. / Л. Клинберг. М.: Изд-во Педагогика, 1984.

53. Кодификатор элементов содержания дисциплины «Информатика» цикла общих математических и естественнонаучных дисциплин среднего профессионального образования. //Интернет-публикация. -М., 2008.

54. Кодификатор элементов содержания по информатике для составления контрольных измерительных материалов единого государственного экзамена 2008 г. // Федеральный институт педагогических измерений, М., 2007.

55. Колесников Л. Ф. Эффективность образования. / Л. Ф. Колесников. М., 1991.

56. Колин К. К. О структуре и содержании образовательной области «Информатика». / К. К. Колин. // Информатика и образование. 2000. - № 10.

57. Концепция информатизации сферы образования Российской Федерации. — М.: Изд-во Минобразование РФ, 1998. 322 с.

58. Королев А. А. Устройство тестирования Тестер знаний. / Королев А. А., Стафеев С. К., Хлебников В. А. // Тезисы докладов второй Всероссийской конференции «Развитие системы тестирования в России». Ч. 2. - М. : Изд-во Прометей, 2000. С. 42 - 44.

59. Краткий терминологический словарь по тестовой теории. // Информационный бюллетень «Тесты в образовании». 1999. - № 1.

60. Краткий философский словарь. М.: Изд-во Проспект, 2000. - 400 с.

61. Кузнецов В. Г. Концепция развития тестовой технологии контроля уровней обученности студентов в системе профессионального образования России. / В. Г. Кузнецов. // Информационный бюллетень «Тесты в образовании». 1999. - №1.

62. Лаптев В. В. Методическая система фундаментальной подготовки в области информатики: теория и практика многоуровневого педагогического университетского образования. / В. В. Лаптев, М. В. Швицкий СПб. : Изд-во СПГУ, 2000. - 508 с.

63. Лебедев О. Е. Демократическая школа в Петербурге./ О. Е. Лебедев. СПб., 1996.

64. Леднев В. С. Государственные образовательные стандарты в системе общего образования: теория и практика. / В. С. Леднев, Н. Д. Никандров, М. В. Ры-жаков. М., 2002.

65. Лингарт Й. Процесс и структура человеческого учения. / Й. Лингарт. М. : Изд-во Прогресс, 1970.

66. Майоров А. Н. Теория и практика создания тестов для системы образования. / А. Н. Майоров. М. : Изд-во Народное образование, 2000.

67. Майоров А. Н. Тесты школьных достижений. Конструирование, проведение, использование. / А. Н. Майоров. СПб. : Изд-во Образование и культура, 1996.

68. Манойло А. В. Особенности информационной политики эпохи информационного общества./ А. В. Манойло, Д. Б. Фролов, В. Б. Вепринцев. // Проблемы информационной безопасности. Компьютерные системы. СПб. - 2002. - № 4. -С. 18-22.

69. Методы системного педагогического исследования. / Сб. ст. М. : Изд-во Народное образование, 2002.

70. Национальная доктрина образования Российской Федерации. // Российская газета. — 1999. — 3 декабря.

71. Нейман Ю. М. Введение в теорию моделирования и параметризации педагогических тестов. / Ю. М. Нейман, В. А. Хлебников. М. : Изд-во Прометей. 2000.

72. Образование и информатика. // Материалы П Международного Конгресса ЮНЕСКО. В 4-х томах. М., 1996.

73. Общероссийский классификатор специальностей по образованию.- М. : Изд-во Министерство образования Российской Федерации, 2004.

74. Обязательный минимум содержания среднего (полного) общего образования. Образовательная область математика (математика, информатика). Приложение к приказу Минобразования России от 30.06.99 № 56.

75. Основы общей теории систем : учебное пособие, ч.1. СПб. : Изд-во ВАС им. С. М. Буденного, 1992.

76. Отраслевой стандарт. Министерство образования РФ. Педагогические тесты. Термины и определения. -М., 2001.

77. Першаков В. И. Толковый словарь по информатике./ В. И. Першаков, В.И. Савинков. -М. : Изд-во Финансы и статистика, 1991.

78. Пинский А. А. Ключевые компетенции: философский подход и политическое решение. / А. А. Пинский // Современные подходы к компетентно-ориентированному образованию: Материалы семинара. /Под ред. А. В. Велика-новой. Самара, 2001.

79. Полная (средняя) школа. Примерная программа изучения информатики и информационных технологий. Базовый уровень.

80. Полонский В. М. Оценка знаний школьников. / В. М. Полонский. М. : Изд-во Знание, 1981.

81. Поляков В. А., Роберт И. В. Основные направления научных исследований в области информатизации профессионального образования. / В. А. Поляков, И. В. Роберт. -М.: Изд-во Образование и Информатика, 2004. 68 с.

82. Поташник М. М. Качество образования: проблемы и технология управления. / М. М. Поташник. М. : Изд-во РАО, Педагогическое общество России, 2002.

83. Радионов В. Е. Педагогическое проектирование : дис. . док. пед. наук. -СПб., 1995.

84. Реан А. А. Психология и педагогика. / А. А. Реан, Н. В. Бордовская, С. И. Розум. СПб. - Москва - Харьков - Минск, 2000.

85. Руководство по применению стандарта ИСО 9001:2000 в области обучения и образования. // Пер. с англ. А. Л. Раскина. М., РИА «Стандарты и качество», 2002. -128 с.

86. Рыжаков М. В. Ключевые компетенции в стандарте. Возможности реализации. / М. В. Рыжаков. // Стандарты и мониторинг в образовании. 1999. - № 4.

87. Сарксян С. А. Большие технические системы анализ и прогноз развития. / С. А. Сарксян, В. М. Ахундов. -М. : Изд-во Наука. 1977.

88. Сидоренко Е. В. Методы математической обработки в психологии. / Сидоренко Е. В. СПб.: Изд-во ООО Речь, 2001. - 350 с.

89. Скаткин М. Н., Краевский В. В. Качество знаний и пути его совершенствования. М. : Изд-во Педагогика, 1978.

90. Смолянинова О. Г. Развитие методической системы формирования информационной и коммуникативной компетентности будущего учителя на основе мультимедиа-технологий : автореф. дисс. . пед. наук. СПб., 2002.

91. Советов Б. Я. Информационные технологии. / Б. Я. Советов. М. : Изд-во Высшая школа, 2004.

92. Стандарт основного общего образования по информатике и информационным технологиям. Базовый уровень.

93. Стандарт среднего (полного) общего образования по информатике и информационным технологиям. Базовый уровень.

94. Сухо дольский Г. В. Основы математической статистики для психологов. / Г. В. Суходольский. Л., 1972.

95. Тюрин Н. И. Введение в метрологию. / Н. И. Тюрин. -М., 1976.

96. Федеральная целевая программа «Электронная Россия». М. 2002.

97. Федеральная целевая программа развития образования на 2006 2010 годы.

98. Утверждена постановлением Правительства РФ от 23 декабря 2005 г. № 803.

99. Федеральный базисный учебный план и примерные учебные планы для образовательных учреждений. Начальное общее и основное общее образование. Среднее (полное) общее образование.

100. Философский энциклопедический словарь. 2-е издание. -М. : Изд-во Сов. энциклопедия, 1989. -т 1.

101. О.Юсупов. Научно-методические основы информатизации. / Р. М Юсупов, В. П. Заболотский. СПб. : Изд-во Наука, 2000.

102. Ресурсы удаленного доступа

103. ISO: http://www.staratel.com/isoЯnfTech/index.lltml;

104. Информационные сети: RUNNet: http://www.mnnet.ru

105. Статистика: StatSoft Russia -http://www.statsoft.ru.

106. Независимая система сертификации ECDL: www.ecdl.com