автореферат диссертации по транспорту, 05.22.14, диссертация на тему:Обеспечение структурной связности модулей профессиональной подготовки летного состава с целью повышения уровня безопасности полетов

На правах рукописи

АЙДАРКИН Дмитрий Викторович

ОБЕСПЕЧЕНИЕ СТРУКТУРНОЙ СВЯЗНОСТИ МОДУЛЕЙ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ ЛЕТНОГО СОСТАВА С ЦЕЛЬЮ ПОВЫШЕНИЯ УРОВНЯ БЕЗОПАСНОСТИ ПОЛЕТОВ

05.22.14 - Эксплуатация воздушного транспорта

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 6 ДПР 1Ш

005019156

На правах рукописи

АЙДАРКИН Дмитрий Викторович

ОБЕСПЕЧЕНИЕ СТРУКТУРНОЙ СВЯЗНОСТИ МОДУЛЕЙ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ ЛЕТНОГО СОСТАВА С ЦЕЛЬЮ ПОВЫШЕНИЯ УРОВНЯ БЕЗОПАСНОСТИ ПОЛЕТОВ

05.22.14 - Эксплуатация воздушного транспорта

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Работа выполнена в ФГБОУ ВПО «Ульяновское высшее авиационное училище гражданской авиации (институт)» на кафедре летной эксплуатации и безопасности полетов.

Научный руководитель Официальные оппоненты

Ведущая организация

канд. техн. наук, доцент КОСАЧЕВСКИЙ Сергей Григорьевич.

ГРЕБЁНКИН Александр Витальевич,

д-р техн. наук,

ОАО «Московский институт электромеханики и автоматики», заместитель начальника отдела.

ЮША Николай Федорович,

канд. техн. наук, доцент, ФГБОУ ВПО «Санкт-Петербургский государственный университет гражданской авиации», заведующий кафедрой информатики.

ФГБОУ ВПО «Московский государственный технический университет гражданской авиации», г. Москва.

Защита состоится «18» мая 2012 г. в 10 часов на заседании диссертационного совета Д.223.012.01 при Санкт-Петербургском государственном университете гражданской авиации по адресу: 196210, г. Санкт-Петербург, ул. Пилотов, 38, Университет гражданской авиации.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан «17» апреля 2012 г.

Ученый секретарь диссертационного совета д-р физ.-мат. наук, проф.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Высокий уровень автоматизации управления воздушными судами (ВС) нового поколения и сокращение состава летного экипажа до двух пилотов существенно меняет характер профессиональной деятельности летного состава (ЛС) гражданской авиации (ГА). В результате меняются цели и задачи профессиональной подготовки (ПП) ЛС, которая в настоящее время является одним из важнейших факторов обеспечения необходимого уровня безопасности полетов (БП).

Одним из путей решения проблемы подготовки ЛС является широкое внедрение в практику ПП автоматизированных систем (АС), возможности которых позволяют выполнить значительную часть работы по формированию требуемых профессиональных компетенций пилота и обеспечить индивидуальный характер обучения на основе подбора необходимых модулей с учетом уровня подготовки обучаемого. Модульность курса ПП, а также его направленность на практическое применение полученных знаний и навыков рекомендованы Международной организацией гражданской авиации (ИКАО) для повышения уровня компетентности ЛС с целью обеспечения БП.

При этом контроль качества ПП становится первостепенным по своей важности, так как на его основе определяются требуемые модули ПП. Поэтому необходима модернизация методов разработки и применения автоматизированных обучающих систем (АОС) и систем тестового контроля для ЛС с учетом имеющихся структурных связей между модулями ПП, что позволит формировать профессиональные компетенции, необходимые для безопасной эксплуатации ВС нового поколения.

Компетентностный подход к процессу ПП ЛС предполагает структурирование знаний и навыков, так как именно в таком виде они наиболее доступны для понимания и усвоения. С этой точки зрения структурирование профессиональных компетенций ЛС и разработку эффективных методов контроля этой структуры можно рассматривать как одно из основных направлений модернизации ПП в ГА.

Изучением проблем совершенствования процесса ПП ЛС занимаются многие научные коллективы. Среди исследований в этой области необходимо отметить работы ученых Коваленко Г. В., Козлова В. В., Крыжановского Г. А., Куклева Е. А., Микинелова А. Л., Пономаренко В. А., Рисухина В. Н., Столярова Н. А., Сухих Н. Н., Хорошавцева Ю. Е., Ципенко В. Г., Чепиги В. Е., Юши Н. Ф. Вместе с тем проблема обеспечения структурной связности элементов курса ПП ЛС до настоящего времени в комплексной постановке не ставилась и не рассматривалась.

В связи с этим представляется актуальным создание новых методов обеспечения структурной связности модулей ПП в ходе разработки АС, предназначенных для подготовки ЛС ГА, с учетом особенностей летной эксплуатации ВС нового поколения, а также совершенствование методов оценки профессиональной компетентности ЛС на основе тестового контроля.

Диссертация посвящена решению этой проблемы и базируется на работах автора, выполненных с 2006 г. по настоящее время в Ульяновском высшем авиационном училище ГА (институте) (УВАУ ГА (И)).

Объект исследования: процесс профессиональной подготовки ЛС ГА.

Предмет исследования: методы реализации модульной системы в ходе профессиональной подготовки ЛС с использованием АС.

Цель диссертационной работы: совершенствование процесса профессиональной подготовки ЛС к эксплуатации ВС нового поколения на основе обеспечения структурной связности модулей ПП, реализованных в АОС и АС тестового контроля.

Для достижения указанной цели поставлены и решены следующие задачи исследования:

- проведен анализ методических основ разработки АОС с учетом особенностей эксплуатации ВС нового поколения и существующих моделей применения компетентностного подхода;

- разработаны математические основы формирования матриц очередности и логической связности учебных элементов АОС для ЛС с учетом

уровня компетентности привлекаемых экспертов;

- разработан метод формирования матриц структурной связности модулей ПП на основе экспертного опроса высококвалифицированных пилотов;

- исследована проблема повышения валидности АС тестового контроля JIC, разработан критерий профессиональной компетентности пилота;

- проведен анализ существующих моделей обработки результатов тестирования JIC, обоснована применимость одномерной двухпараметрической логистической модели семейства IRT;

- исследована проблема выбора критериального балла для систем тестового контроля профессиональной компетентности ЛС;

- разработан алгоритм создания систем тестового контроля, позволяющий учитывать размерность пространства формируемых компетенций.

Методы исследования основаны на применении теории матриц и графов, экспертного оценивания альтернатив, структурной теории знаний (Knowledge Space Theory, KST), теории моделирования и параметризации тестов (Item Response Theory, IRT), классической теории тестирования (Classical Test Theory, CTT), теории вероятностей, математической статистики и факторного анализа.

В работе в соответствии с рекомендациями ИКАО использовалась методология разработки учебно-тренировочных курсов (Instruction Systems Design, ISD) и метод разработки учебных планов профессиональной подготовки DACUM (Developing A CUrriculuM).

Основные научные результаты, выносимые на защиту:

1. Метод разработки матриц структурной связности модулей ПП, включающий алгоритм процедуры опроса экспертов в ходе формирования структуры обучающей системы.

2. Метод определения критериального балла для тестового контроля профессиональной компетентности ЛС с использованием двухпараметрической модели классификации испытуемых.

3. Одномерная двухпараметрическая логистическая модель обработки

результатов тестирования и соответствующий критерий профессиональной компетентности пилота.

4. Алгоритм разработки систем тестового контроля ЛС на основе мате-матико-статистической модели тестовых измерений профессиональной компетентности.

Научная новизна работы. В ходе проведения исследований получены новые научные результаты:

1. В методе разработки матриц структурной связности модулей ПП, который основан на стандартах электронного обучения и положениях структурной теории знаний, в отличие от существующих методов разработки курсов ПП ЛС учитывается уровень компетентности каждого эксперта, что позволяет увеличить эффективность процедуры экспертного опроса.

2. Предложенный метод определения критериального балла тестового контроля профессиональной компетентности ЛС отличается от существующих методов тем, что используемая двухпараметрическая модель классификации испытуемых учитывает дихотомический характер экспертной оценки, что позволяет увеличить точность сравнительного анализа мнений экспертов и результатов пробного тестирования.

3. В одномерной двухпараметрической логистической модели тестового контроля в отличие от известной модели Бирнбаума используется параметр, характеризующий меру структурированности профессиональных знаний испытуемых, что дало возможность разработать новый критерий профессиональной компетентности ЛС и увеличить валидность тестового контроля.

4. Предложенный алгоритм разработки систем тестового контроля в отличие от существующих предполагает поэтапное использование методов классической и современной теорий тестирования, что позволяет учитывать размерность и структуру пространства компетенций ЛС при формировании критериально-ориентированных тестов.

Достоверность результатов исследования подтверждается результа-

тами экспериментальных проверок предлагаемых, методов, моделей и алгоритмов в ходе разработки и апробации АОС го самолету Як-18Т (36 серия), компьютерной обучающей системы по дисциплине «Аэродинамика и динамика полета», а также тестирования курсантов УВАУ ГА (И) с помощью АС текущего контроля качества обучения.

Практическая значимость работы состоит в том, что полученные результаты позволяют повысить эффективность процесса ПП JIC к эксплуатации ВС нового поколения с помощью:

- совершенствования методов проведения анализа служебных обязанностей, выполняемых JIC в ходе эксплуатации ВС, на основе использования математических методов обработки экспертной информации, позволяющих учитывать уровень компетентности привлеченных экспертов;

- научно обоснованных рекомендаций по разработке матриц структурной связности модулей ПП, позволяющих реализовать индивидуальный процесс автоматизированного обучения и повысить качество контрольно-коррекционной функции АОС;

— повышения валидности тестового контроля JIC за счет использования усовершенствованной одномерной двухпараметрической модели IRT и предложенного критерия профессиональной компетентности пилота;

— использования научно обоснованного метода определения критериального балла для систем тестового контроля, позволяющего с заданной доверительной вероятностью классифицировать JIC в зависимости от уровня профессиональной компетентности.

Апробация работы. Основные положения работы, научные и практические результаты исследования докладывались и получили положительную оценку на международных, всероссийских, отраслевых и вузовских научных конференциях в Ульяновске, Москве, Казани, Егорьевске, Киеве (Украина), где было представлено 11 докладов. Итоговые результаты диссертационной работы были заслушаны 29 сентября 2011 г. в УВАУ ГА (И) на заседании кафедры летной эксплуатации и безопасности полетов.

Публикации. По результатам исследований опубликовано 18 печатных работ, в том числе 4 (Статьи в изданиях, рекомендованных ВАК Министерства образования и науки Российской Федерации для опубликования основных научных результатов диссертаций.

Результаты научных исследований по теме диссертации также изложены в 9 отчетах о НИР, выполненных по контрактам с государственными органами управления ГА России и УВАУ ГА (И), в 7 из которых автор являлся ответственным исполнителем. По итогам выполненных работ получено 3 свидетельства о государственной регистрации электронных ресурсов.

Реализация результатов работы. Результаты исследований внедрены в учебно-летный процесс в УВАУ ГА (И) и его филиалах, Московском государственном техническом университете ГА, Санкт-Петербургском государственном университете ГА, авиакомпаниях «Волга-Днепр» и «ЮТэйр», были использованы при разработке АОС по самолету Як-18Т (36 серия), АС текущего контроля качества обучения курсантов специализации 160503.65.01 -«Летная эксплуатация гражданских воздушных судов» и компьютерной обучающей системы по дисциплине «Аэродинамика и динамика полета». Имеются акты внедрения.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка использованных источников, включающего 176 источников, и 3 приложений. Диссертация изложена на 195 страницах, включает 59 рисунков и 21 таблицу. Основная часть работы изложена на 157 страницах.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, определяются цель и задачи исследования. Показана научная новизна и практическая ценность работы, указаны методы исследования. Излагается краткое содержание диссертации и полученные результаты, приводятся положения, которые выносятся на защиту. Представлены сведения об апробации работы,

публикациях по теме диссертации и реализации результатов работы.

Анализ методических основ разработки и применения АС в ходе ПП ЛС позволил провести их классификацию, выявить имеющиеся недостатки и определить перспективные пути их совершенствования. На основе проведенного исследования моделей компетентностного подхода, используемых в ходе ПП и оценки персонала, а также стандартов и рекомендуемой практики ИКАО, определены особенности, которые необходимо учитывать в ходе разработки и применения АС, используемых для подготовки ЛС.

Изучение статистических данных о состоянии БП в ГА, документов, определяющих развитие ГА, оценок отечественных и зарубежных специалистов позволяет сделать вывод о том, что ПП является одним из наиболее значимых факторов, определяющих уровень БП. По данным Федерального агентства воздушного транспорта в 2011 г. 37 % всех авиационных происшествий в коммерческой авиации было связано с недостатками в работе экипажей ВС. Следует заметить, что в ближайшие годы в Российской Федерации проблема подготовки ЛС станет еще острее, что определяется необходимостью замены устаревшего парка ВС на самолеты нового поколения, и потребует освоения высокоавтоматизированного пилотажного и навигационного оборудования. Поэтому совершенствование процесса ПП ЛС является одним из приоритетных направлений работы по обеспечению БП.

Проведенный анализ особенностей эксплуатации ВС нового поколения позволил определить основные тенденции в изменении характера профессиональной деятельности ЛС и обосновать требования к структуре формируемых профессиональных компетенций пилота, а также эффективности АС обучения и контроля качества ПП.

Анализ международных стандартов электронного обучения позволил сформулировать основные требования по разработке технических средств ПП ЛС, обеспечения возможности взаимного обмена учебными материалами между различными системами обучения и тестового контроля.

Изучение опыта применения компьютерных средств ПП и тестового

контроля знаний ЛС ГА дало возможность определить следующие направления дальнейших исследований:

- формирование методических основ разработки АС, используемых в ходе ПП ЛС, с учетом особенностей летной эксплуатации ВС нового поколения и модульной структуры курса подготовки;

- разработка методов формирования необходимой структуры профессиональных компетенций ЛС с учетом связей между модулями ПП;

- совершенствование методов оценки уровня ПП ЛС на основе автоматизированного тестового контроля.

Для разработки методов обеспечения структурной связности в ходе разработки АОС и систем тестирования для ЛС ГА проведено исследование рекомендованной ИКАО методологии разработки учебно-тренировочных курсов 180. Рассмотрены особенности организации и проведения анализа служебных обязанностей ЛС, с учетом которых разработан алгоритм использования метода Дельфи в ходе сессии БАСиМ, позволяющий учесть уровень компетентности экспертов на основе рекуррентных формул:

п

т . „ х =Тхк{,'1)- к' - /=|

• ¿-,*>Г> ' - п т '

ъы

М у=1

где х, - экспертная оценка 1-го объекта на этапе вычислений г (I = 1,2, ...); т - число экспертов;./ - номер эксперта (у = 1, т); /' - номер объекта экспертизы (/ = !,«); х,у - результаты оценки экспертизы 1-го объекта ]-м экспертом; к') - коэффициент компетентности у-го эксперта на этапе вычислений /; п - число объектов экспертизы. Начальные значения коэффициентов компетентности для всех экспертов принимаются равными к". = —.

' т

Предложенные методы оценки уровня компетентности и согласованности экспертов, обработки экспертной информации и получения обобщенного экспертного мнения позволяют увеличить эффективность стандартной сессии ОАСиМ за счет обеспечения независимости высказываемых суждений, направленного поиска решений, последовательного согласования мнений экспертов, а также применения статистических методов, что позволяет сни-

зить субъективизм и повысить качество принимаемых решений.

С учетом международных стандартов электронного обучения AICC, IMS и SCORM, а также основных положений теории KST разработан метод формирования матриц структурной связности модулей ПП, представленных в АОС, который дает возможность установить структуру, порядок изучения и имеющиеся логические связи между учебными элементами (УЭ) обучающей системы, а также реализовать индивидуальную траекторию обучения в ходе ПП ЛС (рис. 1).

Опрос экспертов в ходе сессии DACUM с использованием метода Дельфи

Спецификация УЭ АОС

Граф и матрица

отношений очередности МА/

УЭ АОС

vi.

Граф и матрица логической с&яэности УЭ АОС

Последовательность frl'Ь!?ЬГИ освоения УЭ АОС у- *•w »

Матрица структурной связности УЭ АОС

Hi

ич Tt- -

Граф содержания АОС (диаграмма Хассе) /Л, у

А

Структура _ < формируемых Ч компетенций —

Структурная модель АОС

Рис.1. Блок-схема формирования структурной модели АОС В работе показано, что использование свойств матриц отношений очередности Р = [р^) и логической связности УЭ Л = (/,,) уменьшает трудоемкость экспертного анализа структуры АОС и позволяет исключить потенциальные ошибки экспертов. Кроме того, предлагаемый метод дает возможность автоматизировать процесс формирования структурной модели АОС, так как каждый элемент матрицы структурной связности 5 = ) равен произведению соответствующих элементов матриц Р = [р0) и £ = (/,-,):

= Рц1„ (/ = 1,и; 7 = 1,и),

где п — число УЭ АОС.

Обеспечение структурной связности УЭ АОС позволяет оптимизировать процесс ПП ЛС$ сократить время, отводимое на определение уровня профессиональной компетентности в ходе тестирования, дает возможность однозначной интерпретации полученных результатов. Например, учет имеющихся связей для семи УЭ АОС позволяет в 4,7 раза сократить исходное число возможных состояний компетентности (множеств освоенных УЭ) со 128 (27) до 27, начиная с пустого множества 0 (отсутствие требуемых профессиональных знаний) и заканчивая полным множеством 2 изученных УЭ (рис. 2). Кроме того, появляется эффективный инструмент, дополняющий существующие алгоритмы адаптивного тестирования уровня подготовки ЛС.

I

(1.3. 1Д 2.2. 3.3. 3.5. 3.6 )

{1.3.1.6,2 2.3.3.35!

{ 1.3.1.8.2.2. 3.3. 3.6 ) {1.6, 2.2.3.3. 3.5. 3.6 )

----is.

(1.3. 16.2.2.^3 3)^ (1.3.1.6.3.13.5} {1.3,2.2.23.36) (1.6,2.2.3.3.3.5) (1.6.2.2,3.3,3.6)

(1.3,1.6.22) (1.3.1.6.3.3) (1.3,2.2,3.3) (1.6,2.2.3.3) (1.6.3.3.3.5) (2,2,3.3,36)

Рис. 2. Подграф содержания АОС и соответствующая структура компетенций ЛС На основе анализа применяемой классической модели тестового контроля уровня ПП ЛС, а также существующих моделей, разработанных в рамках IRT и многомерной теории моделирования и параметризации тестов (Multidimensional Item Response Theory, MIRT), обоснована применимость одномерной двухпараметрической логистической модели для оценки профессиональной компетентности ЛС:

РМ=

1 + е

где р - уровень трудности задания; 4 - параметр, характеризующий меру структурированности знаний /-го испытуемого; - уровень подготовленности /'-го испытуемого.

В работе показано, что в рамках данной модели параметр с/; обратно пропорционален стандартному отклонению уровня подготовленности испытуемого 0/, с учетом чего разработан критерий оценки профессиональной компетентности ЛС. В общем случае предлагаемый критерий для г'-го испытуемого будет вычисляться по формуле

' 1,7/^

к, =(9,-/»,) =

9,--

4

где I = Ф~,(Р, -0,5); Ф ~'{р) -функция, обратная функции Лапласа ф(/)= —¡= \е~' " с!х; Р1 = р + 0,5 - заданная доверительная вероятность.

Данный критерий профессиональной компетентности применим в условиях тестового контроля при необходимости определения соответствия испытуемого установленным требованиям. При этом учет не только среднего уровня подготовленности, но и возможной его дисперсии, с заданной доверительной вероятностью гарантирует высокую профессиональную пригодность испытуемого (рис. 3).

Р________

2

к 9, е2

Рис. 3. Характеристические кривые двух испытуемых, уровень компетентности которых соответствует выбранному критериальному значению

Выявлены недостатки существующих методов определения критериального балла, исполйзуемых в ходе разработки АС тестового контроля ЛС, которые негативно сказываются на валидности получаемых оценок уровня ПП. В качестве перспективного способа решения этой проблемы предложено совместить анализ результатов пробного тестирования испытуемых с экспертной оценкой их профессиональной компетентности. Однако в отличие от существующего алгоритма поиска критериального балла с помощью линейной корреляционной модели в работе обосновано использование двухпара-метрической модели классификации испытуемых, которая позволяет разработчикам систем тестирования для ЛС расширить область поиска критериального балла, выйдя за рамки линейного участка (рис. 4).

Рис. 4. Выбор критериальных баллов на основе линейной и логистической моделей

Последовательность применения предложенных методов разработки критериально-ориентированных тестов для ЛС ГА и анализа результатов тестирования представлена с помощью алгоритма, предусматривающего разработку пакетов тестовых заданий для оценки уровня компетентности испытуемых с привлечением математико-статистического аппарата СТТ и 1ЯТ, а также факторного анализа (рис. 5).

Методы классической теории тестирования (Classical Test Theory, СТТ)

Методы

факторного

анализа

Выбор подходящей одномерной или многомерной модели Ш {МЛТ)

Методы оценки параметров отдельных тестовых заданий и теста а мелом

1 Да

Формирование пекега тестовых заданий для каждого УЗ АОС

1

С КОНЕЦ )

Рис. 5. Алгоритм разработки системы тестирования для ЛС В выводах отмечено, что предложенные в работе методы, модели и алгоритмы позволяют обеспечить структурную связность модулей ГТП в ходе разработки и использования АОС и АС тестового контроля ЛС.

Разработка тестов вял оаенхи помоете« гност и па м*цому УЭ ЛОС

Пробнг>е тветироеннио.

оиенка мпидности и нялежностм тостоо (СТТ)

Оцпч^а ра.ч мерности пространств а «омпвтаиций дгя каждого УЭ АОС

Выбор критериальных зхачемчй уровня компетентности для УЭ АОС

Апробация методов обеспечения структурной связности модулей ПП проводилась в ходе разработки обучающей системы по самолету первоначального обучения. С помощью предложенного алгоритма использования метода Дельфи в ходе сессии ОАСиМ сформирована карта компетенций курсанта-пилота, определен перечень модулей ПП и УЭ АОС, а также оптимальный порядок их освоения. В ходе эксперимента экспертная группа была разбита на две равные подгруппы с примерно одинаковым исходным уровнем согласованности мнений экспертов, для оценки которого использовались коэффициенты конкордации и согласия. Показано, что применение предложенного алгоритма в отличие от обычного экспертного опроса позволяет значительно сократить число туров метода Дельфи, увеличив скорость согласования мнений экспертов в среднем в 2,5 раза (рис. 6).

1' ' 0,9^

§ 0,9 яз ч о.

0

1 0,8 Н

£ 0,7Л"

■а ■&

8 о.б

0,5

~-~~ 1-я подгруппа (опрос экспертов на основе предложенного алгоритма)

»■ — 2-я подгруппа (традиционный экспертный опрос)

12 3 4

Номер тура метода Дельфи

Рис. 6. Изменение согласованности мнений экспертов при определении оптимального порядка изучения УЭ АОС

В ходе разработки этой АОС также был апробирован метод формирования матриц структурной связности модулей ПП, который позволил установить порядок изучения и имеющиеся логические связи между структурными элементами в виде диаграммы Хассе, а также значительно сократить число возможных состояний компетентности обучаемых. Для оценки адекватности полученных структурных моделей использовались два параметра, характери-

зующие степень соответствия выявленных в ходе тестирования состояний компетентности испытуемых и определяемой моделью структуры профессиональных знаний:

1) относительная частота соответствия экспериментальных данных структурной модели

N

= 100%;

N

где А'с - число испытуемых, чей компетентностный профиль соответствует предложенной структурной модели; N - общее количество испытуемых;

2) у-индекс структурной модели

где ЛГ„ - число испытуемых, компетентностный профиль которых не соответствует структурной модели.

Результаты оценки адекватности разработанных в ходе сессии ОАСиМ структурных моделей по шести дисциплинам, входящим в состав АОС, приведены в табл. 1.

Таблица 1

Оценка адекватности разработанных структурных моделей

№ п/п Учебная дисциплина N N. л/„ IV, % у-индекс

1 Конструкция самолета 129 100 29 78 0,55

2 Силовая установка самолета 116 88 28 76 0,52

3 Приборное оборудование самолета 113 91 22 81 0,61

4 Радиооборудование самолета 114 95 19 83 0,67

5 Практическая аэродинамика 116 85 31 73 0,47

6 Летная эксплуатация самолета 125 95 30 76 0,52

Для экспериментальной проверки предложенных статистических методов обработки результатов тестового контроля уровня ПП ЛС был сформирован банк критериально-ориентированных тестов, предназначенный для

оценки профессиональной компетентности курсантов, обучаемых по специализации 160503.65.01 «Летная эксплуатация гражданских воздушных судов». Расчет надежности и валидности разработанных тестовых заданий показал, что математический аппарат СТТ не позволяет получить адекватные оценки профессиональной компетентности ЛС.

На основе факторного анализа произведена оценка размерности пространства формируемых компетенций и обоснована применимость одномерной двухпараметрической логистической модели ШТ. Сочетание преимуществ метода экспертных оценок и статистического анализа результатов пробного тестирования в рамках предложенного метода определения критериального балла позволило для доверительной вероятности, равной 0,95, увеличить точность оценки критериального балла по сравнению с линейной корреляционной моделью в среднем на 6,2 %, причем эта величина возрастает с ростом доверительной вероятности. В табл. 2 приведены значения коэффициентов валидности тестов по шести специальным дисциплинам, полученные на основе сравнения экспертной оценки уровня профессиональной компетентности курсантов УВАУ ГА (И) инструкторами летного отряда с суммарным тестовым баллом (модель СТТ), а также с вычисленными значениями критерия компетентности (модель ШТ).

Таблица 2

Оценка валидности результатов тестирования, полученных с помощью моделей СТТ и 1ЫТ

№ п/п Учебная дисциплина Коэффициент валиДмости (модель СТТ) Коэффициент валидности (модель ИЧТ)

1 Практическая аэродинамика 0,468 0,814

2 Выполнение полета 0,450 0,756

3 Конструкция и летная эксплуатация ВС 0,538 0,789

4 Конструкция и летная эксплуатация двигателя 0,602 0,743

5 Приборное оборудование и его летная эксплуатация 0,518 0,821

6 Радиооборудование и его летная эксплуатация 0,569 0,838

Анализ полученных данных позволяет сделать вывод о том, что использование матриц структурной связности модулей ПП, двухпараметриче-ской логистической модели 1ЯТ и критерия профессиональной компетентности в ходе статистической обработки результатов критериально-ориентированного тестирования позволяет в среднем на 27 % увеличить ва-лидность систем тестового контроля профессиональных компетенций ЛС.

ОСНОВНЫЕ ВЫВОДЫ

На основании проведенных теоретических и экспериментальных исследований сделаны следующие основные выводы:

1. Использование метода разработки матриц структурной связности модулей профессиональной подготовки позволяет однозначно интерпретировать структуру формируемых компетенций пилота, а также реализовать индивидуальную траекторию обучения летного состава.

2. На основе предложенного метода сформированы адекватные структурные модели автоматизированных обучающих систем, средняя относительная частота соответствия которых экспериментальным данным, полученным в ходе тестирования летного состава, составляет 78 %, а среднее значение у-индекса структурных моделей равно 0,56.

3. Предложенный алгоритм процедуры опроса экспертов для определения структуры, порядка изучения и имеющихся логических связей между составными элементами обучающей системы позволил в среднем в 2,5 раза сократить время на согласование мнений экспертов.

4. Разработан метод определения критериального балла для систем тестового контроля профессиональной компетентности пилота, сочетающий преимущества метода экспертных оценок и статистического анализа результатов тестирования.

5. Предложенная двухпараметрическая модель классификации испытуемых дает возможность для доверительной вероятности, равной 0,95, увеличить точность оценки критериального балла по сравнению с линейной

корреляционной моделью в среднем на 6,2 %, и эта величина возрастает с ростом доверительной вероятности.

6. Обоснована применимость одномерной двухпараметрической логистической модели тестирования для оценки компетентности летного состава, а также новая трактовка критерия профессиональной компетентности пилота.

7. Использование разработанных матриц структурной связности модулей профессиональной подготовки и критерия профессиональной компетентности пилота позволило в среднем на 27 % увеличить вапидность систем тестового контроля летного состава.

8. Усовершенствована математико-статистическая модель тестового контроля профессиональной компетентности летного состава и предложен алгоритм разработки критериально-ориентированных тестов, расширяющий возможности классической теории тестирования, позволяя учитывать размерность и структуру пространства формируемых компетенций пилота.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Научные публикации в изданиях, рекомендованных ВАК Министерства образования и науки Российской Федерации для опубликования основных научных результатов диссертаций:

1. Айдаркин, Д. В. Разработка алгоритма адаптивного тестирования для автоматических обучающих систем профессиональной подготовки летного состава / Д. В. Айдаркин, С. Г. Косачевский // Научный вестник МГТУ ГА. Сер. Аэромеханика и прочность. - 2008. -№ 125 (1). - С. 167-172.

2. Айдаркин, Д. В. Повышение точности оценки профессиональной подготовленности летного состава на основе тестирования с использованием моделей 1ЯТ / Д. В. Айдаркин, С. Г. Косачевский // Научный вестник МГТУ ГА,- 2010. -№ 154 (4).-С. 111-116.

3. Айдаркин, Д. В. Размерности пространства и структура компетенций пилота / Д. В. Айдаркин//Мир транспорта. - 2011.-№3 (36).- С. 152-156.

4. Айдаркин, Д. В. Оптимизация автоматизированного обучения летно-

го состава на основе структурной теории знаний / Д. В. Айдаркин // Научный вестник МГТУ ГА. —2011. —№ 172(10).-С. 118-121.

Научные публикации в других изданиях:

5. Айдаркин, Д. В. Компьютерная обучающая система по дисциплине «Аэродинамика и динамика полета» / Д. В. Айдаркин, С. Г. Косачевский // Международная научно-техническая конференция «Гражданская авиация на современном этапе развития науки, техники и общества» : тез. докл. - М. : МГТУ ГА, 2006. - С. 267.

6. Косачевский, С. Г. Разработка компьютерной системы обучения по дисциплине «Аэродинамика и динамика полета» / С. Г. Косачевский, Д. В. Айдаркин // Проблемы подготовки специалистов для гражданской авиации : материалы междунар. науч.-практ. конф. (Ульяновск, 23-24 ноября 2006 г.). -Ульяновск : УВАУ ГА, 2006. - С. 178-180.

7. Айдаркин, Д. В. Перспективы использования систем адаптивного тестирования для определения уровня профессиональной подготовленности авиационного персонала / Д. В. Айдаркин, С. Г. Косачевский // Информационные технологии в науке, образовании и производстве : материалы Всеросс. науч. конф. (Казань, 30-31 мая 2007 г.). - Казань : Изд-во КГТУ, 2007. -С.694-697.

8. Айдаркин, Д. В. Разработка автоматизированной обучающей системы по аэродинамике и динамике полета / Д. В. Айдаркин, С. Г. Косачевский // Шестая международная научно-практическая конференция «Чкаловские чтения» : сб. материалов. — Егорьевск : ЕАТК ГА им. В. П. Чкалова, 2007. -С. 204-205.

9. Косачевский, С. Г. Компьютерная обучающая система по дисциплине «Аэродинамика и динамика полета» : свидетельство об отраслевой регистрации разработки № 8672 от 04.07.2007 / С. Г. Косачевский, Д. В. Айдаркин. - Инв. номер ВНТИЦ № 50200701493 от 06.07.2007.

10. Айдаркин, Д. В. Разработка систем автоматизированного обучения летного состава с учетом рекомендаций ИКАО / Д. В. Айдаркин, С. Г.

Косачевский // Гражданская авиация на современном этапе развития науки, техники и общества : $гез. докл. междунар. науч.-техн. конф. (Москва, 22-23 апреля 2008 г.). - М.: МГТУ ГА, 2008. - С. 242.

П.Айдаркин, Д. В. Определение латентных факторов, характеризующих уровень подготовки курсантов / Д. В. Авдаркин 11 Проблемы подготовки специалистов для гражданской авиации: материалы междунар. науч.-практ. конф. (Ульяновск, 20-21 ноября 2008 г.). - Ульяновск : УВАУ ГА, 2008. -С. 124-127.

12. Айдаркин, Д. В. Использование компетентностного подхода для разработки систем автоматизированного обучения летного состава / Д. В. Айдаркин, С. Г. Косачевский П Научный вестник УВАУ ГА. - 2008. - № I. -С. 170-178.

13. Айдаркин, Д. В. Разработка компьютерных средств теоретической подготовки летного состава на основе компетентностного подхода / Д. В. Айдаркин, С. Г. Косачевский // Матер1али IX м!жнародноТ науково-техшчноТ конференцн' «ABIA-2009». - Т. 1. - КиТв : НАУ, 2009. - С. 5.1-5.4.

14. Косачевский, С. Г. Автоматизированная обучающая система по самолету Як-18Т (36 серия): свидетельство о регистрации электронного ресурса № 15032 от 27.10.2009 / С. Г. Косачевский, Д. В. Айдаркин, О. JI. Лачинов, А. А. Хан, Г. А. Федосеева, А. В. Ефимов и др., всего 8 чел. - Инв. номер ВНТИЦ № 50200901086 от 17.11.2009.

15. Косачевский, С. Г. Оценка качества тестов, представленных в автоматизированной обучающей системе по самолету Як-18Т (36 серии) / С. Г. Косачевский, Д. В. Айдаркин, А. В. Ефимов, О. Л. Лачинов, Б. Н. Рознин, Г. А. Федосеева // Научный вестник УВАУ ГА. - 2009. - № 2. - С. 77-81.

16. Косачевский, С. Г. Автоматизированная система текущего контроля качества обучения курсантов специализации 160503.65.01 - Летная эксплуатация гражданских воздушных судов : свидетельство о регистрации электронного ресурса № 16334 от 27.10.2010 / С. Г. Косачевский, Д. В. Айдаркин, Н. В. Цысс. - Инв. номер ВНТИЦ № 50201050067 от 03.11.2010.

17. Айдаркин, Д. В. Использование методики ОАСиМ для разработки карты компетенций курсанта летного училища / Д. В. Айдаркин // Проблемы подготовки специалистов для гражданской авиации и повышения эффективности работы воздушного транспорта: сб. материалов междунар. науч.-практ. конф. (Ульяновск, 18-19 ноября 2010 г.). - Ульяновск : УВАУ ГА (И),

2010.-С. 8-11.

18. Айдаркин, Д. В. Математические методы анализа результатов тестирования / Д. В. Айдаркин // Научный вестник УВАУ ГА. - 2011. - №3,-С. 22-27.

19. Айдаркин, Д. В. Методика определения критериального балла для систем тестового контроля уровня профессиональной подготовки летного состава / Д. В. Айдаркин // Научный вестник УВАУ ГА. - 2011. - № 3. - С. 2832.

20. Косачевский, С. Г. Разработка программы подготовки пилотов с использованием инновационных технологий обучения, тренажеров и самолетов ОА-42 / С. Г. Косачевский, Д. В. Айдаркин // Механизм государственно-частного партнерства в развитии кооперации российских высших учебных заведений и производственных предприятий : материалы Всеросс. конф. с междунар. участием (Ульяновск, 30 августа 2011 г.). - Ульяновск : УлГУ,

2011.-С. 94-100.

21. Айдаркин, Д. В. Методика анализа экспертных оценок в ходе разработки автоматизированных обучающих систем для летного состава / Д. В. Айдаркин // Проблемы летной эксплуатации и безопасность полетов : межвузовский тематический сб. науч. трудов. - Вып. V. - СПб : СПбГУГА, 2011. -

С. 18-24.

Соискатель

Д. В. Айдаркин

Подписано в печать 12.04.2012. Формат 60x90/16. Бумага офсетная Печать трафаретная. Усл. печ. л. 1,5. Уч.-изд. л. 1,18. Тираж 80 Заказ

РИО и типография УВАУ ГА (И), 432071, Ульяновск, ул. Можайского, 8/8

61 12-5/2933

МИНИСТЕРСТВО ТРАНСПОРТА РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ АГЕНТСТВО ВОЗДУШНОГО ТРАНСПОРТА ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ

ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «УЛЬЯНОВСКОЕ ВЫСШЕЕ АВИАЦИОННОЕ УЧИЛИЩЕ ГРАЖДАНСКОЙ АВИАЦИИ (ИНСТИТУТ)»

На правах рукописи

АЙДАРКИН ДМИТРИЙ ВИКТОРОВИЧ

ОБЕСПЕЧЕНИЕ СТРУКТУРНОЙ СВЯЗНОСТИ МОДУЛЕЙ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ ЛЕТНОГО СОСТАВА С ЦЕЛЬЮ ПОВЫШЕНИЯ УРОВНЯ БЕЗОПАСНОСТИ ПОЛЕТОВ

Специальность 05.22.14 - Эксплуатация воздушного транспорта

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель -кандидат технических наук, доцент Косачевский С.Г.

Ульяновск - 2012

СОДЕРЖАНИЕ

Перечень сокращений и обозначений...................................................................5

Введение...................................................................................................................8

1. ПРИМЕНЕНИЕ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ДЛЯ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ ЛЕТНОГО СОСТАВА.............18

1.1. Взаимосвязь качества профессиональной подготовки

летного состава и уровня безопасности полетов.....................................18

1.2. Особенности профессиональной деятельности и подготовки

летного состава на воздушных судах нового поколения........................24

1.3. Рекомендуемая практика ИКАО по подготовке летного состава..........29

1.4. Особенности применения компетентностного подхода в ходе профессиональной подготовки летного состава......................................32

1.5. Международные стандарты систем автоматизированного обучения ...39

1.6. Классификация автоматизированных систем профессиональной подготовки летного состава.......................................................................42

1.6.1. Автоматизированные системы первоначального обучения.........43

1.6.2. Автоматизированные системы для изучения новых типов самолетов............................................................................................47

1.6.3. Автоматизированные системы для отработки навыков самолетовождения, изучения функциональных систем самолета и специализированные курсы..........................................53

1.6.4. Автоматизированные системы контроля качества профессиональной подготовки........................................................56

Выводы по первой главе.......................................................................................63

2. РАЗРАБОТКА МЕТОДОВ ОБЕСПЕЧЕНИЯ СТРУКТУРНОЙ СВЯЗНОСТИ МОДУЛЕЙ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ ЛЕТНОГО СОСТАВА..............................................1........................................65

2.1. Вводные замечания.....................................................................................65

2.2. Использование методологии КБ для разработки систем профессиональной подготовки летного состава......................................66

2.3. Совместное использование метода БАСИМ и метода экспертных оценок в рамках методологии .............................................................71

2.3.1. Общая характеристика метода БАСИМ......................................... 71

2.3.2. Организация и проведение сессии БАСИМ...................................73

2.3.3. Использование метода Дельфи в ходе сессии БАСИМ................76

2.3.4. Использование метода экспертных оценок при проведении сессии БАСЦМ..................................................................................78

2.3.5. Алгоритм использования метода экспертных оценок при проведении сессии БАСЦМ.............................................................86

2.4. Метод разработки матриц структурной связности модулей профессиональной подготовки летного состава................ .......................89

2.4.1. Требования к структуре учебного материала в автоматизированных системах подготовки летного состава .......89

2.4.2. Модель содержания АОС.................................................................92

2.4.3. Метод разработки матриц структурной связности модулей профессиональной подготовки....................... ..................................97

2.5. Автоматизированный контроль качества профессиональной подготовки летного состава.....................................................................103

2.5.1. Требования к автоматизированным системам тестового контроля летного состава...............................................................103

2.5.2. Недостатки традиционной модели тестового контроля

уровня профессиональной подготовки летного состава.............110

2.5.3. Анализ результатов тестового контроля уровня подготовки летного состава на основе моделей ШТ........................................112

2.5.4. Использование двухпараметрической модели ЖТ для

оценки профессиональной компетентности летного состава.....122

2.5.5. Выбор критериального балла в системах тестирования для летного состава на основе двухпараметрической модели классификации испытуемых..........................................................127

2.5.6. Общий алгоритм разработки систем тестового контроля уровня подготовки летного состава..............................................131

Выводы по второй главе.....................................................................................133

3. АПРОБАЦИЯ ПРЕДЛОЖЕННЫХ МЕТОДОВ РАЗРАБОТКИ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ОБУЧЕНИЯ И ТЕСТИРОВАНИЯ ЛЕТНОГО СОСТАВА...................................................135

3.1. Вводные замечания...................................................................................135

3.2. Обеспечение структурной связности модулей профессиональной подготовки в ходе разработки АОС по самолету первоначального обучения.....................................................................................................136

3.2.1. Формирование карты компетенций и определение перечня учебных элементов АОС................................................................136

3.2.2. Определение оптимального порядка изучения учебных элементов АОС................................................................................140

3.2.3. Построение структурной модели АОС.........................................147

3.3. Определение уровня профессиональной компетентности летного

состава с помощью автоматизированных систем тестирования.........154

3.3.1. Формирование банка тестовых заданий.......................................154

3.3.2. Оценка надежности и валидности тестовых заданий..................160

3.3.3. Использование факторного анализа для оценки размерности пространства компетенций летного состава................................164

3.3.4. Отработка метода определения критериального балла...............168

3.3.5. Апробация двухпараметрической модели IRT для оценки уровня профессиональной компетентности летного состава.....171

Выводы по третьей главе....................................................................................173

Заключение...........................................................................................................175

Список использованных источников.................................................................177

ПРИЛОЖЕНИЕ А. Свидетельство о регистрации электронного ресурса «Автоматизированная обучающая система по самолету

Як-18Т (36 серия)»...........................................................................................196

ПРИЛОЖЕНИЕ Б. Свидетельство о регистрации электронного

ресурса «Автоматизированная система текущего контроля качества обучения курсантов специализации 160503.65.01 - Летная

эксплуатация гражданских ВС».....................................................................197

ПРИЛОЖЕНИЕ В. Свидетельство об отраслевой регистрации разработки «Компьютерная обучающая система по дисциплине "Аэродинамика и динамика полета"»...........................................................198

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ

АОС - автоматизированная обучающая система АП - авиационное происшествие АС - автоматизированная система

АСТККО - автоматизированная система текущего контроля качества обучения

AT - авиационная техника

БП - безопасность полетов

ВАК - высшая аттестационная комиссия

ВС - воздушное судно

ГА - гражданская авиация

ГС - граф содержания

ГосНИИ ГА - Государственный научно-исследовательский институт ГА

ИКАО (International Civil Aviation Organization, ICAO) - Международная организация гражданской авиации

КОТ (criterion-referenced test) - критериально-ориентированный тест JIC - летный состав

МАК - Межгосударственный авиационный комитет

НИР - научно-исследовательская работа

1111 - профессиональная подготовка

ТСПО - технические средства подготовки и обучения

УВАУ ГА (И) - Ульяновское высшее авиационное училище гражданской авиации (институт)

УЭ - учебный элемент

ФАЛ - Федеральные авиационные правила Российской Федерации

1PL (one-parameter logistic model) - однопараметрическая логистическая модель

2PL (two-parameter logistic model) - двухпараметрическая логистическая модель

AICC (Aviation Industry CBT Committee) - Международный комитет по компьютерному обучению в авиации

ATPL (Airline Transport Pilot Licence) - свидетельство линейного пилота авиакомпании

AU (Assignable Unit) - выделяемый элемент учебного материала

CBT (Computer-Based Training) - компьютерная система обучения

CPL (Commercial Pilot License) - свидетельство пилота коммерческой авиации

СТТ (Classical Test Theory) - классическая теория тестирования

DACUM (Developing A CUrriculuM) - метод разработки учебного плана

EASA (European Aviation Safety Agency) - Европейское агентство по безопасности авиаперевозок

FAA (Federal Aviation Administration) - Федеральное управление гражданской авиации США

FAR (Federal Aviation Regulation) - Федеральные авиационные правила США

FMS (Flight Management System) - система обработки и индикации пилотажных данных

IMS GLC (Instructional Management Systems Global Learning Consortium) -Всемирный образовательный консорциум систем организации обучения

IRT (Item Response Theory) - теория моделирования и параметризации тестов

ISD (Instruction Systems Design) - методология разработки учебно-тренировочных курсов

JAA (Joint Aviation Authorities) - объединенное управление гражданской авиации Европейского Союза

JAR (Joint Aviation Requirements) - единые авиационные требования Европейского Союза

KST (Knowledge Space Theory) - структурная теория знаний

LMS (Learning Management Systems) - система управления обучением

MIRT (Multidimensional Item Response Theory) - многомерная теория моделирования и параметризации тестов

MPL (Multi-crew Pilot License) - свидетельство пилота многочленного экипажа

PPL (Private Pilot License) - свидетельство пилота-любителя

QTI (Question and Test Interoperability) - стандарт функциональной совместимости тестовых вопросов и систем тестирования

SCORM (Sharable Content Object Reference Model) - модель обмена совместно используемыми учебными материалами

SCOs (Sharable Content Objects) - совместно используемые учебные объекты XML (extensible Markup Language) - расширяемый язык разметки

ВВЕДЕНИЕ

Актуальность работы. Характер профессиональной деятельности летного состава (ЛС) гражданской авиации (ГА) на воздушных судах (ВС) нового поколения в значительной степени изменился со сложно координированного управления динамическим объектом в пространстве на деятельность оператора сложной эргатической системы в условиях дефицита времени, повышенной ответственности и неопределенности. Это ставит новые задачи по модернизации имеющихся подходов к процессу профессиональной подготовки (ПП) ЛС, совершенствование которого должно носить системный характер. Указанная проблема нашла отражение в документах Международной организации гражданской авиации (ИКАО), в соответствии с которыми ПП ЛС представляет собой один из наиболее существенных факторов, обеспечивающих уровень БП.

Одним из путей решения проблемы подготовки ЛС является широкое внедрение в практику ПП автоматизированных систем (АС), возможности которых позволяют выполнить значительную часть работы по формированию требуемых профессиональных компетенций пилота и обеспечить индивидуальный характер обучения на основе подбора необходимых модулей с учетом уровня подготовки обучаемого. Модульность курса ПП, а также его направленность на практическое применение полученных знаний и навыков рекомендованы ИКАО для повышения уровня профессиональной компетентности ЛС с целью обеспечения БП.

При этом контроль качества ПП становится первостепенным по своей важности, так как на его основе определяются требуемые модули ПП. Поэтому необходима модернизация методов разработки и применения автоматизированных обучающих систем (АОС) и систем тестового контроля для ЛС с учетом имеющихся структурных связей между модулями ПП, что позволит формировать профессиональные компетенции, необходимые для безопасной эксплуатации ВС нового поколения.

, Компетентностный подход к процессу ГШ,ЛС предполагает структури-

рование знаний и навыков, так как именно в таком виде они наиболее доступны для понимания и усвоения. С этой точки зрения структурирование профессиональных компетенций ЛС и разработку эффективных методов контроля этой структуры можно рассматривать как одно из основных направлений модернизации ПП в ГА, который согласуется с рекомендуемым ИКАО компетентностным подходом.

Исследование структур профессиональных знаний позволит дифференцированно подходить к разным областям ПП, излагать требуемый материал оптимальным и индивидуально ориентированным способом, а научно обоснованная разработка тестирующих АС обеспечит адекватность полученных оценок уровня профессиональной компетентности ЛС.

Изучением проблем совершенствования процесса ПП ЛС занимаются многие научные коллективы. Среди исследований в этой области необходимо отметить работы ученых Коваленко Г. В., Козлова В. В., Крыжановского Г. А., Куклева Е. А., Микинелова А. Л., Пономаренко В. А., Рисухина В. Н., Столярова Н. А., Сухих Н. Н., Хорошавцева Ю. Е., Ципенко В. Г., Чепиги В. Е., Юши Н. Ф. Однако изученный отечественный и зарубежный опыт применения АС в процессе подготовки ЛС позволяет сделать вывод, что проблема обеспечения структурной связности элементов курса ПП ЛС до настоящего времени в комплексной постановке не ставилась и не рассматривалась.

В связи с этим представляется актуальным создание новых методов обеспечения структурной связности модулей 1111 в ходе разработки АС, предназначенных для подготовки ЛС ГА, с учетом особенностей летной эксплуатации ВС нового поколения, а также совершенствование методов оценки профессиональной компетентности ЛС на основе тестового контроля.

Диссертация посвящена решению этой проблемы и базируется на работах автора, выполненных с 2006 года по настоящее время в Ульяновском высшем авиационном училище ГА (институте) (УВАУ ГА (И)).

Объект исследования: процесс профессиональной подготовки ЛС ГА.

Предмет исследования: методы реализации модульной системы в ходе профессиональной подготовки JIC с использованием АС.

Цель диссертационной работы: совершенствование процесса профессиональной подготовки JIC к эксплуатации ВС нового поколения на основе обеспечения структурной связности модулей ПП, реализованных в АОС и АС тестового контроля.

Для достижения указанной цели поставлены и решены следующие задачи исследований:

- проведен анализ методических основ разработки АОС с учетом особенностей эксплуатации ВС нового поколения и существующих моделей применения компетентностного подхода;

- разработаны математические основы формирования матриц очередности и логической связности учебных элементов АОС для JIC с учетом уровня компетентности привлекаемых экспертов;

- разработан метод формирования матриц структурной связности модулей ПП на основе экспертного опроса высококвалифицированных пилотов;

- исследована проблема повышения валидности АС тестового контроля JIC, разработан критерий профессиональной компетентности пилота;

- проведен анализ существующих моделей обработки результатов тестирования JIC, обоснована применимость одномерной двухпараметрической логистической модели семейства IRT;

- исследована проблема выбора критериального балла для систем тестового контроля профессиональной компетентности JIC;

- разработан алгоритм создания систем тестового контроля, позволяющий учитывать размерность пространства формируемых компетенций.

Методы исследования основаны на применении теории матриц и графов, экспертного оценивания альтернатив, структурной теории знаний (Knowledge Space Theory, KST), теории моделирования и параметризации тестов (Item Response Theory, IRT), классической теории тестирования (Classical Test Theory, CTT), теории вероятностей, математической статисти-

ки и факторного анализа.

В ходе исследований в соответствии с рекомендациями ИКАО использовалась методология разработки учебно-тренировочных курсов (Instruction Systems Design, ISD) и метод разработки учебного плана профессиональной подготовки DACUM (Developing A CUrriculuM).

Основные научные результаты, выносимые на защиту:

1. Метод разработки матриц структурной связности модулей ПП, включающий алгоритм процедуры опроса экспертов в ходе формирования структуры обучающей системы.

2. Метод определения критериального балла для тестового контроля профессиональной компетентности JIC с использованием двухпараметриче-ской модели классификации испытуемых.

3.Одномерная двухпараметрическая логистическая модель обработки результатов тестирования и соответствующий критерий профессиональной компетентности пилота.

4. Алгоритм разработки систем тестового контроля ЛС на основе мате-матико-статистической модели тестовых измерений профессиональной компетентности.

Научная новизна работы. В ходе проведения исследований получены новые научные результаты:

1. В методе разработки матриц структурной связности модулей 1111, который основан на стандартах электронного обучения и положениях теории KST, в отличие от существующих методов разработки курсов 1111 JIC учитывается уровень компетентности каждого эксперта, что позволяет увеличить эффективность процедуры экспертного опроса.

2. Предложенный метод определения критериального балла тестового контроля профессиональной компетентности JIC отличается от существующих методов �