автореферат диссертации по транспорту, 05.22.13, диссертация на тему:Квалификационная оценка специалистов по управлению воздушным движением на основе системы рейтингов

ФЕДЕРАЛЬНАЯ АВИАЦИОННАЯ СЛУЖБА РОССИИ АКАДЕМИЯ ГРАЖДАНСКОЙ АВИАЦИИ

0\ о 2 7

На правах рукописи УДК 656.7.017.13

Шестаков Иван Николаевич

КВАЛИФИКАЦИОННАЯ ОЦЕНКА СПЕЦИАЛИСТОВ ПО УПРАВЛЕНИЮ ВОЗДУШНЫМ ДВИЖЕНИЕМ НА ОСНОВЕ СИСТЕМЫ РЕЙТИНГОВ

Специальность 05.22.13 - "Навигация и управление воздушным движением"

Автореферат диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург -1997

Работа выполнена в Академии гражданской авиации

НАУЧНЫЙ РУКОВОДИТЕЛЬ

доктор технических наук, профессор СУХИХ H.H. НАУЧНЫЙ КОНСУЛЬТАНТ

доктор технических наук, профессор ПО ЛОВКО A.M.

ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ:

доктор технических наук, профессор БОЙЦОВ В.А.

кандидат технических наук,

старший научный сотрудник СУЛЕИМАНОВ Р.Н.

ВЕДУЩАЯ ОРГАНИЗАЦИЯ Государственная Корпорация по Организации Воздушного Движения в Российской Федерации

Защита состоится "_"_199_г. в 10 часов

на заседании Специализированного совета Д 072.03.01 Академии гражданской авиации по адресу: 196210, г. Санкт-Петербург, ул. Пилотов, 38, Академия ГА.

С диссертацией можно ознакомиться в библиотеке Академии ГА. Автореферат разослан "_"_199_г.

Ученый секретарь специализированного совета профессор

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследований. В статье 27 Воздушного Кодекса Российской Федерации указывается: "Целью государственного контроля за деятельностью в области гражданской авиации является: обеспечение безопасности толетов воздушных судов, авиационной безопасности и качества работ и услуг."

С целью интегрирования гражданской авиации России в международную систему юздушного транспорта и обеспечения соответствующего уровня безопасности тодится обязательная сертификация и лицензирование объектов воздушного гранспорта, к которым отнесены авиационный персонал и авиационные учебные ¡аведещи.

Необходимость разработки методик, критериев и показателей, используемых для щенки объектов сертификации, определяет актуальность исследований в данном управлении. Вместе с тем в настоящее время для рационального использования ятециалистов и решения кадровых вопросов появилась потребность в индивидуальной щенке специалистов.

Персонал УВД как объект сертификации наиболее сложен и уникален в силу того, что кроме классов предусмотрена градация специалистов по категориям. Подготовка и технология работы специалистов УВД в наибольшей степени триближены к требованиям 1САО. Работа авиадиспетчеров даже при автоматизации процессов УВД остается одним из самых ответственных и напряженных видов деятельности. В связи с этим результаты исследований, проведенных для персонала УВД, могут быть применены и дая других категорий авиаспециалистов.

Формирование авиадиспетчера начинается в учебном заведении, где в процессе подготовки закладываются необходимые знания, умения, навыки, которые являются фундаментом для развития и роста специалиста. Поэтому, объектами исследования, как неотъемлемые друг от друга части, являются как авиадиспетчеры, род деятельности которого относится к операторскому виду, так и учебное заведение, выпускающее данных специалистов.

Вопросам определения профессионального уровня специалиста-оператора посвящено много работ. Предлагались как методы, основанные на измерении биоэлектрической активности, так и методы экспертных оценок. Достоинство последних методов заключается в возможности быстрого получения. данных для качественного анализа деятельности, когда не требуется высокой точности результатов. Недостатком этих методов следует считать определенную долю субъективизма, вносимую экспертами, что требует большего объема статистических данных и накладывает ограничения на методику проведения эксперимента. Включение объективных показателей в критерий оценки уровня натренированности операторов

является положительным моментом, однако зависимость психофизиологического состояния оператора от его натренированности неоднозначна, а применение электрофизиологических методов контроля для постоянной (оперативной и текущей) оценки групп технически трудно осуществимо.

В последнее время для определения уровня подготовки специалиста все чаще стала обсуждаться важность использования рейтинг-оценки. Анализируя опыт ФИДЕ, можно придти к выводу, что метод оценки рейтинга шахматистов имеет законченную структуру, с помощью которой можно оценивать и прогнозировать результаты шахматных турниров, следить за ростом шахматистов, устанавливать нормы для получения и подтверждения званий. В остальных областях деятельности формализованных методик, критериев и показателей определения рейтинга специалиста не существует, а понятие рейтинга сводится лишь к ранжированию. Вместе с тем рейтинг может и должен выступать как новая самонастраивающаяся система подготовки, конгроля, численного представления, прогноза и корректировки профессионального мастерства.

Целью диссертационной работы явились исследование динамики изменения профессионального уровня специалистов УВД, разработка научно-обоснованных методов рейтинг-оценки профессионального уровня специалистов УВД, разработка Методик оценки и статистического анализа результатов конгроля студентов Академии ГА специализации УВД.

Основные задачи, которые решены в диссертации:

1. Анализ существующих методик комплексных и рейтинговых оценок;

2. Формулировка основных положений и понятий рейтингоценок;

3. Определение критериев и показателей рейтинга;

4. Разработка методов расчета и анализа показателей рейтинга;

5. Разработка структуры рейтинг-системы;

6. Разработка методик оценки и статистического анализа результатов кошроля студентов Академии ГА специализации УВД.

Методы исследования аналитический и экспериментальный. Математической основой аналитических методов исследования явшись: теория вероятности и математической статистики, теория случайных процессов, элементы теории массового обслуживания, качественная теория дифференциальных и разностных уравнений, теория интерполяции и аппроксимации, методы решений систем линейных уравнений. Сущность экспериментальных исследований состояла в обработке статистического материала оценки знаний в Академии ГА и моделирование с помощью ЭВМ различных ситуаций для расчета рейтингов диспетчеров. На защиту выносятся:

• метод рейтинг-оценки профессионального уровня специалистов УВД;

• критерии и показатели рейтинг-оценки профессионального уровня специалистов УВД и студентов-диспетчеров;

» структура рейтинг-системы вуза;

» методы и алгоритмы анализа результатов контроля подразделений; » результаты статистической обработки данных у студентов Академии ГА - будущих специалистов УВД.

Научная новизна работы заключается в следующем:

> обосновано применение рейтинг-оценок для квалификационной оценки специалистов по УВД;

« решена задача индивидуальной оценки специалистов УВД;

> исследована динамика изменения профессионального уровня специалистов УВД;

> разработаны методы, методики и алгоритмы рейтинг-оценки профессионального уровня специалистов УВД;

> разработаны методы, методики и алгоритмы рейтинг-оценки студентов специализации УВД;

> в анализе существующих методов и методик оценки знаний, умений, навыков в вузе и их использование в рейтинг-системе.

Достоверность результатов и обоснованность выводов обусловлены не гротиворечием физической сути рассматриваемых вопросов, обработкой реальных ггатистических данных оценки знаний преподавателями Академии ГА и применением математического аппарата, реализованного в известных математических пакетах грикладных программ.

Практическая ценность. Разработанные методики позволяют анализировать, :оррекхировать и прогнозировать процессы обучения, изменения профессионального истерстаа, а также определять степень подготовки и соответствие профессионального ровня выполняемой работе. Рейтинг-система вуза выступает как новая форма >рганизации процессов обучения и контроля, которая позволит: повысить интерес и беспечить непрерывность обучения, его индивидуализацию, улучшить качество бучения профессорско-преподавательским составом, создать мотивации для [рофессионального роста мастерства, объективно оценивать знания, умения, навыки бучающихся и профессиональный уровень. Разработанные в диссертационной работе лгоритмы и методы рейтинг-оценок профессионального уровня диспетчеров могут ыть успешно применены для контроля профессионального уровня других виаспециалистов.

Внедрение. Результаты диссертационной работы внедрены в ряд организаций ражданской авиации, на что имеются соответствующие акты о внедрении.

Апробация работы. Основные результаты работы докладывались и обсуждались :а 1-й Всероссийском научно-практической конференции "Безопасность полетов и осударствешюе регулирование деятельности в гражданской авиации", конференциях спирантов и молодых ученых Академии ГА, Второй межведомственной научно-

3

технической конференции "Проблемные вопросы сбора, обработки и передач! информации в сложных радиотехнических системах", научно-техническо? конференции "Военная электроника".

Публикации. Основное содержание диссертационной работы отражено в 12 печатных работах, которые представлены статьями в сборниках научных трудов, тезисах докладов и пособии. Материалы диссертации отражены в двух научно-исследовательских отчетах.

Структура и объем работы. Диссертационная работа состоит го введения, 5 глав, заключения, списка литературы и приложений. Основной текст работы содержт 138 страниц, включая 59 таблиц, 62 рисунка к библиографию из 115 наименований. Приложения содержатся на 17 страницах.

СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность темы диссертационной работы, определены цель, задачи и методы исследований. Показана необходимость применения рейтинг-систем в учебных заведениях, в эксплуатационных предприятиях, при экспертизе программных продуктов и прогнозе их развития. Сформулированы основные понятия и определения.

Рейтинг - это выражаемый в баллах интегральный показатель, который рассчитывается и корректируется по определенным правилам, на основе вновь полученных данных.

Рейтинг система (PC) - это структура, форма и алгоритмы получения рейтинга.

В первой главе по литературным источникам проведен анализ современных методов оценки знаний, умений и навыков в спорте, учебных заведения страны, а также в отечественных и зарубежных авиакомпаниях.

Из проведенного в главе анализа можно сделать следующие выводы.

♦ Известные методики определения комплексной оценки мало объективны, лишены общности, сложны. Они могут быть применимы лишь для оценки специалистов контрольных групп.

♦ Использование методик рейтинг-оценок в спорте при оценке профессиональной подготовки специалистов УВД сомнительно. Это объясняется тем, что такие оценки в спорте предполагают случайность результатов спортсменов, в то время как знания человека не могут быть представлены случайными величинами.

♦ Существующие рейтинг-оценки в учебных заведениях имеют следующие существенные недостатки: понятие рейтинг-оценок ограничивается лишь понятием ранжирования; не формализованы методики для оценки знаний и умений обучаемых различным специальностям, в частности при подготовке диспетчеров; не существует методик оценки качества и эффективности обучающих программ; существующие рейтинг-оценки невозможно применить для оценки профессиональной деятельности специалистов УВД в силу специфики работы диспетчеров.

4

♦ Рейтинг-оценки являются новым видом оценивания уровня подготовки специалистов и отвечают требованиям достоверности, оперативности, массовости при малой стоимости затрат па внедрение и функционирование. Кроме того, рейтинг-оценки в ряде случаев просто необходимы и продиктованы объективными обстоятельствами, сформировавшимися в некоторых сферах реальной жизни, например, при решении кадровой политики (присвоение и подтверждение класса, прием-увольнение, повышение в должности), при организации учебного процесса.

♦ Рейтинг-оценка подразумевает не только новые методики оценок, но также структурные и организационные изменения в процесс подготовки специалистов и не может быть полностью реализована при существующей системе обучения и контроля уровня профессиональной подготовки диспетчеров.

Во второй главе рассмотрены два подхода к созданию математических моделей, методик, алгоритмов и компьютерных программ рейтингового контроля профессиональных знаний обучаемых: детерминистский и вероятностный. Приведено теоретическое обоснование применения оценки знаний при традиционных методах контроля в условиях рейтинг-системы.

При детерминистском подходе считается, что V - полный объем знаний (100%), содержащийся в учебном материале и, что контроль является полным. За критерий оценки знаний принимают долю знаний от общего объема V, приобретенных обучаемым за время обучения t.

До начата контроля предполагается, что знания обучаемого оцениваются числом 100. Если на первый контрольный вопрос не дан правильный ответ, то дается фрагмент первой подсказки, а знания обучаемого оцениваются числом 100 - Coi, где Coi - Цена первой подсказки. При полном контроле, объем знаний оценивается по

формуле: = ] оо>

ij

где C¡] - цена подсказки, соответствующая i-му вопросу и j~й подсказке.

При вероятностном подходе функционирование системы обучения и контроля знаний описывается моделью массового обслуживания. Поток заявок на обслуживание является простейшим и в нем имеются два сорта вопросов: благоприятные, то есть такие, на которые обучаемый отвечает правильно; и неблагоприятные, на которые обучаемый не может ответить правильно. Известными в теории надежности топологическими методами получена формула расчета вероятности правильного ответа на контрольные вопросы: _ i + -JZ + >

2 2

где Я - интенсивность поступления задач; а - вероятность того, что поступившая задача

будет благоприятной: ТХ—\ '

где Т - время, за которое обучаемый правильно ответил на все контрольные вопросы.

Зависимости Р = ДМ) при различных значениях а представлены на рис. 1 : приведены в таблице 1, из которых видно, что если вероятность благоприятной задач: равна 0,95, то уже при Я1 = 10 вероятность правильного решения задачи будет всег лишь 0,77, а если в течении часа задать 20 вопросов (Я/ = 20), то при а = 0.9. контролируемый правильно ответит только на половину вопросов (Р = 0.595), хотя: вероятностном смысле он знает 95% материала.

Таблица

Зависимости Р при различных значениях а

а 0, 997 0, 95 0,9

Xt 0 5 10 20 0 5 10 20 0 5 10 20

Р 1 0,992 0,984 0,970 1 0,870 0,766 0,595 1 0,754 0,583 0,349

В работе показано, чт математическими моделям оценки знаний пр:

традиционной методик

контроля в условиях рейтинг системы могут быть: модел интерполирования определением коэффициенте интерполяционного полином путем решешга систеш линейных алгебраически уравнений и модель аппроксимации методом наименьших квадратов. При это; функция представляется либо многочленом 3-й степени, либо универсальной дд данного класса задач интерполяционной формулой:

2 з или f(x) = — + bxln х + сех + d ■ У(х) =ао+а\х +агх +аъх х

Исходя из физической сущности процесса приобретения знаний, умений : навыков можно предположить, что для его описания применим закон Ципфа-Паретс который относится к гиперболическим распределениям (рис. 2) и имеет следующи вид

^ А '

где л* - баллы традиционных оценок (3, 4, 5); п(х) - число контролируемы? получивших х балл; А, а- параметры распределения. 6

Р

Рис. 1. График функции Р =f(At) приразличных значениях а

Xj Xj X

Рис.2. Иллюстрация закона Ципфа-Парето

Рассмотрим пример. Трое контролируемых отвечали ira один и тот же билет, который содержал три вопроса. При этом первый ответил на эти вопросы на 3, 4, 5; второй - 5, 3, 4; а третий - 4, 5, 3. Как оценить их разные ответы на вопросы при выставлении оценки в целом за билет? Предлагается следующая методика определения коэффициентов значимости оценок и расчет рейтинга контролируемого,

которая позволяет ответить на этот вопрос. Пусть некий тест включает в себя л контрольных вопросов по дисциплине. Допустим, что уже имеется статистика об оценках, полученных при ответах на каждый вопрос этого теста (табл.2). Тогда вес г-й оценки, полученной зау-й вопрос теста рассчитывается по формуле:

Рг ^

I'.со.

где щ частость получения i-x оценок по j-му вопросу:

й)„=-

1ш2

В последней формуле х,у - количество ¿-х оценок по j- му вопросу, i = 2,3,4,5.

Количество и вес оценки

Таблица 2

№ вопроса Частость Вес оценки

двоек троек 1етверо: пятерок двойки тройки [етвери пятерки

1 Х2.1 Хз.1 Х4,1 Х5.1 Р2.1 Рз.1 04,1 Рз.1

2 Х2,2 Хэ,2 Х4.2 Х5,2 Р2.2 Рз,2 Р4.2 Р5.2

; Xij P.J

П X2jl Хз,п Х.1,л Х5.П | Р2,„ Рз.п P-t,n р5,п

Будем считать, что коэффициент значимости оценки, полученной при ответе, будет тем выше, чем меньше вероятность (частость) ее получения: Тогда коэффициент значимости 1-го балла (оценки) в /-ом вопросе находят по формуле _ .

Рейтинг контролируемого за ответы на вопросы этого теста (назовем его к-ы оцениваемым объектом) будем рассчитывать по формуле:

где т - количество заданных вопросов; п - количество вопросов в тесте; ¿¡у - индикатор: 5ij = 0 - если j-й вопрос теста не задавался, 8ц = 1 - если на j-й вопрос получена оценка дг, Xij - оценка i, полученная за j-й вопрос; е¡j- коэффициент значимости полученной 1-й оценки за j-ii вопрос: для двоек и троек eg = для четверок и пятерок еу = 1 - J3ij=aij.

Важность дисциплин, включенных в учебный план, должна быть одинакова, т.к. он (учебный план) удовлетворяет требованиям, предъявляемым к подготовке специалиста. Сложность той или иной дисциплины заложена во времени, отводимом для ее изучения. Тогда за балл рейтинг-системы следует принять один академический час и вес каждого оцениваемого объекта (дисциплины) находят по формуле: f,

Sk=Yz

где Tt - время отводимое учебным планом на изучение к-й дисциплины; - время отводимое учебным планом на изучение всех дисциплин. Рейтинг для совокупности оцениваемых объектов Дг рассчитывается по формуле: - ,

Ri'HstRt

А.1

где m - количество к-х объектов; - вес к-го объекта. Рейтинг контролируемого на данный момент времени Rh рассчигьгвается по формуле: 0 D D ,

Ая lie I\. I

где Rc - рейтинг контролируемого на момент начала контроля.

В главе также показано, что процесс оценки групп студентов (подразделений) можно рассматривать как множество реализаций случайной функцииу(х) и для анализа этого процесса как при традиционных методах контроля, так и в условиях рейтинг-системы применим аппарат теории случайных функций. Разработанные методики определения коэффициентов значимости оценок; расчета рейтинга специалиста при контроле теоретических знаний; градации методом экстраполяции баллов оценок на данных традиционного способа кошроля знаний позволяют оценить знания обучаемых в рейтинг-системе.

В третьей главе рассмотрены методы анализа знаний при традиционных способах контроля, которые в дальнейшем могут быть применены для анализа процесса обучения при функционировании рейтинг-систем.

Статистическими данными для анализа явились оценки слушателей Академии гражданской авиации по специализации инженеров по управлению воздушным движением выпусков 1980 и 1991 годов. Данные выписывались из сводных журналов оценок по всем группам этих выпусков. Для выпуска 1980 г. пять групп, 170 строк входных данных, для выпуска 1991 г. десять групп, 220 строк входных данных. Входные данные следующие: год выпуска; курс, № группы, название предмета, признак типа предмета (для выпуска 1980 г.), количество полученных двоек, количество полученных троек, количество полученных четверок, количество полученных пятерок

Первоначально анализ проводился с помощью таблиц, графиков, гистограмм и диаграмм: по выпускам в целом; по выпускам отдельно за курс; по группам в целом; по

руппам отдельно за курс; по предметам; для выпуска 1980 года по типам предметов гуманитарный, общеобразовательный, специальный, профилирующий) в целом и по [редметам в типе.

Например, из рисунка 3 видно, что частоты получения тех и других оценок за шные годы выпусков существенно не изменились; основной составляющей оценок рта обоих выпусков является четверка; частоты получения троек и четверок в сумме оставляют примерно 70%.

-Два -Три ■ Четыре -Пять

Два Три .....1980 г.

Четыре Пять -X-1991 г.

а)

б)

Рис. 3. Сравнительный анализ полученных за годы обучения оценок по выпускам (1980 г. и 1991 г.)

Для выпуска 1980 года интерполяционные полиномы имеют следующие виды: за ервьш курс у = 45.3 х? - 613 х? + 2552.7х - 2942, за второй курс у = - 45.2 х? + 330 х2 -95.8 х + 86, за третий курс у = - 26.2 х3 +152 х2 + 28.2 х - 415, за четвертый курс^ = -9.5 х3 + 377 х2 - 1064.5 х + 983, за весь период обучения у = - 65.5 х3 + 24.6 х2 + 020.5х - 2288. Для выпуска 1991 года коэффициенты полинома представлены в виде аблицы 3.

Коэффициенты аппроксимирующего полинома аналогичны коэффициентам

Таблица 3 интерполяционного и поэтому

Коэффициенты интерполяционного полинома (выпуск 1991 года)

здесь не приводятся.

По найденным полиномам методом экстраполяции в работе был расширен интервал оценок от четырех до семи. Этим была показана возможность

применения рейтинг-оценок знаний подразделения (группы, урса, выпуска).

.Аппроксимируя данные контроля по закону Ципфа-Парето, найдены новые 1стости получения баллов. Если их сложить, то чем меньше эта сумма получится, тем злее высоким баллом должно быть оценено подразделение.

Курс- .: а0 . :• а-1 а2 .. а3 -

1 44,8 -731 3433 -4152

2 39,8 -584,5 2601 -3108

3 -129 1202 -3255 2858

4 -64,7 651 -1927 1829

Итого за 4 года -109 537 851 -2573

При анализе знаний методами теории случайных функций были получень: характеристики случайных функций (см. рис.4), а также найдены моменты г коэффициенты корреляции (см. табл.4).

Таблица А

Корреляционные моменты и коэффициенты корреляции

Оценки Корреляционные моменты Коэффициенты корреляции

2 •• 3 4 . 5 2 3 : 4 : . 5 .

Выпуск 1980 г.

2. 5.3874. 1.5449 -4.917 -2.0153 1 . 0.1507 -0.5174 -0.2808

'• з 1.5449 19.5032 -12.676 -8.3725 ,1 -0.701 -0.6131

. 4 ••'. -4.917 -12.676 161767 0.82563 1 0.06521

, 5 -2.0153 -8.3725 3.82563 9.5621 1

Выпуск 1991 г.

2 6.9043: 1.5141 -5.1434 -3.2749 1 0.1130 -0.4089 -0.3079

3 1.5141 25.9869 -16.081 -11.419 - 1 -0.6590 -0.5535

4 -5.1434 -16.081 22.9098 -1.6852 г -0.0869

5 -3.2749 -11.419 -1.6852 16.3801 -. 1 ./

По представленным графикам видно, что характер поведения кривых разных лео сохраняется и оценки матожидания практически не отличаются, что свидетельствует с постоянстве качества подготовки выпускшжов Академии. Превышение дисперсш математического ожидания от 1.5 до 3 раз, говорит о существенных различиях I подходах к оцениванию знаний, умений и навыков (процессу подготовки в целом) пс различным дисциплинам.

Расчеты показали, что условия стационарности случайного процесса оцениванш не выполняются. Из этого следует, что дисциплины, включенные в учебный план ш соответствуют требованиям равной значимости и равной необходимости; излагаемы! по некоторым дисциплинам материал является слишком простым либо слишког. сложным для усвоения в отведенные учебным планом часы; требования предъявляемые к ответам на вопросы существенно отличаются и зависят от предмет! и от преподавателя. 10

Анализ значений корреляционных моментов и коэффициентов корреляции показывает, что самой влиятельной оценкой является тройка и по количеству троек должен определяться коэффициент значимости вопроса.

В четвертой главе представлена многоуровневая структура рейтинг-системы вуза (рис. 5), перечислены задачи, решаемые на каждом ее уровне. Наиболее подробно рассмотрены состав и роль элементов первого уровня рейтииг-системы, принципы компьютерных методов обучения и контроля знаний, критерии оценки знаний и качества программ. На основе проведенного в работе анализа разработаны требования и рекомендации к автоматизированной рейтинг-системе.

(учебный ОТДЕЛ вуза)

I

ЦЕНТР"' ' "

В" "-.ТГ.У.:. 'Гу-. .. • ,

|Кафедра Г| | Кафедра } Кафедра

гт...".';

[ Преподаватель | [Преподаватель | ^Преподаватель { [

... Г

[ Студент [ Студенх2|; Студент^ I • V

Рис.5. Структура рейтинг-системы вуза

Основой рейтинг-системы вуза является первый ее уровень в состав которого зходят: обучаемые (студент 1, студент 2 ... ,студент к); контролирующие 'преподаватель 1, преподаватель 2, ... , преподаватель 1); персональные компьютеры ( "Ж 1, ПК 2,..., ПК Ъ).

Обучаемый должен обладать знаниями, уметь вести диалог с ЭВМ, оценивать сачество обучающих и контролирующих программ. Неумение пользоваться ПК может трепятствовать объективному контролю знаний.

Преподаватель должен создавать обучающие алгоритмы, которые удовлетворяют

требованиям полноты контроля знаний, безошибочны, понятны обучаемому и предполагают реализацию на простом и однозначном диалоге с обучаемым. Преподаватель обязан: принимать окончательные решения о рейтинге студента; анализировать результаты контроля знаний, умений, навыков; совершенствовать рейтинг-систему на основании результатов контроля.

ПК по специально написашюй программе должен обеспечивать диалоговую связь между обучаемым и педагогом. Программа содержит банк тестов, в который входят фрагменты обучения, контроля правильности ответов, подсказки правильных ответов. ПК посредством программы решает следующие основные задачи: вычисляет баллы рейтинга; хранит индивидуальные результаты контроля знаний, умений, навыков; накапливает статистические данные контроля, обрабатывает их и выдает рекомендации на основе этой обработки; оценивает знания баллами рейтинга, которые являются рекомендательными для принятия решения.

В пятой главе рассматриваются вопросы по разработке рейпшг-системы для диспетчерского состава службы движения гражданской авиации, дается определение понятия "рейтинг диспетчера", проводится анализ основной формулы расчета рейтинга диспетчера, рассматривается профессиональная учеба диспетчерского состава службы движения аэропортов применительно к рейтинг-оценкам, предлагается методика выбора параметров формулы вычисления рейтинга диспетчера, даются предложения по применению методики расчета рейтинга диспетчера.

В качестве обобщенной меры, отражающей квалификацию диспетчера службы движения, предлагается использовать понятие рейтинга, которому наиболее близким по смыслу является показатель, применяемый ФИДЕ для вычисления рейтинга шахматиста (классификация по А.Эло).

Рейтинг диспетчера, в отличие от рейтинга студента, должен носить рекуррентный характер и корректироваться (рассчитываться) с учетом предыдущего своего значехшя в сроки, установленные нормативными документами. Таким образом, рейтингом диспетчера будем называть показатель вычисляемый по рекуррентной формуле и корректируемый на основании результатов контрольных испытаний проводимых в сроки, установленные нормативными документами. Перечисленным условиям отвечает предлагаемая формула расчета рейтинга диспетчера, описывающая многошаговый процесс, состоящий из последовательности и испытаний (контрольных этапов У-ъ.^а^-ъ)

Як- рейтинг, вычисленный по результатам к-то испытания, 1 <к < п; Нк-1 - рейтинг, вычисленный по результатам предыдущего (к - 1) испытания; си - оценка, полученная на к-м испытании; ук- оценка, ожидаемая па к-м испытании;

а - коэффициент, определяющий скорость (масштаб) изменения рейтинга.

После очередного контрольного испытания возможны три варианта. Если оценка, полученная испытуемым на очередном к-м экзамене в точности соответствует ожидаемой (ск = у*), то рейтинг остается неизменным. Он повышается при с-К > V* и снижается при с* < V*.

При выборе основных параметров рассматриваемой формулы предположим, что ожидаемая оценка является монотонной функцией текущего значеши рейтинга (Строго говоря это предположение справедливо при условии однородности испытаний): ук =

где Р(.) имеет характер монотонно возрастающей зависимости.

Обоснованием для такого предположения может служить ограниченность величины максимальной оценки полученной по результатам испытаний, поэтому в качестве функции Р(.) предлагается использовать показательную функцию, при этом

Ит = V.«

Предполагая, что количество испытаний очень велико, все зависимости аппроксимируем непрерывными функциями. Для ожидаемой оценки примем формулу

V = у„,( 1 — ) '

где коэффициент у обуславливает степень роста ожидаемой оценки в зависимости от изменения рейтинга. Причем,

^

и равна нулю при ¡1 °о. Иными словами, график ожидаемой оценки асимптотически стремится к значению максимальной оценки утах, и чем больше значение у, тем круче график.

Таким образом, требуется решить следующую систему

уО)=у_(1 -е-ГЛ®)

уравнении:

, где V® , у® , v(1) - ожидаемые оценки, определенные нормативными документами, для граничных значений рейтингов К(3), Я®, ВР диспетчеров 3-го, 2-го, 1-го классов соответственно.

Из ее анализа следует, 'что при известном диапазоне изменения оценок выбору подлежат три параметра: "начальный" рейтинг Я® и два коэффициента а и у. Введем понятие начального значения рейтинга диспетчера Ш(0> и соответствующую ему оценку \><0). Основанием для введения К(0) является тот факт, что присвоение диспетчеру 3-го класса происходит сразу после окончания учебного заведения, но допуск к :амостоятельной работе по непосредственному УВД требуется некоторое время [начинается стажировка на рабочем месте, получение допуска, и т. д.). В качестве И'а> можно использовать величину рейтинга выпускника учебного заведения, если РС

студента будет составной частью РС диспетчера.

Преобразовав эту систему к виду ■и/(,) = ,« = 0,1, 2, 3, находим граничные

значения рейтингов по одной из формул: ^ ,1 = 0,1, 2, 3,

Я"' = —1пм>{1) Г

к ~к гп^

ГДе ,„

уу — -

V««

Тогда коэффициент ^найдем по формуле:

г = ——

Я»

Оставшийся неизвестный коэффициент а может быть найден из анализа динамики изменения рейтинга. Для этого следует вернуться к многошаговому процессу и учесть общее количество испытаний, которым подвергается диспетчер за некоторый ограниченный промежуток времени Т.

Очевидно, что если диспетчер получает все время одЕ1у и ту же оценку (ск > у^), то рост его рейтинга будет замедляться и в конце концов остановится при условии с* = V* , т.к. при этом ¿Ик = Як - Як-1 = а (сь-Чк) = 0, где Як и Я,ы - величина рейтинга на к-м и к-1 контрольных этапах соответственно.

Отсюда следует, что для роста рейтинга диспетчер должен получать оценки выше ожидаемых. Предположим, что диспетчер должен получать оценку выше ожидаемой на величину, соответствующую некоторому превышению рейтинга ¿Як>0, т.е.

Тогда

где 6 = 1-^. м

—=а(с -V )= аЬУпихе'^ ¡¡Т

Пусть у _ , тогда д, . Если заданы Я(1) и Я(3) , то _ е;«01 и

йХ

=ет^3) , а ду=у№-уР>- Тогда период времени Т, за который диспетчер

третьего класса достигнет рейтинга диспетчера первого класса, рассчитывается по формуле: , отсюда

Г- У « = г У

Положи^'ч'го г?? = Дк = 50^.е. Дк не изменяется для любого к. Примем Я(0) = 100, л>(0) = 3, V® = 3,33, у® = 4, Vю = 4,5 и найдем Я(3), Я® , Я(1) (см. табл. 5 и рис. 7), при этом ^=0.0092, а=33.06. 14

Таблица 5

Значения граничных рейтингов

Классы - III II I

Оокидаемые оценки 3 3.33 4 4.5

Рейтинги 100 119,7 175,6 251,3

а)

б)

Рис. 7. Графики зависимости величины рейтинга от ожидаемой оценки (а) и ожидаемой оценки от величины рейтинга (б) Примем 7=6 лет, Я®=119 и суммарное к =14. Если ск = vk +sv, где gV -етствует sR = 50, то величина рейтинга диспетчера будет меняться, как показано с. 8. При этом диспетчер за 6 лет набирает рейтинг соответствукяций 1 классу.

Динамики изменения величин рейтингов Rk для различных с* (ci=const для любого к) представлены на рис. 9.

Из проведенных экспериментов видно, что предложенная методика расчета рейтинга диспетчеров работоспособна, позволяет каждого диспетчера оценить индивидуальным числом, чувствительна к изменению профессионального мастерства, предсказуема в отношении изменения количества баллов рейтинг-системы от полученной оценки, не

-vk

-ck

•Rk

8. Графики зависимости /й, V* и с* от Л

гт коренного изменения традиционных методов и способов оценивания (хотя это ет ее эффективность), позволяет объединить процесс обучения, контроля и >1 в один последовательный цикл оценит, не требует больших затрат на свое яше при качественно новом подходе повышения профессионального уровня эства, а следовательно и повышения безопасности полетов при УВД. На первый [ нет противопоказаний к применению данной методики к оценке других

1ЛИСТОВ.

300 250 ф 200 150 100 50 Н о

V

-Н 11111111111

I I 111 I 111 I I 11 I I I I I I I 11 I I

Ч—ск=4 -ск=3,33

1111111111111111111111111111

-X— ск=5 -ск =4.5

—I-ск =4 ......ск=3.33

Рис. 9. Зависимости Лют Ск Для повышения информативности предложенного показателя можш предусмотреть его корректировку по результатам объективных проверок обследований, а также по результатам анализа нарушений технологии работы зафиксированных документально.

Предлагаемый показатель целесообразно включить в базу данных, содержащук информацию о профессиональной деятельности диспетчера и использовать пр! принятии решений о повышении по службе и присвоении очередного класса, а также I будущих экспертных системах, используемых для сертификации и аттестации.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

Диссертация содержит решение актуальной научно-технической задачи в областз организации и УВД, включающее в себя определение количественных показателе! уровня профессиональной подготовки специалистов УВД. В работе получень следующие основные результаты:

1. Впервые сформулированы понятая рейтинга специалиста, рейтинг-сигемы опредеяеш>1 критерии и показатели функционирования рейтинг-системы.

2. Обосновано применение рейтинг-оценок для квалификационной оценю специалистов по УВД.

3. Расширено понятия рейтинг-оценок от процесса ранжировали контролируемых до самонастраивающейся системы подготовки, контроля, численноп представления, прогноза и корректировки профессионального мастерства и рейтинг системы многоуровневой схемы определения знаний, умений, навыков подразделения.

4. Разработаны методики и алгоритмы определения рейтинга диспетчеров ] функционирования рейтинг-системы вуза, при использовании традиционных методо] контроля и действующих нормативных документов.

5. Проанализированы существующие методики комплексных оценок и гоказань их недостатки: несостоятельность, необъективность, малая оперативность трудоемкость.

6. Проведен анаша вузовской подготовки диспетчеров, на основе которого лены несоответствие учебных планов в обеспечении равной важности изучаемых иплшг, существенные различия в требованиях к ответам.

7. Рейтинг-системы выступают как новая форма организации процессов ения, контроля, корректировки профмастерства, управления кадровой политикой, рые позволяют: обеспечить непрерывность подготовки, создать мотивации доя ерывного роста мастерства, объективно оценивать уровень подготовки, натизированно определять степень подготовки и соответствие профессионального :га выполняемой работе, повысить индивидуализацию и интерес обучения, шить качество обучения преподавательским составом.

Разработанные методики определения коэффициентов значимости оценок; гга рейтинга специалиста при контроле теоретических знаний; градации методом )аполяции баллов оценок на данных традиционного способа контроля знаний жяют оценить знания обучаемых в рейтинг-системе. Данные методики могут применены для объективной оценки профессионального уровня других категорий шециалистов.

Основные результаты исследований опубликованы в следующих работах:

Шестаков И.Н. Применение компьютера для оценки знаний с помощью шга. Тезисы докладов на Вторую межведомственную научно-техническую еренцию "Проблемные вопросы сбора, обработки и передачи информации в ных радиотехнических системах." Часть 2 г. Пушкин: ПВУРЭ, 1995. Шестаков И.Н. Рейшнг-ситема оценки профессионализма диспетчеров. Тезисы адов на Первую всероссийскую научно-практическую конференцию "Безопасность гов и государственное регулирование в гражданской авиации". - СПб.: ATA, 1995 Шестаков И.Н. Объективность компьютера-экзаменатора. Тезисы докладов на io-техническую конференцию "Военная радиоэлектроника". - г. Петергоф: УР, 1995.

Шестаков И.Н. Алгоритм автоматизированного планирования потенциальпо-ликтных ситуаций для тренажеров. Бортовые информационно-управляющие мы. Межвузовский тематический сборник научных трудов. СПб.: АГА, 1995. Половко А.М., Сухих H.H., Шестаков И.Н. Определение коэффициента мости оценок Сборник научных трудов аспирантов и молодых ученых Академии :Пб.: АГА, 1996.

Сухих H.H., Шестаков И.Н. Обработка статистических данных оценки знаний по >1М контроля успеваемости студентов методами теории случайных функций. ;тк научных трудов аспирантов и молодых ученых Академии ГА. СПб.: АГА,

1996.

7. Красов А.И., Шестаков И.Н. Об одном методе вычисления рейтинга авиадиспетчера. Сборник научных трудов аспирантов и молодых ученых Академии

ГА. СПб.: АГА, 1996. 8. Шестаков И.Н. Оценка показателей рейтинга обучаемых. Сборник научных

спугаиковый приемошщикатор TNL-1000. Пособие по самостоятельному изучению, М.: типография МГАИ, 1997.

10. Зубков Д.П., Красов АЛ., Шестаков И.Н. Об использовании GPS-приемоиндикаторов для навигации и самолетовождения. Тезисы докладов на семинар "Бортовые радиоэлектронные комплексы и системы". В печати.

11. Кальченко АГ., Князьков П.В., Шестаков И.Н. Навигационный картографический дисплей для GPS. Тезисы докладов на семинар "Бортовые радиоэлектронные комплексы и системы". В печати.

12. Шестаков И.Н. Один из методов расчета рейтинга авиадиспетчера. Тезисы доклада на Международную научно-практическую конференцию "Обеспечение безопасности полетов в новых экономических условиях". В печати.

трудов аспирантов и молодых ученых Академии ГА СПб.: АГА, 1996. 9. Веремеенко К.К., Красов А.И., Стулов A.B., Шестаков И.Н. Авиационный

Подписано к печати 28.04.97. Формат бумаги 60*90'/м. Тираж 100. Заказ 396. Усл. печ. л. 1. Уч. год. л. 1. С 14. Тип Академия ГА. 196210, С.-Петербург, ул. Пилотов, д. 38.