автореферат диссертации по транспорту, 05.22.14, диссертация на тему:Оценка эффективности работы члена экипажа воздушного судна на основе контент-анализа речевой деятельности

я ^

"ФЕДЕРАЛЬНАЯ АВИАЦИОННАЯ СЛУЖБА РОССИИ АКАДЕМИЯ ГРАЖДАНСКОЙ АВИАЦИИ

На правах рукописи

ЛЕНГАРОВ Юрий Олегович

УДК 656.7.071.1/8:629.3(001)

ОЦЕНКА ЭФФЕКТИВНОСТИ РАБОТЫ ЧЛЕНА ЭКИПАЖА ВОЗДУШНОГО СУДНА НА ОСНОВЕ КОНТЕНТ-АНАЛИЗА РЕЧЕВОЙ ДЕЯТЕЛЬНОСТИ

Специальность 05.22.14 - Эксплуатация воздушного транспорта

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 1998

Работа выполнена в Академии гражданской авиации и в ОАО «Аэрофлот - Российские международные авиалинии»

НАУЧНЫЙ РУКОВОДИТЕЛЬ:

доктор технических наук, профессор Сухих H.H.

НАУЧНЫЙ КОНСУЛЬТАНТ:

кандидат психологических наук, доцент Михайлик Н.Ф. ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ:

заслуженный деятель науки и техники РФ, доктор технических наук,

профессор Столяров H.A.

доктор технических наук, профессор Ишин С.С.

ВЕДУЩАЯ ОРГАНИЗАЦИЯ:

Государственный научно-исследовательский институт гражданской авиации

Защита состоится « » года на заседании

Диссертационного совета^ 072.1)3.01 Академии гражданской авиации.

С диссертацией можно ознакомиться в библиотеке Академии ГА.

Просим Вас принять участие в обсуждении диссертационной работы или прислать свои отзывы в 1-м экземпляре, заверенные печатью. Отзывы направлять по адресу: 196210, Санкт-Петербург, Авиагородок, ул. Пилотов, 38.

Автореферат разослан » /^¿'¿^¿^ 1998 года.

Ученый секретарь Диссертационного совета

профессор

О.И.Михайлов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Авиационные системы любого назначения федставляют собой сложнейшие комплексы различных технических :редств, коллективов людей, объединенных в рамках различных служб, а акже совокупность организационно-структурных решений, куда ¡тносятся решения по выработке регламентов (правил, приказов и т.д.), >рганизационной структуре, технологии функционирования и др. В »став таких комплексов обязательно входит совокупность подсистем, |ффективная деятельность которых и обеспечивает любой авиационной истеме выполнение своего основного назначения.

Авиационная транспортная система (АТС), как и любая из шиационных систем, представляет собой многоуровневую иерархическую :истему, и подход к оценке эффективности ее функционирования должен троиться исходя из этого. Эффективность работы АТС сложно >пределить строго, поскольку невозможно выбрать какой-либо динственный критерий эффективности. Т.е. оценка эффективности функционирования АТС - это типичная многокритериальная задача. По-жольку единых общепринятых критериев эффективности не существует (и некогда существовать не будет, так как изменение условий функ-щонирования АТС будет вызывать потребность в новых критериях и 'старевание прежних), то задача оценки эффективности представляется (ажной и актуальной. Актуальной задачей является и оценка эффективности как работы экипажа воздушного судна (ЭВС) в целом, так и отдельных его членов. Это также многокритериальная задача и к ней шюсятся все замечания, высказанные ранее.

Задача настоящего исследования: разработать методику оценки |ффективности работы члена ЭВС на основе анализа его речи.

В речевой деятельности (РД) как в зеркале, когда непосредственно, а согда опосредованно, отражается весь полет. Не только чисто информационная составляющая (ИС), но и темп речи, эмоциональная окра-ценность и другие факторы, дают материал для анализа и оценок. О ¡ажности РД в процессе полета говорит и факт установления типовой фразеологии радиообмена и порядка переговоров экипажа ВС по :амолетному переговорному устройству, установка микрофона для записи зазговоров в кабине.

Например, нарушения в типовой фразеологии, а главное, в порядке задиообмена в 1979 году привели к катастрофе (столкновение двух Ту-134 тод Днепропетровском), когда пререкания между диспетчером УВД и ЭВС Як-40 привели к наложению докладов, отвлечению внимания и збщей дезориентации диспетчера УВД.

Существует множество примеров, когда РД, неправильно переданная ши интерпретированная, приводила к авиационным происшествиям (АП) различной тяжести. Кроме того, в проведенных исследованиях РД

экипажей в процессе выполнения полетов как непосредственно на воздушных судах (ВС) во время ежеквартальных тренировок, так и на тренажерах, как с отказами, так и без, было выявлено, что существуют закономерности, отличающие речевую деятельность экипажей, успешно справляющихся: с заданием, от РД экипажей, чья квалификация была существенно ниже. Таким образом, РД - это важнейший компонент как:

а) технологии работы ЭВС в процессе полета, так и:

б) для оценки эффективности этой работы.

Тем не менее в настоящий момент не существует ни критериев оценки речевой деятельности экипажа (кроме соответствия или несоответствия технологии), ни методик проведения контент-анализа (КА) речевой деятельности экипажей, не говоря уже о каких-либо попытках алгоритмизации этого процесса. Хотя это совершенно необходимо при:

а) расследовании АП, когда анализ речевой деятельности ЭВС - один из немногих объективных способов восстановить реальную картину АП;

б) оценке профессиональной пригодности, когда РД позволяет судить о таких важных параметрах, как эффективность работы, степень деформации эмоционального опыта члена ЭВС и т.п.

Поэтому задача создания методик проведения КА РД и оценки эффективности работы члена экипажа на основе данного КА представляется важной и актуальной.

Задачи исследования. Основной задачей диссертационной работы является разработка методики проведения контент-анализа речевой деятельности экипажа и методики оценки эффективности работы члена ЭВС на основе КА его речевой деятельности с целью повышения эффективности функционирования АТС.

Методика исследования. В работе над диссертацией автор руководствовался задачами, изложенными в руководящих документах ИКАО, МАК и ФАС России, направленными на дальнейшее повышение безопасности, регулярности и экономичности полетов. Теоретические исследования проводились с использованием математического аппарата теории иерархических многоуровневых систем, теории исследований операций, теории возможностей, а также элементов теории катастроф. В сборе данных к настоящему исследованию применялись современные психодиагностические методики, а для их обработки были использованы результаты последних достижений авиационной и космической медицины, психофизиологии и инженерной психологии. Методической основой работы является математическое моделирование.

Научная новизна. Наиболее существенными новыми научными результатами, содержащимися в диссертационной работе, являются:

- доказательство выраженной зависимости между успешностью выполнения полетного задания членом ЭВС и параметрами его речи;

- разработка критериев эффективности выполнения полета на основе анализа РД экипажа;

-5- разработка нового подхода к КА РД на основе использования нечетких множеств и теории возможностей;

- разработка алгоритма анализа РД экспертом.

Практическая ценность. Практическая ценность диссертационной работы заключается в возможности применения предложенного подхода к анализу РД и методики оценки эффективности, разработанной на его основе, для:

- использования данной методики как одного из способов оценки профессиональной квалификации летного состава;

- использования данной методики для анализа РД при расследовании АП;

- применения данной методики для оценки эффективности первичного и дополнительного профессионального обучения.

Основные положения, выносимые на защиту:

1. Критерий оценки эффективности работы члена ЭВС в процессе полета.

2. Методика оценки эффективности работы члена ЭВС на основе КА его РД.

3. Алгоритм анализа РД экспертом в интерактивном режиме.

Апробация работы. Основные результаты исследований докладывались и обсуждались на следующих конференциях и семинарах:

1. Научно-практическом семинаре ФАС России "Разработка национальной системы оптимизации взаимодействия в экипаже" (Санкт-Петербург, АО "ЦАО", июнь 1996).

2. Научно-техническом семинаре (Москва, ГосНИИ ГА, ноябрь 1997).

3. Юбилейной XXX Научно-технической конференции студентов, аспирантов и молодых ученых (Санкт-Петербург, Академия ГА, май 1998).

4. Межкафедральном научно-техническом семинаре (Санкт-Петербург, Академия ГА, май 1998).

Реализация полученных результатов исследований. Полученные результаты исследований использованы в НИР шифр 72.2.16.97 "Проект концепции национальной подготовки эффективным способам взаимодействия в экипаже", выполняемого по заказу ФАС России, и внедрены в :

- Академии гражданской авиации (Санкт-Петербург) (В учебный процесс);

- Государственном Научно-исследовательском институте гражданской авиации (Москва);

- ОАО "Аэрофлот - Российские международные авиалинии" (Москва);

- ЗАО "Континентальные авиалинии" (Москва), о чем имеются соответствующие акты о внедрении.

Публикации. Основное содержание диссертационной работы опубликовано в 11 печатных работах:

Структура и объем. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и приложений. В основной части работы содержится 160 страниц машинописного текста, 28 иллюстраций, 18 таблиц и библиография из 164 наименований. Приложения содержат 22 страницы машинописного текста, 1 иллюстрацию и 2 таблицы.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обосновывается актуальность темы диссертационной работы, формулируется цель диссертации, приводятся основные положения, выносимые на защиту, дается аннотация содержания глав.

Первая глава диссертации имеет обзорный характер и посвящена постановке задачи оценки эффективности работы члена экипажа воздушного судна на основе КА речевой деятельности. Рассмотрены существующие критерии эффективности и безопасности полетов, а также связь между эффективностью и безопасностью работы АТС.

Основным недостатком существующих критериев эффективности является то, что все они ориентированы на конечный результат, оцениваемый с помощью анализа средств объективного контроля. Однако при этом упускается содержательная сторона деятельности пилота, процессы его мышления, принятия им решений. Конечный результат показывает, что получилось в итоге деятельности, но не отвечает на вопрос, почему это получилось, т.е. фактически вместо оценки эффективности деятельности самого пилота оценивается результат, полученный как совокупность его действий и влияния внешних факторов, как зависящих, так и не зависящих от пилота. Единственным объектом исследования, пригодным для раскрытия содержательной стороны происходящего, является речевая деятельность. РД сопровождает практически все действия членов экипажа ВС и фиксируется на магнитофонной пленке, что позволяет производить ее анализ. РД представляет собой сложное явление. Она связана с разными сторонами человеческой жизни, ее природа - обеспечение обмена информацией в человеческом обществе, которые осуществляются при помощи языковых знаков. В главе подробно описываются как РД, так и ее связь с другими видами деятельности, а также анализ РД при расследовании АП.

Вторая глава посвящена проблеме содержательного анализа, или контент-анализа (КА), речевой деятельности. Его онтологической предпосылкой является факт отображения в речи неречевой деятельности, т.е. суть КА можно определить как вскрытие характеристик неречевой деятельности через анализ речевых действий, совершавшихся в структуре этой деятельности. Гносеологическая основа КА заключается в предположении, что существует возможность более или менее однозначного декодирования речевых высказываний, при котором безошибочно вскрывается их смысл. Операционально КА - это процедура декодирования

знаков какого-либо текста, которая позволяет получить для этого текста не только качественные, но и какие-то количественные оценки.

Одной из основных проблем КА является выбор единиц счета, т.е. тех единиц, на которые следует разбить текст, чтобы его было возможно подвергнуть количественному анализу. В диссертационном исследовании в качестве таких единиц выбраны две. Это словоформа, т.е. цепочка букв от пробела до пробела, и элементарное высказывание (ЭВ), т.е. грамматически и интонационно оформленное сочетание слов или отдельное слово, воспринимаемое как отдельное от всего остального текста (речи), без выделения имплицитно входящих в него смысловых единиц. При этом разбиением будем называть конкретный вариант представления текста, поделенного на единицы счета. Но является ли такой вариант единственным? Речь, как любое кодирование, - это упрощение. Сложное многогранное явление, реальный предмет заменяются знаком, символом. Очевидно, что четкое и однозначное понимание подобного символа принципиально невозможно. Особенно это касается "интуитивно ясных" понятий, которым практически невозможно дать строгое определение. Поэтому для количественного анализа РД представляется нецелесообразным использовать математические методы, традиционно используемые в инженерных исследованиях.

В диссертационном исследовании используется специально разработанная для работы с лингвистическими переменными теория нечетких множеств. Основное предположение теории нечетких множеств состоит в том,что нечеткое множество А, несмотря на нечеткость его границ, может быть точно определено путем сопоставления каждому объекту х числа, лежащего между 0 и 1, которое представляет собой степень его принадлежности к А. Исчерпывающей характеристикой нечеткого множества является функция принадлежности (ФП) цЛ: X -> [О, 1], где X - область определения ФП цА(х). Поэтому в диссертационном исследовании каждое ЭВ представляет собой не множество словоформ, а множество упорядоченных пар {ai, Цд(а,)}, где - это ФП i-й

словоформы (а;) j-му ЭВ (bj). В свою очередь, в процессе структуризации РД происходит также определение ФП Hj(bj) j-ro ЭВ множеству возможных ЭВ, полученных на различных разбиениях (со*) текста, а далее классификация РД по: адресации ЭВ (т.е. по тому, кому данное ЭВ предназначено), типу ЭВ ("команда", "вопрос" и т.п.), соответствию технологии и направленности ЭВ (т.е. предмет, по которому высказывается автор ЭВ). Классификация производится путем определения ФП ЭВ соответствующему классу высказываний.

В третьей главе рассматриваются две основных задачи. Во-первых, оценивается сам текст по критериям его нечеткости: ц*1 (bj) / card В и = card В / card В*,

bjeB

где В - множество ЭВ, выделенных экспертами, а В* - множество всех возможных ЭВ на данном тексте.

Исследования РД в процессе тренажерных экспериментов и изучение реальных результатов расшифровок показали, что для имеющих смысл текстов ц*1 -> 1, а ц*2 « 1/ (I + 1) « 0.001 0.05, где I - количество словоформ в тексте. Кроме того, текст оценивается с точки зрения его значимости с помощью функций качественной оценки (ФКО), определяющих полноту, необходимость и значимость высказываний. При этом критерий значимости текста определится из выражения:

= (card В - card Вм)/ card В, где: Вм = Bi u B2U Вз u (В4 п В5); Вз = {bj | pyi (bj) > \xymix}-,

В1 = { bj I >.a (bj) < x,nmin}; B4 = { bj I (bj) • Xl (bj)) < Х.НЗШШ }

B2 = { bjl ЦА1 (bj) > (lAxnax}; Bj = {bj I Ян (bj) < Xmmn }.

Has (bj) - ФП j-го ЭВ S-й пары "автор-адресация" (S = 1 - безадресные ЭВ); ¡in (bj) - ФП j-го ЭВ t-му типу ЭВ; |i«u(bj) - ФП j-ro ЭВ высказьшаниям соответствующим технологии; Pyw(bj) - ФП j-го ЭВ - w-й направленности высказьшания (w=l - ЭВ, не связанное с выполнением полета). Xn(bj) -полнота ЭВ; XB(bj) - необходимость ЭВ; X3(bj) - значимость ЭВ.

Во-вторых, в третьей главе решается задача алгоритмизации КА РД. Ее решение позволит на базе разработанных алгоритмов создать компьютерную программу для КА РД экипажа в интерактивном режиме. В главе рассмотрены три основных алгоритма. Это алгоритм разбиения текста на непересекающиеся подмножества словоформ, которое производится первоначально с помощью модифицированного применительно к данным исследованиям измерителя темпоральных характеристик (ИТХ-1), а затем каждое выделенное множество Ci окончательно обрабатывается в интерактивном режиме при реализации алгоритма № 1а, изображенного на рис.1. Далее полученные функции принадлежности цЛ](аО нормируются с помощью алгоритма № 2, показанного на рис.2. При этом соблюдается условие минимальности квадрата разности значений итоговой ФП Цу(аО и |i*ij(ai), полученным ранее. Наконец, для того, чтобы по полученным значениям щ(а0 получить ФП ц(юкп) конкретного разбиения текста иь множеству возможных разбиений Q*, разработан алгоритм 3, представленный на рис.3. Приводятся примеры работы алгоритмов.

В четвертой главе на основании более 100 изученных протоколов переговоров как в процессе реальных особых ситуаций, так и в процессе их имитации на тренажерах, разработаны критерии эффективности работы члена экипажа на основе КА его РД, а также шкалы для оценки эффективности деятельности по этим критериям (табл.1 и 3).

Критерий адекватности направленности (ха, (Жак)) - это отношение суммы значений ФП для ЭВ адекватных ситуации на борту,т.е. ЭВ

Рис.1. Упрощенная блок-схема алгоритма Ма.

(р(г-1) 1 = Гр(1>

*

2 - 2 &]еВ| ^еа?..

1

уиц<« )=/!<•;(■!)( 1-2 у»ц(»;»/а 6] ев?.,

г:=г»1

Ы

Рис.2. Упрощенная блок-схема алгоритма №2.

(Нормирование функций принадлежности 1-х словоформ З-ому ЭБ )

Рис.3. Упрощенная блок-схема алгоритма №3.

Объект не определен

81 - рассматриваемый член ЭВС (экипажа воздушного судна) Б - другие члены ЭВС О - объект воздействия (НС) * - отсутствие указания на объект (субъект)

Рис.4. Структура возможных ЭВ членов ЭВС в модели их речевого взаимодействия.

делового характера, к общему количеству высказываний. Возможная направленность ЭВ показана на модели, изображенной на рис.4. Деловыми ЭВ являются обозначенные индексами 1= 1, 2, 3, а остальные представляют собой сугубо оценочные, безадресные либо безобъектные суждения неделового характера. В этом случае критерий адекватности направленности высказываний определится из выражений: з з

%а = Х ц V card В Хак = ЕХ ць (bj) / I has (bj),

1=1 1=1 S€Q jeB

a ' a

где ць (bj) = I |iqai (bj) ■ HAS (bj), Ba = {j |((S =(a, r)) a (ца* (bj) > 0))};

' a

Ц<Ы (bj) - ФП j-го a-го члена ЭВС 1-й комбинации направленности ЭВ; H*>k= I nis (bj); Qa = {S | S Ко, г) а г e [1, 2^]};

N3

H*i = Z ць (bj); N3 - количество членов экипажа.

a-1

Таблица 1

Шкала оценки адекватности направленности ЭВ

Оценка адекватности {%ах)

направленности ЭВ

Отлично >0.90

Хорошо 0.75 -г- 0.9

Удовлетворительно 0.60 4-0.75

Неудовлетв орительно <0.60

Критерий завершенности процесса принятия решения Хрк О^фк) получается как отношение сумм, полученных суммированием длин ЭВ (card bj) (объем в словах) умноженных на ФП данного ЭВ типу "команда", и суммированием аналогичных произведений для иных типов ЭВ. Этот критерий, во-первых,учитывает особенности мышления человека, когда законченной мыслью является бинарное высказывание (двух или трехсловных ЭВ) и, во-вторых, разделяет ЭВ, направленные на преодоление возникшей ситуации (команды) от всех прочих. На графиках, показаных на рис.5, четко видна разница между РД экипажей, успешно и неуспешно выполнявших на тренажере поставленные задачи (а в табл.2 приводятся распределения этих же ЭВ по их направленности).

Критерий завершенности процесса принятия решения определится из выражения: 5

хр = (i (цт! (bj) • card bj)) / (z 2 (цт. (bj) • card bj)) bjeQTI t=2bjeQTt

t = 1 ЭВ типа "команда"

Рис.5. Сглаженное распределение высказываний двух

групп КВС, отличающихся по успешности №=1208).

Распределение ЭВ членов ЭВС по направленности в ОС на тренажерах

Таблица 2

1 1 2 3 4 5 6 7 8 9

ХАК направ- лен-носгь ЭВ 5,03*. Б,ОБ 5,0*3* 8*|0*5 Э'.ОБ* объект не определен

0.82 316 428 241 41 - - 58 75 49

Таблица 3

Шкала завершенности принятия решения_

Оценка завершенности принятия решения ад)

Отлично > 1.2

Хорошо 1.1 + 1.2

Удовлетворительно 1.0 1.1

Неудовлетворительно < 1.0

§ 9 т

3 8

а

м 7

о '

3 с т б

° СГ

ш 5

н О

© 4

3"

5 о

4 3 о . М о

Объем высказываний в словах

1 2 3 4 5 6 7

квс

2П

8 9

Рис.6. Распределение высказываний КВС и 2-го пилота в особой ситуации 21.ll.86r в а/п Пулково.

Распределение ЭВ членов

%р«=:0-28

Таблица 4

ЭВС по направленности в ОС 21.11.86 в а/п Пулково а) Командир ВС

хкк

0.41

направленность ЭВ_

З.ОБ

13

3*1 оэ

3,0*8

3,0*3'

5*10*3

5*Ю5"

3*,0*3*

объегг не определен

= 0.50

б) Второй пилот

хак

0.48

направленность

ЭВ_

3,03*

з,оз

" 19

3,0*3

3,0*3*

5*|0*5

З'ЮЭ*

3*,0*3*

объект не определен^^

Для сравнения в диссертационной работе подробно рассмотрены некоторые АП. В частности, поломка Ил-86 в а/п Пулково 21.11.86. Из рис.6 и табл.4 хорошо видно, насколько неэффективна РД экипажа.

Наконец, в четвертой главе разработана методика оценки эффективности действия экипажа на основе КА его речевой деятельности. Алгоритм, реализующий эту методику, представлен на рис.7.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

Подводя итоги проделанной в диссертационном исследовании работы, можно выделить следующие основные выводы и результаты:

1. Сравнительный анализ существующих подходов к оценке эффективности деятельности экипажа показал ограниченные возможности критериев оценки эффективности деятельности члена экипажа, базирующихся на конечном результате деятельности и отсутствие методов, базирующихся на содержательной стороне деятельности.

2. Предложены критерии оценки завершенности прияния решения члена экипажа воздушного судна, а также дополняющие его критерии адекватности направленности и значимости высказываний.

3. На основе обработки эмпирических данных разработаны оценочные шкалы, позволяющие получить количественную оценку одного из аспектов речевой деятельности члена экипажа и соотнести эту оценку с общей эффективностью его деятельности.

4. Доработан прибор: измеритель темпоральных характеристик ИТХ-1 и предложена технология, позволяющая использовать его для разбиения текста на словоформы и элементарные высказывания путем задания максимально допустимой паузы.

5. Разработаны методика и алгоритм контент-анализа речевой деятельности членов экипажа с целью оценки эффективности их деятельности в процессе полета.

6. Социальный эффект от внедрения предложенной методики оценки эффективности работы члена экипажа на основе контент-анализа его речевой деятельности заключается в повышении объективности оценки эффективности деятельности, как в процессе производственной деятельности, так и при расследовании авиационных происшествий, что является согласно требованиям ИКАО одним из методов повышения безопасности полетов. Все это должно привести к повышению эффективности и безопасности функционирования авиационной транспортной системы.

6. Поставленные в диссертационной работе научные задачи выполнены в полном объеме.

Публикации. Основное содержание диссертационной работы опубликовано в 11 печатных работах:

Определение экспертом для Ь^Окп значений

t

Ох = 1 j |(SHi,r))A(^</ls(Sj)>0)}

oTt:

fir

Окончательное определение критериев эффективности: х3: * (card 8 - card Bui/card В э

1=1 s

Х„: = < 2(y»,,(&j)c»rdt>j)V(Z Z'y"TiI6j)card6;)) 6j£QTI tsJ6jeaT,

( ' )

Рис.7. Упрощенная блок-схема алгоритма контент-анализа речевой деятельности членов экипажа ВС.

Публикации. Основное содержание диссертационной работы опубликовано в 11 печатных работах:

1. Ленгаров Ю.О. Модель речевого взаимодействия членов экипажа воздушного судна //Применение аналитических методов в исследовании деятельности специалистов гражданской авиации. - СПб, Академия ГА, 1997.-С.43-46, ' ,

2. Ленгаров Ю.О. Оценка успешности действий командира ВС по его речи //Методы и модели исследования деятельности специалистов гражданской авиации . - СПб, Академия ГА, 1997. - С.38-42.

3. Ленгаров Ю.О., Малишевский A.B., Михайлик Н.Ф. Структуризация проблемы анализа речевой информации членов экипажа воздушного судна //Методы и модели исследования деятельности специалистов гражданской авиации . - СПб, Академия ГА, 1997. - С.3-16.

4. Ленгаров Ю.О., Малишевский A.B. Анализ речевой информации членов экипажа воздушного судна //Психофизиологические аспекты безопасности полетов. - СПб, Академия ГА, 1997. - С. 17-22.

5. Аскаров А.Б., Джафарзаде P.M., Ленгаров Ю.О. О возможности количественной оценки нечеткости нормативных документов //Применение аналитических методов в исследовании деятельности специалистов гражданской авиации. - СПб, Академия ГА, 1997. - С.26-31.

6. Ленгаров А.О., Ленгаров Ю.О. Приложение элементарной теории катастроф в "жестких" науках: Аэродинамика //Методы и модели исследования деятельности специалистов гражданской авиации . - СПб, Академия ГА, 1997. - С.22-27.

7. Джафарзаде P.M., Ленгаров А.О., Ленгаров Ю.О. Совершенствование методов оценки надежности тестов //Применение аналитических методов в исследовании деятельности специалистов гражданской авиации. - СПб, Академия ГА, 1997. - С.47-54.

8. Ленгаров Ю.О., Малишевский A.B. Проблема алгоритмизации контент-анализа речевой информации //Безопасность полетов и человеческий фактор. - СПб, Академия ГА, 1998. - С.67-77.

9. Ленгаров Ю.О., Сухих H.H. Об использовании средств информационной поддержки принятия решения экипажем воздушного судна //Безопасность полетов и человеческий фактор. - СПб, Академия ГА, 1998.

10. Джафарзаде P.M., Ленгаров Ю.О., Мухтаров М.А. Применение измерителя темпоральных характеристик речи для первичной структуризации речевой деятельности членов экипажа воздушного судна //Безопасность полетов и человеческий'фактор. - СПб, Академия ГА, 1998.

11. Ленгаров Ю.О. Оценка эффективности работы члена экипажа воздушного судна на основе контент-анализа речевой деятельности //Тезисы докладов Юбилейной XXX Научно-технической конференции студентов, аспирантов и молодых ученых - С.Пб А^яттрмиа г л тао

- С.39-44.

-С.13-16.

С.38.

/

ФЕДЕРАЛЬНАЯ АВИАЦИОННАЯ СЛУЖБА РОССИИ АКАДЕМИЯ ГРАЖДАНСКОЙ АВИАЦИИ

ОЦЕНКА ЭФФЕКТИВНОСТИ РАБОТЫ ЧЛЕНА ЭКИПАЖА ВОЗДУШНОГО СУДНА НА ОСНОВЕ КОНТЕНТ-АНАЛИЗА РЕЧЕВОЙ ДЕЯТЕЛЬНОСТИ

Специальность 05.22.14 - Эксплуатация воздушного транспорта

Диссертация

на соискание ученой степени кандидата технических наук

Научный руководитель -доктор технических наук, профессор Сухих H.H. Научный консультант -кандидат психологических наук, доцент Михайлик Н.Ф.

На правах рукописи

ЛЕНГАРОВ Юрий Олегович

УДК 656.7.071.1/8:629.3(001)

Санкт-Петербург 1998

СПИСОК ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ, ПРИНЯТЫХ В ДИССЕРТАЦИИ

АП - авиационное происшествие

АСУ - автоматизированная система управления

АТС - авиационная транспортная система

БП - безопасность полетов

ВС - воздушное судно

ГА - гражданская авиация

ИКАО - Международная организация гражданской авиации (1САО)

ИС - информационная составляющая

КА - контент-анализ

КВС - командир воздушного судна

ЛС - летный состав

МАК - Межгосударственный авиационный комитет

МБП - модель безопасности полета

МИС - многоуровневая иерархическая система

НМ - нечеткое множество

ОДЭ - ошибочные действия экипажа

ОТ - основной тон

ПАП - предпосылка к авиационному происшествию ПВС - поломка воздушного судна ПК - персональный компьютер РА - речевой акт РВ - речевое взаимодействие РД - речевая деятельность РИ - речевая информация СОК - средства объективного контроля СПУ - самолетное переговорное устройство

ССПИ - система сбора полетной информации СФ - словоформа

СЧМ - человеко-машинная система

ТБПП - теория безопасных процессов полета

ТОП - теория опасности полета

УБП - уровень безопасности полетов

УВД - управление воздушным движением

ФАС - Федеральная авиационная служба

ФВ - фактическое высказывание

ФКО - функция качественной оценки

ФП - функция принадлежности

ЧП - чрезвычайное происшествие

ЧФ - человеческий фактор

ЭВ - элементарное высказывание

ЭВС - экипаж воздушного судна

- 4 -

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ............................................. 7

ГЛАВА 1. РЕЧЕВАЯ ДЕЯТЕЛЬНОСТЬ И ЕЕ МЕСТО В СИСТЕМЕ ОЦЕНОК ЭФФЕКТИВНОСТИ И БЕЗОПАСНОСТИ ФУНКЦИОНИРОВАНИЯ АВИАЦИОННОЙ ТРАНСПОРТНОЙ СИСТЕМЫ ... 15 1.1. Существующие критерии оценки эффективности

и безопасности полетов..........................16

1.1.1. Связь между эффективностью и безопасностью работы АТС..................................17

1.1.2. Системный (традиционный) подход к определению критериев БП...................... 17

1.1.3. Критерии (показатели) безопасности полетов.......21

1.1.4. Необходимость повышения УБП..................24

1.1.5. Безопасность полетов и человеческий фактор.......31

1.1.6. Процессный (альтернативный) подход к определению критериев БП.......................34

1.2. Роль речевой деятельности в процессе полета.........46

1.2.1. Речевой акт и речевая деятельность............... 48

1.2.2. Речевая деятельность и другие виды деятельности ... 53

1.2.3. Проблема речевого взаимодействия в авиационной инженерной психологии............. 57

1.3. Анализ речевой деятельности при расследовании авиационных происшествий....................... 65

1.3.1. Работа комиссии по расследованию АП со средствами объективного контроля............... 65

1.3.2. Определение актуального (текущего)

психофизиологического состояния членов ЭВС

по данным анализа радиопереговоров.............70

1.3.3. Оценка динамики психофизиологического состояния члена ЭВС по характеристикам речи..... 71

1.3.4. Оценка полученных результатов..................73

ГЛАВА 2. КОНТЕНТ-АНАЛИЗ РЕЧЕВОЙ ДЕЯТЕЛЬНОСТИ

ЧЛЕНОВ ЭКИПАЖА ВОЗДУШНОГО СУДНА .... 77 2.1. Контент-анализ речевой деятельности: формы и методы 77

2.1.1. Контент-анализ как психодиагностическая процедура 78

2.1.2. Элементы вербального текста......................80

2.1.3. Эмоции и их учет в процессе КА речевой деятельности 83

2.2. Анализ речевой деятельности с точки зрения

теории возможностей.............................. 86

2.2.1. Лингвистическая переменная и присущая ей нечеткость....................................... 86

2.2.2. Нечеткие множества: термины и определения......... 91

2.3. Структуризация речевой деятельности членов

экипажа воздушного судна...........................100

ГЛАВА 3. АЛГОРИТМИЗАЦИЯ КОНТЕНТ-АНАЛИЗА РЕЧЕВОЙ ДЕЯТЕЛЬНОСТИ В ПРОЦЕССЕ ПРОЦЕДУРЫ ЭКСПЕРТНОГО ОПРОС А...........109

3.1. Выбор нечетких критериев оценки речевой деятельности 109

3.1.1. Показатели нечеткости текста.......................109

3.1.2. Функции качественной оценки.......................110

3.2. Алгоритм КА речевой деятельности экспертом в интерактивном режиме...............................113

3.2.1. Разбиение текста на непересекающиеся подмножества

словоформ.........................................114

-63.2.2. Нормирование функции принадлежности словоформы ЭВ 129

3.2.3. Нормирование функции принадлежности ЭВ

разбиению текста...................................132

ГЛАВА 4. МЕТОДИКА ОЦЕНКИ ЭФФЕКТИВНОСТИ РАБОТЫ ЧЛЕНА ЭКИПАЖА ВОЗДУШНОГО СУДНА НА ОСНОВЕ КОНТЕНТ-АНАЛИЗА ЕГО РЕЧЕВОЙ ДЕЯТЕЛЬНОСТИ.................................136

4.1. Выбор критериев эффективности работы члена ЭВС

с использованием КА РД..............................136

4.1.1. Критерий адекватности направленности речевой деятельности.......................................137

4.1.2. Критерий завершенности процессов принятия

решения членом ЭВС на основе КА РД...............144

4.2. Методика оценки эффективности деятельности члена экипажа воздушного судна на основе выбранных критериев...........................................155

ЗАКЛЮЧЕНИЕ............................................159

ЛИТЕРАТУРА..............................................161

ПРИЛОЖЕНИЕ 1. ПОЛОМКА САМОЛЕТА ИЛ-86 В

АЭРОПОРТУ ПУЛКОВО...................................177

ПРИЛОЖЕНИЕ 2. АВАРИЯ САМОЛЕТА АН-12 13.01.89 В АЭРОПОРТУ КОЛЬЦОВО (ОБСТОЯТЕЛЬСТВА И

ХАРАКТЕРИСТИКА ОС)..................................191

ПРИЛОЖЕНИЕ 3. ПРИМЕНЕНИЕ ИЗМЕРИТЕЛЯ ТЕМПОРАЛЬНЫХ ХАРАКТЕРИСТИК РЕЧИ ДЛЯ ПЕРВИЧНОЙ СТРУКТУРИЗАЦИИ РЕЧЕВОЙ ДЕЯТЕЛЬНОСТИ ЧЛЕНОВ ЭКИПАЖА ВОЗДУШНОГО СУДНА......................... .194

-7-ВВЕДЕНИЕ

Актуальность проблемы. Авиационные системы любого назначения представляют собой сложнейшие комплексы различных технических средств, коллективов людей, объединенных в рамках различных служб, а также совокупность организационно-структурных решений, куда относятся решения по выработке регламентов (правил, приказов и т.д.), организационной структуре, технологии функционирования и др. В состав таких комплексов обязательно входит совокупность подсистем, эффективная деятельность которых и обеспечивает любой авиационной системе выполнение своего основного назначения [55].

Авиационная транспортная система (АТС), как и любая из авиационных систем, представляет собой многоуровневую иерархическую систему (МИС) [80], и подход к оценке эффективности ее функционирования должен строиться исходя из этого.

Эффективность работы авиационной транспортной системы (АТС) сложно определить строго, поскольку невозможно выбрать какой-либо единственный критерий эффективности. Однако имеется множество показателей (прибыль, объем перевозок, скорость оборота средств и т.д.), каждый из которых в различной степени, но важен, й одновременная оптимизация которых невозможна (рост одних вызывает снижение других). При этом существуют еще многие ограничения. Например, должна обеспечиваться безопасность полетов (БП) не ниже некоторого допустимого уровня (а существует масса различных подходов и критериев БП), т.е. оценка эффективности функционирования АТС - это типичная многокритериальная задача [13,14, 88]. Ее решение выходит за рамки настоящего исследования, но,поскольку единых общепринятых критериев эффективности не существует (и никогда существовать не будет, так как изменение условий функциони-

рования АТС будет вызывать потребность в новых критериях и устаревание прежних), то задача оценки эффективности представляется важной и актуальной. Актуальной задачей является оценка эффективности как работы экипажа воздушного судна (ЭВС) в целом, так и отдельных его членов. Это также многокритериальная задача и к ней относятся все замечания, высказанные ранее.

Задача настоящего исследования: разработать методику оценки эффективности работы члена ЭВС на основе анализа его речи.

Почему это актуально? В речевой деятельности (РД) как в зеркале, когда непосредственно, а когда опосредованно, отражается весь полет. Не только чисто информационная составляющая (ИС), но и темп речи, эмоциональная окрашенность и другие факторы, дают материал для анализа и оценок. О важности РД в процессе полета говорит и факт установления типовой фразеологии радиообмена, установления порядка переговоров ЭВС по самолетному переговорному устройству (СПУ), установка микрофона для записи разговоров в кабине.

Например, нарушения в типовой фразеологии, а главное, в порядке радиообмена в 1979 году привели к катастрофе (столкновение двух Ту-134 под Днепропетровском), когда пререкания между диспетчером УВД и ЭВС Як-40 привели к наложению докладов ЭВС, отвлечению внимания и общей дезориентации диспетчера управления воздушным движением (УВД).

Существует множество примеров, когда ИС РД, неправильно переданная или интерпретированная, приводила к авиационным происшествиям (АП) различной тяжести. Кроме того, в проведенных исследованиях РД ЭВС в процессе выполнения полетов как непосредственно на воздушных судах (ВС) во время ежеквартальных тренировок, так и на тренажерах, как с отказами, так и без, было выявлено, что сущест-

вуют закономерности, отличающие РД ЭВС, успешно справляющихся с заданием, от РД ЭВС, чья квалификация была существенно ниже.

Таким образом, РД - это важнейший компонент как:

а) технологии работы ЭВС в процессе полета, так и:

б) для оценки эффективности этой работы.

Тем не менее в настоящий момент не существует ни критериев оценки РД ЭВС (кроме соответствия или несоответствия технологии), ни методик проведения контент-анализа (КА) РД ЭВС, не говоря уже о каких-либо попытках алгоритмизации этого процесса. Хотя это совершенно необходимо при:

а) расследовании АП, когда анализ РД ЭВС - один из немногих объективных способов восстановить реальную картину АП;

б) оценке профессиональной пригодности, когда РД ЭВС позволяет судить о таких важных параметрах, как эффективность работы, степень деформации эмоционального опыта члена ЭВС и т.п.

Среди немногих источников, рассматривающих речевую деятельность и информационные процессы в АТС, в целом работы Г.А.Крыжановского и др. [22, 55] касаются исключительно деятельности диспечтера УВД, чья речевая деятельность принципиально отличается от деятельности члена ЭВ. Кроме того, в [22] основное внимание посвящено вопросам автоматизации распознавания и синтеза речи.

Поэтому задача создания методик проведения КА РД и оценки эффективности работы члена ЭВС на основе данного КА представляется важной и актуальной.

Задачи исследования. Основной задачей диссертационной работы является разработка методики проведения КА РД ЭВС и методики оценки эффективности работы члена ЭВС на основе КА его РД с целью повышения эффективности функционирования АТС.

Методика исследования. В работе над диссертацией автор руководствовался задачами, изложенными в руководящих документах ИКАО, МАК и ФАС России, направленными на дальнейшее повышение безопасности, регулярности и экономичности полетов.

Теоретические исследования проводились с использованием математического аппарата теории иерархических многоуровневых систем, теории исследований операций, теории возможностей, а также элементов теории катастроф. В сборе данных к настоящему исследованию применялись современные психодиагностические методики, а для их обработки были использованы результаты последних достижений авиационной и космической медицины, психофизиологии и инженерной психологии. Методической основой работы является математическое моделирование.

Научная новизна. Наиболее существенными новыми научными результатами, содержащимися в диссертационной работе, являются:

- доказательство выраженной зависимости между успешностью выполнения полетного задания членом ЭВС и параметрами его речи;

- разработка критериев эффективности выполнения полета на основе анализа РД ЭВС;

- разработка нового подхода к КА РД на основе использования нечетких множеств и теории возможностей;

- разработка алгоритма анализа РД экспертом.

Практическая ценность. Практическая ценность диссертационной

работы заключается в возможности применения предложенного подхода к анализу РД и методики оценки эффективности, разработанной на его основе, для:

- использования данной методики как одного из способов оценки профессиональной квалификации летного состава;

- использования данной методики для анализа РД при расследовании АП;

- применения данной методики для оценки эффективности первичного и дополнительного профессионального обучения.

Основные положения, выносимые на защиту:

1. Критерий оценки эффективности работы члена ЭВС в процессе полета.

2. Методика оценки эффективности работы члена ЭВС на основе КА его РД.

3. Алгоритм анализа РД экспертом в интерактивном режиме.

Апробация работы. Основные результаты исследований докладывались и обсуждались на следующих конференциях и семинарах:

1. Научно-практическом семинаре ФАС России "Разработка национальной системы оптимизации взаимодействия в экипаже" (Санкт-Петербург, АО "ЦАО", июнь 1996).

2. Научно-техническом семинаре (Москва, ГосНИИ ГА, ноябрь

1997).

3. XXX Юбилейной Научно-технической конференции студентов, аспирантов и молодых ученых (Санкт-Петербург, Академия ГА, май

1998).

4. Межкафедральном научно-техническом семинаре (Санкт-Петербург, Академия ГА, июль 1998).

Реализация полученных результатов исследований. Полученные результаты исследований использованы при разработке НИР шифр 72.2.16.97 "Проект концепции национальной подготовки эффективным способам взаимодействия в экипаже", выполняемого по заказу ФАС России, и внедрены в :

- Академии гражданской авиации (Санкт-Петербург) (В учебный процесс);

- Московском городском межрегиональном территориальном управлении ФАС России;

- ОАО "Аэрофлот - Российские международные авиалинии" (Москва),

о чем имеются соответствующие акты о внедрении.

Публикации. Основное содержание диссертационной работы опубликовано в 11 печатных работах:

1. Модель речевого взаимодействия членов экипажа воздушного судна //Применение аналитических методов в исследовании деятельности специалистов гражданской авиации. - СПб, Академия ГА, 1997. -С.43-46.

2. Оценка успешности действий командира ВС по его речи //Методы и модели исследования деятельности специалистов гражданской авиации . - СПб, Академия ГА, 1997. - С.38-42.

3. Структуризация проблемы анализа речевой информации членов экипажа воздушного судна //Методы и модели исследования деятельности специалистов гражданской авиации . - СПб, Академия ГА, 1997. - С.3-16 (соавт.: Малишевский A.B., Михайлик Н.Ф.).

4. Анализ речевой информации членов экипажа воздушного судна //Психофизиологические аспекты безопасности полетов. - СПб, Академия ГА, 1997. - С. 17-22. (соавт.: Малишевский A.B.).

5. О возможности количественной оценки нечеткости нормативных документов //Применение аналитических методов в исследовании деятельности специалистов гражданской авиации. - СПб, Академия ГА, 1997. - С.26-31 (соавт.: Аскаров А.Б., Джафарзаде P.M.).

6. Приложение элементарной теории катастроф в "жестких" науках: Аэродинамика //Методы и модели исследования деятельности специа-

листов гражданской авиации . - СПб, Академия ГА, 1997. - С.22-21 (соавт.: Ленгаров А.О.).

7. Совершенствование методов оценки надежности тестов //Применение аналитических методов в исследовании деятельности специалистов гражданской авиации. - СПб, Академия ГА, 1997. - С.47-54 (соавт.: Джафарзаде P.M., Ленгаров А.О., Керимов А.К.).

8. Проблема алгоритмизации контент-анализа речевой информации //Безопасность полетов и человеческий фактор. - СПб, Академия ГА, 1998. - с.67-77 (соавт.: Малишевский A.B.).

9. Об использовании средств информационной поддержки принятия решения экипажем воздушного судна //Безопасность полетов и человеческий фактор. - СПб, Академия ГА, 1998. - с.39-44 (соавт.: Сухих H.H.).

10. Применение измерителя темпоральных характеристик речи для первичной структуризации речевой деятельности членов экипажа воздушного судна //Безопасность полетов и человеческий фактор. - СПб, Академия ГА, 1998. - с. 13-16 (соавт.: Джафарзаде P.M., Мухтаров М.А.).

11. Оценка эффективности работы члена экипажа воздушного судна на основе контент-анализа речевой деятельности//Тезисы докладов XXX Юбилейной Научно-технической конференции студентов, аспирантов и молодых ученых - СПб, Академия ГА, 1998. -с.38.

Объем работы. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и приложений. В основной части работы содержится 160 страниц машинописного текста, 28 иллюстраций, 18 таблиц и библиография из 164 наименований. Приложения содержат 22 страниц машинописного текста и 1 иллюстрацию и 2 таблицы.

ГЛАВА 1. РЕЧЕВАЯ ДЕЯТЕЛЬНОСТЬ И ЕЕ МЕСТО В СИСТЕМЕ ОЦЕНОК ЭФФЕКТИВНОСТИ И БЕЗОПАСНОСТИ ФУНКЦИОНИРОВАНИЯ АВИАЦИОННОЙ ТРАНСПОРТНОЙ СИ�