автореферат диссертации по транспорту, 05.22.14, диссертация на тему:Методология и средства квалиметрии инженерно-технического состава гражданской авиации

Р Г Б ОД 1 б OUT 1395

Министерство транспорта Российской Федерации Департамент воздушного транспорта

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ ГРАЖДАНСКОЙ АВИАЦИИ

На правах рукописи

ЕЛИСОВ ЛЕВ НИКОЛАЕВИЧ

МЕТОДОЛОГИЯ И СРЕДСТВА КВАЛИМЕТРИИ ИНЖЕНЕРНО-ТЕХНИЧЕСКОГО СОСТАВА ГРАЖДАНСКОЙ АВИАЦИИ

Специальности:

05.22. 14.-Эксплуатацня воздушного транспорта

05.13.10.-Управление в социальных и экономических системах

Автореферат лиссертяиии на соискание ученой степени доктора технических наук

Москва-1995

Работа выполнена в Московском государственном техническом университете гражданской авиации Научный консультант:

академик Академии транспорта РФ, доктор технических наук, профессор

Р.В.САКАЧ (Москва).

Официальные оппоненты:

академик Академии транспорта РФ, академик Латвийской Академии транспорта, доктор технических наук, профессор

В.А.ХОДАКОВСКИЙ (Рига), академик Петровской Академии наук н искусств, академик Академии проблем качества РФ, академик Международной Академии информатизации, доктор экономических наук, профессор

А.И.СУБЕТТО (Санкт-Петербург), член-корреспондент Академии транспорта РФ, академик транспортной Академии Украины, доктор технических наук, профессор

А.ИЛОГВИН (Москва),

Ведущая организации:

Исследовательский центр проблем качества подготовки специалистов, ГОСКОМВУЗ РФ, (Москва).

Защита состоится * "_1995 года на заседании

специализированного совета Д.072.05.01. Московского государственного технического университета гражданской авиации по адресу: 125493,1.Москва, Кронштадтский бульвар,20, МГТУ ГА.

С диссертацией можно ознакомиться в библиотеке МГТУ ГА.

Автореферат разослан " "_1995 г.

Ученый секретарь специализированного совета д.т.11., профессор

С.К.Камзолов

Общая характеристика работы

Актуальность проблемы. Современная авиационная транспортная система (АТС) представляет собой сложную иерархическую человеко-машинную структуру с различными информационными уровнями и подсистемами, предназначенную осуществлять безопасные воздушные перевозки.

Безопасность полетов (БП) является главной проблемой гражданской авиации (ГА) и рассматривается как свойство АТС осуществлять воздушные перевозки без угрозы для жизни и здоровья людей.

Анализ состояния БГ1 по данным Международной Организации Гражданской Авиации (ИКАО) показывает, что подавляющее большинство авиационных происшествии происходит гго причинам, связанным с "личным" или "человеческим фактором" (ЧФ).

Понятие ЧФ включает в себя совокупность всех врожденных и приобретенных физических и психологических свойств личности, которые могут быть поставлены в связь с причинами возникновения, характером течения и исходом летного происшествия. Сюда относятся и лица, занимающиеся проектированием и обслуживанием воздушных судов (ВС), управлением и обеспечением воздушного движения.

Решение проблем!.! ЧФ в обеспечении БГ1 в существенной мере определяется уровнем профессиональной подготовки авиационных специалистов (СП), надлежащего контроля и надзора за выполнением требований государства регистрации но обеспечению безопасного функционирования воздушного транспорта, чем и занимается внедряемая в ГА система сертификации авиационного персонала.

Большой вклад в решение проблем подготовки СП для l'A внесли ведущие ученые отрасли: Bopo6i.cn В.Г.. Козлов A.M.. Крыжановский Г.А.. С'акач Р.В.. Смирнов II.П., Ходаковский В.А. и другие. Получены весомые научные и практические результаты, ставящие процесс полготовки авиационных специалистов на качественно новую ступень.

Вместе с тем. внедрение системы сертификации и аттестации авиационного персонала выдвигает целый ряд новых проблем, важнейшей из когорых является процедура выявления соответствия уровня подготовки персонала заданным требованиям. Указанная проблема решается в рамках теории квалиметрии, в развитие и становление которой основной вклад внесли отечественные ученые: Азгальдов Г.Г.. Гличеп A.B.. Коломиен Б.К.. Селезнева H.A., Субетто А.И. и другие. Однако.

теоретические и практические исследования проблем квалиметр! нуждаются в дальнейшем развитии. Особенно актуальным являет направление исследований, связанное с разработкой методов и средс квалиметрии авиационного персонала, отличающееся жесткими треб ваниями по Ы1 и спецификой моделей процессов и сии ем.

Целью настоящей работы является повышение уровня 1>П на осно совершенствования системы сертификации С'П, путем использован разработанных теоретических основ, методологии и инструмента; пых средств квалимсфии инженерно-технического состава (ИТС) ГА Для достижения поставленной цели решены следующие зиОичи:

- проведен анализ объекта исследования как элемента системы техн ческой экснлуагации(ТО),

- проведен сравнительный анализ моделей процессов ТЭ авиаци.лш 1СХНПКИ и профессиональной подготовки авиаспециалистов,

- проведен сравнительный анализ моделей управления в системе ТЭ,

- разработана методология экспертизы качества подготовки ИТС ГА

- разработаны модели и меюды принятия решений по результат экспертизы качества,

- разрабокш программно-методический комплекс исследования 1 чества подюювки авиаспециалистов,

- разрабокша методология оптимизации структуры ИТС ГА но кри' рию качества профессиональной нодгоювки авиаспециалистов.

Меш<н)ы шглаНншпии базирую!ея на комплексном использован теории квалимстрии, теории надежности, теории вероятностей и ма машческой статистики, теории нечетких множеств, теории модели! вания сложных систем, теории принятия решений, теории планиро! пня эксперимента, теории графов, теории множеств.

В диссершции разработаны теоретические положения и тсхническ решения, совокупность которых можно квалифицировать как вкла; развитие перспективного направления эксплуатации авиационн техники.

Научная ш/аилш работы заключаемся в:

- создании управляемой полумаркоиской модели процесса ирофеса пальной подготовки авиаспециалистов,

- создании информационно-логической модели процесса ирофеса нальной подготовки авиаспециалистов,

- создании эксплуатационной, квалификационной и квалиметрическ моделей качества профессиональной подготовки авиаспециалистов,

- создании методологии экспертизы показателей качества ирофесси-нальной подготовки авиаспециалистов и методологии приняшя решений по результатам экспертизы.

- разработке методики измерения конструктивных показателей качества. основанной па использовании метода имитационного моделирования и процедур планирования вычислительного эксперимента,

- формировании совокупности научно-технических решений по созданию экспертной системы для построения профессиограмм авиаспециалистов.

На защиту выносятся следующие основные результаты:

- модели процесса профессиональной подготовки авиаспециалистов и модели управления чтим процессом на основе полумарковских процессов и информационно-логических представлений.

- модели качества профессиональной подготовки авиаспециалистов, основанные на эксплуатационном, квалификационном и квалиметри-ческом подходах к проблеме качества.

- метод пересчета транзистивпых вероятностей'граф-модели качества для случая вырождаемости процедур!,I переходов состояний процесса в линейную последовательность.

- методология экспертизы показателей качества,

- методика измерения конструктивных показателей качества.

- методология принятия решений по результатам экспертизы качества.

- совокупность научно-технических решений по реализации разработанных моделей и методов.

- математическая постановка задачи оптимизации структуры МТС ГА.

Практическое течение работы. '5а время работы над диссертацией автор принял участие в 17 НИР по тематике, связанной с вопросами исследования качества полготовки СП. проводимых во исполнение решений Государственных Комиссий СМ СССР и РФ. Леся п. из них проводились под научным руководством автора. Работы выполнялись по договорам с ГОСНИИГА, Глав. ПТУ МГА СССР. ВМНИИПС, НПО "Центрпрограммсистем", ПНИН "ЦЕНТР" и другими ведущими фирмами, предприятиями и организациями в интересах следующих министерств и ведомств: МГА СССР. МВ ССО СССР. МО СССР. ГК СССР по ВТ и И, Минсулнром СССР.

Результаты исследовании были использованы при разработке следующих документов, подтверждающих практическую ценность работы:

-ГОСТ 28195-89 Оценка качества программных средств. Общие положения. Утверждено Госстандартом, СССР, 1989;

-Качество программных средств вычислительной техники. Концепция. Утверждено ГК СССР по ВТ и И, 1990;

-Постановление ГК СССР по ВТ и И от 27.07.90.N 51 "Об утверждении Перечня к Характеристик категорий специалистов, подготавлие-ваемых для эксплуатации и обслуживания средств вычислительной техники";

-Положение об аккредитации Государственого центра сертификации программных средств вычислительной техники.Утверждено генераль-рым директором ВМНИИПС, 1990;

-Положение о сертификации программных средств вычислительной техники.Утверждено генеральным директором ВМНИИПС, 1990;

-Методика квалиметрической оценки качества подготовки специалистов-разработчиков программных средств вычислительной техники. Утверждено генеральным директором НПО "Центрпрограммснстем", 1990;

-Государственная система испытаний и сертификации программных средств вычислительной техники. Исходная концепция. Утверждено генеральным директором ВМНИИПС,1990;

-Методические указания по разработке технико-экономического обоснования на создание центра сертификации программных средств вычислительной техники. Утверждено генеральным директором ВМНИИПС,1990;

Аппроосщия результатов работы. Основные результаты работы были представлены и обсуждены на: ВН'ГК "Инженерно-авиационное обеспечение безопасности полетов", Москва, МИИГА, 1985, МНТК"Использование автоматизированных обучающих систем для интенсификации учебного процесса в ВУЗе", Рига, РКИИГА, 1985, ВНТС "Автоматизированные обучающие системы в ВУЗах ГА", Москва, МИИГА, 1985, ВНТС "Качество программных средств вычислительной техники", Дагомыс, ВМНИИПС, 1989, ВНТС "Управление качеством программных средств вычислительной техники", Севастополь, 1989, МНТС "Программное обеспечение ЭВМ", Тверь, ГК СССР по ВТ и И, 1990, ВНТС "Управление качеством программных средств вычислительной техники", Дагомыс, ВМНИИПС, 1990, ВНТК "Методы и средства повышения эффективности и качества программных систем", Севастополь, ГК СССР по ВТ и И, 1990,

ВНТС "Качество программных средств". Тверь, Цетрпрограммеи-стем, 1990, МНТК, 35 ежегодная конференция КОКК "Человеческий фактор в управлении качеством продукции". Прага, Чехословакия, 1991, МНТК. 5 азиатский конгресс, "Качество - интернациональный язык", Окленд, Новая Зеландия, 1991, ВНТС "Качество программного обеспечения", Дагомыс, ВМНИИПС, 1991, МНТС', Симпозиум общества инженерной надежности Скандинавии, "Надежность и безопасность процессов и производственных систем", Тампере. Финляндия, 1991, В11 ТС "Кпалиметрия человека и образования: методология и практика, Москва. ИЦ по ПУКГ1С. 1992, ВНТС "Качество программного обеспечения", Дагомыс, ВМНИИПС, 1992.

Кроме того основные результаты работы обсуждались на внутриву-зовских конференциях МИИГЛ, МГТУГА (1984-1993) на научно-технических семинарах в МГУ, РИИГЛ. СНПО "Алгоритм", НПО "Центрпрограммсистем". НПО "Эра". ЦНИИ "Центр", в ряде высших учебных заведений МВССО СССР И МО СССР, на предприятиях и научно-исследовательских институтах ГК СССР по ВТ и И. Некоторые результаты демонстрировались в качестве экспонатов ВДНХ СССР, ряд технических решений защитен авторскими свидетельствами.

Публикация речулынапюв работы. Основные результаты работы опубликованы в 54 научных трудах (37 печатных трудах и 17 научно-исследовательских о гчетах).

Объем работы: Диссертационная работа состоит из введения, семи глав, заключения, списка литературы и приложения с актами о внедрении. Работа содержит 340 е.. в том числе 290 с. текста, 48 рисунков, 5 таблиц, библиографию из 207 наименований.

Содержание работы (лава I. Постановка задачи исследования

В первой главе проводится анализ состояния проблемы. Определяется область исследований внутри АТС. ИТС предприятий воздушного транспорта рассматривается как подсистема ТЭ и как объект ис-следова ния. Анализируется влияние качества подготовки ИТС ГА на показатели !>П. Выбирается аппарат исследования, анализируются особенности квалиметрических исследований. Анализируется отрасле-

вая система сер тификации авиационного персонала, определяются ее проблемы. Формулируется задача исследования.

Главной социально-значимой проблемой АТС является проблема безопасности на воздушном транспорте, которая рассматривается как генеральный критерий оптимальности и эффективности всей иерархии систем, процессов и структур, исследуемых в данной работе.

Обоснование выбора объекта исследования требует последовательного решения следующих задач: в соответствии с генеральным критерием проведение анализа современного состояния БГ1 и определение степени ответственности объекта исследования за это состояние, формулировка и обоснование основных проблем объекта исследования и определение пути, т.е. методов и средств, решения указанных проблем.

Анализ БП в мировой практике по данным ИКАО (система АРЯЕР), в СССР и России (АСУ "Безопасность") по различным срезам исходной информации и за различные периоды времени показывает, что проблема БП остается важнейшей для АТС и в ней особую роль играет ЧФ - совокупность врожденных и приобретенных качеств личности летного, диспетчерского, обслуживающего и конструкторского состава, которые явились основой или сопутствующей причиной тех или иных нестандартных ситуаций в условиях полета или вне его, на долю которого приходится до 90% авиационных происшествий.

По данным ИКАО около 50% летных происшествий по вине человека обусловлено деятельностью членов экипажа, 30% --- технических работников, 12% — внешней средой, 8% — деятельностью работников организационных служб.

Анализ причин-факторов авиационных происшествий показывает, что ИТС предприятий воздушного транспорта является отве1Ственным за 25-30% случаев появления экстремальных ситуаций в ГА, что выдвигает задачу оптимального использования совокупного потенциала ИТС предприятий, которая усугубляется сложностями перехода на коммерческие условия ТЭ, распадом Аэрофлота как единой государственной системы, сложностями переходного периода в экономике страны, старением авиационного парка и т.д.

Проблема оптимизации предполагает решение задачи регулирования количественного состава специалистов и уровня их профессиональной подготовки. Нерациональный выбор моделей оптимизации структуры ИТС влечет материальные потери с одной стороны и недо-

пустимое увеличение риска при осуществлении авиаперевозок с другой.

Система сертификации, (в том числе и ИТС), создаваемая в ГА, является методом активного контроля со стороны государства регистрации за выполнением требований по обеспечению БП. На данном этапе наиболее актуальным и наименее исследованным является направление, связанное с созданием методологии сертификации. Оно включает ряд проблем.

Проблему сертификации ИТС предприятий воздушного транспорта нельзя рассматривать в отрыве от структур и процессов функционирования системы ТЭ авиационной техники. Системный подход к созданию методологии сертификации требует исследования и анализа процессов ТЭ, выявления закономерностей реализации процедур технического обслуживания на этапах жизненного цикла авиационной техники, анализа математического аппарата формализации этих процедур и создание на этой базе теоретической основы для системного исследования уровня профессиональной подготовки ИТС.

Вторая проблема связана с системой управления БП авиаперевозок, имеющей сложившуюся структуру и соответствующие законы функционирования. Рассматривая сертификацию как систему государственного управления, необходимо обеспечить четкое согласование и взаимодействие указанных систем, для чего следует разработать адаптированный комплект математических моделей управления.

Третья проблема связана с категорией, которая может быть положена в основу процесса сопоставления объекта сертификации и требований к нему, т.е. что же необходимо исследовать при проведении сертификации. Наиболее универсальной категорией, охватывающей все стороны рассматриваемого процесса, является категория "качество".

Четвертая проблема связана с разработкой методов и средств реализации процесса исследования качества подготовки ИТС.

Если решение первых двух проблем находится в рамках ТЭ, то решение остальных связано с использованием теории квалиметрии.

Теория квалиметрии оперирует с одной из важнейших философских категорий — категорией качество, рассматривая его как существенную определенность предмета, явления или процесса, в силу которой он является данным, а не иным предметом, явлением или процессом, выражающимся в закономерной связи составляющих его частей и присущих ему свойств.

Понятие качество СП позволяет выделить конкретного человека из общества. Для оценки качества подготовки СП требуется решить три основные задачи: сформировать эталон качества, сравнить достигнутый уровень подготовки с эталоном и принять решение о соответствии объекта эталону. Решением проблем оценки качества подготовки СП занимается экспертная квалиметрия, которая представляет собой измерение качества на основе привлечения плохо формализуемого опыта экспертов.

Рассматривая ИТС предприятий ГА как объект исследования, а теорию квалнметрии как аппарат исследования, на основании анализа проблем АТС, системы ТЭ и системы сертификации авиаспециалистов общая задача диссертационной работы формулируется следующим образом: в рамках отраслевой системы сертификации ИТС предприятий воздушного транспорта создать методологическую основу и найти технические решения проблемы измерения и оценки качества подготовки авиаспециалистов и принятия соответствующих решений.

Глава 2. Сравнительный анализ моделей процессов технической эксплуатации

Во второй главе анализируется модель ТЭ и разрабатываются аналитические модели процессов подготовки авиационных СГ1. Решается задача сравнительной идентификации моделей с целью выбора математического описания процессов для последующего решения проблемы системного выбора номенклатуры показателей качества подготовки авиационных СТ1 и ее исследования.

Анализируемая модель процесса ТЭ самолетов рассматривает ПТЭ как совокупность последовательно и непрерывно возникающих состояний объекта и переходов из одного состояния в другое. Весь ПТЭ определяется совокупностью множеств {г} и {х|, матрицы |Р| и вектора П. где Х-случайная величина, определяющая продолжительность пребывания объекта в некотором состоянии, г - порядковый номер состояния, Р=|/'/А|-матрица частот состояний переходов, Pik - относительные частоты переходов объекта из i-ro в k-ое состояние, II=(111....I In) - совокупность значений частот или вектор-строка статистических вероятностей состояний ПТЭ объекта. При известных условиях указанный процесс является полумарковским.

Анализируются таки модели процессов подготовки СП. реализующие ннформациоино-логичсский и вероятностный подходы. И в том, и в другой случае в основе модели лежит представление достижения цели в виде упорядоченной последовательности состояний процесса.

Основным свойством информационно-логической модели (НМЛ) явялется строгая упорядоченность множества характеристик состояний обучения <31>02>...>С?т, а за критерий упорядочения принята характеристика завершенности, которая монотонно возрастает по С? : Р1(д1)<Р2(д2)<...<РКдо<...<Рт(дт), где РНдО-значение показателя завершенности для д1 состояния. Каждому промежуточному состоянию должно однозначно соответствовать /' значение обобщенного показателя завершенности процесса обучения

д!<-> Г>. / = Гт. Г, е Г.

Каждый параметр рассматривается как компонент промежуточного состояния, характеризующего отдельное свойство. Определение характеристик состояний осуществляется статистическими методами. Целью моделирования является подготовка СП с заданными характеристиками. Предложенная модель дает возможность ввести оценки уровня подготовки СП чере! опенку уровня завершенности процесса обучения, что частично решает задачу перехода к количественным показателям.

Анализируемая вероятностная модель представляет процесс обучения как некоюрый процесс формирования определенных навыков на основе полученных знаний и умений. Изменение характеристик в процессе обучения рассматривается как стохастический процесс. Модель реализует равенство: Р(п-1)=а(Рп+Ь|, где Р(п-1)-новое значение вероятности ответа в виде линейной функции от старого значения Рп, аьЬЬ некогорыс параметры, определяющие изменение Рп под влиянием событий Задачей исследования модели является определение меры качества обучения, которая представлена в виде некоторой оценочной переменной. При известных условиях модель близка к марковским процессам.Определение статистических характеристик оценочной переменной отражает меру качества решаемой задачи.

Предложенные модели достаточно адекватны реальному процессу подготовки СП. Их сравнительная идентификация с моделью Г1ТЭ открывает возможность сформировать полумарковскую модель процесса подготовки авиаспециалиста, по структурным и параметрическим признакам соответствующую эксплуатационным представлениям.

Объект исследования, на всем протяжении жизненного цикла, под которым здесь понимается процесс реализации себя как СП, имеет конечное и счетное множество состоянии Wi. Объединения Wi образуют подмножества работоспособных и неработоспособных состояний. Процесс изменения состояний во времени является стохастическим. СП подвергается эксплуатации, содержащей конечное и счегное множество d состояний эксплуатации Hj, Dcd. Объединения Pj образуют подмножества состояний эксплуатации СП по назначению: работа, переподготовка, повышение квалификации, стажировка, ожидание использования и т. д. Состояния Hj назначаются как результат проведения сертификации в соответствии с состояниями Wi, а процесс H(t) отражает последовательную смену состояний Hj. Первоначально СП находится в некотором состоянии эксплуатации Hj случайное время, распределенное по произвольному закону Fj(t), затем с вероятностью Pjk объект переходит в состояние Нк. Переходы процесса из состояния в состояние, определяющие стратегию использования СП и его переучивания, образуют процесс моментов переходов. Используя модель, можно построить граф состояний и переходов G, который является управляемой граф-моделью процесса эксплуатации СП.

Глава 3. Сравнительный анализ моделей управления в системе технической эксплуатации

В данной главе проблема сертификации авиационного персонала рассматривается с позиции теории управления. Анализируются модели управления эффективностью и оптимизации программ ТЭ и проводится сранительная идентификация указанных моделей с разрабатываемыми моделями управления процессом подготовки авиаспециалистов. Исследуется информационно-логический подход к анализу процессов. Разрабатывается модель управления качеством подготовки СП.

Анализ моделей управления в системе ТЭ позволил выявить общность целей управления, единство в способах формализации и математической постановки задач, а также дал возможность сформировать связи по управлению внутри системы.

Оценка эффективности программы ТЭ осуществляется по основным характеристикам процесса переходов: P=|Pij| и П = {П1,П2,...Г1п), и оп ределяется по формулам: R=R¡Y'",^Yгp"",}, W=M[R{Y""\Ytp"'"}], где R-функция соответствия, характеризующая в некоторой матричной

шкале степень достижения цели. W-покаэатель эффективности, являющийся математическим ожиданием обшей функции соответствия. Задача оптимизации программы ТО и Р состоит в выборе вариантов программы k(t)£K(t). обеспечивающих множество L(t)=iU". f = I,т) заданных показателей эффективности прог раммы [7.l(t). I G L] при минимальных удельных затратах Суд(0, т.е. min Суд(ХЛ) при ограничениях Zi(X.t)|<>j[Li(t)]. где X(t)=|Xi(t). i= Г» ¡-множество возможных переменных программы ТО и I'.

В общем виде задача оптимизации программы НЛО имеет вид:

где Z-пелевая функция программы МАО. FI.Г2.1:3-фупкции ограничения. Фзад. Пал, Кзад-выделенныс ресурсы и условия. Q-множестпо вариантов программ!.! J WJ .Представив процесс оптимизации в каждой из рассмотренных задач в виде замкнутого контура управления эффективностью той или иной программ!,I, можно установить иерархию систем ТЭ. ТО и Р и НЛО и взаимосвязи по управлению, при этом каждая система включена в контур обратной связи вышестоящей системы. В предложенную иерархическую структуру jici ко вписываются системы оптимшацпи структур!.! и сертификации МТС Г Л (рис.1). При пом генеральный кршерий АТС. т.е. безопасность полетов, удовлетворяется за счет оптимального управления эффективностью программы ТЭ (контур I). которая . в спою очередь, выступает в качестве критерия для нижнего уровня иерархии и удовлетворяется за сче! оптимальною управления эффективностью программы ТО и Р (контур 2), оптимальность которой обеспечивается высоким уровнем эффективности программы НЛО (контур 3). что достигается за счет оптимизации структуры И ТС (контур 4). которая возможна при условии оптимального управления качеством подготовки авиаспециалистов (контур 5). результаты чет оцениваются в системе сертификации. Обобщенная модель управления в системе подготовки апиаспециалистов(рис.2) включает несколько кошуров управления: ресурсное (РУ). орг анизационное (ОУ), методическое (МУ). управление сертификацией (УС), которые обьединяются в рамках контура управления качеством подготовки авиаспециалистов. Управляемый параметр (YI) оценивается системой сертификации (СС). состоящей из подсистем экспертизы качества (ЭК), оценки качес! ва (ОК) и принятия решений (IIP), в результате чего

формируется выходной сигнал (У2). поступающий на вход верхнего уровня иерархии. В СС происходит сопоставление полученных оценок качества с заданными сертификационными требованиями (Стр) и, в случае их несоответствия, формируется сигнал (УЗ), обеспечивающий перестройку ЛОС, которая заключается в изменении средств, методов и форм (СМФ) обучения данного СП в соответствии с характером рассогласования.

Рис.1 Иерархические уровни управления в системе ТЭ

В случае изменения внешних условий, т.е. при появлении управляющих сигналов от верхних уровней иерархии XI и Х2. происходит изменение

квалификационных требований (X2) или изменение научного содержания (НС) обучения (XI). что перестраивает систему управления и обеспечивает формирование сигналов V I ,У2Л'Л в новом диапазоне.

Все управление осуществляется в направлении достижения цели X, обеспечивая соответствие качества подготовки СП государственным требованиям или стандартам. Изменение цели 7 влечет внутреннюю перестройку системы управления путем изменения квалификационных характеристик (КХ). учебных планов и программ (УПП) и соответствующего научного содержания дисциплин (НС).

Iх- ' _11____

ст ГТ — КХ • УПП

у.

пг >, ок эк- У. СП о- АОС ппс - СМФ — НС

УС РУ - ОУ - МУ

Рис. 2 Обобщенная модель управления в системе Г1ЛС

Вышеизложенное дает возможность перейти к проблеме количественного исследования качества подготовки авиаспециалистов, для чего предлагается соответствующая модель управления.

Обозначим множество переменных, от которых зависит качество подготовки СП, через Х = |ХI.Х2,...Хп}. а функцию, количественно описывающую качество Р или Р[Х1,Х2....Хп[, что дает возможность представить качество в виде некоторой точки А в Ы-мерном пространстве, где под Р понимается расстояние от А до начала координат. Если принять, что допустимый уровень качества по каждой перемен-

ной определяется неравенством Bj<Xj<Лj, j=I,N, то допустимый уровень качества в N-мерном пространстве будет определяться некоторым Ы-мерным прямоугольником. С учетом случайности факторов обучения можно говорить о случайном характере Г, тогда основной характеристикой качества должны быть плотность распределения вероятностей Я, т.е.Ш(Г), или Ы-мерная плотность распределения вектора X, т.е. Ш(Х). С учетом независимости факторов между собой \У(Х)= ¡=1 ,N1. В предположении гауссовости случайного процесса X

-0,5 (Х-Хо)ГК(Х-Хо)

\У(Х)={1/[ К]} е,

где Хо-вектор средних значений {ХЛ, Т-транспонирование матрицы, вектора (Х-Хо) представлены в виде матриц-столбцов, откуда процесс управления качеством должен состоять в обеспечении попадания вектора Хо в квадрат и уменьшения дисперсии по всем переменным Х^ Для осуществления такого управления необходимо провести определенную классификацию, которая рассматривается как проблема статистических решающих функций и решается как задача оптимизации стратегий классификации на основе критерия минимума среднего риска. Решение имеет вид: Вк:ЬкКХ)=\Ук(Х)/\У](Х)>Р]/Р1=1Лф, где Вк-область, образовавшаяся при разбиении пространства наблюдений В на т попарно непересекающихся областей В=ВШВ2и...иВт, соответствующее генеральной совокупности Ьк из множества {Ы,Ь2,...Ьт}, и определяет решающие правила, по которым должно осуществляться управление качеством.

Реализация решающих правил в виде модели управления и ее исследование показали, что принципиально узким местом такой модели является система измерения качества.

Глава 4 Методология экспертизы качества профессиональной подготовки инженерно-технического состава гражданской авиации

В разделе решаются проблемы создания методологии экспертизы качества профессиональной подготовки ИТС ГА. На основе разработанных ранее моделей создаются: концептуальная квалиметрическая модель оценки уровня подготовки СП, методология формирования номенклатуры показателей качества, квалиметрическая модель и методика экспертизы показателей. Разрабатывается методика измерения

конструктивных показателей качества на базе имитационного моделирования и процедур планирования вычислительного эксперимента.

Нею совокупность знаний, умений, навыков авиаспециалиста, соответствующих предъявляемым к нему требованиям, можно представить в виде алгоритма управления, где каждый оператор ассоциируется с определенной совокупностью этих знаний, умений и навыков. Переход от одного оператора к другому соответствует изменению или указанной совокупности (старению знаний, потере навыков, утрате умений), или изменению системы требований к СП. что означает переход объекта из одного состояния в другое.

В качестве системной опенки уровня профессиональной подготовки авиаспециалиста в такой моделе можно предложить надежность алгоритма управления (соответствующего программного средства).

Можно говорить о процессе функционирования программного

средства (ПС) как о цели .82____Бп}, где Si-мl!oжecтвo возможных

состояний программы, реализуемых в данный момент времени Гт.е. <3(0=5к(1) ЕЯ. Для полного описания в предложенной моделе должны присутствовать:

-граф-схема комплекса управляющих алгоритмов с фиксированными значениями к(к = 1,2,...Ы) и вероятностями Рк1 (1=1.2....N1), -граф-схема у-го варианта реализации к-го алгоритма, -возможные варианты V (у=1.2....М) реализации к-го алгоритма, -количество вершин Мку графа Оку(Х.Р). соответствующего граф-схеме у-го варианта реализации к-го алгоритма.

-транзистивные вероятности Рку(г))(=Р перехода от ¡-ой вершины графа Ску(Х.Р) к ¡-ой вершине.

- среднее время Гку работы у-го варианта реализации к-го алгоритма до передачи управления (к+1 )-му алгоритму,

-вероятность безотказной работы Рку(Тку) у-го варианта реализации к-го управляющего алгоритма в течении времени Тку.

Используя указанные элементы модели можно рассчитать вероятностные характеристики ее состояний (временные и надежностные).

Дальнейшим развитием рассмотренной модели является квалификационная модель . в которой оценка уровня подготовки осуществляется не по отдельным дисциплинам, а с помощью совокупных критериев, шнесенных к отдельным знаниям, умениям, навыкам, заложенным в квалификационной характеристике (КХ) СП, или их объединениям.

Совокупность дисциплин А={А1,А2,...Ап| включает в свое научное содержание те теоретические и практические аспекты, которые соответствуют требованиям КХ и задаются в форме совокупности умений Z={ZI.Z2,...Zn}. При этом каждая дисциплина может быть восстребо-ва на 'любыми или всеми элементами множества 2. т.е. С=£ Рг(гОГ-"к(АО,

ЗУН

А, А, • • • А, • • • А.

Рис.3 Концептуальная квалификационная модель оценки уровня подготовки специалистов

¡=1,и. где С-совокуппость знаний, умений, навыков, соошествующая готовому СП. [-"/.-некоторый функционал, отображающий деятель-ностный подход в обучении и выражающий множество С в терминах умения, 1'к-функциопал, определяющий степень учасшя некоторой дисциплины А1 в формировании некоторого умения /л (рис.3).

Контроль уровня обученности осуществляется по совокупности критериев К=|К1.К2,...Кп|, соответствующих отдельным дисциплинам К1 и отдельным умениям Ку. Соответствие |ребованиям КХ достигается при определенных для каждой дисциплины и каждого умения знаниях Ку и выражается обошенным значением критерия КоЬ. Естественно предположить, что существует определенный допуск на значения кршериевД К., когда удовлетворение требований КХ считается доспи нутым. Если все значения К|' находятся в пределах допуска, то обобщенное значение КоЬ критериев заведомо будет удовлетворительным, т.к. в эюм случае величина допуска д КоЬ буде! еще меньше,

т.е. КоЬ<лК. Однако, возможна ситуация. когда одно или несколько значений критериев выходят за пределы допуска, например Ю". Эта ситуация может привести к нарушению неравенства <> КоЬ<лК, что формально говорит о несоответствии требованиям КХ.

Изложенное выше дает возможность перейти к исследованию категории "качество", для чего предлагается квалификационная модель качества профессиональной иодгоювки авиаспециалиста.

Нею совокупность знаний, умений и навыков, соответствующих КХ и трансформированных в умения, можно представить в виде графа, где каждая вершина ассоциируется с конкретным умением 7л. а переход из вершины ) п вершину ) означает освоение обучаемым этого умения. Если при э том надели и, вершины г рафа V определенными весами (11 € р. соответствующими шачимостн данного умения в обшей совокупное! и 7.. а каждой ду1с Гц € I", соответствующей передаче управления от ¡-ой вершины к ¡-ой вершине, приписать постоянное значение Ру € р вероятности осуществления этой передачи, т.е. наделить граф С(У.Г) транзистивными верояпшегями переходов, то полученный ориентированный, ссмашичсски нагруженный граф соответствует марковской I раф-модели.

Понятие качество раскрывается через спои характеристики, которые назыпаюкя пока кнелями качества. Предлагается ввести три группы показателей: конорукшвные. функциональные и психодиагности-руемме.

Конструкшвиые покаштелн напрямую спяганы с квалификациои-но|1 моделью и представляют собой оценку соответствия уровня обу-ченносш СП требованиям КХ по конкретному умению в рамках конкретной дисциплины.

При исследовании конструктивных показателей с помощью квалификационной модели возникает существенная проблема, связанная с тем. что сумма грапзисгивных вероятностей по любому маршруту в графе (.!(\\Г) всегда равна единице. Это значит, что при оценке реального (II граф С)(У.Г) вырождается в линейную форму этого графа (рис.4а). и его исследование имеет смысл только при статистическом анализе группы обучаемых, ко!да оцснивастся средний уровень обученное! и по группе.

Однако, до сих пор мы рассматривали умения, ассоциируемые с вершинами графа (|(У.Г), как независимые параметры. В реальных условиях это не соответствует действительности и большая часть па-

раметров Z взаимозависима, т.е. умения частично взаимопроникают друг в друга, что дает нам право рассмотреть следующую ситуацию (рис.46).

Исследуем переход из вершины I в вершину 2, что соответствует достижению умения, ассоциируемого с вершиной 2. В общем случае (рис.4а) вероятность получения результата (расчетная) будег Р1.2. Введем дополнительные вершины т1 и т2, которые соответствуют разделению вершины 2, т.е. образованию фиктивной вершины М. В физиче-ком смысле это означает, что умение Ъ1 формируется из двух частей. Тогда транзистивные вероятности должны рассчитываться следующим образом: Р1,2=Р1,т1+Рт1,2+Р1,т2+Рт2,2. Фиктивная вершина М заменяется реальной вершиной 4, ассоциируемой с умением 7Л. Тогда Р1,4=Р1,1п2+Рш2,4, где Рт2,4=Рт2,2, и вершина I приобретает два исхода с вероятностями Р1,4 и Р 1.2, где Р 1,2=Р1,2 или Р1,2=Р 1,2+Р1,4.

© ©

а.

б. в.

Рис.4 Элементы квалификационной модели качества для конструктивных показателей

Аналогично исследуется переход с тремя дополнит ельными вершинами (рис.4в) или с любым их количеством.

Функциональные показатели не связаны с конкретным содержанием совокупности умений, а в большей степени характеризуют личность исследуемого СП, отражая в той или иной степени его способности к обучению (адаптируемость, утомляемость, безошибочность действий и

т.д.). Функциональные показатели оцениваются также при переходе от одного умения к друг ому, т.е. размешаются по вершинам графа квалификационной модели, но при их определении транзистивные вероятности переходов не имеют значения.

Психодиагностирусмые показатели относятся к группе прсихофи-зических характеристик человека и определяют творческую, эмоциональную составляющую его личности (интеллект, добросовестность, практичность, активность и т.д.). В задачи данной работы не входит анализ этой группы показателей, однако, в целях единства и полноты исследования этот вопрос в определенных рамках рассмотрен в р.6.3.

В зависимости от целей и задач исследования формируются соответствующие номенклатуры показателей качества, в которых каждый показатель может быть задан путем формального описания четырех определяющих множеств: СЛ-миожество проявлений показателей качества, (^-множество значений показателя качества, (^-множество факторов, влияющих на показатель качества. (^-множество критериев показателя качества.

Номенклатуры показателей качестпа должны удовлетворять требованиям полноты и непротиворечивости . для чего разработана соответствующая методика формирования, в которой реализованы процедуры на основе методов классификации и группировок, кластерного анализа и экспертизы.

Для-исследования конкретного свойства СГ1 предложена аналитическая модель. В соответствии с понятием определяющих множеств показателя свойство СП . соответствующее исследуемому показателю можно иредс1авть в виде некоторой функции, определенной на множестве С?! и принимающей значения пз С?2: Г:С?1----которую назовем функцией распределения заданного свойства на множестве (}2. Г:сли предположить, что множество измеримо и \¥(д) есть мера, заданная па множестве (^1. то значение показателя качества К может быть записано в виде интеграла Лебега по множеству 01 от функции

Элементы множества Q3 представляют собой пары координат (x,q2), задающих некоторые точки функции F, а элементы множества Q4 определяют вид функции Г.

Р(х):

(1)

Мера W. введенная на множестве Q1, должна удовлетворять следующим условиям:

W(QI)=I

W : W(0)=0 (2)

0< W(x:x<QI)<l .

Если в соотвествнн с конечным множеством критериев на множестве QI может быть введено конечное разбиение на непересекающиеся подмножества Ql(i), где функция F принимает' фиксированные значения F(i). то воспользовавшись свойствами интеграла Лебега выражение (I) можно преобразовать:

К=£ {F(i)W[Ql(i)]| , (3)

где W[QI(i)]-Mepa подмножества Ql(i). причем £ {W[Q!(i)]J = l, а в качестве мер могут использоваться весовые коэффициенты.

В силу общности выражения (I) его используют для получения обобщенной оценки качества СП. для чего в качестве множества QI обобщенного показателя будем рассматривать объединение множеств Ql(i) всех п подчиненных показателей: QI=Ql(i), на котором необходимо ввести обобщенную меру, удовлетворяющую в соответствии с (2) следующим условиям:

( Mc[QI(i)]=l Мс: Мс(0)=0 (4)

I 0 < Mc[QI(i)]<l.

Тогда согласно (I) оценку обобщенного показателя качества можно записат ь в виде:

К= I f(x) dMc(x), (5)

ОКО

где f(x)=|Ki(x), x<CJl(i)»-функция распределения обобщенного показателя качества на множестве Ql(i). Так как множества Ql(i) исследуемых показателей качества могут иметь непустые пересечения, то функция f может быть задана следующим образом:

( Ki(x). x<QI(i), x<QI(j), i=j

f(x)= < (6)

{ Ki(x)&Kj(x). x<QI(i)QI(j).

где знак & означает суперпозицию функций.

Практическое получение данных о качестве СП сопряжено с рядом трудностей, которые обуславливают применение экспертных ме-

2.1

тодоп получения исходной информации для исследования качества подготовки СП, в связи с чем исходная информация может быть представлена не точными данными, а нечеткими переменными, анализ которых позволяет получать нечеткие оценки показателей качества.

На множестве Q1 введем нечеткое множество QIА. где оцениваемое свойство СГ1 проявляется положительным образом. Например, для свойства "дидактическая надежность" в качестве нечеткого множества QIA можно взять все элементы базового множества QI, на которых полученные знания и умения абсолютно надежны, т.е. гарантируется правильный результат решения тестовых задач. Тогда нечеткое множество QIA можно записать в виде: QI A=[qi,m(qi)], qi<Ql, где m(qi)-ecTb функция принадлежности элементов базового множества QI подмножеству QK+). на котором оцениваемое свойство СП проявляется положительным образом. Функцию принадлежности iri(qi) в этом случае можно задать в гпедуюшем виде:

( I. q<QK+) m(qi)={ О, q<QI (-) (7)

( ?. q<(QI\[QI(+)AQI(-)]} При этом нечеткость множества Q1 выражается нечеткостью мощностей подмножеств QI(+),Q1(-) и неопределенностью функции принадлежности с условным значением "?", а все элементы Q1A частично упорядочены но возрастанию функции m(q). Данное условное значение можег быть заменено на нечеткую оценку, полученную по модели оцениваемого свойства и отражающую степень адекватности этой модели, задаваемой согласно множества факторов показателя качества.

Данная формализация показателя качества позволяет получать нечеткую оценку в виде:

К= i [in(x) dWA(x)]

где m(x) задается в соответствии с (7), а мера WA(x) есть четко-значная нечеткая мера, заданная на QlA. Мера WA(x) имеет вид:

I

WA(x)= i eps[l(x)]dc,

о

где с-обычная мера Лебега на [0,1], a eps[l(x)]- нечетко-значная нечеткая мера на QIА.

Разработанные модели являются основой экспертного оценивания показателей.

Пусть т экспертов произвели оценку п показателей. Результаты оценки представлены в виде величин Ху, где ]-номер эксперта, ¡-номер показателя, которые представляют собой ранги. Обработка результатов ранжирования заключается в построении обобщенной ранжировки, для построения которой вводится конечномерное дискретное пространство ранжировок и метрика в этом пространстве.Ранжнровку ^ можно представить в виде матрицы парных сравнений, элементы которой определяются следующим образом:

!1, если Ок >-—01

-1, если О!.....<Ок

0. если Ок со О!

Метрика с!(К|,Ьф как расстояние между ¡-ой и .¡-ой ранжировками определяется формулой:

с1(т.Я0=1/2]Г | Ак\-&\\, к=ПгГ 1=Гп.

к./

при условиях:

Обобщенная ранжировка это точка, которая наилучшим образом согласуется с точками, соответствующими ранжировкам экспертов. Наилучшее согласование определяется как медиана Ят и средняя ранжировка Яс: Кт<.....пип£ сЦ^Д). Яс<.....тт]£ </:(Я]Д), j=l.m.

в I Л' /

При обработке результатов ранжировок определяется зависимость между ранжировками двух экспертов, при этом мерой зависимости служат коэффициенты ранговой корреляции Спирмена или Кендалла.

Показатели качества подготовки авиаспециалистов являются концентрированным выражением информации о свойствах исследуемого объекта и могут рассматриваться как модель СП. Вместе с тем, в отдельных случаях адекватность модели и объекта достигается за счет использования "продукта деятельности обучаемого" (ПДО). Понятие ПДО может быть отнесено к определенной группе специальностей, применяемых в ГА там, где в процессе подготовки и переподготовки СП в результате учебной деятельности производится реальный продукт, имеющий реальное воплощение, например, вычислительная техника, где программное средство является физически реализованной моделью обучаемого, отражающей его основные характеристики как СП.

Под ПДО программиста понимается программное средство (ПС) как вещественный и интеллектуальный результат или как совокупность операторов некоторого алгоритмического языка, организованных определеным образом, что дает возможность расширить сферу применимости понятия ПДО на все случаи, когда результат учебной деятельности может быть представлен в виде алгоритма.

Под имитационным моделированием будем понимать метод исследования ПДО, основанный на замене ПС, как системы Zl, ее имитатором 22 и проведении эксперимента с моделирующей системой 72 с целью получения новой информации о системе 21.

Задача исследования качества подготовки СП значительно упрощается, если имитатор 72 создавать на уровне теоретико-графовых моделей, в основу которых положен управляющий граф программы.

Граф ОСУ,Г) строится таким образом, что полустепень исхода

каждой вершины VI € 1,2.....п-1), отличной от входа и выхода,

равна I или 2, а полустепень исхода входа равна 1.

Пели вершинам и дугам графа С(У,Г) приписываются некоторые веса, то имитатор 72 превращается в марковскую граф-модель, причем веса дуг и вершин являются фиксированными значениями некоторых параметров. Условием, при котором имитатор 22 задается с помощью марковской граф-модели ПС, является отсутствие последействия. Реальные процессы счета обладают некоторым последействием, откуда возникает задача приближенного приведения немарковской модели имитатора 72 к марковской и оценки точности такого преобразования.

Для этих целей применим метод псевдосостояний, где в качестве меры отличия новой модели от исходной используется статистическое расстояние Кульбака:

^О 00

^ I \У1(01п[\У1(1)/\У2(0]си+ I \У2(01п[\У2(1)М1(0](]1 (8)

-00

Мера (8) имеет смысл информации, которой различаются сравниваемые модели с плотностями \Vlit) и \У2(1). Решая соответствующие системы уравнении Колмогорова, определим вероятности состояний Р1

Р|=ХХ ри к ,к=иси=Ш!

к I

где К-индекс псевдосостояния в у-ой дуге графа, Смшсло дуг графа, выходящих из ¡-ой вершины. Общее отличие марковской модели от исходного имитатора 72 определяется по формуле:

•' = 11 Ри Ли - 1=>.п.1=1Х1.

■ I

гдеД|-мера (8) для дуги Гц 6 Г.

Основная трудность при анализе качества ПДО состоит в определении вероятностей Рц €= Р передачи управления от ¡-ой к j-oй вершинам графа С(У,Г). Проблема упрощается , если рассматривать указанные вероятности в качестве факторов вычислительного эксперимента, основная идея которого заключается в одновременном варьировании всех факторов на заданных уровнях по определенным правилам.

Для получения кодированных значений факторов преобразовывают переменные с помощью выражения:

_ 2Р(М)-Р(Ц)тах-Р(уЫп РОо)-Р(и)

где Х1-кодированное значение фактора. Р0,|). Р(У)тах. Р(У)тш-значення фактора в натуральном масштабе.

Имитация динамики работы исследуемой системы заключается в реализации на модели в соответствии с планом эксперимента различных вариантов маршрутов вычислений, каждый из которых определяется значениями транзнстнвных вероятностей РОо) £ Р, которые задают наборы значений факторов Х|.

Глава 5. Разработка моделей и методов принятия решений по результатам экспертизы качест ва

В пятой главе рассматриваются проблемы принятия решений по результатам проведения экспертизы качества. Сертификация авиаспециалистов рассматривается как процедура принятия решений о качестве, внутри которой формируюется обобщенные и комплексиро-ваиные оценки показателей, снижается степень многокритериальности задачи. Рассматривается методика принятия решений в нечетких и в нечетко-четких условиях. Решается задача оценки достоверности и состоятельности принятого решения.

Задача принятия решений (ЗПР) по результатам экспертизы качества профессноналной подготовки авиаспециалистов состоит в выборе из множества альтернатив, характеризующих СП. наиболее подходящей, удовлетворяющей выбранному критерию.

Результаты экспертизы представляются в виде совокупности значений показателей, которые могут иметь как числовые, так и лингвистические оценки. Непосредственное принятие решений по этим дан-

ным затруднено, т.к. существует сложность восприятия из-за достаточно большого их числа и различной формы представления, а также из-за многокритериалыюсти самой задачи. Проблема решается путем формирования обобщенных оценок (комплексирования) и снижения уровня многокритериалыюсти ЗПР.

Задача формирования обобщенных оценок (свертка показателей) может быть решена на основе теории индексов, теории нечетких множеств, методом главных компонент. В последнем случае вектор оценок показателей качества нормируется и центрируется, в результате чего расчитывается корреляционная матрица, а далее выбирается один из двух вариантов: либо один из показателей определяет остальные, тогда выполняется регрессионный анализ, либо существует скрытый параметр. не включенный в анализируемую номенклатуру, влияющий на корреляционные показатели.

В первом случае при выполнении регрессионно-корреляционного анализа устанавливаются взаимосвязи между обобщенным показателем качества и характеризующими его параметрами, для чего выполняется следующая последовательность процедур: нахождение средних, стандартных отклонений, суммы взаимных произведений отклонений от среднего, коэффициентов произведений корреляционных моментов, обращение корреляционной матрицы, вычисление доверительных оценок, после чего выполняется множественный регрессионный анализ для одной зависимой переменной и множества независимых. Полученная регрессионная модель дает возможность перейти к однокритери-алыюму выбору решения.

Во втором случае решается задача расчета скрытых параметров (обобщающих факторов), для чего на основе корреляционной матрицы строится матрица факторных нагрузок, находятся факторы, расчитываются элементы мафицы факторных весов, вычисляются обобщающие факторы.

Проведенные вычисления дают возможность перейти к методике принятия решений в нечетких и нечетко-четких условиях.

В процессе принятия решений используются результаты экспертизы качества, полученные в виде нечетких чисел (Ь-Я)-типа, определенные на интервале [0,1], котрые задаются функцией принадлежности Га(Х):

где Ь и Я-невозрастающие функции на множестве неотрицательных действительных чисел (здесь экспонециальные функции), а-среднеее значение или мода числа (четкое число), I и г- левый и правый коффи-циенты нечеткости соответственно.

Решение принимается путем сравнения двух нечетких чисел, одно их которых является требованием к СП по данному показателю, а другое представляет собой абсолютную оценку СП по данному показателю. полученную в результате экспертизы.

Оценка специалиста........>(а.1,г).

Требования к специалисту........>(Ь.5,ц).

Решение о соответствии требованиям........>(с1^,|1).

Соответствующие функции принадлежности:

Областью определения функции принадлежности нечеткого решения ((1^,И) является шкала решений на интервале [0,1]. Принятие решений основано на выяснении взаимного расположения нечетких чисел (а,1,г) и (Ь.б^) и построении функции принадлежности нечеткого решения (рис. 5).

ехр[-(Ь-х)/з], 0 < х < Ь. 5 >0, 1, х=а.

ехр[-(х-Ь)/я], Ь < х < 1. я >0,

Ра(Х)

Рр(Х)

0.01

0

В

а I X о о,5

Рис. 5 Графическое отображение функции принадлежности нечеткого решения

о

0,5 II 1 X

Под состоятельностью принятого решения подразумевается величина, обозначенная СП, соответствующая уровню пересечения полученным решением сечения, равного 0,5, и вычисляемая по формуле: СН=1-ехр[-(а-х)Л], где х=(Ы+ая)/(1+я).

Достоверность принятого решения 01 представляет собой разность площадей единичного квадрата и фигуры, ограниченной сверху функцией принадлежности нечеткого решения, а снизу, слева и справа осью абсцисс, нулем и единицей соответственно. Расчет достоверности производится по формуле:

I </

1 -(| ехр(-(с1-х)^)с1х +1 ехр(-(х-<1)/Ь)с1х).

,1 о

Решение задачи объединения априорной и апостериорной ирформа-ции возможно на основе байесова подхода, когда известно априорное распределение вероятностей Р(Ьу) возможных исходов 1у £ В испытаний

0=1,т) и информация о случайных значениях х]еХ реальных исходов экспертизы качества. Также задано множество А={а1} потенциальных пользователей исследуемого СП (|= I,п) и матрица С=|г,;| затрат на переподготовку у ¡-го пользователя СП с исходом экспертизы.

Тогда априорные и апостериорные средние ожидаемые затраты на переподготовку ¡-го пользователя определяются выражениями:

гл(Ь)= £®Су©Р(Ь» (9)

/

7л(В/Х)= Х®Сц®Р(Ь|/х),

)

где Р(Ь]/х)-нечеткое число, характеризующее апостериорную вероятность ^го исхода экспертизы.

Предположим, что имеют место две гипотезы: Н1-СП работоспособен в данных условиях и Н2-СП неработоспособен, причем сумма их вероятностей равна единице, т.е. Р(Н1)+Р(Н2)=1. Пусть результаты Э экспертизы зависят от справедливости одной из гипотез, т.е. априорные вероятности Р(Н1) и Р(Н2) можно заменить условными вероятностями Р(Н1/1Э) и Р(Н2/Э). Тогда, обобщая формулу Байеса для нечетких чисел, характеризующих соответствующие условные и априорные вероятности, получим, что нечеткое число, определяющее апостериорную вероятность Р(Н 1/0), можно найти из соотношения: Р(111/0)=[Р(Э/П 1)11©Р(Н 1)1г]©[Р(0/Н 1)11<ЭР(Н !)1г® Р(0/Н 2)1|©Р(112)1г]

где©-операция умножения нечетких чисел для оценок вероятностей, определяемая как Р1г©дк=(а,а./?)1г©(Ь.а.£)1г=(аЬ,£.3).

!аУ+ЬСС, если аУ+ЬСС<I, ( ад+ЬР, если а 5+ьр<\

3 =

I, в противном случае, V, в противном случае.

© — операция сложения нечетких чисел для оценок вероятностей, определяемая как Р1гФС?1г=(а, «,/?)Ф(Ь./.£)=(а+Ь.£.3).

!а+/,ест а+У<\, ( 0+3.если Р+5<\,

3 (

I. в противном случае. 4 I, в противном случае,

©-операция деления нечетких чисел, для оценок вероятностей. определяемая как Р1г©С?1г=(а,а,/?)1г©(Ь,/. <?)1г=(а/Ь.£ .3),

((¿>а+Ь«)/л:,при (да+Ьа)1ь2<\.

I, в противном случае.

3 =

(а^+Ь/^/Л'.при (аГ+Ь/?)/Л:<1.

I, в противном случае.

Для всех введенных операций имеют место дополнительные условия:

(аЬ-(а У+Ь СС)<0, , аЬ+(а £+Ь/?)>1,

(а+Ь)-(«-Х)<0, 3=0, если/ (а+Ь)+(/? + У)>\. а/Ь-(а ОС)/ь: <0, I я/ЪЦпУ+ЬР)//г>\.

Нечеткие оценки Zi(B) и Zi(B/X) можно представить в виде тройки {ЪХХ), тогда, _используя обозначения гшах(В)=т^х гтах(В/Х)=т^х й(В/Х), гтш(В)=щт й(В). гтш(В/Х)=пцп й(В/Х). сформулируем процедуру принятия решений об использовании СП:

I. Вычисляются значения априорных функций принадлежности М (0 и непрннадлежности М~(0 ¡-го пользователя к множеству реальных пользователей исследуемого СП:

М*(0=М[а1 еАр/^(Ь)]=10с)1(В)©Х «¿¡(В)

М~(0=М[а1 £Ар/а(В)]=ЮН(В)©Х И(В), где сН(В). П(В)-мера сходства априорных оценок средних затрат на

переподготовку СП для ¡-го пользователя с минимальными и максимальными затратами соответственно, причем

^(В)=[2КВЮ2тт(В)]©гтт(В) П(В)=[2тах(В)©й(В)]ф2тах(В)

2.Рассматриваются функции принадлежности и непринадлежности каждого из пользователей к множеству реальных пользователей исследуемого СП и в множество Ар(В) включаются пользователи, для которых справедливо неравенство М+(1) > М~0).

3.Задавая различные уровни (от 0 до 1), получаем различные множества Ар(В) или Ар(В/Х). Если Ан=Ар(В/Х)/Ар(В):=0, то принимается решение о работоспособности данного СП и передаче его пользователям а!6Лр(В/Х). В противном случае проводится очередной гур испытаний. При этом , если на г-ом туре испытаний |Ан(г)| больше, чем на (г-1)-м туре, т.е. |Ан(г)|/|Ан(г-1)|>1, то исследуемого СП следует переобучить.

Аналогично решается задача о принадлежности авиаспециалиста к соответствующему классу. Разработана также процедура принятия решений в условиях определенности, неопределенности и риска.

Слава 6. Программно-методический комплекс исследования качества подготовки авиаспециалистов

В шестой главе представлены результаты практической реализации разработанной методологии в виде конкретных расчетных методов, алгоритмов и программных средств. Рассмотрены вопросы функционального взаимодействия алгоритмов в рамках единого программно-методического комплекса квалиметрии ИТС ГА. Реализована методика формирования индивидуальных профессиональных профилей СП.

Программно-методический комплекс (ПМК) решает следующие основные задачи: выбор номенклатуры показателей качества, экспертиза конструктивных показателей , экспертиза функциональных показателей, построение имитационной модели исследуемого СП, исследование модели по номенклатуре конструктивных показателей, оценка конструктивных показателей, оценка функциональных показателей, получение обобщенных оценок показателей, получение заключения о качестве подготовки исследуемого СП, построение индивидуального профессионального профиля СП, принятие решения об использовании СП.

Для решения этих задач разработана взаимообусловленная совокупность программных модулей, реализующих соответствующие ме-

тоды, алгоритмы функционирования которых объединены в рамках единого комплекса, являющегося прототипом экспертной системы.

Группа модулей реализует методы расчета и алгоритмы экспертизы показателей качества. Завершенность вычислений в модулях групповой и индивидуальной экспертизы и согласованность мнений экспертов оценивается с помощью коэффициента конкордации и критерия X : ' _

125/[ш2(к'-1)-шии=1.т,

где т-число экспертов, к-число показателей, ^-показатель связанных рангов. Б-сумма квадратов отклонений суммы рангов от средней. X2 = 102 /[кш(к+1)-1 /(к-1)£ Т1и=йй.

Удельные веса значимости показателей вычисляются соответственно:

41= X ЧЧ'П. Щ. .р'.«. ¡=1,т,

где иу-оценка важности Ьым экспертом^го объекта.

В модуле парных сравнений строится матрица парных сравнений и вычисляются соответствующие параметры. Результаты оцениваются с помощью кэффициента согласия \У, отношения Кохрена g, коэффициента Кендела \Ук, отношения Дункана Рк , критерия Диксона Ь:

\У=Х (АМ)2, g=б2 ¡пзах/£ 61. гдеб2 ¡тах=£ (и1тах-1)2/(п-1).

Wk=б/бmax, /?А сС ьС кр, где Л кр-ранг Дункана с задан-

ным уровнем значимости, К-порядок разности, р-чнсло степеней свободы, оС= /и- нормированное среднеквадратическое отклонение,

— 1—1 — # —/ —/

Ь=(Ш-и1)/(1Л-1Л), где 1_Н - ¡-ый по величине показатель.

Группа модулей реализует методы расчета и алгоритмы имитационного моделирования. Здесь вычисляется регрессионная экспресс-оценка, строится модель графа С(У,Г), расчитываются транзистивные вероятности для вершин графа, реализуется многофакторный вычислительный эксперимент с моделью графа, уточняются оценки показателей, полученные в результате эксперимента, расчитываются числовые и лингвистические оценки показателей.

Совокупность модулей реализует методы расчета и алгоритмы принятия решений на основе результатов предыдущих вычислений. Основной алгоритм принятия решений включает процедуры формирования гипотез, задания правил принятия решений, анализа оценок по-

казателей качества. Дополнительно реализуются процедуры задания функций принадлежности, расчета эталонных оценок, комплексирова-ния нечетких и четко-нечетких оценок показателей, проведение факторного и корреляционно-регрессионного анализа.

В результате проведенных вычислений и вычислительных экспериментов выдаются рекомендации по использованию конкретного СП в реальных производственных условиях.

Разработана и реализована подсистема профориентации авиаспециалистов, выявляющая на основе исследования психодиагностируе-мых показателей некоторые личностные характеристики респондентов, позволяющие решить вопрос о принадлежности исследуемого СП к определенной профессиональной группе.

На основе психологических тестов система обеспечивает получение бальных оценок, которые в рамках предложенной математической модели обрабатываются и анализируются, после чего в соответствии с диагностическими правилами осуществляется классификация СП и отнесение его к определенному атттестационному классу. В результате статистической обработки экспериментальных данных с помощью кластерного анализа для группы родственных специальностей строится профессиограмма специалистов, где каждый аттестуемый по результатам тестирования занимает соответствующее место (класс).

Глава 7. Методология оптимизации структуры инженерно-технического состава гражданской авиации по критерию качества профессиональной подготовки авиаспециалистов

В данном разделе исследуется проблема оптимизации структуры инженерно-технического состава ГА по критерию качества профессиональной подг отовки. Задача решена на уровне математической постановки и приведена к совокупности стандартных задач нелинейного и линейного программирования.

Решение проблемы оптимизации структуры ИТС ГА состоит в создании адекватной модели структуры и ее исследования в различных условиях. Указанная задача решается в двух аспектах: в долгосрочном и оперативном, что определяет выбор соответствующих моделей.

Задача долгосрочной оптимизации ИТС ГА представляет собой задачу прогнозирования уровня развития кадрового потенциала отрасли в части, касающейся ИТС, и решается с использованием многофакторного регрессионного анализа.

Математическая постановка задачи выглядит следующим образом. Многофакторная регрессионная модель определяет величину У на

основе многомерной величины Х=(Х1,Х2.....Хп), разрабатывается на

основе анализа т известных выборочных реализаций Я.= {у|,х1}, ¡=Гш, у|£у, х1£Х (У-выходной целевой признак, Х-входной признак) и представляет собой некоторый параметрический функционал Г(Х,0)

Y=X (10)

Если ЦХ, ©) имеет детерминированный характер (0-вектор постоянных коэффициентов, У- прогнозируемое по модели, усредненное значение У, 5о-параметр задачи), то регрессионная зависимость (10) является детерминированой моделью.

Если У-случайная величина, © = {© 1, ©2.....©п}-детерминированные коэффициенты, Бо-случайная величина с некоторой функцией распределения, то (10) становится вероятностной регрессионной моделью.

Рассматриваются методы факторного анализа, используемые для снижения размерности признакового пространства в тех случаях, когда т в модели (10) достаточно велико.

Показана возможность использования метода динамики средних в условиях большого числа возможных состояний системы. Предполагается, что система Б состоит из N однородных элементов, случайно переходящих из состояния в состояние, при этом потоки событий-пуассоновские, а процесс-марковский. Каждый элемент может быть в любом из возможных состояний Е1,Е2.....Еп. а состояние системы 8 характеризуется числом элементов, находящихся в каждом состоянии.

Численность состояния Ек в момент времени I есть число единиц

Хк(0, находящихся в состоянии Ек в момент ^ т.е. £ Хк(0=Ы, к=1,н,

к

или Хк(1)=£ Хк"'(0. где Хк'"(1)=1. если ¡-ый элемент в мо-

мент I находится в состоянии Ек, и Хк<о(0=0, если не находится.

Если интенсивности потоков событий, переводящих каждый элемент из состояния в состояние, известны, то математическое ожидание Мк(0= X М[Хк(,,(0] и дисперсия Эк(0=£ О[Хк("(0]. |=Ш. С учетом вида ряда распределения каждой случайной величины Хк("(0 : М[Хк("(0]=Рк(0, О[Хк'о(0]=Рк(0[1 -Рк(0], где Рк(0-вероятность того, что отдельный элемент в момент I будет находиться в состоянии Ек. Так как Мк(0=^к(1) и Ок(г)=^к(0[1-Рк(0], можно найти среднее квадратическое отклонение численности состояния Ек

бк(0=1/Л'/^(')[1- /'*(')]. т.е. указать диапазон возможных значений численности тк(0±3бк(0 и исключить из задачи вероятности состояний системы вцелом.

Если известны вероятности всех состояний одного элемента Р1,Р2,...Рп как функции времени, то известны и средние численности состояний ш1,т2,...тп и их дисперсии 61,62.....бп и поставленная задача сводится к определению вероятностей состояния отдельного элемента, которые находятся как решение дифференциальных уравнений Колмогорова для вероятностей состояний.

Задача оперативного планирования структуры И'ГС ГА представляет собой задачу рационального использования соответствующих ресурсов. Математически задача ставится следующим образом:

Минимизировать XX Су Ху (11)

' I

при условиях X Ху<В], X Ху\\'у=СН, Ху>0,

где {^-количество ресурса Дго вида 0=1,2......п), Су-заграты при использовании единицы Дго ресурса на выполнение ¡-ой программы, (51-объем Дой программы, Ху-количество j-гo ресурса, выделенного на ¡-ую программу, \Уу-эффективность единицы ¡-го ресурса при выполнении ¡-ой программы, т-количество программ, п-число видов ресурсов. Задача относится к классу задач транспортного типа.

Исследованы некоторые другие постановки указанной задачи, в частности:

-задача максимизации эффекта выполнения по всем программам, т.е.

XX ^уХу->тах, ¡= ],т, j= I,«,

при ограничениях

X ху=ви=й», Ху>0,

-задача минимизации максимального разрыва между заданным объемом программ (^¡(¡=1,ет) и эффективностью выделенных на эту программу ресурсов, т.е.

если 7л=шах{0, С^-Х ^уХу}, го Тл-......>ннп (12)

1

при ограничениях

X Ху=В|, ¡=й>, Ху>0, -задача отыскания Ху, обеспечивающего минимум Р(Х)

Р(Х)=ХХ 'У Ху.......>1П1П, ¡=Г,т, )=!,//,

при ограничениях

X Хи<Аи=1,2,...,т, X Хц>Вь j=l,2,..,n, Ху>0,

1 '

где А1-количество избыточных СП ¡-ой специальности, В^дефицит СП j-oй специальности, Ту-срок (стоимость) переподготовки СП, Ху-количество СП, планируемых для переподготовки. Представленные задачи сводятся к задачам линейного программирования транстпорт-ного типа.

В тех случаях, когда в моделях распределения ресурсов параметры оказываются случайными, используются модели стохастического программирования. В такой постановке задача (11) примет вид:

Р(Х)=М{££ Су(\у)Ху}->шш, 1Я

■ 1

при ограничениях

£ Ху<В^ 1=Ця, Р{£ Wij(w)Xij<Qi(w)}<Pi, Ху>0.

■ I

Задача (12) в этом случае имеет вид:

F(X)=minMZi(w)->тт

при ограничениях

Р(Х Ху>В.К\у)}<Р1, Ху>0,

I

гдеа(\у)=тах{0,СЖиО-Х Wij(w)Xij},j='й.

>

Исследутся также двухэтапная нелинейная модель стохастического программирования, которая используется в тех случаях, когда допускается коррекция плана распределения ресурсов по программам.

В заключении раздела рассматривается модель сопоставления различных вариантов распределения ресурсов по программам, обеспечивающая принятие оптимального в смысле некоторого критерия решения по структуре ИТС ГА.

Заключение

В процессе проведения исследований теоретически и методологически обоснованы положения, совокупность которых можно квалифицировать как вклад в развитие особо перспективного направления теории эксплуатации авиационной техники.

Научно обоснованы и практически реализованы решения, позволяющие повысить уровень БП за счет оптимизации структуры ИТС ГА по критерию качества профессиональной подготовки СП. Основными научными результатами работы являются:

- модели процесса профессиональной подготовки авиаспециалистов и модели управления этим процессом на основе полумарковских процессов и информационно-логических представлений,

- модели качества профессиональной подготовки авиаспециалистов, основанные на эксплуатационном, квалификационном и квалимегри-ческом подходах к проблеме качества,

- метод пересчета транзистивных вероятностей граф-модели качества для случая вырождаемости процедуры переходов состояний графа в линейную последовательность, обеспечивающий поглощение этого состояния обобщенной квалификационной моделью,

- методология экспертизы показателей качества, основанная на ранжировании результатов и обеспечивающая согласование мнений экспертов,

- методика измерения конструктивных показателей качества, основанная на использовании метода имитационного моделирования и процедур планирования вычислительного эксперимента,

- методология принятия решений по результатам экспертизы качества профессиональной подготовки авиаспециалистов, основанная на предварительном снижении уровня многокритериалыюсти задачи и обеспечивающая обобщение и комплексирование оценок в нечетких и четких условиях с последующим анализом достоверности и состоятельности принятого решения,

- совокупность научно-технических решений по реализации разработанных моделей и методов в рамках создания программно-методического комплекса квалиметрии ИТС ГА,

- совокупность научно-технических решений по созданию экспертной системы для построения профессиограммы авиаспециалиста,

- математическая постановка задачи оптимизации структуры ИТС ГА по критерию качества профессиональной подготовки, приведенная к совокупности стандартных задач нелинейного и линейного программирования.

Представленные научные результаты диссертационной работы дают возможность сделать следующие основные выводы: 1. ИТС ГА как объект исследования рассматривается в качестве элемента системы ТЭ авиационной техники, обладающего совокупностью характеристик и функциональных связей внутри системы, заставляющих его изучение осуществлять на базе закономерностей процессов 'ГЭ.

2. Качество обученности ИТС рассматривается как основная профессиональная характеристика, обеспечивающая возможность анализа степени ее влияния на главные параметры АТС — безопасность и экономичность полетов.

3. Система сертификации ИТС ГА, являющаяся формой и методом управления и государственного регулирования безопасностью авиаперевозок, представляется как элемент отраслевой системы управления, рассматриваемый во взаимообусловленной совокупности управленческих моделей различных иерархических уровней.

4. Анализ разработанных моделей подтверждает гипотезу о • существовании полумарковской модели процесса профессиональной подготовки авиаспециалиста. Разработанная модель достаточно адекватна реальному процессу подготовки авиаспециалистов.

5. Предложенная модель комплексного управления в системе ТЭ дает возможность исследовать систему подготовки авиаспециалистов как подсистему ТЭ и определить характер связей по управлению между субъектами технической эксплуатации.

6. Проведенные исследования совокупности моделей позволяют сделать вывод об ограниченной пригодности рассмотренных методов для сформулированных целей и выдвинуть гипотезу о преимущественном использовании для этих целей квалиметрических подходов и моделей.

7. Разработанная концептуальная квалиметрическая модель оценки уровня профессиональной подготовки авиаспециалиста объединяет различные концепции исследования в рамках квалиметрического направления, что отразилось в создании и исследовании квалификационного подхода к проблеме оценки качества.

8. Процедура принятия решений по результатам экспертизы качества профессиональной подготовки авиаспециалистов разделяется на три взаимосвязанных процесса, первый из которых состоит в предварительной обработке результатов экспертизы, связанной с вычислением обобщенных оценок, комплексированием и снижением уровня много-критериальности задачи, второй заключается в сопоставлении полученных оценок показателей с требованиями к авиаспециалисту по данному показателю, третий - в принятии решений об использовании авиаспециалиста в производственных условиях, т.е. сопоставление полученных оценок с требованиями по номенклатуре рабочих мест.

9. Предложенная методология принятия решений о качестве подготовки авиаспециалиста с одной стороны имеет достаточный уровень

теоретической проработки, что обеспечивает определенную степень уверенности в достоверности и состоятельности принимаемых решений, с другой стороны-степень детализации конкретных методик соответствует переходу на уровень создания методов расчетов и алгоритмов функционирования инструментальных средств реализации методологии.

10. Разработанная и исследованная совокупность программных средств, скомпонованная в виде программно-методического комплекса, экспериментально подтверждает практическую реализуемость созданной методологии квалиметрии ИТС ГА, достаточную применимость для поставленных целей используемых методов исследования, хорошую адаптируемость предложенных моделей.

11. Решение задачи построения профессионального профиля авиаспециалиста дает возможность предприятиям отрасли достаточно простыми средствами решить проблему выявления случаев грубого несоответствия государственным должностным профессиональным требо-)аниям к специалисту и предлагает инструмент для принятия решений.

Указанные результаты и сформулированные выводы показывают, 1то цель диссертационной работы достигнута, поставленные задачи >ешены в полном объеме.

Практическая ценность работы подтверждается рядом нормативно-ехнических документов, утвержденных руководителями заинтересо-анных министерств и ведомств, учреждений и предприятий, а также ктами о внедрении результатов диссертационной работы, представ-енными в приложении к диссертации.

Основные публикации по материалам диссертации.

Елисов Л.П., Козлов Э С. Об одном методе решения бигармониче-;ого уравнения в неоднородной области / Вычислительная техника: [ежвуз. сб. научн. трудов. - Куйб.: КПТИ, 1973. - с. 17-19. Елисов Л.П., Сергеев Н.П. АС № 376893 (СССР) Переключатель шпазонов частоты./ Опубл. в бюллетене изобретений № 17, 1973. Елисов Л.П., Сергеев Н.П., СелютинВ.А. Специализированная вы-гслительная система анализа динамических процессов/ Вычислитель-я техника: Межвуз. сб. научн. трудов. Вып. 3. - Пенза.: ППИ, 1974. -34-37.

4. Елисов Л.Н.. Сергеев Н.П.. Селютин В.А. АС N 451093 (СССР). Множителыш-делительное устройство. / Опубл. в бюллетене изобретений N 43, 1974.

5. Елисов Л.Н., Маланьин Б.Г. Об одном методе получения главной подматрицы матрицы инциденции/Применение средств вычислительной техники. Вып.67:Межвуз. сб. научн. трудов. - Рязань.:РРТИ,1975,-с.3-7.

6. Елисов Л.Н., Сергеев Н.П. и др. Элементы и узлы автоматизированных систем. - Пенза.: ППИ, 1975. - 128 с.

7. Елисов Л.П., Сергеев Н.П. Некоторые вопросы уплотнения информации при аппаратурном анализе динамических процессов / Вопросы проектирования и математического обеспечения информационно-выч. систем:Межвуз.сб.научн.трудов.-Пенза.:ППИ,1975,- с. 34-35.

8. Елисов Л.Н., Селиванов Е.П. Некоторые вопросы расчёта погрешностей систем обработки информации / Известия вузов, том XIX, N 4. -М.: Приборостроение, 1976. - с. 14-18.

9. Елисов Л.Н., Аннин Г.В., Лысов В.М. К вопросу селекции параметров при автоматизированном контроле динамических объектов / Организация производства и прогрессивная технология. Производственно-технический сб. - М.: ЦНИЛОТ, 1976. - с. 23-25.

10. Елисов Л.Н ,Селиванов Е.П.О системном подходе к исследованию прочности структур ГА / Динамика, выносливость и надёжность авиа-цион. конструкций:Межвуз.сб.научн.трудов-М.:МИИГА,1977.-c.68-7!.

11.Елисов Л.Н..Селиванов Е.П.Математические методы в теории вы-чис лительных систем. Вычислительные системы. Часть 1.-М.: И ПК, 1979 -54 с.

12. Елисов Л.Н., Селиванов Е.П. Принципы построения вычислительных систем. Вычислительные системы. Часть 2. - М.: ИПК, 1980. - 24 с.

13. Елисов Л.Н. Интенсивная дидактическая система "Фор тран". Методические материалы. Часть 1. Линейные вычисления. -М.:МИИГА, 1985, -44 с

14. Елисов Л.Н. Интенсивная дидактическая система "Фортран". Методические материалы. Часть 2. Разветвляющиеся и циклические вычисления. - М.: МИИГА, 1985. - 44 с.

15. Елисов Л.Н., Донской Д.А. и др. Конструирование и описание алгоритмов / Методические материалы по АУК обучению программированию, ч. 1.-М.: МИИГА, 1986.- 28 с.

16.Елисов Л.Н., Донской Д.А. и др. Введение в Фортран/Мет. материалы по АУК обучению программированию^.2.-М.:МИИГ'А, 1986,- 40 с.

17. Елисов Л.Н., Донской Д.А. и др. Описание языка Фортран / Мет. материалы по АУК обучению программированию, ч.З. - М.: МИИГА, 1986.-84 с.

18. Елисов Л.Н.,Донской Д.А. и др. Контрольные работы / Метод, материалы по АУК обучению программированию, ч.4. - М: МИИГА, 1986. - 108 с.

19. Елисов Л.Н., Донской Д.А. и др. Руководство обучаемого / Мет. материалы по АУК обучению программированию, ч. 5. -М.: МИИГА, 1986. - 44с.

20. Елисов Л.Н. Интенсивная дидактическая система "Фортран". Дидактические материалы. - М.: МИИГА, 1986. - 48 с.

21. Елисов Л.Н. Структура и принципы построения автоматизированных обучающих систем. - М.: МИИГА, 1986. - 24 с.

22. Елисов Л.Н. Методические вопросы создания базы знаний по дисциплине / Интенсификация обучения в вузах гражданской авиации: Межвуз. сб. научи, трудов. - М.: МИИГА, 1988. - с. 53-55.

23. Елисов Л.Н., Богачёв E.H. Социально-экономические вопросы повышения качества Г1СВТ / Управление качеством программных средств вычислительной техники: Тезисы докладов Всесоюзного семинара-совещания, Севастополь, 1989. - Тверь.: Центрпрограммсистем, 1990, - с. 15-16.

24. Елисов Л.Н., Карповский Е.Я. и др. Качество программных средств выч. техники. Концепция. - Калинин.: Центрпрограммсистем,

1989, - 26 с.

25. Елисов Л.Н., Карповский Е.Я. и др. Качество программных средств вычислительной техники. Концепция. Редакция 2. - Калинин.: Центрпрограммсистем,1989, - 26 с.

26. Елисов Л.Н. Концепция управления качеством подготовки специалистов-разработчиков программных средств вычислительной техники / Мегоды и средства повышения эффективности и качества программных систем: Тезисы докладов Всесоюзной конференции, Севастополь,

1990.-Севастополь.:-СПИ, 1990,-с. 11-12.

27. Елисов Л.Н. О некоторых подходах к проблеме аттестации специалистов-разработчиков программных средств выч.техники / Качество программных средств: Тезисы докладов Всесоюзного научно-

технического семинара, Тверь, 1990. -Тверь.: Центрпрограммсистем, 1990, -с. 91-91.

28. Елисов JI.H. Повышение качества подготовки программистов как социальная проблема повышения качества программных средств вычислительной техники. - Тверь.: Центрпрограммсистем, 1990. - с. 92.

29. Елисов Л.Н. Сертификация программ, аттестация их разработчиков. аккредитация учебных заведений - системный подход к проблеме качества программной продукции / Программное обеспечение ЭВМ: Тезисы докладов II! международной научно-технической конференции, 1990. - Тверь.: Центрпрограммсистем, 1990. - с. 36-37.

30. Елисов Л.Н. Роль и место педагогической квалиметрии в управлении качеством программных средств выч. техники:Тезисы докладов II Всесоюзного семинара,Дагомыс,1990. - М.: ВМНИИПС. 1990. - с.36-37.

31. Елисов Л.Н., Гоголин А.С., Голиков И.В. Определение тестированием профориентации программистов / Управление качеством программных средств вычислительной техники: Тезисы докладов Всесо-юзн. семинара. Дагомыс, 1990. - М.: ВМНИИПС, 1990. - с. 24-25.

32. Елисов Л.Н.. Шибицкий В.П. Основы алгоритмического мышления и программирование.Дидактическая система. - М.:МИИГА,1990. -104с.

33. ЕЗлисов Л.Н., Василевская И.Л., Лукава Г.Г., Филосовские аспекты квалиметрической оценки качества подготовки специалиста и проблема без опасности на воздушном транспорте / Логико-методические проблемы технической эксплуатации летательных аппаратов и обеспечения безопасности полётов: Межвуз. сб. науч. трудов. -М.: МИИ-ГА, 1992 -с. 3-15.

34. Елисов Л.Н., Василевская И.Л. Номенклатура показателей качества подготовки специалистов по вычислительной технике/ Квалиметрия человека и образования: методология и практика, Тезисы докладов Первого симпозиума, Москва, 1992.-М.:ИЦ. 1992.-е. 18-20.

35. Yelissov L..Chizhov S. Software Certification and Attestation of Software Developers / EOQ. Quality, V.XXXIV, N 4/90, Bern, Switzeland. 1990, pp. 12-14.

36. Vorobyoff V., Yelissov L. Program qualuty as a function of a programers professional training level. I Quality the International language. - Auckland, New Zeland, 1991, pp. 94-98.

37.Yelissov L., Chizhov S. Software Developers certification by means of pedagogical qualimetry / The human factor in quality management. -Prague. Chechoslovakia, 1991,-pp. 182-186.