автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Оценка характеристик радиотехнических устройств с использованием экспертно-статистических методов

На правах рукописи ^

БАБКИН СЕРГЕЙ АЛЕКСАНДРОВИЧ

ОЦЕНКА ХАРАКТЕРИСТИК РАДИОТЕХНИЧЕСКИХ УСТРОЙСТВ С ИСПОЛЬЗОВАНИЕМ ЭКСПЕРТНО-СТАТИСТИЧЕСКИХ МЕТОДОВ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Воронеж - 2009

003481298

Работа выполнена на кафедре организации деятельности подразделений вневедомственной охраны Воронежского института МВД России.

Научный руководитель: доктор технических наук, профессор Бухарин Сергей Васильевич

Официальные оппоненты: доктор технических наук, доцент Дурденко Владимир Андреевич

кандидат технических наук, доцент Пьянков Олег Викторович

Ведущая организация: Воронеж, ОАО «Концерн «Созвездие»

Защита диссертации состоится «19 » ноября 2009 года в И00 часов на заседании диссертационного совета Д 203.004.01 по защите докторских и кандидатских диссертаций при Воронежском институте МВД России по адресу: 394065, г. Воронеж, проспект Патриотов, 53, конференц-зал.

С диссертацией можно ознакомиться в библиотеке Воронежского института МВД России.

С текстом автореферата можно ознакомиться на официальном сайте Воронежского института МВД России: www.vimvd.rn в разделе "Главная" -"Научная работа" - "Диссертационные советы" -"Д 203.004.01".

Автореферат разослан «17» октября 2009 г.

Учёный секретарь диссертационного совета

С.В. Белокуров

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. При приобретении нового радиотехнического прибора или устройства этом быть учтен целый ряд характеристик (показателей, признаков). Некоторые из признаков носят количественный характер, другие признаки являются качественными и поэтому не могут быть выражены количественно и носят оценочный характер:

Кроме того, очевидно, что все технические характеристики неразрывно связаны • с ценой изделия. Поэтому потребитель должен выбирать приобретаемый радиотехнический прибор, исходя из компромисса: качество -цена. Научно обоснованным подходом к выбору приемлемого радиотехнического прибора, в случае необходимости учета большого количества взаимосвязанных характеристик, является экспертный подход.

В теории и практике применения экспертных систем известно два основных направления: 1) системы, основанные на создании базы знаний и применении методов искусственного интеллекта; 2) системы, использующие базы данных и методы математической статистики.

Экспертные системы искусственного интеллекта имеют ряд принципиальных недостатков: процессы разработки экспертной системы очень длительны и дорогостоящи; для создания полноценной базы знаний требуется привлечение очень большого количества экспертов и др. В связи с изложенным, в работе исследуется другой класс экспертных систем, основанный на применении методов математической статистики, т.е. программы, которые создаются максимум за 1 — 2 года и требуют для своего функционирования небольшой группы экспертов.

Вместе с тем, в теории и практике статистических экспертных систем существует ряд нерешенных проблем, которые требуют своего исследования: оценка согласованности группы экспертов, определение минимально достаточного количества экспертов, методика планирования экспертизы и др.

Необходимость разрешения этих и других вопросов теории статистических экспертных систем оценки характеристик радиотехнических приборов обуславливает актуальность выбранной темы.

Цель и задачи работы. Целью работы является математическое моделирование экспертно-статистических систем, разработка и исследование методов статистической экспертной оценки, разработка основных этапов экспертной технологии и методики численного анализа основных показателей радиотехнических устройств.

Для достижения поставленной цели необходимо решить следующие основные задачи:

1. На основе исследования современного состояния и перспектив развития экспертных систем обосновать выбор варианта экспертно-статистической системы и принципы планирования экспертного эксперимента.

2. Провести теоретическое обоснование предлагаемого экспертно-статистического метода на основе введения понятия экспертно-вероятностного пространства, понятия идеального наблюдателя, анализа статистических свойств экспертных оценок, нового критерия согласованности оценок.

\ у

3. Разработать и исследовать математические модели и алгоритмы экспертного оценивания на основе анализа параметрических гипотез, применения регрессионного анализа и алгоритмов категоризации данных, критерия знаков, критерия Вилкоксона.

4. На основе проведенных исследований сформулировать основные этапы технологии экспертного оценивания, разработать методику численного эксперимента и программное обеспечение.

Методы исследования. Для решения перечисленных задач в диссертационной работе были использованы методы теории вероятностей, математической статистики, функционального анализа, теории информационных систем.

Научная новизна диссертационной работы заключается в следующем:

1. Предложен и обоснован новый метод статистического экспертного анализа, основой которого являются: представление мнений экспертов векторами в многомерном пространстве признаков; гипотеза о существовании идеального наблюдателя; введение комплексного показателя качества, учитывающего влияние признаков и функцию цены.

2. Введен новый критерий согласованности группы экспертов на основе принадлежности векторов их оценок «шару» в многомерном пространстве признаков и определение минимально достаточного количества экспертов путем вычисления обобщенной дисперсии выборки.

3. Минимизация требуемого количества экспертов с учетом коррелированности их векторов оценок, использованием теоретико-информационного подхода и процедуры ортогонализация векторов оценок.

4. Исследования статистических свойств векторов оценок и их характеристик, проверки простых и сложных гипотез относительно величины оценок, применения линейной и нелинейной регрессии в установлении зависимости комплексного показателя качества от цены.

5. Обоснование целесообразности применения и исследование дополнительных аналитических процедур: алгоритмов категоризации данных, критерия знаков, критерия Вилкоксона.

6. Новый метод планирования экспертизы на базе введенного понятия «куб экспертного эксперимента», разработка технологии проведения экспертизы, методики численного эксперимента и программного обеспечения.

Практическая значимость работы определяется комплексом проведенных исследований, позволивших создать новую методику планирования экспертного эксперимента с различными вариантами усреднения: по множеству экспертов, по множеству признаков, по множеству объектов. Разработана детализированная технология проведения экспертизы, методика численного эксперимента и программное обеспечение в двух вариантах: как для простых задач экспертизы, так и для сложных и ответственных задач.

Результаты работы внедрены в НИР Концерна «Созвездие», ФБУ, ЦИТО УФСИН России по Воронежской области, а также в учебный процесс Воронежского института МВД России и Воронежского института ФСИН России.

Апробация работы. Основные результаты работы докладывались и обсуждались: на Всероссийской научно-практической конференции «Охрана, безопасность и связь-2007» - Воронеж, ВИ МВД, 2007; на IX Всероссийской научно-технической конференции «Повышение эффективности средств обработки информации на базе математического моделирования» - Тамбов (27 - 28 апреля 2009 г.); на 5-ой Международной заочной научно-практической конференции «Составляющие научно-технического прогресса» - Тамбов, ТГТУ (29 - 30 апреля 2009 г.); на 7-ой Всероссийской научно-практической конференции с международным участием «Инновационные технологии и экономика в машиностроении» - Юрга, Юргинский технологический институт (филиал) Томского политехнического университета (21-22 мая 2009 г.).

Публикации. По теме диссертационного исследования опубликовано 14 печатных работ.

Содержание работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 149 наименований, приложения, и содержит 162 страниц машинописного текста, 23 рисунка, 13 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной темы, сформулированы цель и задачи работы, охарактеризованы применяемые методы, раскрыты научная новизна и практическое значение результатов исследования. Дана краткая характеристика структуры и содержания работы.

В первой главе рассматриваются современное состояние и перспективы развития экспертных систем. Обосновано, что задача экспертного оценивания характеристик радиотехнических систем и устройств является не чисто технической задачей, а задачей технико-экономического оценивания.

Произведен сравнительный анализ двух основных направлений развития экспертных систем: так называемых систем искусственного интеллекта; систем, основанных на статистических методах оценки. Показаны преимущества статистических экспертных систем: большая универсальность; небольшое количество экспертов; сравнительно малое время разработки; база данных формируется в темпе реального времени.

При планировании экспертизы обычно используется пообъектный план, при котором полная группа экспертов последовательно оценивает К объектов. Однако в ряде случаев с организационных или экономических соображений необходимо использовать и иные планы. Например, поэкспертный план - вся совокупность объектов оценивается последовательно 1, 2.....и-ым экспертами.

Предложен общий подход к планированию эксперимента и введено новое понятие «куб экспертного эксперимента». При этом формируются таблицы экспертных оценок (табл. 1), которые, располагаясь последовательно, образуют трехмерное пространство.

Табл. 1

Экспертные оценки *<к),] к-го объекта

Эксперты / = 1,2, ...,и Признаки 1,2,... т,...,М Сумма оценок по экспертам

1 2 т

1 М хп 12 Л*) \ш )

п «1 лп2 X« лпт }

Сумма оценок по признакам ~м * / и

Совокупность представленных оценок в К последовательно размещенных

таблицах размерности пхт математически представляет собой тензор

третьего ранга (трехмерное обобщение понятия матрицы). Выбирая движение по различным «граням» этого куба, мы принимаем другой план эксперимента.

Определен круг недостаточно разрешенных вопросов теории и практики использования экспертно-статистических систем. Сформулированы цель и задачи диссертационного исследования.

Вторая глава посвящена теоретическому обоснованию

разрабатываемых экспертно-статистических методов.

В качестве основы построения математической модели экспертных систем по аналогии с вероятностным пространством введено экспертно-статистическое пространство (или просто экспертное пространство), т.е. тройка множеств

< О, Е, Х>, (1)

где О - множество объектов, Е - множество экспертов, X - множество экспертных оценок. Первые два множества являются конечными и состоят из следующих элементов

оке О, 1,2, ...К, е , еЕ, /=1,2, ...ЛГ где К - общее число сопоставляемых в процессе экспертизы объектов, N— количество экспертов. Множество X состоит из экспертных оценок

7 - го признака к - го объекта / - ым экспертом:

х(к)иеХ, ] = 1, 2,.... N.

Отметим, что дискретная (балльная) шкала оценивания при нормировке оценок превращается в непрерывную. Поэтому для установления

статистических свойств оценок предложено использовать особый математический объект - интеграл Стилтьеса, позволяющий описывать свойства как дискретных, так и непрерывных распределений:

ь

Л = \/(х) с1Р(х), (2)

а

где Р(х) — функция "распределения вероятностей.

В случае непрерывного распределения вероятностей Js превращается в обычный интеграл Римана, а в случае дискретного — в сумму:

А

^ = | /(х) р(х) сЬс; = X /М Р> ■

с /-1

Вообще говоря, прямое использование, методов математической статистики в задачах экспертного оценивания затруднено, поскольку нарушается требование постоянства основных условий статистического эксперимента: оценки даются не одним и тем же экспертом, а разными. Для преодоления этого затруднения предложено понятие идеального (эталонного) наблюдателя, вектор оценок которого имеет вид

хэ = Ит^Дз,...,^), (3)

п-ка .

В этих условиях доказано выполнение основных требований к качеству статистических оценок: состоятельность, несмещенность, эффективность, достаточность.

Распределение оценок экспертов естественно считать близким к нормальному. Дня определения степени этой близости в ходе экспертного -эксперимента необходимо рассмотрение моментов распределения более высоких порядков.

Используя свойства интеграла Стилтьеса, определим центральный

момент у-го порядка и его выборочный аналог ту

ИУ = ](х-Мк)^(х), шу = -¿(х, -ЗсУ . (4)

« м

Коэффициент асимметрии ^и коэффициент эксцесса у2 у,=ц3/а3, у2=ц4/а4-3; характеризуют поведение распределения вероятностей вблизи среднего значения. Предложено описание распределения 3 членами ряда Эджворта

Проблема подбора состава экспертной группы является исключительно важной и разрешение ее является одним из первых этапов технологии экспертизы. В отличие от известного подхода, основанного на определении коэффициента конкордации, применим для оценки согласованности экспертов методы функционального анализа.

Пусть вектор оценок /-го эксперта имеет размерность т:

1У{х)=р{х)

Х1 ~ \хП>хП,—'Хш ) • Норма и скалярное произведение в пространстве случайных векторов примут вид

1т т

IIх/ II = Л МЕх1; (*,»х:)=Л/Ехух1] • (6)

V м м

Рис. 1. Возможные варианты векторов оценок экспертов

Построение корреляционной матрицы Я = {кц} векторов оценок экспертов позволяет прийти к предварительному выводу о степени их согласованности.

В качестве более точной меры рассогласованности предложено использовать понятие шара в ти-мерном пространстве (рис.1). Шаром В(хэ,г) с центром в точке идеального экспертах-} и радиусом г является совокупность точек х пространства X, удовлетворяющих неравенству Р(*>*э)^ г, где р(х,,*/)= ||х,. -х,|

Для определения минимально достаточного количества экспертов предложено использовать обобщенную дисперсию выборки как определитель Q ковариационной матрицы б:

С = {*„*/*/}. и = 1,2,..., и. (7)

Достаточное количество экспертов определяется при убывании величины Q до заданного уровня Е коэффициента рассеяния

крас-Щё1.

При анализе выявлено, что требуемое количество экспертов может быть значительно снижено за счет учета корреляционных связей между векторами их оценок. Последнее подтверждается применением теоретико-информационного подхода и определением взаимной информации оценок экспертов

Ах у ; х1]) - Дх//; хц) >

/(х 0'= 1.2,...,»«). (8)

Требуемое количество экспертов можно еще более уменьшить, используя один из методов функционального анализа - ортогонализацию векторов оценок

=(х9,х,±)/(х,1,х,±). (9)

/=1

При этом даже удается вьщелить 2-3 наиболее компетентных экспертов. Для целей экспертизы предложен показатель «качество-цена»

КОЛ

где хка1, хкач — усредненные количественные и качественные признаки, Р-цена изделия. Введены весовые коэффициенты как отдельных

признаков, так и групповые Укол, Укач, Уцены и сформирован комплексный показатель качества:

р

/ = х г баз ПС»

Ач7ч кол / ' ],кол ],К!>л г цены Т)(к) ' Vх"/

/ У "

В третьей главе рассмотрены основные математические модели и алгоритмы экспертного оценивания. Задача балльной оценки признаков в предположении существования идеального наблюдателя сведена к задаче проверки статистических гипотез

#0 : х} =т0; Н1: х] =ти у = 1,2,...,А/. Для устранения влияния склонности какого-нибудь эксперта к завышению или занижению оценок по всем признакам при условии правильности их соотношения вводится нормировка

норм _ х /

"/Й-

где |х,|| - норма вектора оценок i - го эксперта. Поэтому, даже при исходной дискретной (5-балльной) шкале оценивания, нормированные оценки принимают не целые, а дробные значения. Иначе говоря, выборочные распределения нормированных оценок непрерывны.

На основе отношения функций правдоподобия определена наилучшая критическая область (НКО) оценок экспертов

хАт^т,)—^- (11)

2 п(т1 —т0)

Особенностью экспертной практики является большое разнообразие целей и задач оценивания. Зачастую приходится рассматривать объекты экспертизы с различных позиций и использовать сочетания разнообразных методов исследования. Так, кроме рассмотренной методики получения статистических оценок признаков отдельным экспертом, зачастую возникает необходимость анализа статистической зависимости комплексного показателя

качества 3 от цены радиотехнического прибора. Другими необходимыми методами экспертизы являются: метод категоризации данных, свободные от вида распределений критерии знаков и Вилкоксона. Представляется целесообразным использование этих аналитических процедур как на предварительных этапах экспертизы, так и после окончания компьютерного статистического анализа - для уточнения результатов экспертизы.

Итак, в качестве одной из мер для уточнения результатов экспертизы предложено исследование регрессии комплексного показателя качества 3 на функцию цены Р. Установлено) что типовая зависимость для большинства радиотехнических приборов носит существенно нелинейный характер: при малых ценах величина показателя У быстро возрастает с увеличением Р, а при больших ценах показатель увеличивается незначительно.

Поэтому исследована применимость алгоритмов полиномиальной регрессии

8(Р) = Ь0+Ь1Р + ... + ЬпРп

и регрессии на основе ортогональных функций

яИ = с0ФоИ+- + сиФл(^). (12)

Последний случай особенно привлекателен с позиций вычислений, поскольку коэффициенты су определяются независимо друг от друга: су=М[Усру(р)], V = 1,2,...

Установлено, что регрессионный анализ может применяться как на начальной стадии экспертизы, так и после проведения численного эксперимента - для более надежной интерпретации его результатов. Для этих целей предложено использовать и другие статистические методы: категоризацию данных, критерий знаков, критерий Вилкоксона.

Категоризацию данных предлагается использовать для установления связи между двумя или более качественными признаками на основании классификации п объектов и сравнения частот попадания объектов с этими признаками в различные классы. Обычно некоторый из признаков X выбирается основным, а другой 1 - дополнительным. Обозначив Х,2 -отсутствие соответствующих признаков, на основе эксперимента определяются частоты (табл. 2).

Табл. 2

Частоты событий Х7,х2,хг,х2

События 2 2 Сумма

X д(Х%)

X д(хг) д(хю

Сумма яЮ 9(2) п

Введен показатель взаимосвязи качественных признаков ^ _ [д(Х2) + д{Х2)][д{Х2) + д(Х2)} п

по знаку которого можно определить взаимосвязь как положительную или отрицательную и частотный аналог коэффициента корреляции: [д(хг) + д(Х2)]ЫХ2) + д{Х2)} ^ п

Исследованы статистические свойства коэффициентов "к, И и проведен численный анализ их зависимости от частоты несовпадения признаков Показано, что надежность определения зависимости возрастает с увеличением объема выборки п.

Для предварительного экспресс-анализа объектов экспертизы предложено использовать упрощенные процедуры сравнения объектов, основанные на выделении в них ряда признаков

х(к) _.(*) (к)

и попарному сравнению, исходя из принципа: «лучше или хуже». Исследованы две процедуры: критерий знаков и критерий Вилкоксона. Эти методы являются наиболее удобными при проверке гипотезы об однородности технических средств по признакам и цене.

В критерии знаков предполагается: ситуации х^ >х{2) или хр) лучше х<2> соответствует +1 или знак "+"; а ситуации -< х-2> или х,(1) хуже х-2) соответствует -1 или знак "-".

Рассматривается соотношение между порядковыми статистиками хщ, х(2), ..., Х(п) и гипотетическим (предполагаемьш) значением числа х0 знаков "-", подлежащим проверке. Сосчитаем, сколько наблюдений в выборке попадает ниже х0, т.е. образуем функцию статистики

Я = о-*(,))> где л(*) = |о (14)

Исследованы ее статистические свойства, в частности, определена функция мощности критерия <21 (р) для вероятности Р - Р(х •< х0):

В отличие от критерия знаков, в критерии Вилкоксона двум ситуациям, описанным выше, приписываются значения 0 или 1 и используются для рангов ^ следующие статистики:

"г

" = 11V

,=1 '=1 у=1

В целом же статистические свойства обоих критериев равноценны.

Четвертая глава посвящена разработке и апробации технологии экспертного оценивания.

На основе исследований, проведенных в предыдущих главах, разработаны следующие этапы технологии экспертизы:

и

Табл. 3

Этапы технологии экспертизы

Этап Содержание Примечание

1 Формулировка цели и задач экспертизы

2 Экспресс-процедура проверки согласованности группы экспертов

3 Выделение качественных и количественных признаков объекта

4 Выбор шкалы оценивания

5 Формирование комплексного показателя качества (качество-цена)

6 Разработка плана экспертного эксперимента на основе «куба» эксперимента

7 Получение экспертных оценок

8 Численный и статистический анализ с помощью компьютерной программы обработки оценок Обратная связь: переход к п.2

9 Аналитические процедуры (регрессия, категоризация данных, критерий знаков, критерий Вилкоксона) Обратная связь: переход к п.5

10 Формирование заключения экспертизы

Разработана экспресс-процедура и программа проверки согласованности экспертов на языке Object Pascal. Проведенные численные исследования показывают, что уже на этапе предварительного анализа можно сделать достаточно уверенные выводы о целесообразности включения экспертов в группу на основании вычисления корреляционной матрицы их векторов оценок. Отрицательные коэффициенты взаимной корреляции эксперта с каждым из остальных приводят нас к необходимости его исключения из группы (рис.2).

Количество Жспвртм

: ЕГЫ

■ '•л-л.-г-^отг. пл. tv-го» •

г в ¡4 |г |з в..........|4.........:|а"":''Тэ........

» 5 3 э |э ;i i з..........ja.........|в ......|в.....

Рис. 2. Коррелированное™ векторов оценок экспертов

Численные расчеты подтвердили эффективность исключения влияния «добрых» или «злых» экспертов на результаты совместной экспертизы путем нормировки векторов их оценок.

Более точную информацию о согласованности экспертов можно получить на основе построения е - шара рассеяния с центром - вектором идеального наблюдателя. Окончательной процедурой экспресс-анализа является определение минимально достаточного количества экспертов на основании построения зависимости обобщенной дисперсии выборки Q от количества экспертов.

Основная программная часть экспертного эксперимента реализована с использованием языка программирования Delphi 7, языка запросов SQL. База данных формируется на MS Access. В качестве технологии подключения к базе данных была выбрана технология ADO.

Результаты численного эксперимента подтверждают сделанный ранее вывод о необходимости повторной проверки согласованности экспертов после статистической обработки результатов экспертизы, т.е. возвращения к п.2 разработанной технологии экспертизы (см. табл.3).

Заключение содержит основные выводы и рекомендации.

Приложение содержит: 4 акта о внедрении, алгоритм установления однородности свойств радиотехнических приборов и устройств на основе критерия Вилкоксона; описание основного программного обеспечения.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. На основе сравнительного анализа двух основных направлений развития экспертных систем: систем искусственного интеллекта и систем, основанных на статистических методах оценки, установлена предпочтительность использования систем второго вида в силу серьезных методологических недостатков первых систем.

2. Предложен метод статистического экспертного анализа, элементами которого являются: представление мнений экспертов векторами в многомерном пространстве признаков; определение согласованности на основе принадлежности векторов «шару» в многомерном пространстве; установление минимально достаточного количества экспертов на основе вычисления обобщенной дисперсии выборки с учетом коррелированности векторов оценок; ортогонализация векторов оценок с целью выявления наиболее компетентных экспертов.

3. Введен комплексный показатель качества, учитывающий влияние как количественных, так и качественных (наличие или отсутствие) признаков сравниваемых объектов и два варианта функции цены. Разработана методика линейного и нелинейного регрессионного анализа комплексного показателя.

4. Введено понятие идеального наблюдателя и исследованы статистические свойства векторов оценок экспертов в многомерном пространстве признаков. Процедура выбора экспертом определенного балла при оценивании обоснована как задача различения простых или сложных статистических гипотез.

5. Как на этапе предварительного анализа, так и на этапе уточнения полученных результатов экспертизы предложено использовать дополнительные статистические алгоритмы, основанные на категоризации данных, критерии знаков, критерии Вилкоксона.

6. Для планирования численного и статистического анализа предложено новое понятие: «куб» экспертного эксперимента. Детально разработаны этапы технологии экспертизы, предполагающие как основную последовательность действий, так и условия возвращения к предыдущим этапам (обратная связь) с целью уточнения результатов экспертизы.

7. Разработаны две программы численного анализа согласованности экспертов и обработки экспертных оценок. Для простых задач экспертизы целесообразно использовать упрощенную программу экспресс-анализа, основанную на максимизации комплексного показателя качества. Для сложных и ответственных задач целесообразно использовать предложенный метод и разработанную технологию экспертизы в полном объеме.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Научные статьи

В изданиях, рекомендованных ВАК РФ:

1. Бабкин С. А. Теоретико-информационный подход к экспертной оценке качества устройств и систем связи [Текст] / С. А. Бабкин, С. В. Бухарин // Теория и техника радиосвязи: научно-технический сборник. - 2008. - Вып. 2. -С.54-57. (Бабкиным С.А. разработана методика подбора экспертной группы для оценки качества устройств систем связи).

Другие статьи:

2. Бабкин С. А. Теоретическое обоснование экспертно-статистических методов [Текст] / С. А.Бабкин // Вестник Воронежского института МВД России. -2008.- №3,- С. 136-141.(Бабкиным С.А. предложено использовать интеграл Стильтьеса, являющийся универсальным средством анализа свойств и характеристик как непрерывного, так и дискретного распределения вероятностей).

3. Бабкин С.А. Статистические свойства экспертных оценок [Текст] / С. А.Бабкин, В. В. Конобеевских // - Вестник Воронежского института МВД России. - 2008. - №3. - С. 141-147.(Бабкиным С.А. предложено использовать ряд Эджворта с вычислением выборочных коэффициентов ассиметрии и эксцесса для проверки гипотезы о нормальности распределения оценок экспертов).

4. Бабкин С. А. Организация экспертизы на основе статистических методов обработки информации [Текст] / С. А. Бабкин, В. В. Конобеевских // -Вестник Воронежского института МВД России. - 2008. - № 4. - С. 123-130. (Бабкиным С.А. предложено использовать компонентный метод для выявления связи между единичными показателями качества объектов исследования).

5. Бабкин С. А. Установление однородности радиотехнических товаров (работ, услуг) на основе критерия знаков [Текст] / С.А. Бабкин, C.B. Бухарин. // Вестник Воронежского института МВД России. - 2009. - № 1. - С. 115-121.

(Бабкиным С.А. для проверки гипотезы об однородности технических средств предложено использовать свободный от распределения процедуры математической статистики критерий знаков).

6. Бабкин С. А. Установление цены радиотехнических товаров на основе статистического критерия Вилкоксона [Текст] / С.А. Бабкин // Вестник Воронежского института МВД России. - 2009. - № 2. — С. 155-156.( Бабкиным С.А. предложена методика установления идентичности и однородности радиотехнических устройств на основе критерия Вилкоксона).

Материалы научно-практических конференций

7. Бабкин С.А. Основы построения экспертно-статистических систем [Текст] / С. А. Бабкин, В. В. Конобеевских // инновационные подходы к применению информационных технологий в профессиональной деятельности : Сб. материалов междунар. науч. Интернет конф. - Белгородский филиал НАЧОУ ВПО СГА. - Белгород 2009. - С. 281-285. (Бабкиным С.А. рассмотрены основы построения математической модели экспертных задач, по аналогии с вероятностным пространством, введено понятие экспертного пространства).

8. Бабкин С.А. Системы статистической обработки экспертных оценок [Текст] / С. А. Бабкин, В. В. Конобеевских // Современные проблемы науки: Сб. материалов междунар. науч. конф. / ТГТУ. - Тамбов 2009. - С. 104-Ю6.(Бабкиным С.А. предложен метод гиперупорядочения альтернатив, который содержит существенно больше информации о предпочтениях эксперта, чем ранжирование).

9. Бабкин С.А. Общие принципы построения интерпретатора экспертной системы [Текст] / С. А. Бабкин, В. В. Конобеевских // Современные проблемы науки: Сб. материалов междунар. науч. конф. / ТГТУ. - Тамбов 2009. - С. 103-Ю4.(Бабкиным С.А. предложено использовать функциональную модель интерпретатора для оценки качества исследуемой совокупности объектов в экспертных системах, основанных на статистической обработки информации).

10. Бабкин С.А. Экспертные системы, основанные на статистической обработке информации [Текст] / С. А. Бабкин // Охрана, безопасность и связь: Сб. материалов междунар. науч. конф. / Воронежский институт МВД России. -Воронеж, 2007. - Ч. 2. - С. 53-55. (Бабкиным С.А. проведен анализ существующих экспертных систем и представлены преимущества систем статистической обработки информации).

11. Бабкин, С.А. Особенности применения экспертных систем второго поколения [Текст] / С. А. Бабкин // Охрана, безопасность и связь : сб. материалов междунар. науч. конф. / Воронежский институт МВД России. -Воронеж, 2007. - Ч. 2. - С. 55-56.(Бабкиным С.А. проведено сравнение экспертных систем 1-го и 2-го поколения).

12. Бабкин С.А. Анализ методов определения количественного и качественного состава экспертной группы [Текст] / С. А. Бабкин,. В. В. Конобеевских, А. С. Мальцев // Инновационные технологии и экономика в машиностроении: Сб. материалов, междунар. науч. конф. / ЮТИ. - Юрга, 2009.

- С. 456-459.(Бабкиным С.А. проведен анализ методов определения количественного и качественного состава экспертной группы).

13. Бабкин С.А. Оценка согласованности мнений экспертов [Текст] / С. А. Бабкин, В. В. Конобеевских, А. С. Мальцев // инновационные технологии и экономика в машиностроении: Сб. материалов, междунар. науч. конф. / ЮТИ. -Юрга, 2009. - С. 459-4б2.(Бабкиным С.А. предложена методика оценки согласованности мнений экспертов, основанная на использовании метрического коэффициента).

14. Бабкин, С.А. Установление идентичности технических товаров (работ, услуг) на основе критерия знаков [Текст] / С.А. Бабкин, С.В. Бухарин.// Повышение эффективности средств обработки информации на базе математического моделирования: сб. материалов всероссийская науч. конф./ -Тамбовское высшее военное авиационное инженерное училище радиоэлектроники,- Тамбов, 2009. - С. 45-47. (Бабкиным С.А. рассмотрена возможность разработки рациональных алгоритмов установления однородности радиотехнических устройств на основе критерия знаков при построении экспертных систем, основанных на применении методов математической статистики)

Подписано в печать «!£у> октября .2009 г Формат 60x84 . Усл. печ. л. 0,93. Уч.-изд. л. 1,0. Заказ N¡14-/. Тираж 100 экз.

Типография Воронежского института МВД России

394065, Воронеж, просп. Патриотов, 53

ВВЕДЕНИЕ.

Глава 1. СОВРЕМЕННОЕ СОСТОЯНИЕ И ПЕРСПЕКТИВЫ

РАЗВИТИЯ ЭКСПЕРТНЫХ СИСТЕМ.

§ 1.1. Исходные положения.

§ 1.2. Экспертные системы искусственного интеллекта.

§ 1.3. Экспертно-статистические методы оценивания.

§ 1.4. Цель и основные задачи исследования.

Выводы.

Глава 2. ТЕОРЕТИЧЕСКОЕ ОБОСНОВАНИЕ ЭКСПЕРТНО

СТАТИСТИЧЕСКИХ МЕТОДОВ.

§ 2.1. Экспертное пространство.

§ 2.2. Статистические свойства экспертных оценок.

§ 2.3. Критерий согласованности экспертной группы.

§ 2.4. Ортогонализация векторов оценок.

§ 2.5. Комплексный показатель качества.

Выводы.

Глава 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ И АЛГОРИТМЫ

ЭКСПЕРТНОГО ОЦЕНИВАНИЯ.

§ 3.1. Параметрические гипотезы экспертных оценок.

§ 3.2. Регрессионный анализ комплексного показателя качества.

§ 3.3. Категоризация данных в экспертных системах.

§ 3.4. Установление однородности качества радиотехнических приборов и устройств на основе критерия знаков.

Выводы.

Глава 4. ТЕХНОЛОГИЯ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ.

§ 4.1. Основные этапы технологии экспертизы.

§ 4.2. Методика численного эксперимента.

§ 4.3. Процедура экспертного анализа.

Выводы.

Актуальность темы исследования. Рынок радиотехнических приборов и устройств в настоящее время весьма насыщен. В этой связи у организации-покупателя возникает зачастую весьма трудная проблема: какое же из предлагаемых изделий следует приобрести. При этом должен быть учтен целый ряд характеристик (показателей, признаков). Некоторые из признаков носят количественный характер и могут быть выражены числом: частоты связи, предельная дальность сообщения, помехоустойчивость, вес и т.д. Другие признаки (качественные) не могут быть выражены количественно и носят оценочный характер: страна изготовления, торговая марка, удобство эксплуатации, внешний вид и т.д.

Кроме того, очевидно, что все технические характеристики неразрывно связаны с ценой изделия. Поэтому потребитель должен выбирать приобретаемый радиотехнический прибор исходя из компромисса: качество — цена.

Научно обоснованным подходом к выбору наилучшего радиотехнического прибора является: создание группы экспертов, получение экспертных оценок, численная обработка результатов экспертизы. Иначе говоря, речь идет о создании экспертной системы — алгоритма или компьютерной программы, способных в диалоге с экспертами выполнять экспертизу и обосновывать рациональные управленческие решения, основанные на методах искусственного интеллекта и (или) математической статистики.

В теории и практике применения экспертных систем известно два основных направления: 1) системы, основанные на создании базы знаний и применении методов искусственного интеллекта [15, 28, 29, 37, 57 и др.]; 2) системы, использующие базы данных и методы математической статистики [16, 21,70, 74, 99 и др.].

Экспертные системы искусственного интеллекта имеют ряд принципиальных недостатков: 1) пространство знаний и пространство правил вывода являются неполными и незамкнутыми; 2) процессы разработки, программирования и «обучения» экспертной системы очень длительны и дорогостоящи; 3) для создания полноценной базы знаний требуется привлечение очень большого (теоретически — бесконечного) количества экспертов; 4) база знаний заполняется под конкретный класс объектов экспертизы, поэтому созданные системы имеют весьма ограниченную сферу применения.

Для оценки объектов в столь стремительно развивающихся отраслях, как электронная и радиотехническая промышленность, необходимы программы, которые создаются максимум за 1 - 2 года и требуют для своего функционирования небольшой группы экспертов. Поэтому, в подавляющем большинстве случаев практическое значение имеют именно системы статистической обработки компьютерной информации.

Вместе с тем, в теории и практике экспертных систем существует ряд нерешенных проблем, которые требуют своего исследования. Не решен один из важнейших вопросов - согласованность группы экспертов. Одним из наиболее распространенных приемов является использование так называемого коэффициента конкордации [46]. Во-первых, этот коэффициент применяется для ограниченного класса систем, в которых используются ранговые статистики, во-вторых, он не удовлетворяет обычным аксиомам метрики в многомерном пространстве. Последнее обстоятельство не позволяет использовать мощные методы функционального анализа. Нет надежной методики определения минимально достаточного количества экспертов с учетом коррелированности векторов их оценок. Практически отсутствует методика планирования экспертизы. Фактически существующие подходы к проведению экспертизы можно назвать мастерством (или даже искусством), но не научно обоснованным действием и т.д.

Необходимость разрешения этих и других вопросов теории статистических экспертных систем^ обуславливает актуальность выбранной темы.

Цель и задачи работы. Целью работы является математическое моделирование экспертно-статистических систем, разработка и исследование нового метода экспертной оценки, основанного на применении функционального анализа и математической статистики, разработка основных этапов экспертной технологии и методики численного анализа основных показателей радиотехнических устройств.

Для достижения поставленной цели необходимо решить следующие основные задачи:

1. На основе исследования современного состояния и перспектив развития экспертных систем обосновать выбор варианта экспертно-статистической системы и принципы планирования экспертного эксперимента.

2. Провести теоретическое обоснование предлагаемого экспертно-статистического метода на основе введения понятия экспертно-вероятностного пространства, понятия идеального наблюдателя, анализа статистических свойств экспертных оценок, нового критерия согласованности оценок.

3. Разработать и исследовать математические модели и алгоритмы экспертного оценивания на основе анализа параметрических гипотез, применения регрессионного анализа и алгоритмов категоризации данных, критерия знаков, критерия Вилкоксона.

4. На основе проведенных исследований сформулировать основные этапы технологии экспертного оценивания, разработать методику численного эксперимента и программное обеспечение.

Методы исследования. Для решения перечисленных задач в диссертационной работе были использованы методы теории функционального анализа, теории вероятностей, математической статистики, теории информационных систем.

Научная новизна диссертационной работы заключается в следующем:

1. Предложен и исследован новый метод статистического экспертного анализа, основой которого являются: представление мнений экспертов векторами в многомерном пространстве признаков; гипотеза о существовании идеального наблюдателя; введение комплексного показателя качества, учитывающего влияние признаков и функцию цены.

2. Введение нового критерия согласованности группы экспертов на основе принадлежности векторов их оценок «шару» в многомерном пространстве признаков и определение минимально достаточного количества экспертов на основе вычисления обобщенной дисперсии выборки.

3. Минимизация требуемого количества экспертов с учетом коррелированности их векторов оценок, использованием теоретико-информационного подхода и процедуры ортогонализация векторов оценок.

4. Исследование статистических свойств векторов оценок и их характеристик, проверки простых и сложных гипотез относительно величины оценок, применения линейной и нелинейной регрессии в установлении зависимости комплексного показателя качества от цены.

5. Обоснование целесообразности применения на этапе предварительной экспертизы исследованных алгоритмов категоризации данных, критерия знаков, критерия Вилкоксона.

6. Новый метод планирования экспертизы на базе введенного понятия «куб экспертного эксперимента», разработка технологии проведения экспертизы, методики численного эксперимента и программного обеспечения.

Практическая значимость работы определяется комплексом проведенных исследований, позволивших создать новую методику планирования экспертного эксперимента с различными вариантами усреднения: по множеству экспертов, по множеству признаков, по множеству объектов. Разработана детализированная технология проведения экспертизы, методика численного эксперимента и программное обеспечение как для простых задач экспертизы, так и для сложных и ответственных задач. В последнем случае следует использовать все возможности разработанного метода: подбор согласованной группы экспертов на основе близости векторов их оценок пространстве признаков; определение минимально достаточного с вероятностной точки зрения количества экспертов; обоснованный выбор множества весовых коэффициентов в комплексном показателе качества и др.

Результаты работы внедрены в НИР Концерна «Созвездие», в ФБУ ЦИТО УФСИН России по Воронежской области, и в учебный процесс Воронежского института ФСИН России и Воронежского института МВД России.

Апробация работы. Основные результаты работы докладывались и обсуждались: на Всероссийской научно-практической конференции «Охрана, безопасное ib и связь-2007» - Воронеж, Воронежский институт МВД России, 2007; на IX Всероссийской научно-технической конференции «Повышение эффективности средств обработки информации на базе математического моделирования» - Тамбов (27 - 28 апреля 2009 г.); на 5-ой Международной заочной научно-практической конференции «Составляющие научно-технического прогресса» - Тамбов, ТГТУ (29 - 30 апреля 2009 г.); на 7-ой Всероссийской научно-практической конференции с международным участием «Инновационные технологии и экономика в машиностроении» — Юрга, Юргинский технологический институт (филиал) Томского политехнического университета (21-22 мая 2009 г.).

Публикации. По теме диссертационного исследования опубликовано 14 печатных работ.

Содержание работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 149 наименований, одного приложения, и содержит 162 страниц машинописного текста, 23 рисунка, 13 таблиц.

Выводы:

1. Предложен новый метод статистического экспертного анализа, элементами которого являются: представление мнений экспертов векторами в многомерном пространстве признаков; определение согласованности на основе принадлежности векторов «шару» в многомерном пространстве; установление минимально достаточного количества экспертов на основе вычисления обобщенной дисперсии выборки с учетом коррелированности векторов оценок; ортогонализация векторов оценок; введение комплексного показателя качества, учитывающего влияние признаков и функцию цены; регрессионный анализ комплексного показателя; планирование экспертизы на основе введенного понятия «куб экспертного эксперимента».

2. На основе сравнительного анализа двух основных направлений развития экспертных систем: так называемых систем искусственного интеллекта и систем, основанных на статистических методах оценки, установлена предпочтительность использования систем второго вида в силу серьезных методологических недостатков первых систем.

3. Для строгого математического обоснования разрабатываемого метода введено экспертно-статистическое пространство, состоящее из трех множеств (множества объектов, множества экспертов, множества экспертных оценок) и предложено использовать интеграл Стилтьеса.

4. Основой предложенного метода является сделанная гипотеза о существовании идеального наблюдателя (эксперта), который повторяет эксперимент оценки многократно. Тогда отклонения оценок в каждом испытании могут быть интерпретированы статистически, и показано, что статистические свойства таких оценок являются благоприятными.

5. В отличие от известных методов определения минимального количества экспертов предложен новый метод, основанный на обобщенной дисперсии выборки. Метод позволяет учесть взаимную корреляцию между векторами оценок, значительно уменьшить требуемое количество экспертов, а при ортогонализации векторов оценок - выявить наиболее компетентных экспертов.

6. Для простых конкурирующих гипотез при HQ,HX (например, выбор между баллами «3» или «4») экспертных оценок разработана методика определения наилучшей критической области (НКО) w.

7. Разработана методика решения экспертной задачи на основе использования регрессионного анализа. Показано, что зависимость J от наличия качественных признаков любого товара носит существенно нелинейный характер. Поэтому возникает необходимость использования нелинейной (полиномиальной) регрессии или представления экспертных данных линейной комбинацией ортогональных функций.

8. Для повышения надежности экспертизы на этапе предварительного анализа предложены и исследованы алгоритмы, основанные на использовании критериев знаков и Вилкоксона.

9. Разработаны два варианта численного эксперимента при проведении экспертизы. Первый из них предполагает использование всех возможностей предложенного метода: подбор согласованной группы экспертов; определение минимально достаточного количества экспертов; выбор множества весовых коэффициентов в комплексном показателе качества и др. Второй, упрощенный вариант предполагает оценку сравниваемых объектов в совокупности, без выделения в них различных признаков, и предназначен для решения простых задач экспертизы.

Рекомендации:

1. Для планирования статистического эксперимента предложено и обосновано новое понятие: куб экспертного эксперимента. При необходимости усреднения оценок по признакам следует использовать движение по горизонтальной грани куба, а по экспертам - по вертикальной грани.

2. Вместо известного коэффициента конкордации в качестве критерия согласованности мнений экспертов следует использовать проверку факта попадания векторов оценок в многомерный «шар» в пространстве признаков, а для уменьшения необходимого количества экспертов - процедуру ортогонализации векторов оценок экспертов.

3. В качестве меры для сравнения объектов экспертизы предлагается использовать разработанный комплексный показатель качества, учитывающий влияние как качественных (страна изготовления, удобство пользования и т.д.), так и количественных характеристик (помехоустойчивость, дальность связи и т.д.) сравниваемых объектов с учетом функции цены.

4. С учетом того, что зависимость показателя J от наличия качественных признаков и цены радиотехнического товара носит существенно нелинейный характер, для дорогостоящих устройств возникает необходимость использования нелинейной (полиномиальной) регрессии или представления экспертных данных линейной комбинацией ортогональных функций регрессии.

5. Для повышения надежности экспертизы на этапе предварительного анализа целесообразно применять алгоритмы: категоризации данных, критерия знаков, критерия Вилкоксона.

6. В процессе основной экспертизы рекомендуется следовать этапам разработанной в диссертации технологии проведения экспертизы: постановка цели и задач экспертизы; подбор группы экспертов; выделение качественных и количественных признаков объекта; выбор шкалы оценивания; формирование комплексного показателя качества; разработка плана вычислительного эксперимента; получение экспертных оценок и их статистическая обработка; формирование заключения экспертизы.

7. Разработаны два варианта программ численного анализа согласованности экспертов и обработки экспертных оценок. Для простых задач экспертизы целесообразно использовать упрощенную программу экспресс-анализа, основанную на максимизации комплексного показателя качества, или основную программу, использующую общие оценки объектов экспертизы без выделения отдельных признаков. Для сложных и ответственных задач экспертизы целесообразно использовать разработанный метод в полном объеме.

ЗАКЛЮЧЕНИЕ

В работе разработан статистический подход к экспертной оценке технико-экономических характеристик радиотехнических систем и устройств. Построена математическая модель экспертного оценивания, разработаны и проанализированы математические методы и алгоритмы, на основе которых предложена технология статистической экспертной оценки.

На основе проведенных исследований можно сделать следующие выводы и рекомендации.

1. Адаптивные и экспертные системы в управлении Текст. : Сб.тез. докл. 5-го ленингр. симпоз. по теории адаптив. систем, 17-19 апр. 1991 г./ ЛДНТП-Л., 1991.- 129 с.

2. Анализ и диагностика финансово-хозяйственной деятельности предприятий Текст. / Под ред. проф. В. Я. Позднякова. -М.: ИНФРА-М, 2008. -617с.

3. Бабкин, С.А. Системы статистической обработки экспертных оценок Текст. / С. А. Бабкин, В. В. Конобеевских // Современные проблемы науки : сб. материалов междунар. науч. конф. / ТГТУ. Тамбов 2009. - С. 104-106.

4. Бабкин, С. А. Общие принципы построения интерпретатора экспертной системы Текст. / С. А. Бабкин, В. В. Конобеевских // Современные проблемы науки : сб. материалов междунар. науч. конф. / ТГТУ. Тамбов 2009. - С. 103104.

5. Бабкин, С. А. Экспертные системы, основанные на статистической обработке информации Текст. / С. А. Бабкин // Охрана, безопасность и связь : сб. материалов междунар. науч. конф. / Воронежский институт МВД России. — Воронеж, 2007. Ч. 2. - С. 53-55.

6. Бабкин, С. А. Теоретико-информационный подход к экспертной оценке качества устройств и систем связи Текст. / С. А. Бабкин, С. В. Бухарин // Теория и техника радиосвязи : научно-технический сборник 2008. - Вып. 2. — С.54-57.

7. Бабкин, С. А. Теоретическое обоснование экспертно-статистических методов Текст. / С. А.Бабкин // Вестник Воронежского института МВД России. Воронеж-2008.- №3.-С. 136-141.

8. Бабкин, С. А. Статистические свойства экспертных оценок Текст. / С. А.Бабкин, В. В. Конобеевских. // Вестник Воронежского института МВД России. Воронеж - 2008. - №3. - С. 141-147.

9. Бабкин, С. А. Организация экспертизы на основе статистических методов обработки информации Текст. / С. А. Бабкин, В. В. Конобеевских. И — Вестник Воронежского института МВД России. Воронеж 2008. - № 4. — С. 123-130.

10. Бабкин, С. А. Установление однородности радиотехнических товаров (работ, услуг) на основе критерия знаков Текст. / С.А. Бабкин, С.В. Бухарин. // Вестник Воронежского института МВД России. Воронеж 2009. - № 1. - С. 115-121.

11. Бабкин, С. А. Установление цены радиотехнических товаров на основе статистического критерия Вилкоксона Текст. / С.А. Бабкин// Вестник Воронежского института МВД России. Воронеж. 2009. — № 2. - С. 155-156.

12. Бабкин, С.А. Оценка согласованности мнений экспертов Текст. / С. А. Бабкин, В. В. Конобеевских, А. С. Мальцев // инновационные технологии и экономика в машиностроении : сб. материалов, междунар. науч. конф. / ЮТИ.- Юрга, 2009. С. 459-462.

13. Басовский, Л. Е. Теория экономического анализа Текст. / JI. Е. Басовский. //- М.: ИНФРА-М, 2001.-221 с.

14. Башлыков, А. А. Экспертные системы поддержки принятия решений в энергетике Текст. / А. А. Башлыков. // М.: Изд-во МЭИ, 1994. - С. 213.

15. Бешелев, С. Д. Математико-статистические методы экспертных оценок Текст. / С. Д. Бешелев, Ф. Г. Гурвич. И — М.: Статистика, 1980.

16. Бохуа, Н. К. Экспертные системы: опыт проектирования Текст. / Н. К. Бохуа, В. А. Геловани, О. В. Ковригин // Междунар. НИИ пробл. управления, ВНИИ систем, исслед. М.: МНИИПУ, 1990. - 347 с.

17. Брусакова, И. А. Проектирование баз знаний и экспертные системыТекст. / И. А. Брусакова, Д. Д. Недосекин, С. В. Прокопчина : учеб. Пособие. Санкт-Петербург, гос. электротехн. ун-т им. В. И. Ульянова (Ленина).— Санкт-Петербург, 1993. - 57 с.

18. Бухарин, С. В. Методы и приложения теории нестационарных систем: Монография Текст. / С. В. Бухарин, В. Г. Рудалев // Изд-во Воронежского госуниверситета. Воронеж, 1992. - 119 с.

19. Бухарин, С. В. Экспертные системы в организации налогового учета: Монография Текст. / С. В. Бухарин [и др.]; Под ред. проф. С. В. Бухарина // Изд-во Липецкого государственного технического университета. — Липецк, 2003.-146 с.

20. Бухарин, С. В. Экспертные системы оценки качества и цены товаров (работ, услуг) Текст. / С. В. Бухарин, Е. С. Забияко, В.В. Конобеевских // Монография под ред. проф. С. В. Бухарина. Воронеж : АОНО «ИММФ», 2006. - 200 с.

21. Бухарин, С. В. Экспертные методы принятия решений Текст. / С. В. Бухарин, Н. Н. Рудакова, Я. В. Тарасов // Экономическое прогнозирование: модели и методы : Материалы междунар. науч.- практ. конф. ВГУ, 2006. — Воронеж.-4.2.-С. 151-156.

22. Веселов, А. И. Экспертные системы современные средства решения научных задач Текст. / А. И. Веселов.— М.: ЦНИИ атоминформ, 1989. - 27 с.

23. Виханский, О. С. Менеджмент: Учебник Текст. / О.С. Виханский, А.И. Наумов //. М.: Гардарики, 2000. - 528 с.

24. Волков, А. М. Экспертные системы: структурно-функциональный подход к извлечению передового опыта : Препринт Текст. / А. М. Волков, Ю.

25. Е. Царев, B.C. Федченко //. Моск. авиац. ин-т им. Серго Орджоникидзе. - М.: Изд-во МАИ, 1991.-56 с.

26. Воронин, Ю. А. Завтра геологоразведки: экспертные или теоретические системы Текст. / Ю. А. Воронин // ВЦ СО АН СССР, Новосибирск, 1987.-25 с.

27. Вычислительные системы. Искусственный интеллект и экспертные системы Текст. / Науч. ред. Н. Г. Загоруйко: Сб. науч. тр. // Рос. акад. наук, Сиб. отд-ние, Ин-т математики им. С. JI. Соболева. — Новосибирск: ИМ, 1997. — 216с,

28. Выявление экспертных знаний (процедуры и реализации) Текст. / О. И. Ларичев, А. И. Мечитов, Е. М. Мошкович. Е. М. Фуремс //. М.: Наука,1989,- 128 с.

29. Гаврилова, Т. А. Базы знаний интеллектуальных систем Текст. / Т. А. Гаврилова, В. Ф. Хорошевский //. СПб.: ПИТЕР, 2000. - 138с.

30. Гаврилова, Т. А. Извлечение и структурирование знаний для экспертных систем Текст. / Т. А. Гаврилова, К. Р. Червинская //. — М.: Радио и связь, 1992.-200 с.

31. Гибридные экспертные системы в задачах проектирования сложных технических объектов Текст. : Материалы краткосроч. науч.-техн. Семинара / Под ред. Ю. В. Юдина //. СПб.: СПбДНТП, 1992.—148 с.

32. Головко, А. П. Экспертные системы. Основные концепции Текст. / А. П. Головко ; М-во образования Рос. Федерации: учеб. Пособие. Курган, гос. ун-т.— Курган: Изд-во Курган, гос. ун-та, 2000. - 90 с.

33. Гуляев, В. А. Экспертные системы диагностирования электронного оборудования Текст. / В. А. Гуляев, С. А. Смыслова // ИПМЭ. Киев, 1989. -34 с.

34. Гуляев, В. А. Экспертные системы диагностирования функциональных систем воздушных судов и обеспечения безопасности полетов Текст. / В. А. Гуляев, О. А. Курганский, И. П. Михайловский //. ИПМЭ, Киев1990.-42 с.

35. Джексон, П. Введение в экспертные системы Текст. / П. Джексон; Пер. с англ. Р. 3. Пановой // 3-е изд. - М.: Вильяме, 2001. - 622 с.

36. Диалоговые системы и представление знаний Текст. / Кокорева Л.В., Перевозчикова О. Л., Ющенко Е. J1. // АН Украины. Ин-т кибернетики. К.: Наук, думка, 1992. - 448 с.

37. Ефимов, Н. Н. Основы информатики. Введение в искусственный интеллект Текст. / Н.Н. Ефимов, B.C. Фролов //. М.: Изд-во МГУ, 1991. - 98 с.

38. Игнатов, В. А. Экспертные системы технического обслуживания Текст. / В. А. Игнатов //.— Киев: о-во "Знание" УССР, 1985.—20 с.

39. Илюхин, А. А. Экспертные системы на реляционной основе Текст. / А. А. Илюхин, Л. Ю. Исмаилова, 3. И. Шаргатова // Учеб. пособие Моск. инж.-физ. ин-т, фак. кибернетики.— М.: МИФИ, 1990.— 62 с.

40. Искусственный интеллект. Базы знаний и экспертные системы: Учеб. пособие для вузов Текст. / А. М. Дворянкин, А. В. Кизим, И. Г. Жукова, М. Б. Сипливая // М-во образования Рос. Федерации, Волгогр. гос. техн. ун-т.— Волгоград: Политехник, 2003.— 139 с.

41. Искусственный интеллект. Новая информационная технология Текст. / Г. С.Поспелов //Вестник АН СССР. 1983. -№ 6. - С. 31 - 42.

42. Картавцев, Д. В. Математическое моделирование систем управления информационными структурами с использованием принципов построения дискретных систем Текст. : Автореф. . дис. канд. техн. наук / Д. В. Картавцев. Воронеж: ВИ МВД РФ, 2006. - 16 с.

43. Кендалл, М. Дж. Статистические выводы и связи Текст. / М. Дж. Кендалл, А. Стьюарт. М.: Наука, 1973. - 899 с.

44. Кендэл М. Ранговые корреляции Текст. М.: Статистика, 1975. - 220с.

45. Кожарский, J1. А. Экспертные системы интеллектуальное ядро ЭВМ "пятого поколения" Текст. / JL А. Кожарский.—М.: Знание, 1984.—64 с.

46. Конопелько, J1. А. Экспертная система для обработки данных газоаналитических измерений Текст. / J1.A. Конопелько, В.В. Растоскуев // Приборы и системы управления. 1995. -№7. - С. 30-35.

47. Крамер, Г. Математические методы статистики Текст. / Г. Крамер. М.: Мир, 1975.- 648 с.

48. Красноженов, Ю. Б. Введение в экспертные системы Текст. / Ю. Б Красноженов, П. В. Шумаков ; Моск. гос. акад. приборостроения и информатики, Каф. информ.- управляющих систем.— М.: МГАПИ, 1995.—110 с.

49. Красноженов, Ю. Б. Экспертные системы и системы продукций Текст. / Ю. Б. Красноженов, П. В.Шумаков; Моск. гос. акад. приборостроения и информатики, Каф. информ. управляющих систем.— М.: МГАПИ, 1995.— 19 с.

50. Кремер, Н. Ш. Эконометрика: Учебник для вузов Текст. / Н.Ш. Кремер, Б. А. Путко // . М.:ЮНИТИ-ДАНА, 2002. - 311 с.

51. Крылова, Е. В. Экспертные системы. Обзор советской и зарубежной литературы Текст. / Е. В. Крылова. М.: ИРЭ, 1992. -40 с.

52. Кук, Н. М. Формальная методология приобретения и представления экспертных знаний Текст. / Н.М. Кук, Дж. Макдональд // ТИИЭР. 1986. - Т. 74. - № 10.-С. 145-155.

53. Ларичев, О. И. Выявление экспертных знаний Текст. / О.И. Ларичев [и др.]. -М.: Наука, 1989. 361 с.

54. Литвак, Б. Г. Экспертная информация: методы получения и анализа Текст. — М.: Радио и связь, 1982. — 184 с.

55. Лорьер, Д. Л. Системы искусственного интеллекта Текст. / Д. Л. Лорьер. М.: Мир, 1991. - 320 с.

56. Люстерник, Л. А. Краткий курс функционального анализа Текст. / Л.А. Люстерник, В.И. Соболев // :Учебное пособие. — М.: Высшая школа, 1982. 271 с.

57. Марселлус, Д. Н. Программирование экспертных систем на Турбо Прологе Текст. М.: Финансы и статистика, 1994.

58. Методология конструирования диагностирующей экспертной системы (на базе оболочки BESS) Текст. / И.Н. Пустынникова // Вюник Донецького ушверситету. Сер1я А. Природнич1 науки. - 1998. - № 1. - С. 182- 187.

59. Методы и системы принятия решений. Экспертные системы в автоматизированном проектировании Текст.: Сб. науч. тр. / Риж. политехи, инт — Рига: РПИ, 1990.—174 с.

60. Методы и системы технической диагностики Текст.: Межвуз. сб. науч. тр.- Саратов: Изд-во Сарат. ун-та, 1980. 148 с.

61. Мешалкин, В. П. Экспертные системы в химической технологии: Основы теории, опыт разраб. и применения Текст. / В. П. Мешалкин.—М.: Химия, 1995.—366 с.

62. Минский, М. Фреймы для представления знанийТекст. М.: Энергия, 1979.

63. Михлин, Л. П. Экспертные системы в оперативном управлении промысловым флотом Текст. / Л. П. Михлин, С. В. Ольшанский, В. В. Тимофеева // : Учеб. пособие. Калининград: ВИПК Минрыбхоза СССР, 1987.— 49с.

64. Мицкевич, А. А. Базы знаний и экспертные системы Текст. / А. А. Мицкевич, Е. А. Константинова, С. Г. Мухамедвалеева //Учеб. пособие.—М.: МИУ, 1989.—79 с.

65. Мишин, В. М. Управление качеством Текст. / В.М.Мишин // : Учеб. пособие для вузов. М.:ЮНИТИ-ДАНА,2000. - 303 с.

66. Многоуровневые экспертные системы диагностирования электроэнергетического оборудованияТекст. / В. А. Гуляев, В. Ф. Скляров, С. В. Колесников, В. Б. Полищук.—Киев: ИПМЭ, 1987.-26 с.

67. Моделирование и экспертные системы: Сб. науч. тр. Текст. / Моск. ин-т радиотехники, электрон, и автоматики-М.: МИРЭА, 1989.-148 с.

68. Навоев, В. В. Экспертно-статистический метод оценки характеристикинформационно-измерительных систем Текст. : автореф. дисс. соиск.канд.техн. наук / В.В. Навоев. Воронеж: ВИ МВД РФ, 2003. - 16 с.

69. Налоговый кодекс Российской Федерации Текст. Ч. 1 и 2. М.: ОМЕГА-Л, 2005.-640 с.

70. Нейлор, К. Как построить свою экспертную систему Текст. — М.: Энергоатомиздат, 1991.- 120 с.

71. Орлов, А. И. Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателей качества Текст. / А.И. Орлов. — Многомерный статистический анализ в социально-экономических исследованиях. М.: Наука, 1974. - С. 388-393.

72. Особенности решения задач экспертными системами реального масштаба времени Текст. / Сазыкин В.Г // Приборы и системы управления, 1995, №10.- С.56 -58.

73. Осуга, С. Обработка знаний / С. Осуга; Пер. с японск. В.И.

74. Этова. М, Мир. 1989. - 322 с.

75. Пахлеванян, А. Р. Экспертные системы для автоматизации процесса контроля РЭС / А. Р. Пахлеванян; Моск. авиац. ин-т.—М.: Изд-во МАИ, 1992,—85 с.

76. Петрушин, В. А. Экспертно-обучающие системы Текст. К.: Наук, думка, 1992.- 196 с.

77. Попов, В. В. Статические и динамические экспертные системы (классификация, состояние, тенденции) Текст. / В. В. Попов, И. Б.Фоминых, Е. Б. Кисель.-М.: ЦРДЗ,1995.- 157 с.

78. Попов, Э. В. Статические и динамические экспертные системы Текст. / Э. В. Попов //: Учеб. пособие. М: Финансы и статистика, 1997.—320 с.

79. Попов, Э. В. Экспертные системы решения неформализованных задач в диалоге с ЭВМ. Текст. / Э.В. Попов М.; Наука, 1987. - 288 с.

80. Портер, У. Современные основания общей теории систем Текст. / У. Портер. М.: Наука, 1971.-556 с.

81. Поспелов, Г. С. Искусственный интеллект основа новой информационной технологии Текст. - М.: Наука, 1988.

82. Поспелов, Д. А. Моделирование рассуждений Текст. М.: Радио и связь, 1989.

83. Построение экспертных систем Текст. / Д. Ленат ;Под ред. Хейеса-Рота, Д. Уотермана,. М.: Мир, 1987. - 441 с.

84. Представление знаний и экспертные системы Текст.: Сб. науч. тр. / АН СССР, Ленингр. ин-т информатики и автоматизации.— Л.: ЛИИАН, 1989.—194 с.

85. Представление и использование знаний Текст. / М. Исидзука; Под ред. X. Уэно. М.: Мир, 1989. - 220 с.

86. Пригожин, Б. В. Современные экспертные системы и перспективы их применения в черной металлургии Текст. / Б. В. Пригожин.—М.: Ин-т "Черметинформация", 1991.—32 с.

87. Проблемы математического моделирования и экспертные системы: Вопросы кибернетики Текст.: Сб. ст. / АН СССР, Науч. совет по комплекс, пробл. "Кибернетика".-М.: Науч. совет по комплекс, пробл. "Кибернетика" АН СССР.-1990.-116, с.

88. Проектирование и программная реализация экспертных систем на персональных ЭВМ Текст. / Таунсенд К. М.: Финансы и статистика, 1990. -145 с.

89. Рудакова, Г. М. Искусственный интеллект. Экспертные системы Текст. / Г. М. Рудакова; М-во образования Рос. Федерации, Сиб. гос. технол. ун-т,— Красноярск: СибГТУ, 2002.—87 с.

90. Севастьянов, Б. А. Курс теории вероятностей и математической статистики Текст. / Б.А. Севастьянов. М.: Наука, 1982. - 256 с.

91. Сафонов, В. О. Экспертные системы интеллектуальные помощники специалистов / В. О. Сафонов //; О-во "Знание" России, Санкт-Петербург, орг.— СПб.: С.-Петербург, орг. о-ва "Знание" России, 1992.—29 с.

92. Слуцкин, Л. Н. Обобщенный метод моментов Текст. / Л.Н. Слуцкин. Прикладная эконометрика. - 2007. - № 3(7). - С. 119-133.

93. Создание экспертных систем с помощью BESS Текст. / Г.А. Атанов, И.Н. Пустынникова // Знания Диалог - Решение: Сб. науч. тр. - Крым, Ялта. -1995.-С.315-323.

94. Сойер, Д. Программирование экспертных систем на Паскале Текст. / Д. Сойер, Д. В. Фостер. М.: Финансы и статистика 1990. - 136 с.

95. Соложенцев, Е. Д. Введение в интеллектуальные АРМ и экспертные системы в машиностроении Текст. / Е. Д. Соложенцев //: Учеб. пособие; Ленингр. ин-т авиац. приборостроения.— СПб.: ЛИАП, 1991.—85 с.

96. Сравнительный анализ инструментальных средств для разработки систем управления реального времени Текст. / Е. Б. Кисель //Экспертные системы реального времени: Материалы семинара. М.:ЦРДЗ, 1995. - 114 с.

97. Статистические методы анализа экспертных оценок Текст.: Сб. статей. — М.: Наука, 1977. — 320 с.

98. Сухих, Н. Н. Экспертные системы — средство информационной поддержки принятия решения экипажем самолета Текст. / Н. Н. Сухих; Ленингр. Дом науч.-техн. пропаганды.—СПб.: ЛДНТП, 1991.—19с.

99. Талдыкин, А. Т. Элементы прикладного функционального анализа Текст.: Учебное пособие / А.Т. Талдыкин. М.: Высшая школа, 1982. - 383 с.

100. Темкин, И. О. Экспертные системы в управлении Текст.: Учебное пособие/ И. О. Темкин; Моск. гос. горн. ун-т.— М.: МГГУ,1994.—46 с.

101. Тихонов, В. И. Статистическая радиотехника Текст. / В.И. Тихонов. М: Сов. радио, 1966. - 678 с.

102. Трахтенгерц, Э. А. Компьютерная поддержка принятия решений Текст. / Э.А.Трахтенгерц, К. Фохт. М.: СИНТЕГ, 1998. - 87 с.

103. Тульчин, J1. Г. Оценка качества электроизмерительных приборов Текст. / Л.Г. Тульчин, В.Д. Шаповалов//. Л.: Энергоиздат., 1982. -216 с.

104. Убейко, В. М. Экспертные системы Текст.: Учеб. пособие / В. М. Убей ко, В. В. Убейко; Моск. авиац. ин-т им. Серго Орджоникидзе.— М.: Изд-во МАИ, 1992.—82с.

105. Уилкс, С. Математическая статистика Текст.: Монография / С. Уилкс. М.: Наука, 1967.-632 с.

106. Уотермен, Д. Руководство по экспертным системам Текст. / Д. Уотермен. М.: Мир, 1989. - 388 с.

107. Фишберн, П. К. Измерение относительных ценностей Текст. В кн.: Статистическое измерение качественных характеристик. -М.: Статистика, 1972.

108. Частиков, А. П. Разработка экспертных систем. Среда CLIPS Текст. / А. П. Частиков, Т. А. Гаврилова, Д. Л. Белов. СПб.: БХВ-Петербург, 2003. -606 с.

109. Черемхин, М. К. Экспертные системы Текст.: Учеб. пособие для вузов./ М. К. Черемхин. — М.: Изд-во МГОУ, 1994.—76 с.

110. Чернышов, Е. Э. Бортовые экспертные системы авиационных комплексов: Учеб. пособие Текст. / Е. Э. Чернышов.— СПб.: Радиоавионика, 1996.—256 с.

111. Шенк, X. Теория инженерного эксперимента Текст. / X. Шенк. -М.: Мир, 1972.-381 с.

112. Экспертные системы авиационно-космического назначения Текст.: Учеб. пособие / А. В. Никитин, М. Г. Зеленский, А. П. Панков и др.; Санкт-Петербург. гос. акад. аэрокосмич. приборостроения.— СПб.: СПбГААП, 1993.—89 с.

113. Экспертные системы для персональных компьютеров: Методы, средства, реализации Текст.: Справ, пособие / В. С. Крисевич и др.—Минск: Вышэйш. шк, 1990.—190 с.

114. Экспертные системы и анализ данных Текст.: Сб. науч. тр. / Под ред. Н.Г. Загоруйко. Новосибирск. -1991. - С. 54-76.

115. Экспертные системы и инструментальные методы формализации знаний Текст.: Сб. науч. тр. / Всесоюз. заоч. политехи, ин-т; Ред. Ю. М. Хамидулин.—М.: ВЗПИ, 1989.—98 с.

116. Экспертные системы на персональных компьютерах Текст.: Матер, сем.—М.: МДНТП, 1990.—140 с.

117. Экспертные системы реального времени Текст. / Э.В. Попов //Открытые системы. 1995-№2. -С.45-49.

118. Экспертные системы экспериментального моделирования в энергетике Текст.: Метод, рекомендации / Подгот. А. В. Цукановым. Киев: О-во "Знание" УССР, 1989. - 17 с.

119. Экспертные системы: инструментальные средства разработки Текст.: Учеб. пособие / Л. А. Керов и др. СПб.: Политехника, 1996. - 218 с.

120. Экспертные системы Текст.: Матер. конф. ВНТО приборостроителей за 1988-1990 гг. / Моск. гор. правл, ВНИИ информ. и экономики "Информприбор". -М.: Ин-т "Информприбор", 1990. 115 с.

121. Экспертные системы Текст.: Материалы семинара. М.: МДНТП, 1986.- 138 с.

122. Экспертные системы: Принципы работы и примеры Текст. / А. Брукинг, П. Джонс, Ф. Кокс и др.; Под ред. Р. Форсайта; Пер. с англ. С. И. Рудаковой. М.: Радио и связь, 1987. - 220 с.

123. Экспертные системы Текст.: Сб. тез. докл./ Всесоюз. совещ., Суздаль, дек. 1990. М.: ИПУ, 1990. - 190 с.

124. Экспертные системы Текст.: Сб. тр. / Ред. Б. М. Васильев. М.: Знание, 1990.- 147 с.

125. Экспертные системы: состояние и перспективы Текст.: Сб. науч. тр. / АН СССР, Ин-т пробл. передачи информ. М.: Наука, 1989. - 150 с.

126. Элти, Д. Экспертные системы: концепции и примеры Текст. / Д. Элти, Д. Кумбс. М.: Финансы и статистика, 1987. - 221 с.

127. Эндрю, А. Искусственный интеллект Текст. М.: Мир, 1985. - 312с.

128. Эпитафия экспертным системам Текст. /Т. Давенпорт // Компьютеруик.- 1995.- №27. С.18-25.

129. Aikins J.S. Prototypical knowledge for expert systems // Artificial Intelligence.- 1983.-V. 20.- P. 163-210.

130. Atanov G., Pustynnikova I. Learning by constructing knowledge bases for expert systems // Proc. International Conf. on Computers in Education. V. 2. -Chiba, Japan. - 1999. - Pp. 555 - 558.

131. Duda, R.O. Subjective Bayesian methods for rule-based system / R.O. Duda and others. // Proceedings of the AFIPS. 1976. - V.45. - P. 1075- 1082.

132. Duda R.O., Gaschnig J.G. Knowledge-based exspert systems come of age //BYTE. 1981, V. 6. - № 9. - P. 238 - 281.

133. Duda, R,0. Expert systems Research / R.O. Duda. N.Y.: Science -1983.-261 p.

134. Erutan L.O. and others. The design and an example use of HEARSAY-III//The Seventh International Joint Conference ob Artificial Intelligence. -Vancouver: University of British Columbia, 1981.-P. 409 415.

135. Feigenbaum E. A. The art of artificial intelligence : Themes and case studies of knowledge engineering//The fifth International Joint Cortference on Artificial Intelligence. Boston: MIT, 1977. - P.1014-1029.

136. Feigenbaum E. A. Themes: and case studies of knowledge engineering//Expert system in micro electronic age, Edinburgh: Infotach Limited, 1979. - P.3-25.

137. Greiner R., Lenat D. A representation language//The first national conference on Artificial Intelligence. Stanford: Stanford University Press, 1980. - P. 165 -169.

138. Harmon P. The Market for intelligent Software Products Intelligent Software Strategies, 1992. V,8. 2. - P.5 -12.

139. Harmon Paul. G2: Gensym's Real-Time Expert System //Intelligent Software Strategies. Vol. 9. -1993. March:- No. 3.

140. Hayes-Roth F.,iJafobstein N. The State of Knowledge Based Systems// Communications of the ACM, 1994, March. V.37. - No.3.-P. 27-39.

141. Loofbourrow Т. Экспертные системы еще живы. Компьютеруик. -1995, 5 11 октября, -36(194). - 21 с.

142. Robert L. Moore. Expert Systems in Real-Time Applications Experience and Opportunities, Expert System Application in Advanced Control, Proceeding the Seventeenth Annual Advanced Control Conference West Japan. - 1999. - Pp. 555 - 558.

143. Robinson J.A. A machine-oriented logic based on resolution principle. Journal of the ACM:-,1965. V. 12.-№ l.-P. 23-41.

144. Yaghmai, N.S. Expert systems: a tutorial / N.S. Yaghmai, J.A. Maxin // J. Amer. Soc. Inform. Sci. 1984. - Vol. 35. - № 5. - P. 297-305.