автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка параметрических моделей и программного обеспечения распознавания образов по выборке фиксированного объема с учетом погрешностей признаков

На правах рукописи УДК 621.391

МАЛЬЦЕВ Альберт Владимирович

РАЗРАБОТКА ПАРАМЕТРИЧЕСКИХ МОДЕЛЕЙ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ РАСПОЗНАВАНИЯ ОБРАЗОВ ПО ВЫБОРКЕ ФИКСИРОВАННОГО ОБЪЕМА С УЧЕТОМ ПОГРЕШНОСТЕЙ ПРИЗНАКОВ

05.13.18 - Теоретические основы математического моделирования, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации та соискание ученой степени кандидата технических наук

, ,, ' Москва 2000

Работа выполнена в научно-производственном закрытом акционерном обществе «Валко-Электроникс» г. Смоленск и на кафедре вычислительной математики и математической физики Московского государственного технического университета им. Н. Э. Баумана

Научный руководитель: д.т.н., профессор А.А. Грешилов

Официальные оппоненты: д.ф.-м.н., профессор А.Ф. Кушнир

к.т.н., доцент В.А. Суханов

Ведущая организация: 22 центральный научно-исследовательский испытательный институт.

Защита состоится " 10 " октября 2000 г. в 1! час 30 мин на заседании Диссертационного Совета Д 053.¡5.12 при Московском государственном техническом,университете им. Н. Э. Баумана по адресу: 107005, Москва, 2-я Бауманская ул., д. 5.

С диссертацией можно ознакомиться в библиотеке МГТУ.

Отзывы в двух экземплярах, заверенные печатью учреждения, просим выслать по адресу: 107005, Москва, 2-я Бауманскаяул., д.5, МГТУ им. Н.Э.Баумана, Ученому секретарю диссертационного Совета.

Автореферат разослан "_"_______2000 г.

Ученый секретарь

диссертационного Совета —

д.ф.-м.н., профессор Волков И.К.

Тшюфафия МГТУ им. И.">.Баумана

Зак. ХЬ/. -* . Тираж 100 зкч. Поди, к печати ^ . __ ,2000г. Шьем I псч. лист.

/сР с-

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Статистические задачи распознавании опр.пкн характерны для различных областей знаний, в частности при распознавший землетрясений и маломощных взрывов. Актуальным является исследование процедур распознавания образов в условиях, характерных для их мракшчсской реализации.

В практической реализации необходимо учитывать пофсннюеш измерений признаков, а также гот факт, что мы имеем небольшое чнепо измерений в обучающей выборке. Таким образом, наряду с усложнением процедуры обучения системы распознавания из-за неопределенное ¡и исходном информации необходимо еще и сократить число параметров, подлежащих определению. Поэтому, при достаточном числе точек (измерений н обучающей выборке) будем считать, что нам известен вид функций условных плошооси вероятности, а гребуегся определить точечные и интервальные оценки их параметров, а затем точечные и интервальные оценки решающих (разделяющих) функций и ошибок I и II рода.

При небольшом числе точек будем предполагать, что известен пил решающих (разделяющих) функций, а необходимо найти точечные и интервальные оценкн параметров этих функций, а затем точечные и интервальные оценки самих функций. В этом случае ошибки I и II рода получаются численным методом в процессе обучения (по числу наблюдений, приводящих к ложным решениям). Интервальные оценки решающих (разделяющих) функций определяют нулевую зону - зону невозможное!!! принятия решения.

Учет погрешностей измерений признаков объектов приводи! к нелинейным системам и к сложным алгоритмам, выбор которых определяется условиями конкретной задачи. В задачах распознавания образов возникает дополнительная проблема: по единичному наблюдению Х„а6, найти оценку его истинного значения по которой впоследствии и проводить идентификацию объекта. Для нахождения приходится привлекать всю исходную

информацию, используемую в процессе обучения. Эта процедура становится принципиально важной, когда, область (эллипсоид) неопределенности пересекается с нулевой зоной.

Неучет погрешностей в наблюдаемых значениях признаков приводит к следующему:

1) оценки функций условных плотностей вероятности признаков образов (если даже их вид известен априори) будут смещенными, а их интервальные оценки - неверными;

2) в процессе идентификации образов, имеющих близкие значения координат векторов признаков, из-за влияния на результаты наблюдений пофешностей может быть принято неверное решение;

3) в традиционных методах функции условных плотностей вероятности Признаков выступают в процедурах идентификации обр,по» к,«к

детерминированные (не учитываются их интервальные оценки), и по этой причине в принятии решений не рассматриваются имеющие место зоны неопределенности (нулевые зоны).

В отличие от традиционных методов распознавания образов в работе предложены и используются методы, которые позволяют:

1) учесть погрешности наблюдаемых 'значений координат векторов признаков объектов;

2) получить несмещенные точечные и интервальные оценки функций условных плотностей вероятности признаков;

3) оценить "истинные" координаты вектора признаков, по которому будет проводиться идентификация объектов, и включить эти данные в процедуру принятия решений.

Решаемая задача представляет интерес для различных областей знаний и практических приложений и является актуальной.

Цель и задачи исследования. Целью диссертационной работы является разработка теоретических и практических методов распознавания образов по выборке фиксированного объема с учетом погрешностей результатов наблюдений признаков, когда алгоритм распознавания включает в себя стохастические параметрические модели (априори известен вид функций условных плотностей вероятности признаков или разделяющих функций). Разрабатываемые методы предназначены для получения точечных и интервальных оценок искомых параметров моделей и оценок "истинных" значений векторов признаков и учета этих оценок в процедурах распознавания образов.

В соответствии с указанной целью в работе поставлены следующие задачи:

1) разработать метод идентификации объектов по выборке фиксированного объема, который позволяет оценивать и учитывать "истинные" значений вектора признаков объектов и точечные и интервальные оценки параметров заданных функций плотностей вероятности признаков, участвующих в процессе идентификации объектов, то есть необходимо разработать общий подход и единый алгоритм для задачи обучения системы распознавания и задачи идентификации объектов при априори известном виде функций условных плотностей вероятности признаков;

2) разработать метод распознавания образов, позволяющий учесть погрешности результатов наблюдений векторов признаков объектов при фиксированном объеме выборки при неизвестных условных плотностях вероятности признаков, но известных с точностью до значений параметров разделяющих функциях;

3) разработать программное обеспечение, реализующее алгоритмы распознавания объектов но измеренным с погрешностью значениям признаков объектов как в случае заданных с точностью до параметров функций условных плотностей вероятности признаков, так и без учета условных плотностей вероятности признаков при известном виде разделяющих функции;

4) исследовать аналитически и в модельных экспериментах особенности предлагаемых алгоритмов и влияние погрешности в наблюдаемых значениях признаков на сходимость алгоритмов, на статистические свойства решений;

5) исследовать предлагаемые методы на реальных примерах распознавания химических взрывов и слабых землетрясений по сейсмическим наблюдениям, дать сравнительную оценку результатов, полученных традиционным и предлагаемым методами.

Объе»ст исследования. В качестве объекта исследования методами, опирающимися на параметрические модели в виде обобщенных условных плотностей вероятности признаков или (и) разделяющих функций, выступают классы распознаваемых образов, в которых отсутствуют детерминированные исходные данные. В качестве конкретных примеров рассмотрены задачи распознавания химических взрывов и слабых землетрясений по признакам, измеренным с погрешностью.

Мстолы исследования. В основу исследования положен разработанный в диссертации метод распознавания образов, позволяющий учесть погрешность результатов наблюдений н точечные и интервальные оценки всех величин и функций, участвующих в процедуре распознавания. Метод базируется на конфлюентном анализе.

Разработанный метод основан на работах Р.Дуды, П.Харта, К.Фу, А.Л.Горелика, В.Г.Небабина и других - по теории распознавания образов, работах А.А.Грешилова, В.В.Федорова, \V.Fullcr, Ь.в^ег, О.ЗеЬаГег, М.Кепс1а11 и других - по теории вероятностей и математической статистике, работах российских и зарубежных авторов по вычислительной математике и программированию на ЭВМ. При сравнительном анализе использовались результаты других исследователей.

Научная новизна работы состоит в следующем:

1) показано, что в присутствии помехи в результатах наблюдений вектора признаков объектов при фиксированном объеме выборки задача распознавания образов является одновременно и неразделимо задачей обучения системы распознавания и задачей идентификации образов; предложен унифицированный функционал и алгоритм идентификации образов, включающей в себя задачу обучения системы распознавания;

2) разработан алгоритм распознавания образов при фиксированном объеме выборки в присутствии помехи в результатах наблюдений векторов признаков через получение точечных и интервальных оценок "истинных" значений векторов признаков и функций условных плотностей вероятности признаков;

3) разработан алгоритм распознавания образов в присутствии помехи в результатах наблюдений векторов признаков при фиксированном объеме выборки, неизвестных условных плотностях вероятности признаков, но при известном виде разделяющих функций;

4) разработаны программы для ПК, реализующие алгоритмы получения точечных и интервальных оценок "истинных" значений векторов признаков,

з

условных плошостей вероятности признаков, решающих функций и процедур пришли» решений при наличии помехи в результатах наблюдений векторе признаков и фиксированном объеме выборки;

5) в молельных и реальных экспериментах показано оглнчие результате! полученных традиционными методами н методами, разработанными циесертации, которые позволяют учесть влияние помехи в наблюдаемы; значениях векторов признаков.

Практическая значимость работы состоит в том, что ее результаты позволяют:

]) повысить достоверность принятия решения при распознавании образов за счет учета погрешности наблюдений векторов признаков, правильного расчета точечных и интервальных оценок всех исходных величин и функций;

2) принять адекватное решение при распознавании образов, когда, различия в значениях векторов признаков образов соизмеримы с погрешностями наблюдаемых значений признаков;

3) принять адекватное решение но результатам наблюдений признаков с помехами, когда не известны условные плотности вероятности признаков.

Результаты проведенных в диссертации исследований использовались в хоздоговорных темах "Образ-8" (1995-96 тт.), в госбюджетной тематике, проводимой НИИ11ММ МГТУ им. Н.Э.Баумана, в учебных курсах "Принятие решений и распознавание образов" и "Математические методы прогнозирования", читаемых студентам МГТУ им. Н.Э.Баумана и слушателям М1ШК при МГТУ им. Н.Э.Баумана но экономическим и управленческим специальностям. Теоретическая часть работы поддерживалась SAIC Global Technology Corporation (SAIC GT) USA, субконтракт №29-990026-142.

1) метод идентификации объектов по выборке фиксированного объема, учитывающий погрешности измерений векторов признаков объектов, включающий в себя процедуры определения точечных и интервальных оценок функций условных плотностей вероятности признаков, решающих функций и оценок "истинных" значений векторов признаков;

2) метод распознавания образов при фиксированном обьеме выборки по измерениям признаков объектов, наблюдаемым с погрешностью, при неизвестных функциях условных плотностей вероятности признаков, но известном виде разделяющих функций;

3) теоремы и утверждения, определяющие свойства предлагаемого алгоритма и влияние погрешностей измерений вектора признаков на результаты идентификации объектов;

4) комплекс ПК-программ реализации разработанных методов распознавания образов по измерениям признаков в присутствии помехи при фиксированном объеме выборки.

5) результаты идентификации химических взрывов и слабых землетрясений но сейсмическим измерениям векторов признаков в присутствии помехи.

Апробация работы. Материалы диссертации докладывались на кафедре вычислительной математики и математической физики МГТУ им. Н. Э. Баумана и ученом совете МИПК при МГТУ им. Н. Э. Баумана, научно-методической конференции, посвященной 35-летию образования факультета "Фундаментальные науки" МГТУ им. Н. Э. Баумана в 1999 году.

Публикации. Основные результаты диссертации опубликованы в печати: книг - 2, тезисов докладов - 3.

Объем работы. Диссертационная работа состоит из введения, трех глав, заключения и списка литературы. Основная часть работы изложена на 145 страницах машинописного текста, содержит 37 рисунков, 2 таблицы, 78 наименований цитируемой литературы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении формулируются проблемы, которые возникают при решении статистических задач распознавания образов при фиксированном объеме выборки: неучет погрешностей наблюдений признаков ведет к смещенным точечным оценкам функций условных плотностей вероятности признаков, а так же разделяющих (решающих) функций и к неверным интервальным оценкам этих функций. На этапе идентификации образов по наблюдаемому вектору признаков присутствие помехи в наблюдениях может привести к ложным выводам. Показывается, что меучет в традиционных методах интервальных оценок исключает из рассмотрения нулевую зону - зону неопределенности в принятии решения. Делается вывод, что для адекватного принятия решений алгоритмы обучения системы распознавания и идентификации образов должны основываться ira конфлюентном анализе -совокупности методов, позволяющих проводить статистические исследования с учетом неопределенности всех исходных факторов.

В первой гладе дана математическая постановка задачи, показано, что при учете погрешностей наблюдений признаков процедуры обучения системы распознавания и идентификации образов по измеренному зектору признаков сливаются в единую процедуру (рис. 1). Здесь же дан анализ традиционных методов, применяемых для идентификации объектов.

В традиционном подходе задача распознавания образов содержит два практически независимых этапа. На первом этапе нрозодится обучение системы распознавания по результатам наблюдений над объектами, которые в будущем подлежат распознаванию, и вырабатывается решающее правило.

Рис. 1. Блок-схема единой процедуры обучения системы и распознавания образов

На втором этапе по результатам наблюдений вектора при такой неизвестного объекта, с помощью выработанного на первом этапе решающего правила, наблюдаемый объект идентифицируют - относят к одному из •элементов допустимого множества объектов.

В действительности в процессе наблюдений измеренные знамения вектора признаков имеют две компоненты: истинное значение Ç и помеху Л" т. е. Неучет помехи S приводит к смешенным оценкам всех

характеристик, в расчете которых участвует значение Х„„,-п. Кроме '»того, необходимо учесть и интервальные оценки всех последующих рассчитываемых функций и величин: p(X\a<j), ошибок I и И рода. Это не делается в традиционных мл одах, что на практике приводит к появлению зон неопределенности в принятии решений.

Идентификацию объектов следует проводить по оценке но никого значения ¿;„а6„ а не по наблюдаемому значению В диссертации показано, что получить оценку можно, если использовать всю информацию,

полученную на первом этапе. В итоге, задача идентификации практически не разделяется на независимые этапы, а имеет общую схему (рис.1).

На рис. 1 обозначено L(d\a>j) - ущерб от принятия решения d, когда выбран объект р(о]) - вероятность появления л>--го обьекта.

Прямоугольником с надписью ПЭВМ, обозначена процедура обработки результатов наблюдений и ее алгоритм; жирно обведенными прямоугольниками обозначены блоки, которых в традиционных методах шбо вообще нет, либо эги блоки претерпевают существенные изменения.

В первой главе формулируется математическая постановка задачи.

Пусть до принятия решения d, принадлежащего множеству решений /) (deD), задано параметрическое пространство образок Î2 с параметром roefJ, а для всех coeQ задана обобщенная плотность вероятности Р(ш). Задана на произведении X?xD вещественная функция полезности U(w,d) или функция потерь L(a>,d)~~U(co,d). Пусть S выборочное пространство возможных значений наблюдений признака £ образа ак когда значение признака не наблюдается, а наблюдается случайная величина Л', связанная со значением признака £ соотношением Л'-à, где' S - аддитивная помеха, закон распределения которой f(X) и его числовые характеристики считаются известными, в частности, это может быть гауссовский закон распределения с математическим ожиданием M(S)=Q, и дисперсионной матрицей D(S) - <г */ (I - единичная матрица).

Пусть задано с точностью до значений параметров параметрическое семейство условных обобщенных вероятностныч ruiOTuoeieit (о.в.п.) p(c,,û\(o),a)eQ.\ при неизвестных о.в.п. 1адапо параметрическое

семейство разделяющих функций h(\Jf).

Из класса решающих функций А выбрана решающая функции еЛ, для любого возможного значения ¿feS определяющая решение û'(£,) eD, минимизирующее средний риск:

pica, d(Zj ]=M(L[v>, d(tj ¡Ha>,d(£)]p(4, в \ w)P(<o)dfá)d v(co).

0 s

Для всех соей функция L[ü>,d(\)] измерима и интегрируема на множестве S.

Требуется по фиксированной выборке результатов наблюдений X:

1) найти точечные и интервальные оценки параметров в условных о.в.н. p(t,(\ca), точечные и интервальные оценки условных о.в.н. при неизвестных о.в.н. 0\ со) - точечные и интервальные оценки параметров в\\ самих разделяющих функций О);

2) найти оценки "истинных" значений 4 вектора признаков ¿,, по которым впоследствии принимается решение d eD;

3) произвести идентификацию наблюдаемого объекта, т. с. поставить в соответствие наблюдаемому значению вектора признаков Л'некоторый образ &> и определить при этом точечные и интервальные оценки суммарной ошибки и ошибок I и II рода, возникающих при принятии решения deD.

В традиционной постановке задачи распознавания помехи S не учитываются, а величины f и X отождествляются; не определяются интервальные оценки функций p(¿;,0\ü>), h (с, 0) и <р(£), не определяются оценки 4 и интервальные оценки ошибок I и ÍI рода ( и и ß).

Неучет помех S и оценок ä приводит к смещенным точечным оценкам и р(4), к неверным интервальным оценкам и ложным практическим выводам.

Во второй главе рассмотрены способы учета погрешностей наблюдений признаков в задачах распознавания образов при фиксированном объеме выборки, когда вид функций условных плотностей вероятности признаков р(и, в\ coj) известен априори, но неизвестны значения их параметров в.

Предполагается, что /-мерный вектор признаков ^связан с результатами п наблюдений вектора X условием Х=<Ц+<5, а вектор относительной частоты наблюдений пд связан с условной плотностьюсо) выражением:

где S, s - аддитивные помехи, подчиняющиеся нормальному закону распределения с нулевыми математическими ожиданиями и с известными ковариационными матрицами.

Тогда оценки параметров 0 по методу максимума правдоподобия находятся из условия минимума функционала:

I ff) = [«о-jfeA-(I)

ы ы о

где К - дисперсионная матрица наблюдений относительных частот п0, a* (xik)-днспсрсия хп. Далее показывается, что этот же функционал может быть получен как функционал ортогональной регрессии, а ограничения, связанные с нормальным законом распределения, могут быть сняты.

«

Точечные оценки N параметров /^находятся из условия /Г

ёв..

= О,

... N;

при дополнительном ограничении

— =0, / = 1,...,л, к = 1...../.

Запишем (2) в более явном виде "о,,(-с

---И^кК^ТГ^0' ' = 1.-.и, * = и,/. (3)

К) сг

Выражение (3) определяет оценки ^ "истинных" значении наблюдаемых признаков 4, которые необходимы процедуре идентификации образов по наблюдаемому вектору признаков и выработанному решающему правилу.

Дисперсионная матрица оценок параметров 9 имеет вид: .

; и,,у, = ],..., N.

о(<?)=ЛГ'; м =

гт9 ¿в

Получив значения оценок в и 0(6'), можно в интересующей области значений 4 определить интервальную оценку функции условной плотности вероятности признаков:

р^Аг»,)- )] 5 р^Д^) й + « у,

где у- доверительная вероятность; I, - квантиль распределения Стьюдента; а

А а)

ж

(4)

I? '

Здесь . | - корреляционный момент. Под интервальной оценкой понимается огибающая семейства всевозможных значений полученных при различных значениях 9 в интервале 0±(у.

Зная точечные и интервальные оценки р[4Аа>/), можно

получить решающее правило (решающую функцию) для различных объектов с0) 0=1,..-..т) (например, воспользовавшись критерием отношения правдоподобия), интервальную оценку найденной решающей функции (т.е. возможную нулевую зону), точечные и интервальные оценки ошибок 1 и II рода (и суммарной ошибки). На этом процедура обучения заканчивается.

В процедуре идентификации объекта наблюдаемый вектор признаков

Хна6я надо соотнести с (/'= I_____т). Решение принимается не по А'К11<5„ а по

4НСб,- Поэтому для различных гипотез Яу (}-\.....т) по формуле (3), в случае

достаточного числа точек, при нахождении оценки Р^-^щ) находятся т

оценок 4 „об*, по которым и принимается решение. При недостаточном числе

точек, оценки £ на1., и в надо получить снова, присовокупив для каждой гипотезы значение Х„а6л к набору значений векторов признаков, полученных в процессе обучения системы. Когда получена решающая функция (р(£) и ее интервальные оценки <р,(4) и <р„(4), то правило распознавания примет вид: если <р({) > <р, (4). то 4 * а>,; ■ если р(4) < <рн (4). то 4 я со2'

если <ри(4) < <р(4) < <Р,(4)- то продолжить измерения. Далее во второй главе исследуются статистические свойства оценок в, влияние погрешности признаков на изменение погрешности оценок в\ показывается, что результаты модельных экспериментов подтверждают аналитические выкладки.

Один из вариантов распознавания образов при наблюдении двух нормально распределенных признаков Х\ и Хг показан на рис. 2, где принято:

...... - без учета погрешностей признаков; - - с учетом погрешностей

признаков;------интервальная оценка решающей функции. Традиционный

подход в этом случае приводит к неверному решению.

Рис. 2. Распознавание образов с учетом погрешности наблюдений признаков при известном виде функций условных плотностей вероятное«! признаков На рис. 3 представлена блок-схема программной реализации предложенного метода.

ю

Шаг 2 Логарифмирование данных

Шаг 3. Генерация значений функции

Начало Ь

Запуск Мастера

Штатный режим да

работы через

меню

Шаг 1. Загрузка данных I класса и (опционально) исследуемой точки

Шаг 1. «да

Логарифмирование

данных

Шаг 3. Установка максимального числа итераций и требуемой • точности

, I

Завершение Мастера и запуск процесса анализа

Рис,- 3. Блок-схема программы конфлюэнтного анализа данных

Рис. 3 {ндэдогжннг}. Блок-схема программы конфлюэнтного анализа данных

Данная программа позволяет проводить многомерный конфлюэнтный анализ данных двух классов объектов, распределенных по нормальному закону.

В третьей главе рассмотрена задача распознавания образов, когда известен вид разделяющих функций. По результатам наблюдений признаков получают точечные и интервальные оценки решающих функций и проводят идентификацию объектов по наблюдаемому вектору признаков.

В диссертации основной внимание уделено обобщенным линейным ' разделяющим функциям 1¡(\')--ату, где а - весовой вектор, у - вектор, координаты которого включают я себя коне гашу, равную ), и функции от X определяющие вид разделяющих функций (линейные, полиномиальные и т.д.).

Задача сводится к определению весового вектора (вектора решения) а. Для однозначного выбора вектора решения следует ввести некую целевую функцию (или критерий). С учетом погрешностей наблюдений признаков целевая функция, минимум которой определяет вектор решений о, имеет вид:

где /,-=£ + 4; погрешность <У пересчитываем из пофешности Л'; Ь - вектор допуска, который должен быть определен пли задан. Функция критерия J(a) включает все выборки.

Функционал (5) получен как функционал ортогональной регрессии, расширяющий понятие метода наименьшей квадрашчной ошибки, принятого и традиционном подходе.

В диссертации рассмотрены два подхода:

1) вектор допуска Ь задается;

2) оценивается в алгоритме построения разделяющей функции.

В первом случае часто берут Л = + I, если наблюдения относятся к у, -ы,, и ¿>--1, если наблюдения относятся к у3~а>}. Тогда функционал (5) для практического применения имеет вид:

где сг(у) - средняя квадратическая ошибка /-го вектора наблюдений, одинаковая во всех наблюдениях; у = 1 ,...,п, - наблюдения для ч>,, /=Я; + \,...,п1 - наблюдения для (0}.

Формулы для получения оценок £, точечных н интервальных оценок х(у) аналогичны формулам (2) - (4).

В диссертации на модельных экспериментах исследуется форма функционала (6), определяющая выбор нулевого приближения и поведения разделяющей функции %(у), при различных векторах допуска Ь и различных погрешностях наблюдений признаков.

Все предлагаемые в работе алгоритмы в качестве нулевых приближений используют традиционные подходы, т.е. они улучшают традиционные методы. Таким образом, всегда имеется возможность сопоставить результаты по предлагаемому и традиционному методу.

В третьей главе диссертации описаны возможности и процедура работы с разработанным программным обеспечением, функционирующем в среде

(5)

(6)

Windows 95/98. Ниже представлена общая блок-схема компьютерной программы, реализующей данный алгоритм (рис.4).

Рис. 4. Общая блок-схема программы

Разработанный метод был применен для идентификации слабых локальных землетрясений и -иск-усственных взрывов по сейсмограммам. Обучение системы проводилось по пяти наиболее информативным признакам из-18 исходных: отношению средних энергий Б- и Р-фаз в частотном диапазоне 10-15 Гц; доле средней энергии Б-фазы, принадлежащей частотному диапазону 6-10 Гц; отношению пиковых энергий Б- и Р-фазы в частотном диапазоне 1-3 Гц; отношению средних энергий Б- и Р-фазы в частотном диапазоне 6-10 Гц; доле средней энергии Б - фазы, принадлежащей частотному диапазону 1 -3 Гц.

Один ит вариантов расчеюи представлен на рис. 5. По оси абсцисс отложены номера точек наблюдения. По оси ординат - расстояние от точек до разделяющей поверхности. Светлые и серые эллипсы соответствуют точкам первого и второго классов. Их вертикальный размер определяется ошибками измерений, которые задаются. Прямоугольники, примыкающие одной стороной к оси абсцисс, определяют интервальные оценки для соответствующих точек. Как видно из рис. 5, неправильно идентифицируются точки первого класса с номерами 9 и 23, а также точка второго класса с номером 24.

3 93

I

I

I I

9 (

Points

е в

points o class 1 o cuss 2 linear case selected coordinates 1 2

3

4

5

■г эз

Рис. 5. Пример идентификации по сейсмическим признакам

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ

1. Разработан метод распознавания образов по фиксированной выборке при заданных параметрических моделях условных плотностей вероятности признаков или разделяющих функций, позволяющий учитывать погрешности наблюдений значений признаков, получать точечные и интервальные оценки функций условных плотностей вероятности признаков или разделяющих функций, точечные и интервальные оценки наблюдаемого вектора признаков, по которому ведется идентификация объектов. Метод объединяет процедуру обучения системы распознавания и процедуру идентификации образов. Разработана процедура принятия решений (идентификации объекта) при пересечении нулевой зоны и области неопределенности наблюдаемых значений признаков. Показано, что метод работоспособен как при известном виде функций условных плотностей вероятности признаков, так и в случае, когда вид функций условных плотностей вероятности признаков не задан, а заданы только средние квадратические погрешности наблюдений и общий вид разделяющих функций.

2. Исследованы основные особенности предложенного алгоритма распознавания образов и форма получаемых функционалов, показана

3

9

I

9

0

е

несмещенность и единственность получаемых оценок, определен выбор нулевого приближения в процедурах оценивания параметров моделей и исследованы статистические свойства полученных оценок, покатана согласованность результатов моделирования и аналитических расчетов.

3. Разработано программное обеспечение, реализующее на ПК предложений метод распознавания образов и обеспечившее проведение статистических испытаний получаемых результатов.

4. Предложенный метод применен для распознавания химических взрывов и слабых землетрясений по сейсмическим измерениям, когда в качестве признаков выступали пять признаков. Результаты исследовались в предположении, что вид функций условных плотностей вероятности признаков неизвестен, но при известных значениях точечных оценок признаков и их средних квадратических отклонений для линейных и квадратических разделяющих функций. Показано, что результаты идентификации могут существенно отличаться от получаемых традиционными методами.

5. Полученные результаты использовались в хоздоговорных темах "Образ-8" (1995-96 г.г.), в госбюджетной тематике, проводимой НИИПММ М1ТУ им. Н.Э.Баумана, в учебных курсах "Принятие решений и распознавание образов" и "Математические методы прогнозирования", читаемых студентам МГТУ им. Н.Э.Баумана и слушателям МИПК при МГТУ им. Н.Э.Баумана по экономическим и управленческим специальностям. Теоретическая часть работы поддерживалась SAIC Global Technology Corp. USA, субконтракт №29-990026142.

1. Мальцев A.B. Параметрическое распознавание образов по выборке фиксированного объема с погрешностями в признаках / Под ред. А.А.Грешилова. -М.: Радио и связь, 1999. - 73 с.

2. Анализ стохастических систем при учете погрешностей исходных данных / А.А.Грешилов, М.П.Гордин, А.В.Мальцев и др. // Научно-методическая конференция, посвященная 35-летию образования факультета "Фундаментальные науки" МГТУ им. Н.Э.Баумана: Тезисы докладов. -М.,

1999.-С. 49.

3. Грешилов A.A., Мальцев A.B. Математические проблемы в задачах распознавания образов // Научно-методическая конференция, посвященная 35-ле.ию образования факультета "Фундаментальные науки" МГТУ им. Н.Э.Баумана: Тезисы докладов. -М., 1999. - С. 50.

4. Грешилов A.A., Мальцев A.B.; Пархоменко В.П. Принятие решений с помощью обобщенных линейных разделяющих функций. -М.: Радио и связь,

2000. - 49 с.

5. Грешилов A.A., Мальцев A.B., Пархоменко В.П. Математические проблемы учета погрешностей и программная реализация алгоритмов распознавания образов // Системы компьютерной математики и лингвистики: Материалы междун. конф. - Смоленск, 2000. - С 17-19.

РАБОТЫ ПО ТЕМЕ ДИССЕРТАЦИИ

Введение.

Глава 1. Анализ традиционных методов в статистических задачах принятия решений и математическая постановка задачи исследования.

1.1. Основные понятия и определения.

1.2. Статистические задачи решения с наблюдениями.

1.3. Статистическая классификация при фиксированном объеме выборки.

1.4. Методы детерминистской классификации.

1.5. Математическая постановка задачи исследований.

Выводы к главе 1.

Глава 2. Принятие решений по выборке фиксированного объема с учетом погрешности признаков в обобщенных условных плотностях вероятности.

2.1. Анализ методов оценки параметров функции известного вида с учетом погрешностей в значениях функций и аргументов.

2.2. Задача оценивания свободных параметров функций в пассивной схеме наблюдений.

2.3. О единственности оценок параметров. Состоятельность оценок и алгоритм их получения.

2.4. Статистические свойства свободных параметров функции Гаусса, определенных через параметры уравнения прямой линии и непосредственно.

2.5. Оценка параметров функции плотности вероятности с учетом погрешности измерения вектора признаков.

2.6. Классификация образов по измеренному с погрешностью вектору признаков.

2.7. Программа для многомерного конфлюентного анализа данных.

Выводы к главе 2.

Глава 3. Статистические задачи распознавания образов при неизвестном законе распределения измеренных значений признаков.

3.1. Оценка значений параметров классификаторов по выборке фиксированного объема.

3.2. Обобщенные линейные разделяющие функции.

3.3. Оценка разделяющего вектора с помощью процедур линейного и квадратичного программирования.

3.4. Разделяющие функции для случая многих классов (образов).

3.5. Учет погрешностей наблюдений при оценке значений параметров классификаторов по выборке.

3.6. Распознавание образов по измеренному с погрешностью вектору признаков.

3.7. Описание математического и программного обеспечения.

3.8. Анализ тестовых расчетов.

3.9. Идентификация землетрясений и искусственных взрывов по сейсмическим проявлениям.

Выводы к главе 3.

Основные результаты диссертации.

Теория принятия решений в последние годы приобретает все большее значение в различных областях знания: в технике, экономике, медицине и др. Она перешагнула свои границы в узком смысле и все шире проникает в область управления, исследования операций, сейсмологию и т.д. Число книг и статей, публикуемых в самых разных изданиях по этой проблеме, резко возросло.

Алгоритмы распознавания образов по совокупности признаков различаются этапностью принятия решений; степенью и характером учета статистики признаков, помех, сигналов.

По этапности различают алгоритмы одноэтапного и многоэтапного [8, 41, 42, 43] принятия решений. Одноэтапное принятие решений предусматривает обязательную выдачу оценки класса / известного алфавита с приемлемой достоверностью. К многоэтапности принятия решений могут вести следующие соображения: целесообразность отказа от выдачи решения на первом этапе (первых этапах) до дополнительного набора признаков (последовательные алгоритмы типа Вальда); целесообразность принятия загрубленного решения до дополнительного набора признаков; необходимость обобщения предварительных решений, полученных в различные моменты времени или от различных источников.

По степени учета статистических закономерностей различают лингвистические и статистические алгоритмы. По характеру учета статистических закономерностей из статистических алгоритмов выделяют параметрические (байесовские и небайесовские), непараметрические и нейрокомпьютерные алгоритмы.

Лингвистические алгоритмы [11, 40, 54, 57] не учитывают статистики признаков. Вводимые признаки описывают качественно, часто двоичными цифрами 0, 1. Описание признаков на языке алгебры логики (языковое, кодовое, синтаксическое) служит при этом основой распознавания.

Байесовские параметрические алгоритмы, в отличие от параметрических небайесовских, учитывают не только статистику параметров помех, флуктуаций сигналов и признаков, но и определенные гипотезы об априорных вероятностях Р1 различных элементов алфавита классов [20, 53, 58]. Структура алгоритмов и работающих по ним устройств обработки сигналов определяется из математических расчетов. Статистика признаков сигналов, негауссовская в общем случае, устанавливается путем натурного эксперимента, математического или физического моделирования. Введение этой статистики можно трактовать как обучение распознаванию, адаптацию к конкретным условиям распознавания.

Непараметрические алгоритмы синтезируются эвристически без явного принятия предположений о конкретных статистических распределениях [20, 23, 34, 38, 40, 53, 58]. Их можно рассматривать в ряде случаев как эвристическое упрощение параметрических байесовских алгоритмов.

Нейрокомпьютерные алгоритмы отличаются своей заранее заданной универсальной структурой с большим числом неизвестных параметров, уточняемых в процессе адаптации (обучения) [70, 76]. Возрастание вычислительных затрат как издержку универсализации компенсируют ростом производительности вычислительных средств.

К решению задач распознавания привлекают также ряд математических теорий и методов, развитие которых связано с появлением экспертных систем [25, 52, 59]: теорию нечетких множеств и теорию возможностей [49, 55], теорию игр и другие математические методы [4, 5, 21].

В задачах распознавания образов и принятия решений важную роль играет то, как учтены (насколько строго) неопределенности исходных данных. Использование усредненных величин ведет к смещенным оценкам основных показателей, определяющих решение, и, как следствие, к неверным практическим выводам. Поэтому в диссертации особое внимание уделено строгому учету погрешностей измерений вектора признака объектов.

Традиционные статистические методы распознавания образов часто не учитывают погрешности в наблюдаемых значениях признаков, что приводит к следующему:

1) оценки функций условных плотностей вероятности признаков образов (если даже вид плотностей известен априори), которые получают по результатам наблюдений, будут смещенными, а их интервальные оценки -неверными;

2) в процессе идентификации образов, имеющих близкие значения координат векторов признаков, из-за влияния погрешностей на результаты наблюдений может быть принято неверное решение;

3) в традиционных методах функции условных плотностей вероятности признаков выступают в процедурах идентификации образов как детерминированные (не учитываются их интервальные оценки) и по этой причине в принятии решений не рассматриваются имеющие место зоны неопределенности (нулевые зоны).

В отличие от традиционных статистических методов распознавания образов в диссертации разработаны и используются методы, которые позволяют учесть погрешности наблюдаемых значений координат векторов признаков объектов, получить несмещенные точечные и интервальные оценки функций условных плотностей вероятности признаков, оценить "истинные" координаты вектора признаков, по которому ведется идентификация объектов, и включить эти данные в процедуру принятия решений.

Таким образом, решаемая задача представляет интерес для различных областей знаний и практических приложений и является актуальной.

Целью диссертационной работы является разработка теоретических и практических методов распознавания образов по выборке фиксированного объема с учетом погрешностей результатов наблюдений признаков, когда алгоритм распознавания включает в себя стохастические параметрические модели (априори известны вид функций условных плотностей вероятности признаков или разделяющих функций). Разрабатываемые методы предназначены для получения точечных и интервальных оценок искомых параметров моделей и оценок "истинных" значений векторов признаков и учета этих оценок в процедурах распознавания образов.

В соответствии с указанной целью в работе поставлены следующие задачи:

1) разработать метод идентификации объектов по выборке фиксированного объема, который позволяет оценивать и учитывать "истинные" значения вектора признаков объектов и точечные и интервальные оценки параметров заданных функций плотностей вероятности признаков, участвующих в процессе идентификации объектов, т.е. разработать общий подход и единый алгоритм для задачи обучения системы распознавания и задачи идентификации объектов при априори известном виде функций условных плотностей вероятности признаков;

2) разработать метод распознавания образов, позволяющий учесть погрешности результатов наблюдений векторов признаков объектов при фиксированном объеме выборки и неизвестных условных плотностях вероятности признаков, но известных с точностью до значений параметров разделяющих функциях;

3) разработать программное обеспечение, реализующее алгоритмы распознавания объектов по наблюдаемым с погрешностью признакам объектов как в случае заданных с точностью до параметров функций условных плотностей вероятности признаков, так и без учета условных плотностей вероятности признаков при известном виде разделяющих функций;

4) исследовать аналитически и в модельных экспериментах особенности предлагаемых алгоритмов и влияние погрешности в наблюдаемых значениях признаков на сходимость алгоритмов, на статистические свойства решений;

5) исследовать предлагаемые методы на реальных примерах распознавания химических взрывов и слабых землетрясений по сейсмическим наблюдениям, указать отличие в результатах, полученных традиционным и предлагаемым методами.

В качестве объекта исследования выступают классы распознаваемых образов методами, опирающимися на параметрические модели в виде обобщенных условных плотностей вероятности признаков или (и) разделяющих функций, в которых отсутствуют детерминированные исходные данные. В качестве конкретных примеров рассмотрены задачи распознавания химических взрывов и слабых землетрясений по признакам, измеренным в присутствии помех.

В основу исследования положен разработанный в диссертации метод распознавания образов, позволяющий учесть погрешность результатов наблюдений и точечные и интервальные оценки всех величин и функций, участвующих в процедуре распознавания. Метод базируется на конфлюентном анализе.

Разработанный метод основан на работах Р.Дуды, П.Харта, К.Фу, А.Л.Горелика, В.Г.Небабина и других - по теории распознавания образов, работах А.А.Грешилова, В.В.Федорова, W.Fuller, L.Gleser, D.Sehafer, M.Kendall и других - по теории вероятностей и математической статистике, работах российских и зарубежных авторов по вычислительной математике и программированию на ЭВМ. При сравнительном анализе использовались результаты других исследователей.

В первой главе диссертации дается анализ традиционных методов статистических задач решения; рассматриваются как стохастический, так и детерминистский подходы, а также задачи решения с фиксированным объемом выборки и последовательная решающая модель.

Во второй главе описываются способы учета погрешностей вектора признаков в статистических задачах решения с фиксированным объемом выборки, когда вид функций обобщенных условных плотностей вероятности известен априори, но неизвестны оценки их параметров, приводятся алгоритмы 9 получения несмещенных точечной и интервальных оценок разделяющей функции, а также оценок "истинных" значений измеренного вектора признаков, по которым принимается решение. Здесь же приводятся сведения из конфлюентного анализа - совокупности алгоритмов, позволяющих учитывать одновременно погрешности, как в значениях функции, так и в значениях аргументов. Показаны отличия в решениях, принимаемых согласно традиционным и предлагаемым в диссертации методам.

В третьей главе рассмотрена задача распознавания образов, когда обобщенные условные плотности вероятности не заданы, но предполагается вид разделяющих функций, параметры которых подлежат определению с учетом погрешности наблюдаемых значений признаков. Исследуется задача распознавания взрывов по сейсмическим наблюдениям с получением линейных и квадратичных разделяющих функций в процессе обработки экспериментальных данных для химических взрывов и слабых землетрясений по пяти признакам.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ

1. Разработан метод распознавания образов по выборке фиксированного объема при заданных параметрических моделях условных плотностей вероятности признаков или разделяющих функций, позволяющий учитывать погрешности наблюдений значений признаков, точечные и интервальные оценки функций условных плотностей вероятности признаков или разделяющих функций, а так же точечные и интервальные оценки наблюдаемого вектора признаков, по которому ведется идентификация объектов. Метод объединяет процедуру обучения системы распознавания и процедуру идентификации образов.

Показано, что метод работоспособен как при известном виде функций условных плотностей вероятности признаков, так и в случае, когда закон распределения результатов наблюдений и вид функций условных плотностей вероятности признаков не заданы, а заданы только средние квадратические погрешности наблюдений и общий вид разделяющих функций.

2. Исследованы основные особенности предложенного алгоритма распознавания образов и форма получаемых функционалов, показана несмещенность и единственность получаемых оценок, определен выбор нулевого приближения в процедурах оценивания параметров моделей и исследованы статистические свойства полученных оценок.

3. Разработано программное обеспечение, реализующее на ПК предложений метод распознавания образов и обеспечившее проведение статистических испытаний получаемых результатов.

4. Предложенный метод исследовался на примерах распознавания химических взрывов и слабых землетрясений по сейсмическим измерениям, когда в качестве признаков выступали пять признаков. Результаты исследовались в предположении, что вид функций условных плотностей вероятности признаков неизвестен, но при известных значениях точечных оценок признаков и их средних квадратических отклонений для линейных и

139 квадратических разделяющих функций. Показано, что результаты идентификации могут отличаться от получаемых традиционными методами.

5. Результаты, полученные в диссертации, апробировались в хоздоговорных работах по теме "Образ-8" (1995-96 гг.), в госбюджетной тематике, проводимой НИИПММ МГТУ им. Н.Э. Баумана, и в учебных курсах "Принятие решений и распознавание образов" и "Математические методы прогнозирования", читаемых студентам МГТУ им. Н.Э. Баумана и слушателям МИПК при МГТУ им. Н.Э. Баумана по экономическим и управленческим специальностям; теоретическая часть работы поддерживалась SAIC Global Technology Corporation (SAIC GT), USA, субконтракт №29-990026-142.

1. Альберг Дж., Нильсон Э., Уолш Дж. Теория сплайнов и ее приложения: Пер. с англ. / Под ред. С.Б. Стечкина. -М.: Мир, 1972. 316 с.

2. Бард И. Нелинейное оценивание параметров. -М.: Статистика, 1979. 349 с.

3. Бартон Д., Вард Г. Справочник по радиолокационным измерениям. -М.: Советское радио, 1976. 392 с.

4. Борисов А.И., Алексеев A.B. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь, 1989. -124 с.

5. Борисов А.И., Крумберг O.A., Федоров И.П. Принятие решений на основе нечетких моделей. -Рига: Зинатне, 1990. 184 с.

6. Вентцель Е.С. Теория вероятностей. Изд. 4-е. М.: Наука, 1969. - 576 с.

7. Вопросы статистической теории распознавания. /Под ред. Б.В. Барского. -М.: Сов. Радио, 1967. 400 с.

8. Гельман Л.М. Распознавание радиолокационных образов // Современная радиолокация: Докл. Междунар. конф. Киев, 1994. - Вып. 1. - С.74

9. Гончарский A.B., Леонов A.C., Ягола А.Г. Некоторое обобщение принципа невязки для случая оператора, заданного с ошибкой // ДАН СССР. -1972. Т. 203, N6.-С. 1238-1239.

10. Горелик А.Л., Скрипкин В.А. Методы распознавания. М.: Высшая школа, 1977.-222 с.

11. Горелик А.Л., Скрипкин В.А. Методы распознавания. М.: Высшая школа, 1989.-232 с.

12. Селекция и распознавание на основе локационной информации /А.Л. Горелик, Ю.Л. Барабаш, О.В. Кривошеев и др.; Под ред. А.Л. Горелика М.: Радио и связь, 1990. - 240 с.

13. Грешилов A.A. Анализ и синтез стохастических систем. Параметрические модели и конфлюентный анализ. -М.: Радио и связь, 1990. 320 с.

14. Грешилов A.A. Метод наименьших квадратов и элементы конфлюентного анализа. М.: Издательство МГТУ, 1980. - 67 с.

15. Грешилов A.A. Некорректные задачи цифровой обработки информации и сигналов. -М.: Радио и связь, 1984. 161 с.

16. Грешилов A.A., Стакун В.А., Стакун A.A. Математические методы построения прогнозов. М.: Радио и связь, 1997. - 112 с.

17. Де Гроот М. Оптимальные статистические решения: Пер. с англ. -М.: Мир, 1974.-491 с.

18. Демиденко Е.З. Линейная и нелинейная регрессии. -М.: Финансы и статистика, 1981. 302 с.

19. Демиденко Е.З. Оптимизация и регрессия. М.: Наука, 1989. - 292 с.

20. Дуда Р., Харт П. Распознавание образов и анализ сцен: Пер. с англ. -М.: Мир, 1976.-511 с.

21. Дюбуа Д., Прад А. Теория возможностей. М., 1990. - 286 с.

22. Жилинская Е.И., Товмаченко H.H., Федоров В.В. Методы регрессионного анализа при наличии ошибки в предикторных переменных. -М.: АН СССР, 1978.-34 с.

23. Журавлев Ю.И., Никифоров В.В. Проблемы реализации алгоритма обобщенной невязки // Кибернетика. -1971. -N 3. С 19-21.

24. Зельнер А. Байесовские методы в эконометрии. -М.: Статистика, 1980. -438 с.

25. Искусственный интеллект: Справочник, В 2-х кн. / Под ред. Д.А.Поспелова. М.: Радио и связь, 1990. - Кн. 2. - 248 с.

26. Кендалл М., Стъюарт А. Статистические выводы и связи: Пер. с англ. / Под ред. А.Н.Колмогорова. М.: Наука, 1973. - 590 с.

27. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров: Пер. с англ. М.: Наука, 1970. - 720 с.

28. Планирование эксперимента в задачах нелинейного оценивания и распознавания образов / Г.К. Круг, В.А. Кабанов, Г.А. Фомин и др. -М.: Наука, 1981,- 172 с.

29. Круг Г.К., Сосулин Ю.А., Фатуев В.А. Планирование эксперимента в задачах идентификации и экстраполяции. М.: Наука, 1977. - 208 с.

30. Кудрявцев Л.Д. Курс математического анализа. Изд. 2-е. -М.: Высшая школа, 1988. Т. 2.- 575 с.

31. Леонов A.C. Некоторые аспекты реализации регуляризующего алгоритма обобщенной невязки // Обработка и интерпретация физических экспериментов (М). 1976. - Вып. 4. - С. 69-81.

32. Линник Ю.В. Метод наименьших квадратов и основы математико-статистической теории обработки информации. М.: Физматгиз, 1958. -333 с.

33. Митрофанов Д.Г., Ермоленко В.П. Распознавание воздушных целей за счет измерения их пространственной протяженности // Зарубежная радиоэлектроника. 1996. -N 1. - С. 53-56.

34. Модели. Алгоритмы. Принятие решений: Сб. статей. -М.: Наука, 1989. -250 с.

35. Небабин В.Г., Белоус О.И. Методы и техника противодействия радиолокационному распознаванию // Зарубежная радиоэлектроника. -1987.-N 2.-С. 142-144.

36. Небабин В.Г., Гришин В.К. Методы и техника радиолокационного распознавания: Современное состояние, тенденции развития, перспективы //Зарубежная радиоэлектроника. 1992. -N 10. - С. 46-49.

37. Небабин В.Г., Сергеев В.В. Методы и техника радиолокационного распознавания. М.: Радио и связь, 1984. - 152 с.

38. Патрик Э. Основы теории распознавания образов: Пер. с англ. М.: Советское радио, 1980. - 408 с.

39. Персептрон система распознавания образов / Под ред. А.Г. Ивахненко. -Киев: Наукова думка, 1975. - 278 с.

40. Распознавание образов. Состояние и перспективы: Пер. с англ. / Под ред. И.Б.Гуревича. М.: Радио и связь, 1985. - 103 с.

41. Репин В.Г., Тартаковекий Г.П. Статистический синтез при априорной неопределенности и адаптация информационных систем. М.: Сов. радио, 1977.-432 с.

42. Селекция и распознавание на основе локационной информации / Под ред. А.Л.Горелика. М.: Радио и связь, 1990. - 239 с.

43. Сосулин Ю.Г., Фишман М.М. Теория последовательных решений и ее применения. М.: Радио и связь, 1985. - 272 с.

44. Стайнберг Б.Д. Формирование радиолокационного изображения самолета в диапазоне СВЧ // ТИИЭР. 1988. - Т. 76, N 12. - С. 26-А6.

45. Статистические методы в экспериментальной физике: Пер. с англ. / Под ред. А.П.Тяпкина. М.: Атомиздат, 1976. - 335 с.

46. Стронгин Р.Г. Численные методы в многоэкстремальных задачах. М.: Наука, 1978.-239 с.

47. Трубицын Е.Г., Ермоленко В.П. Алгоритм распознавания сложных воздушных целей // Зарубежная радиоэлектроника. -1992. N 10. - С.82-84.

48. Уилкс С. Математическая статистика: Пер. с англ. -М.: Наука, 1967. 632 с.

49. Уотермен Д. Руководство по экспертным системам. -М.: Мир, 1989. 388 с.

50. Успенский А.Б., Федоров В.В. Вычислительные аспекты МНК при анализе и планировании регрессионных экспериментов. М.: Изд-во Моск. ун-та. 1975.- 168 с.

51. Федоров В.В. Теория оптимального эксперимента. -М.: Наука, 1971. -312 с.

52. Финкелыитейн М.И., Мендельсон В.А., Кутев В.Л. Радиолокация слоистых земных покровов. М.: Сов. радио, 1977. - 174 с.

53. Фомин Я.А., Тарловский Г.Р. Статистическая теория распознавания образов. М.: Радио и связь, 1986. - 263 с.

54. Фор А. Восприятие и распознавание образов: Пер. с франц. М.: Машиностроение, 1989. -271 с.

55. Франклин Д., Кармоди У. Проблемы обработки нечеткой информации //ТИИЭР. 1988. - Т. 78, N 10. - С. 32-36.

56. Фу К. Последовательные методы в распознавании образов и обучении машин: Пер. с англ. М.: Наука, 1971. - 255 с.

57. Фу К. Структурные методы в распознавании образов: Пер. с англ. М.: Мир, 1977.-319 с.

58. Фукунага К. Введение в статистическую теорию распознавания: Пер. с англ. -М.: Наука, 1979.-367 с.

59. Хармут Х.Ф. Несинусоидальные волны в радиолокации и радиосвязи. М.: Радио и связь, 1985. - 376 с.

60. Химмельблау Д. Анализ процессов статистическими методами: Пер. с англ. -М.: Мир, 1973.957 с.

61. Худсон Д. Статистика для физиков: Пер. с англ. / Под ред. Е.М.Лейкина. -М.: Мир, 1970.-296 с.

62. Шишов С.А. Классификаторы на основе нейронных структур // Зарубежная радиоэлектроника. 1992. -N 8. - С. 78-83.

63. Юдин Д.Б., Голыптейн Е.Г. Линейное программирование. Теория и конечные методы. М.: Физматгиз, 1963. - 775 с.

64. Яноши Л. Теория и практика обработки результатов измерений: Пер. с англ. / Под ред. Н.П.Клепикова. М.: Мир, 1968. - 462 с.

65. Frisch R. Statistical confluence anakysis by means of complete regression sistems. Oslo, 1934. - 192 p.

66. Fuller W.A. Measurement error models. New York: Wiley, 1987. - 440 p.

67. Jefferys W.H. Robust estimation when more then one variable per equation of condition has error // Biometrika. 1990. -V. 77. - P. 597-607.

68. Lyons louis. On estimating systematic errors from repeated measurements // J. Phys. A. 1992. -V. 25. - P. 1967-1979.

69. Parallel Distributed Processing / Ed. by D. Rummelhart, J. Mc. Clelland, -Cambridge MA: MJT Press, 1988. -V. 1. 354 p.

70. Spiegelman CI. H. Plotting techniques for error-in-variables problems // Statistic Analysis Measurable Error Models and Application: Proc. AMS-IMS-SIAM: It Summer Res. Conf., Areata (CA), June 10-16, 1989. Providence, 1990. - P. 167-168.

71. Schneeweiß H. H-J. Mittag. Lineare Modelle mit fehler behafteten Daten //Physica.- Heidelberg-Wien, 1986. S. 504.

72. Yohai V.J., Zamar R.H. Bounded influece estimation in the error-in-variables model // Statistic Analysis Measurable Error Models and Application: Proc. AMS-IMS-SIAM: It Summer Res. Conf., Areata (CA), June 10-16, 1989. -Providence, 1990. P. 243-248.

73. Werbos P. Backpropagation through time: what it does and how to do it // Proc. IEEE. 1990. -V. 78, N. 10. - P. 1258-1276.

74. Widrow B. and Lehr M.A. 30 Years of Adaptive Neural Networks: Perceptron, Madaline, and Backpropagation//Proc. IEEE. -1990.-V.78, N.9. -P.1415-1442.

75. Williamson J.H. Least-squares fitting of straight line // Canad. J. Phys. 1968. -V. 46, N. 16.-P. 1845.

76. Whittemore A.S. Error-variables regression problems in epidemiology // Statistic Analysis Measurable Error Models and Application: Proc. AMS-IMS-SIAM: It Summer Res. Conf., Areata (CA), June 10-16, 1989. Providence, 1990. - P. 17-31.