автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Информационная технология восстановления изображений, основанная на принципах распознавания образов

На правах рукописи

ЧЕРНОВ Андрей Владимирович

ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ, ОСНОВАННАЯ НА ПРИНЦИПАХ РАСПОЗНАВАНИЯ ОБРАЗОВ

Специальность 05.13.17 - Теоретические основы информатики

Авторе ферат диссертации на соискание ученой степени кандидата технических наук

САМАРА-2004

Работа выполнена в Самарском государственном аэрокосмическом университете имени академика С Л.Королева

Научный руководитель: доктор технических наук,

профессор В.В.Сергеев

Официальные оппоненты: доктор технических наук,

профессор В.В.Моттль

кандидат технических наук, доцент А.СХрамов

Ведущее предприятие: Институт автоматики и электрометрии

СО РАН (г.Новосибирск)

Защита с о с т" 15" 2004 г. в /3 часов

на заседании диссертационного совета Д 212.215.07 при Самарском государственном аэрокосмическом университете имени академика С.П.Королева по адресу: 443086, Самара, Московское шоссе, 34.

С диссертацией можно ознакомиться в библиотеке университета.

Автореферат разослан" 2004 г.

Ученый секретарь диссертационного совета

И.В.Белоконов ■

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Диссертация посвящена разработке информационной технологии восстановления и фильтрации изображений, базирующейся на принципах теории распознавания образов.

Актуальность темы

Восстановление и фильтрация изображений являются обязательным этапом любых информационных технологий обработки двумерных сигналов. Традиционный путь решения этих задач включает в себя подбор или полуэвристический синтез большого числа обрабатывающих процедур, что объективно обусловлено разнообразием и сложностью математических моделей формирования оптических сигналов, плохой формализуемостью решаемых задач, критериев качества обработки и т.д. Вопросам разработки методов восстановления посвящено большое количество работ отечественных (Д.СЛебедев, Л.П.Ярославский, Г.И.Василенко, ВЛ.Сойфер, А.А.Спектор, Ю.П.Пытьев и др.) и зарубежных ученых (У.Прэтт, Р.Бейтс, Р.Мерсеро, и др.). Основными недостатками традиционных методов являются, во-первых, слабая адаптивность к меняющимся свойствам сигнала, во-вторых, ориентация на определенную модель искажения сигнала, в-третьих, зачастую низкая вычислительная эффективность. Поэтому актуальным представляется разработка быстрых адаптивных методов восстановления изображений.

Цель и задачи исследования

Целью диссертационной работы является построение информационной технологии восстановления и фильтрации изображений, использующей представление априорной информации в виде согласованной пары изображений, интерпретируемых по отношению к неизвестной искажающей системе как "входное" (идеальное) и "выходное" (наблюдаемое).

Для достижения этой цели решаются следующие задачи:

1. Разработка общей схемы преобразования данных для применения метода локальной "обработки через распознавание" изображений к задачам восстановления и фильтрации.

2. Разработка методов формирования систем локальных признаков, описывающих форму функции яркости изображений, в том числе инвариантных к повороту, линейному преобразованию, а также процедур их эффективного вычисления.

3. Синтез и исследование конечных импульсных характеристик (КИХ), обеспечивающих рекурсивное вычисление свертки для формирования локальных признаков изображения, и разработка соответствующих алгоритмов рекурсивного формирования признаков.

4. Разработка алгоритмов обучения классификаторов, осуществляющих преобразование признаков в выходное (восстановленное) изображение, выработка критериев остановки процесса обучения.

5. Разработка общей информационной технологии восстановления изображений, базирующейся на синтезированных алгоритмах вычисления признаков и обучения классификаторов.

6. Экспериментальное исследование эффективности общей информационной технологии восстановления изображений, а также ее составных частей - методов построения и быстрого вычисления локальных признако

классификаторов.

РОС. НАЦИОНАЛЬНАЯ

библиотека

ОЭ гоо^аит 2

Методы исследований

В диссертационной работе используются методы распознавания образов, цифровой обработки сигналов и изображений, теории вероятностей и статистического анализа, методы оптимизации, линейной алгебры и математического анализа.

Научная новизна работы

1. Разработана общая схема преобразования данных для применения методов "обработки через распознавание" (P/R методов) в задачах восстановления и фильтрации изображений.

2. Разработаны методы нахождения вычислительно эффективного семейства признаков, описывающих форму изображения, в т.ч. инвариантных к повороту изображения и линейному преобразованию его яркости.

3. Разработаны быстрые алгоритмы вычисления одномерных и двумерных сверток с конечной импульсной характеристикой на основе аппроксимации последовательностями, удовлетворяющими линейно-рекуррентным соотношениям.

4. Разработаны алгоритмы параметрической оптимизации семейства признаков в P/R методах.

5. Разработаны алгоритмы обучения древовидных классификаторов, осуществляющих преобразование признаков в выходное (восстановленное) изображение, способы разбиения признакового пространства и правила остановки процесса обучения.

6. Разработана сквозная информационная технология синтеза и применения восстанавливающих процедур с использованием P/R методов.

Практическая ценность работы

Разработанная информационная технология может быть использована для восстановления изображений в системах технического зрения при самых общих предположениях о характере искажений и классе обрабатываемых сигналов. Построенные быстрые алгоритмы восстановления могут быть использованы в цифровых системах оперативного анализа видеоинформации в режиме реального времени (в темпе видеоизмерений).

Отдельные алгоритмы, разработанные в рамках технологии, имеют применение, выходящее за рамки восстановления изображений. Алгоритмы формирования и параметрической оптимизации семейства локальных признаков могут применяться в широком классе задач распознавания изображений. Процедуры быстрого вычисления признаков могут использоваться для синтеза цифровых одномерных и двумерных рекурсивных фильтров с конечной импульсной характеристикой.

Предложенный в диссертационной работе подход позволяет, с одной стороны, улучшить качество восстановления за счет адаптации к свойствам обрабатываемых сигналов и более полного использования априорных данных, а с другой стороны, совместно с рекурсивными алгоритмами формирования локальных признаков, радикально снизить вычислительную сложность обработки видеоинформации.

Реализация результатов работы

Результаты диссертации внедрены в рамках ряда госбюджетных и хоздоговорных научно-исследовательских работ в Институте систем обработки изображений РАН и в ЗАО Самара-Информспутник".

Апробация работы

Основные результаты работы докладывались на следующих конференциях:

• 3-й Всероссийской конференции "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-3-97), г. Нижний Новгород, 1997;

• 5-th Open German-Russian Workshop on Pattern Recognition and Image Understanding, 21-25 сентября 1998г., Херршинг, Германия;

• 4-й Всероссийской конференции "Распознавание образов и анализ изображений: новые информационные технологии" (РОЛИ-4-98), г. Новосибирск, 1998;

• 5-й Международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-5), Самара, 2000;

• 6-й Международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-6), Великий Новгород, 2002.

Работы по тематике диссертации были поддержаны грантами Российского фонда фундаментальных исследований (проекты № 96-01-00453,№ 00-01-00600) и Американского фонда гражданских исследований и развития (CRDF Project SA-014-02).

Публикации

По теме диссертации опубликовано 11 печатных работ. При участии автора написано 5 отчетов по НИР.

Структура диссертации

Диссертация состоит из введения, четырехглав, заключения, списка литературы и приложения. Основной текст диссертационной работы изложен на f jÖ3> страницах машинописного текста (без приложения), содержит «^"рисунков, ß^ таблиц, список использованных источников из« наименований.

На защиту выносятся

1. Общая схема преобразования данных для применения методов "обработки через распознавание" (P/R методов) в задачах восстановления изображений.

2. Методы нахождения вычислительно эффективного семейства признаков, описывающих форму изображения, в т.ч. инвариантных к повороту изображения и линейному преобразованию его яркости.

3. Методы синтеза и быстрые алгоритмы вычисления КИХ-фильтров на основе аппроксимации импульсных характеристик последовательностями, удовлетворяющими линейным рекуррентным соотношениям.

4. Алгоритмы параметрической оптимизации семейства признаков в P/R методах.

5. Способы разбиения признакового пространства при обучении древовидных классификаторов, правила остановки процесса обучения.

6. Информационная технология синтеза и применения восстанавливающих процедур с использованием P/R методов.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Первая глава диссертации посвящена вопросу построения восстанавливающих процедур, использующих представление априорной информации в виде пары изображений - идеальное "входное" и реальное "выходное" (искаженное в канале и наблюдаемое на его выходе). Для этого применяется методика "обработки через

распознавание", суть которой состоит в следующем. На входе процедуры восстановления имеется множество отсчетов изображения X, являющееся результатом искажений "идеального" изображения Хц в информационном канале системы видеоизмерений (рис 1а). Требуется восстановить изображение Хо по X. Однако на практике в результате обработки удается получить лишь изображение У~ аппроксимацию Хй.. По паре изображений Ло и встроится процедура обучения, состоящая из формирования вектора признаков р(Х) и решающего правила при этом не делается никаких предположений о характеристиках искажающей системы. Процедуры формирования признаков и классификации, настроенные в итоге обучения на неформально заданное преобразование данных, далее используются при обработке других изображений того же класса (рис 16). Дополнительная априорная информация о классе обрабатываемых изображений может задаваться через набор преобразований (поворот, сдвиг, линейное преобразование яркости), действия которых не выводят за границы класса.

Рис I. Общая схема преобразования данных

Проблема несоответствия числа классов (по сути, числа возможных "входных" изображений) и объема обучающей выборки, включающей только пару изображений, решается (в предположении пространственной инвариантности искажений) переходом к обработке в "скользящем окне":

у(пип2) = с[{х(п1-т1,п2-т2)},(т1,т2)е0], (1)

- двумерные последовательности отсчетов входного и выходного изображения соответственно; О - оператор преобразования, Б - конечное множество отсчетов, определяющее окно обработки. Преобразование (1) для каждого положения окна реализуется через формирование л-мерного вектора призна-и его использование в процедуре классификации каждого выходного отсчета. Так как решение принимается индивидуально для каждого отсчета выходного изображения, то число классов относительно мало (равно числу уровней квантования выходного отсчета). И напротив, объем обучающей выборки достаточно велик, он равен числу положений скользящего окна на изображении, по которому производится обучение, то есть числу самих отсчетов изображения. Рассматриваются только локальные признаки изображения, вычисляемые по окну сравнительно небольшого размера, поэтому их число ограничено.

Математическая постановка задачи восстановления с использованием про-

странственно-инвариантной "обработки через распознавание" (P/R методов) выглядит следующим образом.

Найти оператор восстановления G, доставляющий минимум функционалу:

I(X0,Y)=£J ><Л1»"2>)2 l' \хй{щ,п2)-а[х{пгтипг-т2)'^, {2)

где /-выбранный среднеквадратичный критерий близости (мера сравнения) отсчетов изображений Xq и Y.

При этом в рамках используемого подхода оператор преобразования G реализуется в два этапа: G = М ° R „ где М - оператор формирования признаков, R - оператор построения аппроксимирующей функции (классификатор).

Оператор М вычисляет локальные пространственно-инвариантные признаки на изображении. В результате его работы получается К изображений-признаков, совпадающих по размерам с х{щ,П2), каждое из которых можно рассматривать как

компоненту векторного поля:

Оператор R для каждого отсчета изображения по значениям вектора признаков ,«2) поэлементно вычисляет о ц Он также инвариантен сдвигу и рассматривает значения вектора при различных как независимые наблюдения. Задача построения оператора R в общем случае сводится к задаче восстановления регрессии по эмпирическим данным (выборке).

Во второй главе диссертации рассматривается задача разработки методов формирования локальных признаков на изображении. Поиску систем признаков для распознавания изображений посвящено множество работ (M-K.Hu, J.Flusek и T.Suk, Н.И.Глумов, ШБ.Гуревич, В.В.Мясников, В.В.Сергеев). Однако в отличие от задач распознавания образов, где основное внимание уделяется разделяющим свойствам признаков, в P/R методах больше важны их аппроксимирующие свойства. Это означает, что система признаков, во-первых, должна описывать форму изображения (хорошо аппроксимировать функцию яркости), во-вторых, при наличии дополнительной априорной информации о классе предъявляемых для обработки изображений, трансформироваться в систему характеристик, инвариантных к повороту, сдвигу, линейному преобразованию яркости, а в третьих, алгоритмы формирования признаков должны быть вычислительно эффективными.

В качестве базы для сравнения построенных систем признаков использовались локальные обобщенные моменты:

~mi) (3)

-дискретные свертки изображения с разделимыми конечными ядрами

, 0£кйК-\ специального вида (прямоугольного и

полиномиального базиса), а также классический набор моментных инвариантов. Основным недостатком локальных обобщенных моментов является неинвариантность к трансформациям изображения (повороту, линейному преобразованию яркости). Недостатком же моментных инвариантов является их неустойчивость к шумовым искажениям из-за довольно больших значений моментов высоких степеней, отсутствие явной связи с аппроксимацией формы изображения в окне, а также зависимость от значения яркости и контраста изображения.

Систему признаков, описывающих форму изображения х(л,,л2) в скользящем окне, предложено строить на основе коэффициентов его приближения поверхностью порядка <1:

т2

С

2

2

Е аУп'М-*(")."г) 1+¡а

->шт, (4)

(п,,л2)еО .

где а у- коэффициенты полинома, подлежащие определению (рассматривается скользящее окно квадратной формы £> = [-//, ЛГ]х[-ЛГ,ЛГ] при положении центра в начале координат (0,0)). Показано, что коэффициенты ау находятся решением системы линейных уравнений (СЛУ):

£ аа

V ■ У+у' ¿"1 "2

:(1,Г ¡'+Г*с1, (5)

где Ц/,у(л1>л2) = т2 *(и1 ~Щ>п2 ~тг) - начальные моменты порядка (Ц),

вычисляемые рекурсивно (Н.И.Глумов, В.В.Сергесв, 1995 г.). Для вычисления ац

из СЛУ (5) требуется И= операций сложения и умножения.

Далее, решается задача обеспечения инвариантности к преимущественному направлению <р (ориентации изображения) в окне:

г<р= 2мп , (,=1агсш-^и_+Д, /=0,1,2,3. (6)

Мю -М02 2 Р20~М02. 2

Получены формулы пересчета ау к стандартному (нормализованному) положению (р = 0). Для <1=2 они имеют вид:

а'20 = А2а20 + АВап + В2а02 а'10 = Аа}0+Ва01

1 5

а ] = -2АВа2о + (А - В )а\ \ + 2АВащ я 01 = Л<*о1 ~ 0 > ^ = Со$р, В = Бт<р.

2 2 ¿»02 = В а20 - ЛВа\ 1+А а02 а'00 = ат

Значение / в (6) для определения <р выбирается из условия приведения к нормализованному положению, при котором \а20 >|«021, о10 >0, а при а10 = 0 я01 >0 •

Для произвольного с1 расчет нормализованных коэффицентов осуществляется

по формулам .,/ = 1 С^с[1~к/уГ(-\)''кА2к+г'1Вм'~2к, [+[?* .

/=о *=о

В диссертации приведены оценки требуемого числа операций для <1 = 2,3.

Для обеспечения инвариантности к линейному преобразованию яркости х(щ,п2) = к-х(пип2)+е производится дополнительная нормализация:

°'оо = а00 ияи а'оо = «20 = *:=—. а'и (/,;•) *(0,0),(2,0)

|Д| а2й а2 о

Преобразованная система признаков ^ = {¿¡¡,0,а[0,о^, а10 = а] ] = <р, о'02; а^-,2 < г + у й ¿} содержит в явном виде оценку параметров нормализации и инвариантную к ним

часть. При этом существует взаимно-однозначное отображение +

поэтому осуществление описанной процедуры нормализации не приводит к появлению дополнительных функциональных зависимостей. При наличии априорной информации о замкнутости класса изображений, предъявляемых для обработки, относительно локальных трансформаций определенного вида, достаточно использовать усеченный набор признаков (например, без оценки угла поворота).

Третья глава диссертации посвящена разработке методов быстрого вычислению значений признаков, представимых в виде свертки с конечной импульсной характеристикой (ИХ) на основе ее приближения семейством функций специального вида, вычисление свертки с которыми допускает рекурсивную реализацию с помощью разностных схем.

Сначала рассматривается случай одномерных ИХ и предлагается обобщенный подход, позволяющий найти приближение в классе последовательностей, удовлетворяющих линейным рекуррентным соотношениям (ЛРС) порядка R (рекуррентных последовательностей):

(7)

где О;, » = 1,..,Л - коэффициенты ЛРС, = 0,..,Л-1 - начальные условия. Семейство функций, удовлетворяющих ЛРС (общее решение), представляет собой суммы показательных, тригонометрических функций, а также их произведений на многочлены соответствующей степени. При этом коэффициенты рекурсии определяют фундаментальную (базисную) систему решений ЛРС, а начальные условия - представление искомого частного решения ЛРС линейной комбинацией фундаментальных решений.

Показано, что для импульсной характеристики вида (7), равной нулю вне интервала [ОД-1] , результат свертки (фильтрации) у{п)^Ъ{п)*х(п) с входным сигналом х(п) может вычисляться рекуррентно:

У(") = £а,у("-0(8)

4=0

где

,

рассчитываются заранее. Оценки

необходимого числа умножений и сложений составляют' I!» = ЗЛ, У+ = ЗД -1.

Из рекуррентных последовательностей частного вида наибольший интерес представляет реализация свертки с многочленами. Для них коэффициенты рекурсии являются биномиальными коэффициентами, поэтому удается дополнительно сократить число умножений, используя разностную схему:

*Го ыз Д>(и) = А1-\п)-А'-\п-1), у = 1....Я

с и,(Я) = 2Д + 1 и ¡У+ (Л) = ЗЛ+Э. Эти оценки практически совпадают с оценками для параллельно-рекурсивных алгоритмов свертки с многочленами (Н.И. Глумов, В.В. Мясников, В.В. Сергеев, 1995 г.).

Далее решается задача об оптимальном приближении произвольной им-

(И)

пульсной характеристики цифрового фильтра {£(л)}Я1Г0 функцией вида (7):

где значения [k(n)} нелинейным образом зависят о т{П}р.,к а з а н о , что в частотной области минимизация (11) эквивалентна минимизации функционала

' Хс,со"" +G(m)£a,ci>"

) i=0 ¡=о

Г(и)-

> min, cav = 1

(12)

линейно связаны с начальными условиями при известных {<*/}*,

Разработан итерационный метод нахождения паряметппв ЛРС (7), основанный на попеременном нахождении значений {в/}*) и {с/}/*о Ь н и е м СЛУ при фиксированных значениях весов Г(/и) и вычислении новых значений весов по найденным коэффициентам рекурсии. В тексте диссертационной работы приводится его описание. Для аппроксимации четной или нечетной импульсной характеристики данный алгоритм используется "на половине интервала" задания исходной ИХ.

В двумерном случае рассматривается алгоритм аппроксимации g(nl,n2) в виде Р разделимых рекуррентных звеньев Л(я1,л2)=^Л1р(я,)А2л)Сп2). Для такой ИХ

удается «каскадно» реализовать вычисление конечной двумерной свертки У("1,п2) = х(пип2)*Щп1,пг) с 1/»=ЗР(Я,+Лг+1) и и+=ЗР(Я,+Я2+3)„ где Я и К - порядки рекуррентности соответствующих одномерных ЛРС.

Предлагается аппроксимацию исходной ИXg(n^,n2) производить в 2 этапа.

Первый этап - решение нелинейной задачи аппроксимации g(n|,n:¡) семейством из Р разделимых ИХ общего вида

Г » _ _ -Р

g^.nl,nг)-Y1hp{щ)hlp{nг)

л„п,

р-1

mm

(13)

Задача сводится к задаче нахождения Р левых и правых сингулярных векторов, соответствующим максимальным по модулю сингулярным числам матрицы

На втором этапе производится аппроксимация одномерных ИХ рекуррентными последовательностями с использованием одномерных алгоритмов:

М-] _ 2 ^2-1 _ 2

е2 = £ (Ми|)-Ми|)) и е* = £ (МЯ2>_МПг)) •

п-0 °и-Ь11 ""О

При этом удается дополнительно улучшить аппроксимацию на втором этапе, минимизируя по начальным условиям отклонение

и

'"О

при найденных фиксированных {а^}, полученных из условия одномерных

аппроксимаций. Для одного разделимого звена (Р=1) задача также сводится к нахождению собственных чисел и векторов:

Для нахождения лучшего приближения в зависимости от начальных условий в случае аппроксимации Р звеньями необходимо использовать метод покоординатного спуска, попеременно фиксируя параметры всех звеньев, кроме одного. Описание соответствующего процесса приведено в тексте диссертации.

В четвертой главе диссертации рассматривается построение простых в реализации и бысгрых классификаторов, предназначенных для преобразования изображений-признаков в выходное (восстановленное) изображение; производится экспериментальное сравнение классификаторов по качеству и вычислительной сложности. Рассматривались следующие виды классификаторов. 1) Линейный по параметрам классификатор:

Я" 1."2)= 2] ak<p(fik{nhn2)) ,<р(мк) s 1»

(14)

параметры которого находится по методу наименьших квадратов:

2) Классификатор в виде двухслойной нейронной сети. Коэффициенты синаптиче-ских связей подстраивались на основе алгоритма обратного распространения ошибки (back propagation), функции активации выбирались из условия гладкости и простоты вычисления производных.

3) Древовидные иерархические классификаторы. В процессе обучения область определения функции решения (пространство признаков) последовательно разбивается по осям и порождает в памяти ЭВМ древовидную структуру. Процесс деления вершин на этапе обучения включает следующие этапы:

• оценка перспективности и деление перспективных вершин;

• аппроксимация функции решения в каждой из полученных подобластей с вычислением ошибки аппроксимации;

• проверка условия завершения процесса.

Рассматривались кусочно-постоянная и кусочно-линейная аппроксимации.

Решена задача соотнесения сложности решающей функции с количеством имеющихся данных (выработки критерия остановки разбиения) при построении классификаторов (проблема переобучения) на основе теории восстановления регрессии по эмпирическим данным, предложенной Валником. В ней сложность ре-

тающего правила ассоциируется с понятием емкости И класса допустимых функций, то есть максимальной размерности обобщенного вектора параметров а (количества степеней свободы). Для линейного классификатора для кусочно-линейного классификатора к*=КТ, для кусочно-постоянного классификатора Н=Т1 где К-число признаков, Т-число терминальных вершин дерева.

В процессе обучения необходимо минимизировать средний риск на элементах генеральной совокупности, определяющей класс изображений /тля распознавания, хотя имеется информация только в

1 2

виде эмпирического риска полученного по обучающей

" I

выборке. После введения вероятностной меры на пространстве признаков и при выполнении некоторых простых условий, с вероятностью 1-х| одновременно для всех функций класса решающих правил Р(ц,0() емкости И справедлива следующая оценка среднего риска:

/(а)£-

1-'

1пД)+1 h

-Да).

(15)

N

Для нахождения минимума (15) по обобщенному вектору параметров а на допустимом множестве решений F= F(n,a) вводится вложенная структура элементов одинаковой емкости F|C F2C... Fm=F, на каждом элементе структуры ищется минимум эмпирического риска по своим параметрам, а затем из них выбирается лучшая в смысле критерия J(a) оценка. Для линейного решающего правила указанная структура представляется в виде возрастающего набора признаков, полученного, например, методом последовательного присоединения (Step-Up method), для древовидных классификаторов - в виде вложенных друг в друга "деревьев". Устойчивый рост значения J(o.) при последовательном разбиении древовидного классификатора определяет правило остановки процесса обучения.

Следующая задача - способ деления перспективных вершин. Рассматривались различные способы - пополам по очередному признаку, по среднему значению признака с максимальной дисперсией и на основе пробного предварительного деления. Последний метод предполагает пробное разбиение перспективных вершин по каждому из К признаков вдоль равномерно расположенных на оси М значений порога, чтобы определить вариант разбиения с максимальным уменьшением сум-марнойошибки Popt.Popt=^S"1"1 (CLC"m• Рш(^m>Pirn))■ m<K,Q<i<M.

Яш.Р/м

Далее, при использовании линейной или кусочно-линейной аппроксимации, разработаны градиентные методы параметрической оптимизации признаков. В случае, когда признаки (не обязательно все)! = р^р^зависят от скалярных параметров рь и непрерывно-дифференцируемы по ним, можно записать линейное приближение каждого из признаков fl^ в точках рщ :

Я*(л) = л(ро»)+/Л0'о»)(л -Рок) ■

Подставив это выражение в (14), получим СЛУ относительно параметров ак И Ьк=(рк ~ Рцк)ак:

М М' М' м*

№

где М =

Ч-Ч

к

С = 1 £ [ С'

(16)

Используя метод градиентного спуска, задав начальное приближение р0, находятся оптимальные значения векторов р и а. Отметим, что на каждом шаге итерации производится минимизация сразу и по вектору параметров р, и по коэффициентам линейной аппроксимации а. Этот же принцип обобщается и на случаи зависимости признаков от векторных параметров ц^ = /^(р*) - В случае зависимости нескольких признаков от одного параметра р (неважно, скалярного или векторного) система уравнений (16) относительно переменных а^ и Ь^ получается переопределенной. В этом случае используется метод покоординатного спуска, в котором на каждом шаге попеременно фиксируя то параметр р, то вектор весовых коэффициентов а и решается линейная относительно них система уравнений.

Разработанные алгоритмы легли в основу общей информационной технологии синтеза восстанавливающих процедур с использованием древовидных классификаторов, основанной на последовательном усложнении решающего правила. Ниже приводится краткое описание ее шагов.

Шаг 1) Получение априорной информации об обучающей выборке (пара изображений, требования инвариантности к преобразованиям) и требований к качеству и вычислительной сложности процедуры восстановления.

Шаг 2) Выбор начального словаря признаков и вида классификатора. Синтез КИХ-фильтров для рекурсивного вычисления локальных признаков. Шаг 3) Добавление в результирующий словарь признака центрального отсчета и вычисление ошибки аппроксимации. Как показали эксперименты, этот шаг необходим, чтобы не получить оценку хуже, чем исходное "реальное" изображение. Шаг 4) Модифицированный итерационный метод последовательного присоединения, Операции усложнения решающего правила на итерации с номером ¡:

1) присоединение очередного непараметрического признака;

2) присоединение параметрического признака и нахождение оптимального значения параметра (для кусочно-линейного классификатора);

3) разбиение узла с максимальной ошибкой аппроксимации.

Шаг 5) Нахождение наилучшего вектора параметров О/ и ошибки аппроксимации для каждого из вариантов. Выбор наилучшего варианта.

Шаг 6) Подсчет критерия ./(в;) . Модификация решающего правила согласно выбранному варианту и переход к шагу 4. Условием окончания процесса является устойчивый рост J(aj) или достижение ,

Шаг 7) Запись результата - окончательного набора п р и з н {/^(р)} и их параметров аор,,рор, =аг§тт(У(а,-,р)).

1*1<.м

Ниже приведены результаты экспериментальных исследований эффективности предложенной информационной технологии на примере фильтрации изображений, искаженных аддитивным белым шумом с различным отношением спг-нал/шум I),/0„ (для классификации изображения "Лена" подавалось повернутым на 45 градусов).

Таблица!

: В таблицах и на графиках использовались следующие обозначения:

- Метод 1 - фильтр Винера;

- Метод 2 - IYR метод, признаки - обобщенные моменты из прямоугольного

базиса;'

- Метод 3 - IVR метод, признаки - обобщенные моменты из полиномиального

базиса;

- Метод 4 - I7R метод, признаки формы;

- Метод 5 - P/R метод, признаки - моментные инварианты.

В таблице 2 представлены результаты восстановления изображений, искаженных гауссовским фильтром с коэффициентом размытия а = 2.

Таблица 2

Изображение с2 Метод 1 г1 Метод 2 е1 Метод 3

Средняя мозаика 269 214 219

Пентагон 1561 1365 1364

Самолеты 206 99 114 ШЗЯ

14 ; ц

В таблице 3 представлены результаты фильтрации изображений с использованием различных классификаторов одинаковой емкости.

Таблица 3

Задача фильтрации Вид классификатора e2/Dv

DSIDV~ 5 емкость =120 признаки формы второго порядка (Метод4) Полиномиальный Кусочно- линейный • Кусочно-постоянный Нейронная сеть 0,49 0,36 0,47 0,44

Заключение

В диссертационной работе разработана общая схема и информационная технология синтеза и применения восстанавливающих процедур с использованием метода "обработки через распознавание" (P/R метода), в рамках которой решены следующие задачи.

1. Разработаны алгоритмы нахождения эффективного семейства признаков, описывающих форму изображения, в т.ч. нормализованных к повороту и линейному преобразованию яркости.

2. Разработаны быстрые алгоритмы вычисления одномерных и двумерных сверток с конечной импульсной характеристикой на основе аппроксимации последовательностями, удовлетворяющими линейно-рекуррентным соотношениям:

3. Разработаны способы разбиения признакового пространства и правила остановки процесса обучения древовидных классификаторов, а также алгоритмы параметрической оптимизации семейства признаков в P/R методах.

Выполнено экспериментальное сравнение эффективности предложенных методов, показавшее преимущества использования предложенной технологии как по качеству восстановления, так и по скорости обработки.

Основные положения диссертации отражены в следующих публикациях:

1. Сергеев В.В., Чернов А.В.: Методы восстановления изображений, основанные на принципах теории распознавания образов // Распознавание образов и анализ изображений: новые информационные технологии: 3-я всероссийская конференция, г. Нижний Новгород. 1997 г. Тезисы докладов. Часть 2, стр 3-4.

2. Chernov A.V., Sergeev V.V.: Image Reconstruction Methods Based on the Principles of Pattern Recognition Theory// Pattern Recognition and Image Analysis. -1997. - Vol. 6. No.4 - pp. 474-479.

3. Мясников В.В., Сергеев В.В., Чернов А.В.: Быстрый метод локальной обработки и анализа изображений// Труды 4-ой всероссийской конференции "Распознавание образов и анализ изображений: новые информационные технологии", Секция 2, г. Новосибирск, 11-18 октября 1998г, Часть I, стр.401-402.

4. Chernov A.V., Myasnikov V.V., Sergeyev V.V.: Fast Method for Local Image Processing and Analysis //Pattern Recognition and Image Analysis, Vol.9, No.4, 1999, pp.572-577.

5. Chernov A.V., Myasnikov V.V., Sergeyev V.V.: Fast method of the local processing and analysis of images//Proceedings of the 5-th Open German-Russian Workshop on Pattern Recognition and Image Understanding, 21-25 сентября 1998г.,

it i 69 20 16

Херршинг, Германия.

6. Чернов A3.: Построение классификаторов для алгоритмов фильтрации изображений, построенных на основе теории распознавания образов// Труды 5-я Всероссийской конференции Распознавание образов и анализ изображений: новые информационные технологии, г.Самара. 2000 г., Часть 2, стр. 13-14.

7. Chernov A.V.: Constructing Classifiers for Image Filtering Algotithms Based on Pattern Recognition Theory //Pattern Recognition and Image Analysis, Vol 11, N0 1 2001 ,pp 144-146.

8. Сергеев В.В., Чернов А.В. Применение методологии распознавания образов в задачах цифровой обработки изображений// В книге "Методы компьютерной обработки изображений": М., Физматлит, 2001. (под ред. В.А. Сойфера), стр.581-596.

9. Чернов А.В., Копенков В.Н. Параметрическая оптимизация семейств признаков в методах восстановления изображений, основанных на принципах теории распознавания образов // Труды 6-ой международной конференции "Распознавание образов и анализ изображений: новые информационные технологии", Великий Новгород, 2002 г., Часть 2, стр. 602-605.

10. Chernov A.V., Kopenkov V. N.: Parametric Optimization of Families of Features in Image Reconstruction Methods Based on the Principles of Pattern Recognition Theory //Pattern Recognition and Image Analysis, Vol. 13, No. 1,2003, pp. 80-81.

11. Чернов А.В. Быстрое рекурсивное вычисление одномерных и двумерных конечных сверток//Компьютерная оптика, 2003. Вып. 25, С.190-197.

Подписано в печать 25.06.04 Формат 60x84 1/16 Объем 1,0 усл. печ. л.

Отпечатано с готовых оригинал макетов

ВВЕДЕНИЕ

ГЛАВА 1. РЕШЕНИЕ ЗАДАЧИ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ

НА ОСНОВЕ МЕТОДОЛОГИИ РАСПОЗНАВАНИЯ ОБРАЗОВ

1.1. Постановка задачи восстановления изображений

1.2. Общая схема преобразования данных

1.3. Постановка задачи построения восстанавливающих процедур с использованием Р/Ы-методов

1.4. Выводы и результаты

ГЛАВА 2. ФОРМИРОВАНИЕ ПРИЗНАКОВ НА ИЗОБРАЖЕНИИ

2.1. Эффективно вычисляемые семейства признаков, используемые в РЛ1-методах

2.1.1. Локальные обобщенные моменты

2.1.2. Рекурсивно формируемые локальные обобщенные моменты

2.1.3. Моментные инварианты

2.2. Система признаков, описывающих форму'изображения

2.2.1. Обеспечение инвариантности к повороту для системы признаков, описывающих форму изображения

2.2.2. Нормализация признаков, описывающих форму, к линейному преобразованию значений яркости изображения в окне

Выводы и результаты

ГЛАВА 3. БЫСТРОЕ РЕКУРСИВНОЕ ВЫЧИСЛЕНИЕ ЗНАЧЕНИЙ ПРИЗНАКОВ НА ОСНОВЕ РЕКУРСИВНЫХ ФИЛЬТРОВ С КОНЕЧНОЙ

ИМПУЛЬСНОЙ ХАРАКТЕРИСТИКОЙ

3.1. Общие сведения из теории линейных рекуррентных соотношений

3.2. Расчет одномерных КИХ-фильтров

3.2.1. Вычисление одномерной свертки с конечной импульсной характеристикой, удовлетворяющей ЛРС

3.2.2. Нахождение оптимальных коэффициентов ЛРС, приближающего заданную конечную импульсную характеристику

3.2.3. Методы улучшения устойчивости алгоритма нахождения оптимальных коэффициентов ЛРС 50 3.2.4. Вычисление одномерных сверток с рекуррентными последовательностями специального вида

3.3. Расчет рекурсивных двумерных КИХ-фильтров

3.3.1. Вычисление двумерной свертки с разделимой рекуррентной последовательностью

3.3.2. Аппроксимация неразделимой импульсной характеристики разделимыми импульсными характеристиками общего вида

3.3.3. Аппроксимация двумерной неразделимой ИХ произведением разделимых ИХ, удовлетворяющих ЛРС

3.3.4. Алгоритм аппроксимации неразделимой ИХ семейством разделимых ИХ, удовлетворяющих ЛРС

3.4. Экспериментальные исследования методов рекурсивного вычисления одномерных сверток 61 Выводы и результаты

ГЛАВА 4. ПОСТРОЕНИЕ КЛАССИФИКАТОРОВ И ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ ВОССТАНОВЛЕНИЯ

ИЗОБРАЖЕНИЙ

4.1. Линейный классификатор

4.2. Классификатор в виде нейронной сети

4.3. Древовидные классификаторы

4.3.1. Древовидный классификатор с кусочно-постоянной аппроксимацией

4.3.2. Древовидный классификатор с кусочно-линейной аппроксимацией

4.4. Построение древовидных классификаторов

4.4.1. Параметры построения древовидных классификаторов

4.4.2. Способы разбиения признакового пространства

4.4.3. Методы повышения устойчивости вычислительного алгоритма кусочно-линейной аппроксимации

4.5. Соотнесение сложности решающей функции с объемом обучающей выборки

4.6. Параметрическая оптимизация семейства признаков

4.6.1. Подбор оптимальных параметров значений признаков

4.6.2. Определение оптимального размера окна обработки при вычислении признаков

4.7. Описание информационной технологии построения восстанавливающих процедур на основе Р/Я-методов

4.8. Экспериментальные исследования информационной технологии восстановления изображений

4.8.1. Эксперименты по определению достаточного объема выборки

4.8.2. Общее описание экспериментов по оценке эффективности информационной технологии восстановления и фильтрации изображений

4.8.3. Исследование эффективности фильтрации изображений

4.8.4. Исследование эффективности восстановления изображений

4.8.5. Экспериментальные исследования нахождения оптимального параметра двумерного гауссовского фильтра

4.8.6. Экспериментальное сравнение различных видов классификаторов

4.9. Выводы и результаты 106 ЗАКЛЮЧЕНИЕ 107 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Диссертация посвящена разработке информационной технологии восстановления и фильтрации изображений, базирующейся на принципах теории распознавания образов.

Актуальность темы. Восстановление и фильтрация изображений являются обязательным этапом любых информационных, технологий: обработки двумерных сигналов. Традиционный путь решения этих задач [1,2,4,9,23,35] включает в себя подбор или полуэвристический синтез большого числа обрабатывающих процедур, что объективно обусловлено разнообразием и сложностью математических моделей формирования оптических сигналов, плохой формализуемостью решаемых задач, критериев качества обработки и т.д. Вопросам разработки методов восстановления посвящено большое количество работ отечественных (Д.С.Лебедев, Л.П.Ярославский, Г.И.Василенко, В:А.Сойфер, А.А.Спектор, Ю.П.Пытьев и др.) и зарубежных ученых (У.Прэтт, Р.Бейтс,. Р.Мерсеро, и др.). Основной используемый в этих работах подход состоит в выборе моделей рассматриваемых входных сигналов, искажающей системы и шумов, оценивании их параметров на основе исходной информации и построении восстанавливающей процедуры. Широко известен \ винеровский фильтр, являющийся г наилучшим в классе линейных восстанавливающих систем по критерию минимума среднеквадратичной ошибки восстановления [2,20].

Однако традиционный путь решения задачи восстановления обладает рядом существенных недостатков;

Во-первых, необходимым свойством эффективных алгоритмов восстановления, рассчитанных на? универсальное применение, является их адаптивность, т.е. способность самоподстройки к меняющимся свойствам- обрабатываемых данных. Общая идея адаптации может быть кратко описана следующим образом. Задается (фиксируется) некоторый параметрический класс алгоритмов восстановления (например, линейные цифровые фильтры с множеством возможных импульсных характеристик). Объект обработки (изображение или его фрагмент) сначала подвергается анализу с целью оценивания его характеристик: статистических, структурных и т.п. Затем по полученным значениям характеристик объекта рассчитываются параметры алгоритма (в приведенном примере - конкретная импульсная характеристика восстанавливающего фильтра). И только после этого производится собственно обработка объекта (фильтрация изображения). Поэтому при применении стандартных восстанавливающих процедур приходится наряду с собственно обработкой проводить оценивание характеристик сигналов и «подстройку» их параметров. Вместо этого рациональнее было бы. построить восстанавливающую процедуру, в которой выбор значений используемых параметров непосредственно регулируются локальными характеристиками сигналов, покупаемых на обработку.

Во-вторых, объективное разнообразие и сложность математических моделей формирования оптических сигналов; (искажающих систем), критериев качества обработки делает невозможным аналитическое получение оптимальных процедур обработки и вынуждает использовать подбор или полуэвристический синтез большого числа обрабатывающих процедур. По этой причине для компьютерных систем анализа видеоинформации характерна весьма разветвленная и неудобная структура прикладного программного обеспечения, в рамках которой представлена широкая номенклатура алгоритмов обработки изображений. Сами же алгоритмы зачастую обладают низкой вычислительной эффективностью и/или не обеспечивают требуемое качество обработки. Гораздо более предпочтительным было бы построение обобщенного адаптивного- фильтра на основе заранее выбранных различных, возможно даже полуэвристических, алгоритмов восстановления.

В третьих, классический путь решения задачи? восстановления изображений; подразумевает идентификацию искажающей системы и построение «обратной к ней», что не всегда удается сделать с учетом принятых ограничений на скорость и качество обработки. Вместо этого разумнее было бы подбирать параметры именно восстанавливающей системы.

Дополнительным ограничением на выбор конкретных алгоритмов-восстановления является жесткие требования к вычислительной эффективности.

Поэтому современные исследования в области; восстановления изображений направлены, в основном, на построение «максимально адаптивных», обобщенных процедур восстановления практически в отсутствии предположений о характеристиках искажающих систем с учетом ограничений на вычислительную реализацию (время обработки сигнала). Данная работа лежит в русле этих исследований.

Целью работы является построение информационной технологии восстановления и фильтрации изображений, использующей представление априорной информации в виде согласованной пары изображений, интерпретируемых по отношению к неизвестной искажающей системе как "входное" (идеальное) и "выходное" (наблюдаемое).

Задачи диссертационной работы. Для достижения указанной цели решаются следующие задачи:

1. Разработка общей схемы преобразования данных для применения метода локальной "обработки через распознавание" изображений к задачам восстановления и фильтрации.

2. Разработка методов формирования систем локальных признаков, описывающих форму функции яркости изображений, в том числе инвариантных к повороту, линейному преобразованию, а также процедур их эффективного вычисления.

3. Синтез и исследование конечных импульсных характеристик (КИХ), обеспечивающих рекурсивное вычисление свертки для формирования локальных признаков изображения, и разработка соответствующих алгоритмов рекурсивного формирования признаков.

4. Разработка алгоритмов обучения классификаторов, осуществляющих преобразование признаков в выходное (восстановленное) изображение, выработка критериев остановки процесса обучения.

5. Разработка общей информационной технологии восстановления изображений, базирующейся на синтезированных алгоритмах вычисления признаков и обучения классификаторов.

6. Экспериментальное исследование эффективности общей информационной технологии восстановления изображений, а также ее составных частей - методов построения и быстрого вычисления локальных признаков, алгоритмов обучения классификаторов.

Перечисленные задачи определяют структуру работы и содержание отдельных глав.

Краткое содержание диссертации; Диссертация состоит из введения, четырех глав, заключения, списка литературы, и приложения; Основной текст диссертационной работы изложен на 113 страницах машинописного текста, содержит 25 рисунков; 5 таблиц, список использованных источников из 53 наименований. /

4.9. Выводы и результаты/

В данной главе рассмотрены методы построения классификаторов (восстановления регрессии) в различных классах аппроксимирующих функциях (линейные, нейронные сети, кусочно-линейные, кусочно-постоянные и пр.).

Разработаны следующие методы и алгоритмы, используемые при построении древовидных классификаторов:

1) способы разбиения признакового пространства (пункт 4.4.2);

2) правила остановки процесса обучения классификатора (усложнение решающего правила) на основе методов минимизации среднего риска (параграф 4.5);

3) алгоритмы параметрической оптимизации семейства признаков (параграф 4.6).

На основе разработанных методов (вместе с методами формирования признаков и их быстрого вычисления, предложенными в; предыдущих главах) построена информационная технология восстановления изображений.

Приведены экспериментальные исследования эффективности предложенных методов. Из приведенных экспериментальных данных можно сделать общий вывод о существенно более высокой эффективности предлагаемых методов по сравнению с известным фильтром Винера.

Заключение

В диссертационной работе разработана общая схема и информационная технология синтеза и применения восстанавливающих процедур с использованием метода "обработки через распознавание" (P/R-метода), в рамках которой решены следующие задачи.

1. Разработаны алгоритмы нахождения эффективного семейства признаков, описывающих форму изображения, в т.ч. нормализованных к повороту и линейному преобразованию яркости.

2. Разработаны быстрые алгоритмы вычисления одномерных и двумерных сверток с конечной импульсной характеристикой на основе аппроксимации последовательностями, удовлетворяющими линейно-рекуррентным соотношениям.

3. Разработаны способы разбиения признакового пространства и правила остановки процесса обучения древовидных классификаторов,

4. Разработаны алгоритмы параметрической оптимизации семейства признаков в P/R методах.

5. Выполнено экспериментальное сравнение эффективности предложенных методов, показавшее преимущества использования предложенной технологии как по качеству восстановления, так и по скорости обработки.

1. Анисимов Б.В., Курганов В.Д. Злобнн В.К. Распознавание и цифровая обработка изображений;-М.: Высшая школа, 1983.

2. Василенко Г.И., Тараторин A.M. Восстановление изображений. М.: Радио и связь, 1986.

3. Алгоритмы и программы восстановления зависимостей /Под. ред. Вапника В. Н.-Mi: Наука, 1984.

4. Виттих В.А., Сергеев В.В. Сойфер В.А. Обработка изображений в автоматизированных системах научных исследований. М.: Наука, 1982.

5. Воронцов К.В. Оптимизационные методы линейной и монотонной коррекции в алгебраическом подходе к проблемам распознавания // Журнал вычислительной математики и математической физики, т.40, №1, 2000, стр. 166-176

6. Гельфонд; А.О. Исчисление конечных разностей /2-е изд.,доп.- М.:Гос.изд-во физ.-мат.лит-ры, 1959.

7. Глумов Н.И. Построение и применение моментных инвариантов для.обработки изображений//Компьютерная оптика, Выпуск 14-15, 1995, Часть 1, стр. 46-54.

8. Глумов Н.И., Мясников В.В., Сергеев? В.В. Применение полиномиальных; базисов для обработки изображений в скользящем окне // Компьютерная оптика, Выпуск 14-15, 1995, Часть 1, стр. 55-68.

9. Даджион Д., Мерсеро Р. Цифровая обработка многомерных сигналов. М.: Мир, 1998.

10. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Финансы и статистика, 1991;

11. П.Дорофенюк A.A.,. Бауман Е.В., Корнилов Г.В. Оптимальные методы классификационного анализа в задаче кусочно-линейной аппроксимации // Труды международной конференции "Интеллектуализация обработки информации", Алушта, 2004 г., стр. 70-74.

12. Журавлев Ю.И.: Корректные алгебры над множеством некорректных эвристических алгоритмов // Кибернетика, 1977, № 4. стр. 14-21; 1977, № 6, стр. 21-27; 1978, № 2, стр. 35-43.

13. Каппелини В., Константинидис А.Дж., Эмилиани П. Цифровые фильтры и их применение. М.: Энергоатомиздат, 1983;

14. Лбов P.C., Старцева Н.Г. Логические решающие функции и вопросы статистической устойчивости решений. Новосибирск: Изд-во Ин-та математики, 1999.

15. Лоусон Ч., Хенсон Р. Численное решение задач метода наименьших квадратов. -М.: Наука, 198618;'Мантра С. Моментные инварианты // ТИИЭР, 1979, N4, стр. 297-299.

16. Методы, критерии и алгоритмы, используемые при преобразовании, выделении и выборе признаков в анализе данных: Сборник статей АН ЛитССР. Вильнюс: Институт математики и кибернетики, 1988.,

17. Методы компьютерной обработки изображений (под ред. В.А. Сойфера). М.: Физматлит, 2001.

18. Оппенгейм A.B., Шафер Р.В; Цифровая обработка сигналов. М;: Мир, 1979.

19. Прэтт У. Цифровая обработка изображений. М.: Мир, т. 1-2, 1982 г.

20. Тихонов А.Н;, Арсенин В.Я.: Методы решения некорректных задач. М.: Наука, 1974.

21. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992.

22. Фукунага К. Введение в статистическую теорию распознавания образов: Пер. с англ. М;: Наука, 1979.

23. Фурсов В .А. Идентификация моделей систем формирования изображений по малому числу наблюдений. — Самара: СГАУ, 1998.

24. Холл F., Комбинаторика. М.: Мир, 1970.

25. Чернов А.В. Быстрое рекурсивное вычисление одномерных и двумерных конечных сверток// Компьютерная оптика, 2003, Вып. 25, стр. 190-197.

26. Ярославский Л.П. Введение в цифровую обработку изображений. М.: Советское радио, 1979.

27. Chernov A.V.: Constructing Classifiers for Image Filtering Algorithms Based on Pattern Recognition Theory //Pattern Recognition and Image Analysis. 2001; - Vol ll,No.l - pp. 144-146.

28. Chernov A.V., Kopenkov V. N.: Parametric Optimization of Families of Features in Image Reconstruction Methods Based on the Principles of Pattern Recognition Theory //Pattern Recognition and Image Analysis. 2003 - Vol. 13 No.4. - pp. 8081.

29. Chernov A.V., Myasnikov V.V., Sergeyev V.V.: Fast Method for Local Image Processing and Analysis // Pattern Recognition and Image Analysis, Vol.9, No.4,1999, pp. 572-577

30. Chernov A.V., Myasnikov V.V., Sergeyev V.V.: Fast method of the local processing and analysis of images //Proceedings of the 5-th Open German-Russian Workshop on Pattern Recognition and Image Understanding, 21-25 сентября 1998 г., Херршинг, Германия.

31. Chernov A.V., Sergeev V.V. Image Reconstruction Methods Based on the Principles of Pattern Recognition Theory//Pattern Recognition and Image Analysis. 1997. -Vol. 6. No.4 - pp. 474-479.

32. Evans A.G., R Fischl Optimal Laest Square Time Domain Synthesis of Recursive Digital Filters // IEEE Trans. AudioElectroacoust., Vol AU-23, 1973, pp. 63-65

33. Flusser J. On the independence of rotation moment invariants //Pattern Recognition 33 (2002) pp. 1405-1410;

34. Flusser J. On the inverse problem of rotation moment invariants //Pattern Recognition 35 (2002) pp. 3015 3017.

35. Glumov, N. I., Kolomiec, E. I., Sergeyev, V. V. Detection of the Objects on the Image Using a Sliding Windows Mode. I I Optic and Laser Technology, No.4, 1995, pp. 241-249.

36. Glumov, N. I., Myasnikov, V. V., Sergeyev, V. V. Application of Polynomial Bases for Image Processing Using Sliding Window//Proc. Vol. 2363, 1995, pp. 4049.

37. Glumov, N. I., Myasnikov, V. V., Sergeyev, V. V. Polynomial; Bases for Image Processing in a Sliding Window// Pattern Recognition and Image Analysis, No.4, 1994, pp. 408-413.

38. Hinamoto T. Design of 2D Separable Denominator Recursive Digital Filter// IEEE Trans, Circuit Systems Vol. CAS-31, November; 1984 , pp. 1925-1934.

39. Ни M. Visual : pattern recognition by moment invariants // IRE Trans Information Theory. 1962. vol.TT-8 -pp.179-187.

40. Li B.C. andShen J. Fast computation of moment invariants II Pattern Recognition, Yol.24, No. 8,1991, pp. 807-813.

41. Sankar K. Pal, Sushmita Mitra: Multilayer Perceptron, Fuz2y Sets and Classification

42. EE Transactions on Neural Networks, Vol.3, N5, 1992, pp. 683-696.

43. Show A. Design of Denominator Separable 2-D IIR Filters // Signal Processing 421995), pp. 191-206.

44. Bernard Widrow, Michael A. Lehr : 30 Years of Adaptive NeuralNetworks: Perceptron, Madaline, and Backpropagation //Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992, pp. 327-354.

45. Paul J. Werbos: Backpropagation Through Time: What It Does and How to Do It //Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992, pp. 309-319.