автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.07, диссертация на тему:Автоматический анализ изображений и распознавание образов на основе принципа репрезентационной минимальной длины описаны

6Ъ

На правах рукописи

Потапов Алексей Сергеевич

АВТОМАТИЧЕСКИЙ АНАЛИЗ ИЗОБРАЖЕНИЙ И РАСПОЗНАВАНИЕ ОБРАЗОВ НА ОСНОВЕ ПРИНЦИПА РЕПРЕЗЕНТАЦИОННОЙ МИНИМАЛЬНОЙ ДЛИНЫ ОПИСАНИЯ

Специальности:

05.11.07 - Оптические и оптико-электронные приборы и комплексы 05.13.01 - Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора технических наук

Санкт-Петербург

2008

Работа выполнена в Санкт-Петербургском государственном университете информационных технологий, механики и оптики

Научный консультант:

Доктор технических наук, профессор Гуров Игорь Петрович

Официальные оппоненты:

Член-корреспондент РАН, доктор технических наук, профессор Мирошников Михаил Михайлович

Доктор технических наук, профессор Коняхин Игорь Алексеевич

Доктор технических наук, профессор Ерош Игорь Львович

Ведущая организация:

Филиал ФГУП "ЦНИИ "Комета" "Научно-проектный центр оптоэлектронных комплексов наблюдения", г. Санкт-Петербург

Защита состоится « 02 » декабря 2008 года в 15 часов 30 минут на заседании диссертационного совета Д212.227.01 при Санкт-Петербургском государственном университете информационных технологий, механики и оптики по адресу: Санкт-Петербург, пер. Гривцова, д. 14, ауд. 314.

С диссертацией можно ознакомиться в библиотеке СПбГУ ИТМО.

Автореферат разослан « /б » Iе* 2008 г.

Отзывы и замечания по автореферату (в двух экземплярах), заверенные печатью, просим направлять в адрес университета:

197101, г.Санкт-Петербург, Кронверкский пр., д,49, секретарю диссертационного совета.

Ученый секретарь диссертационного совета кандидат технических наук, доцент

В.М. Красавцев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

Оптико-электронные приборы и комплексы, использующие автоматические методы анализа изображений, широко применяются в робототехнике, системах навигации и управления движением [1], в системах обнаружения и сопровождения целей [2], промышленных приложениях (таких, как контроль качества выпускаемой продукции, мониторинг производственных помещений [3]), разнообразных областях биомедицины [4], фотограмметрии, дистанционном сборе данных [5] и др. Дальнейшее совершенствование оптико-электронных систем определяется приоритетными направлениями науки, технологии и техники Российской Федерации - «Безопасность и противодействие терроризму», «Перспективные вооружения, военная и специальная техника», «Рациональное природопользование», «Транспортные, авиационные и космические системы».

Однако на данный момент существуют предметные области, в которых замена человека-оператора автоматическими методами анализа изображений приводит к существенному снижению эффективности оптико-электронного комплекса. Как правило, это области, в которых имеется значительная априорная неопределенность в содержании изображений. В качестве примера можно привести аэрокосмические изображения, которые могут быть получены с разных ракурсов, в разные время суток и года, а также с помощью сенсоров различных типов. Невозможность для ряда областей замены человека автономными оптико-электронными системами обусловлена, в том числе, отсутствием достаточной теоретической базы в области анализа и распознавания изображений, являющейся источником алгоритмов обработки информации в оптико-электронных комплексах.

В то же время, благодаря развитию технологии приемников излучения, за последние 10-15 лет произошло существенное повышение детальности получаемых изображений и удешевление (примерно на два порядка) устройств, формирующих цифровые изображения, при обеспечении их компактности [б]. В результате, использование оптико-электронных приборов и комплексов, ориентированных на формирование и обработку цифровых изображений, стало' экономически оправданным во многих приложениях. Возросла также и производительность электронных компонентов оптико-электронных приборов, что создало возможности использования вычислительно более ресурсоемких алгоритмов анализа изображений.

Однако разработанные к настоящему времени в рамках иконики (науке об изображениях) научно-технические решения не в полной мере обеспечили возможности реализации автоматических методов обработки и распознавания изображений в новых предметных областях. Востребованность этих методов привела к появлению большого числа

-3-

сторонников «практичного» подхода [7], в рамках которого критикуются попытки создания общетеоретических основ обработки и анализа изображений за непрактичность и предлагается рассматривать лишь вопросы построения систем обработки изображений, предназначенных для решения конкретных прикладных задач [8]. Такой подход позволил заполнить нишу методов анализа изображений ad hoc алгоритмами. Эти алгоритмы, как правило, не являются переносимыми, то есть они не могут быть повторно использованы для решения других аналогичных задач. - Как следствие, при создании оптико-электронного комплекса существенная часть стоимости приходится на разработку и реализацию алгоритмов анализа изображений [9].

Хотя указанный подход и сыграл определенную положительную роль в развитии оптико-электронных приборов, однако сложившаяся к. настоящему моменту ситуация многими исследователями воспринимается как кризисная [10, 11], а ее причина заключается в недостаточном внимании к теоретическим аспектам иконики и применении большого числа эвристических и слабо проверенных методов [12, с. 12].

Таким образом, на настоящий момент созрела необходимость дальнейшего развития иконики и создания в ее рамках единой теории и методологии разработки алгоритмов автоматического анализа изображений и их применения для решения широкого круга задач. Решение этой крупной научной проблемы имеет важное хозяйственное значение, поскольку-позволяет существенно снизить трудозатраты по разработке алгоритмов анализа изображений и повышает возможности их повторного использования, а также расширяет сферу применения и открывает новые пути применения оптико-электронных приборов и комплексов. Таким образом, данная проблема является актуальной, в особенности, в областях, для которых характерны изображения с большой априорной неопределенностью.

Теоретические положения, позволяющие решить проблему анализа изображений и распознавания образов, должны быть основаны на строгом математическом базисе, прежде всего, на теории индуктивного вывода, в рамках которой рассматриваются задачи выбора моделей, наилучшим образом описывающих данные наблюдений [13]. Под моделью обычно понимается результат обобщения данных с выделением некоторых существенных характеристик при отвлечении от несущественных, случайных, деталей. При этом основным элементом индуктивного вывода является критерий оптимальности, в соответствии с которым осуществляется выбор модели.

Достаточной универсальностью при решении проблемы определения критерия оптимальности обладает принцип минимальной длины описания (МДО) [14], вводимый в рамках теоретико-информационного (основанного на одном из вариантов теории информации) подхода и указывающий на необходимость поиска компромисса между

-4-

точностью модели и ее сложностью. Однако данный принцип не вполне применим к задачам с существенным индуктивным смещением (определяемым априорной информацией предпочтением при выборе модели, задаваемым, в случае статистического подхода, в форме распределения априорных вероятностей на множестве решений), к которым относятся задачи анализа изображений.

Таким образом, одна из центральных проблем, которая должна быть разрешена с помощью разрабатываемой теории, - это проблема определения критерия оптимальности методов обработки информации в оптико-электронных системах, на основе которого могла бы производиться их направленная оптимизация. При этом теория должна быть единообразно применимой к различным аспектам анализа изображений - признаковому, текстурному, контурному и структурному, - которые различаются типами используемых представлений изображений, определяющих индуктивное смещение, поэтому принцип МДО необходимо уточнить с учетом понятия представления изображений как принцип репрезентационной минимальной длины описания (РМДО).

Цель работы

Решение научной проблемы создания теории и методологии анализа и построения новых автоматических методов распознавания образов и анализа изображений для повышения эффективности оптико-электронных приборов и комплексов в условиях априорной неопределенности на основе развития теоретико-информационного подхода к проблеме синтеза оптимальных систем распознавания образов и исследования представлений изображений применительно к системам автоматического структурного, текстурного и признакового анализа изображений.

Основные задачи

1. Системный и теоретико-информационный анализ задач распознавания образов и анализа изображений, ввделение в явном виде основных компонентов (априорной и текущей информации, критерия оптимальности решения) и корректной формальной постановки задач указанного класса.

2. Разработка теоретических основ построения критерия оптимальности выбора решения в методах распознавания образов и анализа изображений.

3. Создание методологии исследования представлений изображений в структурных, текстурных и признаковых методах анализа.

4. Разработка иерархических структурных методов анализа изображений, обладающих высокой степенью инвариантности в условиях априорной неопределенности.

-5-

5, Реализация синтаксических, дискретных и дискриминантных методов распознавания образов с использованием разработанного критерия оптимальности решения и обоснование их более высокой эффективности по сравнению с существующими методами распознавания.

Методы исследований

Для решения указанных задач в работе применялись методы теории вероятностей и математической статистики, теории алгоритмов, теории информации, вычислительной математики, компьютерного моделирования, обработки и распознавания изображений.

Научная новизна работы

1. Предложена новая модификация принципа минимальной длины описания (МДО): принцип репрезентационной МДО, который расширяет принцип МДО на случай существенного индуктивного смещения, что характерно для задач распознавания образов и анализа изображений.

2. Предложены новые элементы методологии иконики, позволяющие осуществлять направленный поиск оптимальных представлений информации в задачах автоматического анализа изображений, ранее осуществлявшийся преимущественно не направленно.

3. На основе принципа РМДО осуществлено строгое описание задач распознавания образов, которое позволяет обосновать и уточнить эвристики, используемые на настоящий момент при синтезе отдельных систем распознавания.

4. Впервые предложена теоретически обоснованная модель адаптивного резонанса в системах восприятия, которая, в отличие от существующих симуляционных моделей, позволяет установить оптимальный характер обратных связей между уровнями в иерархических системах восприятия при их реализации в виде компьютерных моделей.

5. Предложены методы разделения изображения на однородные области, описания границ областей посредством структурных элементов, группирования структурных элементов, а также методы сопоставления изображений на основе иерархических структурных описаний, разработанные в рамках единого теоретического подхода.

Практическая значимость

1. Новые методы распознавания образов и анализа изображений позволяют расширить (с уменьшением объема требуемой априорной информации о содержании изображений) сферу применимости оптико-электронных приборов и комплексов в системах

технического зрения, экологического мониторинга и др. с использованием аэрокосмических и наземных средств наблюдения.

2. Разработанная методика синтеза систем распознавания образов позволяет снизить вероятность пропуска объектов и вероятность ложной тревоги, что положительно сказывается на эффективности работы оптико-электронных систем при их эксплуатации.

3. Результаты исследований проблемы введения обратных связей в иерархических системах анализа изображений могут быть использованы для существенного повышения устойчивости функционирования в условиях сложной фоноцелевой обстановки.

4. Предложенная методология исследования представлений изображений обеспечивает повышение эффективности разработки новых методов анализа изображений.

5. Применение на практике совокупности полученных теоретических результатов позволяет обеспечить адаптивные свойства разрабатываемых систем компьютерного зрения и уменьшить в них количество настроечных параметров, что снижает трудозатраты при их повторном использовании и облегчает переносимость на новые предметные области.

Достоверность результатов работы

Достоверность полученных в диссертационной работе результатов обеспечивается корректностью используемых методов исследования, математической строгостью преобразований при получении доказательств утверждений и аналитических зависимостей, а также соответствием результатов экспериментальной проверки основным теоретическим положениям и выводам.

На защиту выносятся следующие положения и результаты:

1. Предложенный принцип репрезентационпой минимальной длины описания (РМДО) обеспечивает оптимальность критериев выбора решения в задачах с существенным индуктивным смещением, использование которых позволяет максимизировать степень инвариантности методов анализа изображений.

2. Введение обратных связей, корректирующих решения нижних уровней па основе предложенной теоретико-информационной модели адаптивного резонанса с итеративной оптимизацией глобального информационного критерия качества, повышает помехоустойчивость иерархических систем обработки информации в оптико-элеетронных приборах и комплексах.

3. Методология использования принципа РМДО в исследовании представлений информации, привлекаемых в методах распознавания образов и анализа изображений.

4. Методика синтеза систем дискриминантного распознавания образов на основе принципа РМДО, включающая выбор семейств представлений информации, вывод решающего правила и процедуру определения точности оцененных параметров семейств на основе принципа РМДО.

5. Методы структурного анализа изображений, разработанные в рамках общего подхода на основе принципа РМДО и инвариантные по отношению к условиям съемки при высокой априорной неопределенности, вызванной сезонно-суточными изменениями, сменой ракурса, освещения, типа сенсора.

6. Алгоритмическая реализация и результаты анализа синтаксических и дискретных методов распознавания образов, эффективность которых повышена с использованием предложенного общего теоретического подхода.

7. Аналитические выражения, устанавливающие связь степени априорной неопределенности выборки изображений и степени инвариантности методов анализа изображений с критерием РМДО.

Реализация результатов работы

Результаты диссертационной работы были использованы в НИР 12200-060-03 «Разработка и создание - методов, алгоритмов и программ автоматического текстурного и структурного анализа изображений в задачах измерения, контроля и сопоставления изображений», выполнявшейся ФГУП НПК «ГОИ им. С.И. Вавилова» по заказу Министерства науки (2003 г.), НИР 0120.0 601227 «Создание систем анализа изображений и распознавания образов на основе высокопроизводительных видеоприложений», проводимой СПбГУ ИТМО по плану фундаментальных исследований по заказу Федерального агентства по образованию (2007-2008 гг.), а также при постановке и проведении ОКР «Разработка устройства цифровой обработки видеоданных оптико-электронных систем обнаружения, сопровождения и распознавания целей» шифр «Сатрап», выполняемой ФГУП НПК «ГОИ им. С.И. Вавилова» по заказу Управления развитая базовых военных технологий и специальных проектов МО РФ (2004-2005 гг.). Результаты диссертационной работы были также использованы в ОКР «Сфера», проводимой в ЗАО НИИВЦ «Карат» (2005 г.), и в проекте «Раннее обнаружение лесных пожаров», выполнявшемся в ОАО «Оптико-электронные системы» (2006 г.).

Результаты работы использованы в учебном процессе СПбГУ ИТМО при выполнении курсовых и выпускных работ, а также в учебном курсе по дисциплине «Технологии искусственного интеллекта».

Использование результатов работы подтверждается 5 актами, прилагаемыми к работе.

-8-

Апробация работы

Основные результаты работы докладывались на конференции "Battlespace Digitization and Network-Centric Warfare И" в рамках международного научного симпозиума "AeroSence-2002" (Orlando, 2002); конференции "Image and Signal Processing for Remote Sensing IX" в рамках международного симпозиума "Remote Sensing - 2003" (Barcelona, 2003); VII-ой международной конференции "Неразрушающие методы контроля и компьютерное моделирование в науке и технике" NDTCS-2003 (С.-Петербург, 2003); конференции "Automatic Target Recognition XTV" в рамках международного симпозиума "Defense and Security - 2004" (Orlando, 2004); VIII-ой международной конференции "Неразрушающие методы контроля и компьютерное моделирование в науке и технике", NDTCS-2004 (С.Петербург, 2004); VIII-ой общероссийской научной конференции "Современная логика: проблемы теории, истории и применения в науке" (С.-Петербург, 2004); конференции "Automatic Target Recognition XV" в рамках международного паучного симпозиума "Defense and Security - 2005" (Orlando, 2005); 10-й Пущинской школе-конференции молодых ученых "Биология - наука XXI века" (Пущино, 2006); 26-й Европейской конференции по зрительному восприятию ECVP-06 (С.-Петербург, 2006); Всероссийской научно-технической конференции «Медицинские информационные системы-2006» (Таганрог, 2006); XXXVI научной и учебно-методаческой конференции профессорско-преподавательского и научного состава (С.-Петербург, 2007); международной научной конференции «Измерительные и информационные технологии в охране здоровья, Метромед-2007» (С.-Петербург, 2007); V международной конференции молодых ученых и специалистов «0птиха-2007» (С.Петербург, 2007); XXXVII научной и учебно-методической конференции СПбГУ ИТМО (С.Петербург, 2008); X конференции молодых ученых "Навигация и управление движением" (С.-Петербург, 2008); V Всероссийской межвузовской конференции молодых ученых (С.Петербург, 2008); 2-й Международной конференции по оптическим сенсорам и машинному зрению OSAV'2008 (С.-Петербург, 2008).

Публикации

Основные научные результаты диссертации опубликованы в 30 научных работах общим объемом 50 п.л., среди которых одна монография, 8 статей в рецензируемых изданиях, входящих в перечень ВАК для диссертаций на соискание ученой степени доктора наук, а также два свидетельства о государственной регистрации программ для ЭВМ. Список работ приведен в конце автореферата.

Личный вклад автора

Представленные в диссертации результаты получены лично автором или при его непосредственном участии и руководстве. Все результаты, представленные в гл. 2 и 3 получены лично автором. Результаты, представленные в гл. 4 и 5, также получены лично автором за исключением части результатов по практическому применению методов структурного сопоставления изображений, которые получены в соавторстве в процессе совместной работы.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения и списка цитируемой литературы. Она содержит 299 страниц машинописного текста, 62 рисунка и 20 таблиц. Список цитируемой литературы содержит 204 наименования.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность крупной научной проблемы создания единой теории и методологии разработки алгоритмов автоматического анализа изображений, проанализированы подходы к решению данной проблемы, сформулированы цель и задачи исследования, приведен краткий обзор содержания диссертации, перечислены защищаемые положения и полученные результаты с указанием их новизны и практической значимости.

В первой главе рассмотрено современное состояние проблемы анализа изображений. Показано, что в настоящий момент не существует единой теории и методологии, предоставляющих научную основу синтеза методов обработки и распознавания изображений. Выделены два ключевых компонента методов анализа изображений -представление изображений и критерий качества решения, на основе которых осуществлена классификация существующих подходов к анализу изображений. Проведен анализ двух групп подходов в зависимости от выбора указанных компонентов: подходов, характеризующихся определенным типом представления (например, подход на основе контуров) и подходов, характеризующихся способом задания критерия качества (например, байесовский подход).

В первой группе выделены подходы, использующие следующие типы представлений изображений:

• низкоуровневые представления, использующие в качестве базовых элементов пиксели с соответствующими им значениями яркостей;

* контурные представления, в котором изображения описываются, как совокупности областей или их границ;

• структурные представления, использующие в качестве базовых элементов геометрические или структурные элементы;

• представления изображений, использующие для их описания такие системы представления знаний, как семантические сети, продукционные системы, фреймы, онтологии и т.д.;

• признаковые представления, в которых изображения целиком или отдельные их фрагменты описываются через системы признаков, вычисляемых как функции от исходных значений яркостей;

• иерархические представления, состоящие из нескольких уровней, на каждом из которых изображения описываются в рамках представления одного из перечисленных типов.

Установлено, что повышение эффективности методов анализа изображений возможно за счет оптимизации (в рамках конкретной решаемой задачи) используемых представлений, методики выбора которых на настоящий момент недостаточно разработаны, что приводит к большому разнообразию не вполне обоснованных методов обнаружения контуров, построения структурных элементов и выбора признаков.

На примере конкретных задач проанализированы следующие подходы к выбору критерия качества в методах "обработки и распознавания изображений:

• байесовский подход;

• энтропийный подход;

• теоретико-информационный подход.

Выявлены недостатки байесовских и энтропийных подходов, заключающиеся в ограниченной гибкости описания представлений изображений в терминах плотностей распределения вероятностей (которые проблематично использовать в явном виде для сложноорганизованных объектов), а также в отсутствии надежных критериев задания распределений априорных вероятностей. Указанные недостатки наиболее сильно проявляются в задачах анализа изображений, обладающих значительной априорной неопределенностью. Установлена возможность повышения эффективности методов анализа изображений за счет улучшения критерия качества.

Показано, что использование принципа минимальной длины описания (МДО) позволяет в определенной мере решить проблемы, возникающие в байесовском и энтропийном подходах. Наиболее широко принцип МДО формулируется [14] в форме «лучшей моделью является модель, которая позволяет минимизировать сумму длины описания данных в рамках модели и длины описания самой модели».

Строгое определение данного принципа следует из обращения задачи оптимального кодирования [15]: если в задаче оптимального кодирования по известной модели источника данных строится код минимальной длины, то в обратной задаче производится поиск модели, позволяющей закодировать данные оптимальным образом. В рамках алгоритмической теории информации оптимальная модель ц* для данных р определяется как

И'=а^тт[др|ц) + /(ц)], (1)

ц

где данные р и модель ц интерпретируются как битовые строки, ЛТ(р|ц) - условная алгоритмическая сложность строки Р при данной строке ц (длина минимальной программы для универсальной машины Тьюринга (УМТ), порождающей строку Р при получении на вход строки ц), /(ц) - длина строки Ц. Уравнение (1) задает решение общей задачи индуктивного вывода, заключающейся в поиске модели, наилучшим образом описывающей исходные данные.

Установлено, что существующие применения принципа МДО к задачам анализа изображений обладают рядом недостатков, заключающихся в привлечении эвристических схем кодирования для вычисления длины описания вместо уравнения алгоритмической теории информации (1) без их детального обоснования и оценки качества, что приводит к неопгимальности соответствующих методов анализа изображений и снижении научной строгости их исследования.

Указанные недостатки свидетельствуют о недостаточной разработанности теории и методологии анализа изображений на основе принципа МДО, поскольку они не в полной мере используют основные положения науки об изображениях - иконики. Цель данной работы заключается в уточнении принципа МДО с использованием понятия о представлении изображений и разработки на этой основе теории и методологии выбора критериев принятия решения и оптимальности представления изображений при их анализе и распознавании.

Во второй главе создана теория выбора критерия качества решения при распознавании образов и анализе изображений и осуществлена разработка методологии исследования представлений изображений на основе принципа репрезентациопной (относящейся к представлениям) МДО (РМДО), предложенного в качестве уточнения принципа МДО.

Показано, что использование принципа МДО (1) для выбора критерия качества решения в методах, которые применяются для независимого анализа изображений некоторой выборки /],...,/„ из п изображений, то есть для решения п задач вида

ц* =аг§шт[АГ(// |^) + /(ц)], не является вполне корректным, поскольку принцип МДО в

такой формулировке может быть использован только для выбора оптимальной модели всей совокупности изображений, то есть для решения задачи вида

(I* = а^пип[К(/|/2.../л |ц) + /(ц)]. В то же время имеет место неравенство ц

¿П.Ш[Ш, I ц) + /(ц)]> тт[к(/,/2.../„ I ц) +/(ц)],

" 11

поскольку изображения содержат большой объем взаимной информации, который можно трактовать как индуктивное смещение (априорное предпочтение при выборе модели) задачи индуктивного вывода (1). Таким образом, впервые выявлена причипа, по которой в существующих работах по применению принципа МДО к задачам анализа изображений происходит отказ от теоретически обоснованного критерия (1) в пользу привлечения эвристических схем кодирования для вычисления значений длины описания.

Для введения корректного критерия качества решения при независимом анализе изображений с учетом возможной априорной информации предложено следующее формальное определение понятия представления изображений.

Определение. Пусть Я - некоторая программа для УМТ V. 5 будем называть представлением для множества изображений ^ = {/,,...,/„}, если

На основе таким образом введенного понятия представления изображений впервые предложен следующий принцип репрезентационной МДО, в котором выделяются два типа задач: построение описания одного изображения и построение представления изображений данной предметной области (по некоторой выборке изображений).

1. Наилучшей моделью ц изображения / в рамках данного представления 5 является модель, для которой достигается минимум суммы:

- длины модели /(ц);

- длины описания изображения в рамках модели 1 ц) = К(/ [ ¿>ц). Критерий в данной задаче имеет вид:

¿*(/,ц)=к*СЯц)+/(й). (2)

а лучшая модель должна выбираться следующим образом:

Н=агвтш[^(/|и) + /(ц)]. (3)

ц

2. Наилучшим представлением 5 для данной выборки изображений ^ = {_/],.,.,/„} является представление, для которого минимизируется сумма:

- длины представления /(5);

- суммарной длины описаний изображений в рамках представления ^К

м

где *д(Л = 1Шп[л:5СЛц)+/(ц)]-

и

Критерий качества и лучшее представление определяются как

= + (4)

= а^тш

5

/(« + £*,(/,). (5)

м

Во второй главе на основе принципа РМДО предложены строгие и обоснованные формулировки важных для иконики понятий

• качества представления изображений (4);

• априорной неопределенности %(/) = ■£$(/)/.£(/), характеризующей долю информации в изображении/ не содержащейся априорно в представлении 5;

• достоверности выбора лучшей из двух моделей ц, и изображения /

• степени инвариантности метода выбора модели изображения к некоторому фактору изменчивости изображения 6 как доли взаимной информации, содержащейся в факторе 5 и выбранной модели р.*.

В частности, показано, что степень инвариантности методов анализа непосредственно связана с критерием (2), что позволяет использовать принцип РМДО для определения критерия оптимальности методов анализа изображений как в теоретических, так и в эмпирических исследованиях.

Введено новое понятие существенного превосходства представления над представлением 5г на выборке если выполняется условие

¿(^,5,)<Х(/;',5'2)&(У/'е Р)К5 (/)<К52{/). Данное понятие использовано при исследовании представлений в главах 3 и 4.

Установлены зависимости характеристик оптимального представления изображений от характеристик предметной области (определяемой выборок изображений), что составляет основу предложенной методологии исследования представлений изображений.

В частности, впервые строго обоснованы следующие утверждения.

1. Выбор оптимального представления зависит от предметной области. Иными словами, формирование репрезентативных выборок изображений является существенным шагом при разработке методов анализа изображений.

2. Если имеются две выборки изображений Л и /-'2, причем ^ * , то

(/) < (/). Это верно, в частности, для случая с то есть эффективность

/еа /<¡/4

более общего метода анализа изображений всегда не выше, чем эффективность оптимального частного метода, разработанного для конкретной выборки. При перенесении некоторого метода анализа изображений на новую предметную область сохранение его эффективности гарантировано быть не может без дополнительных ограничений, устанавливающих связь между ^ и /"2.

3. Если имеются три предметные области, задаваемые выборками изображений Р\, Рг, Л, причем = иР3 и ^ --0, и и Бг - оптимальные модели областей и Р2

соответственно, то ^ К3[ (/) < ^Г (/). Иными словами, более общий метод анализа

изображений является не менее эффективным на любой подобласти ^з области чем частный метод, перенесенный на область Рз из непересекающейся с ней области р2-

В рамках разработанной теории выбора критерия качества рассмотрена проблема построения иерархических представлений изображений. На каждом последующем уровне иерархических представлений модель, выбранная на предыдущем уровне, рассматривается в . качестве исходных данных для построения модели следующего уровня. В частности, если на первом шаге анализа изображений происходит их сегментация с разделением изображения на области, то па следующем уровне границы областей представляются в виде совокупности структурных элементов. Независимому последовательному построению описаний разных уровней соответствует совокупность задач вида

N

. (6)

= а^ппп^ф(У (+ и ^= (ц,' [ Ц1+|) + /(цы)

. м I «+|

м

где 5/ - 1-й уровень иерархического представления, состоящего из //уровней.

Показано, что решение задач вида (6) не является оптимальным в смысле критерия РМДО (и, следовательно, в смысле степени инвариантности), который для иерархического представления может бьггь записан в виде

¿5,.....(/.Щ.-.Ы = (/ IШ) ■+ 2 К* (Ц, I + 1(Их) ■ (7)

1=2

Таким образом, обоснована необходимость совместного решения таких задач, как выделение контуров, построение структурных элементов и их группирование, поскольку критерии качества решения в этих задачах не могут оптимизироваться независимо.

На основе принципа РМДО разработана модель адаптивного резонанса для оптимизации критерия (7), впервые позволившая установить оптимальный вид обратных связей и обосновать необходимость их введения в целях увеличения степени инвариантности методов анализа изображений.

В третьей главе на основе общетеоретических результатов, полученных во второй главе, рассмотрены задачи распознавания образов в рамках признакового подхода к анализу изображений. Задачи дискриминантного, дискретного и синтаксического распознавания образов единообразно сведены к задаче выбора оптимального представления, что позволило разработать общую методику анализа и синтеза систем распознавания.

Сформулированы следующие типы задач в области распознавания образов.

Первая задача. Пусть описание образа/в рамках представления 51 = (51>52,...,5<;) имеет структуру (ц,5), где ц обозначает номер класса 1,2,..., с? (с1 - общее число классов) в некотором алфавите классов А = {¿¡¡,а2,-~,а11}, а 6 - описание образа / в рамках представления Следовательно, выполняется равенство = Выбор

оптимальной модели для образа / в соответствии с принципом РМДО осуществляется на основе соотношения

ц* = а^тш15(/,ц) = а^тш[/(ц)+ К8 (/)]. (8)

Рассмотренная задача заключается в классификации единичного объекта.

Вторая задача. Производится построение представления 5 по выборке образов Р = {/\,-..,/„}. В зависимости от количества априорной информации обычно выделяют две постановки задачи распознавания: с учителем и без учителя [16, с. 32-33].

При распознавании с учителем обучающая выборка содержит не образы , а пары (/„Ц,), где - класс, к которому относится образ fi. В связи с введением дополнительного элемента во входные данные общий критерий качества представления ЦГ,5) должен быть уточнен, как критерий ¿({(/■,ц;)}"=1,5'), либо как критерий 1 {//}"==1)- Для

обозначения постановки задачи распознавания в зависимости от вида используемого критерия введены понятия индуктивного и предиктшного распознавания соответственно. Показало, что любой из существующих методов распознавания образов использует одну из указанных постановок.

При распознавании без учителя по совокупности данных ^ = {/1;...,/„} ищется представление минимизирующее значение 1(^,5). При этом установлено, что данная задача отличается от общей задачи индуктивного вывода (5) тем, что представление 5 должно иметь априорно заданную структуру (принадлежать к некоторому семейству, не являющемуся алгоритмически полным).

Рассмотрен дискриминантный подход к распознаванию образов, в рамках которого образ/- это //-мерный вектор вещественных признаков хеХсй", где X - пространство признаков. Затем произведен анализ логических и синтаксических методов распознавания.

Для ряда дискриминантных методов - ближайшего соседа, эталонных образов, обобщенных решающих функций, опорных векторов, конечных смесей плотностей распределения вероятностей, - показана выводимость используемых в них критериев качества решений с помощью принципа РМДО как для задач классификации, так и для задач распознавания. В частности, описаны представления, в рамках которых критерий РМДО принимает формы:

. К^(х) = 1о§2л + |х - ||+С и Ц^,5) = /(5)+пк^2л + иС,

где х - классифицируемый образ; - образ обучающей выборки, принадлежащий ц -му классу и являющийся ближайшим к образу х; С - пекоторая константа, не зависящая от классифицируемого образа и номера класса;

(2^2)0^ ^=1 /=1 где у,, и - эталонный образ и радиус ц-го класса, выступающие в качестве параметров представления ; хц( - 1-й образ обучающей выборки, принадлежащий ц-му классу, а п^- число образов в ц-м классе; С' - некоторая константа;

где - плотность распределения вероятностей образов ц-го класса,

задаваемая вектором параметров w|1 размерности Мц, на описание (-го компонента [■и^ ,]^ которого выделено /(1бит; Р(ц) - априорная вероятность появления образа, принадлежащего ц-му классу;

| ■ м

м

где величина - принимает зпачение -1, если ;'-й образ принадлежит первому классу, и 1 - если второму классу; [и^ -у-й компонент вектора параметров обобщенной

решающей функции, на описание которого выделено /у бит; у у (х) - некоторая функция от вектора признаков х, соответствующие критериям выбора решения в методах ближайшего соседа, эталонных образов, обобщенных решающих функций и байесовском методе.

Установлено, что в указанных методах выбор лучшего представления производится из ограниченного (не полного алгоритмически) семейства представлений, которое в каждом из методов задается разработчиком априорно. При этом строгого обоснования выбора и сравнения семейств представлений, как правило, не осуществляется.

Введено понятие синтетических методов, в которых осуществляется автоматический выбор (па основе критерия РМДО) из решений, полученных в рамках разных семейств представлений. Показано, что синтетические методы являются более эффективными (в смысле вероятности правильного распознавания новых образов), чем каждый из частных методов, входящих в данный синтетический метод.

Установлено, что при выборе решения из параметрических семейств, включающих представления с различным числом параметров, выбор представления максимальной сложности (с максимальным числом параметров) ведет к эффекту переобучения, заключающегося в том, что при увеличении вероятности правильного распознавания для образов обучающей выборки вероятность правильного распознавания образов, не вошедших в обучающую выборку, начинает уменьшаться. Разработаны критерии выбора представления с оптимальным числом параметров, при котором максимизируется вероятность распознавания новых образов, что и является основной проблемой методов распознавания образов.

Для метода обобщенных решающих функций и метода на основе смесей нормальных плотностей распределения вероятностей экспериментально проверено повышение вероятности правильной классификации при использовании указанных критериев.

В частности, на рис. 1 представлены решающие функции, число параметров которых равно 4, 9, 16 и 25 соответственно, причем для решений с числом параметров 16 и 25 виден эффект переобучения, что выражается в построении сложной разделяющей поверхности,

проходящей вблизи образов обучающей выборки и произвольно разбивающей пространство признаков на области, относящиеся к двум классам.

В табл. I для каждой решающей функции приведены число параметров, процент ошибок на обучающей выборке, процент ошибок на тестовой выборке, составленной из 200

образов, не вошедших в обучающую выборку, и длина описания }"=[ ,5 | {х(-}"_]) .

Таблица 1, Сравнение решающих функций разной сложности

Рис. 1. Решающие функции с разным числом параметров (а - 4, б - 9, в - 16, г -25), найденные по одинаковой обучающей выборке, состоящей из 24 векторов

№ М I

1 4 16,7 6,4 26,9

2 9 12,5 8,5 33,7

3 16 0,0 23,0 36,7

4 25 0,0 41,0 55,0

Таким образом, показано, что процент ошибок на обучающей выборке не определяет однозначно процент ошибок для образов, не вошедших в обучающую выборку. В то же время, выбор решающей функции по критерию РМДО соответствует выбору решающей функции с минимальным процентом ошибок на тестовой выборке.

Установлено, что определение в соответствии с критерием РМДО оптимального числа бит, выделяемых на описание параметров решения, позволяет получить корректную оценку погрешности значений параметров.

Для задачи группирования (проблемы распознавания без учителя) на основе принципа РМДО построены критерии выбора числа классов в методе к внутригрупповых средних и методе конечных смесей. Впервые показано, что осуществление выбора числа компонентов смеси одновременно с выбором вида плотности распределения вероятности для каждого компонента смеси из семейств распределений, описываемых разным числом параметров, повышает эффективность методов группирования.

Задачи регрессии и сегментации сведены к задаче индуктивного вывода вида (1) и для них на основе принципа РМДО предложены критерии выбора решений, позволяющие определять оптимальную сложность (число параметров) решения, погрешности описания параметров и число областей, на которые разделяется массив данных при решении задачи сегментации.

Установлено, что повышение точности моделей регрессии и сегментации на исходных данных не гарантирует повышения точности моделей в областях пространства признаков, не вошедших в исходные данные. В частности, на рис. 2 представлен пример аппроксимации набора точек полиномами различной степени (М).

О 50 100 150 200 250

0 50 100 150 200 250

Рис. 2. Пример аппроксимации точек полиномами различной степени; «о» - тестовая точка, не использованная в выборке

В табл. 2 приведены характеристики полиномов различной степени: среднеквадратичное значение невязок е0 в точках выборки; средние ошибки (относительно истинной кривой, по которой с аддитивным шумом порождались точки выборки) во внутреннем для выборки диапазоне [10, 235] - 6, и в расширенном диапазоне [-102, 347] -е2. В таблице представлены также соответствующие длины описания.

Таблица 2. Значения ошибок аппроксимации ( е, 2 3) и суммарных длин (£) описания для полиномов различных степеней (М)

м Ч е. £

1 20,8 15,4 64,5 45,5

2 18,0 13,6 62,8 45,1

3 8,4 2,5 6,0 35,6

4 8,1 2,5 27,0 36,9

5 8,0 2,5 70,9 38,2

6 7,6 2,5 326,8 39,3

7 7,5 3,2 590,9 40,8

6,6 5,5 8332 40,6

9 6,0 9,9 34912 40,9

Как видно из таблицы, ошибка на данной выборке точек (е0) уменьшается с ростом степени полинома, но при этом ошибка в точках, не вошедших в выборку, после некоторого значения М начинает увеличиваться. В то же время, критерии, построенные на основе принципа РМДО, позволяют выбирать полином, дающий минимальную ошибку как в задаче интерполяции (сх), так и в задаче экстраполяции (е2 ), причем в последней задаче различия в ошибках для разных полиномов могут становиться чрезвычайно большими, что не находит отражения в классическом критерии среднеквадратичного отклонения е0 .

В рамках общего подхода предложены критерии выбора решения в дискретных (на основе наборов правил и деревьев решений) и синтаксических (на оспове формальных грамматик) подходах к распознаванию образов, а также установлена возможность сравнения качества различных дискретных представлений на основе принципа РМДО.

На основе проведенных исследований разработана методика синтеза дискриминантных, дискретпых и синтаксических методов распознавания образов, включающая выбор одного или нескольких семейств представлений на основе принципа РМДО; вывод информационного критерия качества решения для выбранных семейств с использованием процедуры определения точности описания их параметров; автоматический выбор представления из нескольких различных семейств.

Разработанная методика позволила повысить эффективность методов распознавания и регрессионного анализа, выражаемую в вероятности правильной классификации образов, не вошедших в обучающую выборку, точности предсказания значений неизвестных функций, заданных в конечном множестве точек. Применение принципа РМДО позволило снизить объем выполняемой человеком работы по настройке методов при их применении в

конкретной предметной области за счет расширения набора параметров, значения которых определяются автоматически, и снижения числа параметров, требующих ручной настройки.

В четвертой главе представлены результаты исследования проблемы представления изображений в условиях значительной априорной неопределенности. Сформированы представительные выборки (см. рис. 3) оптических аэрокосмических изображений (выборка радиолокационных аэрокосмических изображений (выборка и оптических

изображений, полученных внутри помещений (выборка ^з). Каждая из выборок была использована для независимой оценки качества представлений изображений при последовательной оптимизации критерия РМДО.

а)

б)

в)

Рис. 3. Примеры фрагментов изображений из выборок а) аэрокосмических изображений; б) радиолокационных изображений; в) изображений, полученных внутри помещений

В связи с высокой априорной неопределенностью, характеризующей сформированные выборки, конструируемые представления, содержащие общую для изображений каждой из

-22-

£ ШШ •Ж ж

ЯШ и ■

ШЯ Щ Ш81 | щ ■ ' ■ -V • ЩАМ?": У- |Д ...Г' .

Щ «11;; ••-'•-«у • ) .

выборок информацию, должны опираться на паиболее общие свойства изображений, обусловленные соответствующими свойствами пространственной организации видимого мира и процессами формирования изображений [7]. В качестве таких свойств выбраны сформулированные в словесной форме Д. Марром [17, с. 57-63] предположения, заключающиеся в том, что наблюдаемая сцена состоит из совокупности видимых поверхностей, каждая из которых может быть описана функцией отражательной способности определенного вида, причем поверхности разделены почти всюду гладкими границами.

В результате формализации данных предположений построено обобщенное иерархическое представление изображений, включающее 3 уровня.

На первом уровне изображение представлено в виде совокупности областей, в каждой из которых распределение яркостей описывается собственной моделью. Построение описания изображения /(х, у) на данном уровне сведено к задаче сегментации, которая заключается в том, чтобы разбить область G, на которой задано изображение, на d областей G\,...,Gd таких, что C1uG2u...uGl(=G и G, г\ Gj Ф 0 i = j, где d также неизвестно, и

сужение изображения /¡(х,у)~ /(х,)0|С( на область G, описать собственной регрессионной

моделью g,{x,y,y/^)\G, -> R, где w, - вектор ее параметров.

Рассмотрены три частных представления изображений 5,®, S^ и Sj1' первого уровня, различающихся выбором семейства функций g, (х, у, w,).

В рамках представления Sfl) содержание каждой области изображения описывается как совокупность независимых отсчетов случайной величины, распределение вероятностей которой оценивается для каждой области в отдельности.

В представлении S^ были использованы функции g:(x,y, w() вида g(x,y,w) = w0+wix + w1y+w3x2 + w4xy + w5y2, описывающие плавные изменения яркости поверхностей.

В представлении S^1' были использованы функции g,(,x,y, w,) вида g(x,y\ w) = Яо,ол,ф (х~хо>У-Уа)>

JV>1 , ~ ч те = (х0.УоДаЛ.Ф),£в*л.ф(*>.>') = в 2°2 cosl2ni- + cpj, (9)

3' = ICOS0 + >'Sine, y = -XSin0 + J'COS0 .

Фупкции вида (9) являются Габоровскими функциями, использующимися для описания рецептивных полей клеток зрительной коры приматов, селективных к

пространственно-периодическим паттернам. Здесь у = 0,5 - константа, определяющая вытянутость рецептивного поля клетки, а 6,а,>.,<р - свободные параметры, определяющие конкретную форму рецептивного поля (его ориентацию, размеры, а также частоту и фазу периодической компоненты). Иногда также используют фиксированное отношение а/А, = 0,56, которое, как полагается [18], характерно для нейронов зрительной коры.

Для представлений выведены критерии РМДО для оценки качества сегментации

(Л{С/}н) = !{№(/,) + N* log2 Nint +||5G,.||l0g2

£,<„ (/,{G„w,}£,) = ¿flG(|tf(r,) +log2 NiM + |8G,|log2 Niir +1 + /(*,)),

2 /=i

Г, (X, у) = /, (x, jO - (w,. о + W0x + W,. + W,.3x2 + + w, ); = £<№(r,) + Nim log2 Nint +||6G,||log2 Niir + log2 m, +l{{vIJ}%i))'

Ы

mi

f,(x,y) = Mx,y)-YiAiJg(x,y\-wu),

J' i

где Я - энтропия, оцененная по гистограмме соответствующей величины, N<i„ - число направлений на следующую точку контура (тип связности), Nmt - число уровней яркостей изображения, A,j - коэффициент при у'-й Габоровской функции из т/ функций, описывающих /'-к> область изображения.

Разработаны алгоритмы сегментации изображений, основанные на итеративной оптимизации указанных критериев. В качестве начального приближения берется разбиение изображения на прямоугольники малых размеров. Далее осуществляется последовательное объединение соседних областей на основе критерия РМДО. В результате формируются области произвольной формы.

Для каждой новой области, полученной в процессе объединения, строится

регрессионная модель, описывающая содержание этой области. Когда не остается двух

областей, объединение которых приводит к уменьшению длины описания, выполняется

переход к следующему шагу итеративного процесса. Этот шаг заключается в

последовательном перемещении отдельных пикселей, находящихся на границах областей,

между областями, если это приводит к уменьшению длины описания. Подобный

итеративный оптимизационный процесс помимо слияния областей также содержит

-24-

несколько дополнительных этапов, что приводит к более робастному выделению границ сегментов, чем в других существующих методах сегментации изображений.

Установлена различная эффективность семейств регрессионных моделей при описании изображений разных выборок. В частности, использование в процессе сегментации квадратичных регрессионных моделей оказалось наиболее эффективным для описания изображений, полученных внутри помещений, а использование функций Габора - для описания аэрокосмических изображений. В частности, на рис. 4 представлены примеры различий в результатах сегментации, полученных с помощью разных представлений.

Рис. 4. Примеры сегментации фрагментов изображений, полученных внутри помещений, с помощью представлений 5,'1' (посередине) и 1 (справа)

В табл. 3 приведены результаты количественного сравнения качества разработанных представлений на разных выборках.

Таблица 3. Сравнение эффективности представлений и 53(1) с 5,(,>

Выборка

Отношение длин описания Рг

0,985 0,999 0,921

2 1 57% 1% 100%

0,946 0,988 0,996

ПКм(Р)<Кт{Р)) ¿3 Л, ■ 100% 63% 28%

Таким образом, подтверждено влияние предметной области на выбор оптимального представления изображений.

Показано также, что эффективность представлений и £3'' существенно

превосходит на объединении выборок Ег, и ^з эффективность представления в котором все изображение описывается единым образом без выполнения сегментации. Таким образом, могут быть выделены характеристики представлений, которые должны быть использованы в методах анализа изображений для разнообразных предметных областей.

На втором уровне обобщенного иерархического представления осуществлено описание границ областей, выделенных на первом уровне. Граница области (контур) представляется как совокупность сегментов, каждый из которых описывается кривой из некоторого семейства.

Рассмотрены три частных представления: представление 5,(2), в котором контур описывается как совокупность сегментов, для каждого из которых проводится отрезок прямой с минимальной энтропией невязок (отклонений отрезка от точек контура); представление , в котором помимо отрезков прямых используются в качестве структурных элементов дуги окружностей и кривые второго порядка; представление , в котором используются также кривые третьего порядка.

Предложены критерии качества, основанные на принципе РМДО, и алгоритмы построения структурных элементов в процессе сегментации контуров. Как критерий качества, так и алгоритм сегментации коптуров аналогичны критерию качества и алгоритму сегментации изображений.

Произведено сравнение эффективности представлений 522> и ^Р', а также представления 51®, в рамках которого осуществляется цепное кодирование контура без построения структурных элементов. В табл. 4 представлены результаты сравнения.

Таблица 4. Сравнение эффективности представлений , я б {0,1,2,3}

Выборка

Отношение длин описания Р2

(50)^,(60) 0,809 0,812 0,679

^2)(50)Д(2)(60) 0,831 0,845 0,791

1,007 1,007 1,006

Показано, что наибольшей эффективностью на используемых выборках изображений обладает представление . Таким образом, приведено обоснование использования отрезков прямых и сегментов кривых второго порядка в качестве контурных структурных элементов и показана неэффективность сегментов кривых третьего порядка на основании того, что их введение в представление ухудшает среднюю длину описания по каждой из выборок, что соответствует уменьшению степени инвариантности структурных элементов.

На третьем уровне иерархического представления осуществлено описание составных структурных элементов, формируемых как группы контурных структурных элементов с близкими значениями параметров или регулярным расположением.

На основе принципа РМДО предложен критерий группирования структурных элементов и разработан алгоритм группирования, заключающийся в итеративном объединении структурных элементов, приводящим к уменьшению суммарной длины описания.

Показано, что группирование структурных элементов приводит к повышению эффективности описаний изображений, то есть данная процедура отражает объективные характеристики пространственной организации элементов изображений.

разработанные алгоритмы построения иерархических структурных описаний изображений, включающих уровни пикселей, контуров, структурных элементов и их групп. При этом качество описаний повышено за счет введения обратных связей от верхних уровней к нижним. Структура обратных связей выбрана на основе теоретико-информационной модели адаптивного резонанса, предложенной в главе 2. В частности, разработан алгоритм адаптивной коррекции контуров в процессе построения структурных элементов (см. рис. 5).

Рис. 5. Пример адаптивной коррекции контуров в процессе построения структурных элементов: а) и б) - исходный результат сегментации изображения и границ областей; в) и г) - результаты сегментации с использованием коррекции

Рассмотрено иерархическое представление

Представлены

Таким образом, в главе 4 подтверждены основные положения предложенной во второй главе методологии исследования представлений на основе принципа РМДО, а именно, подтверждено влияние предметной области на вид оптимального представления, выбор которого может осуществляться на основе критерия РМДО и понятия существенного превосходства представлений, установлена работоспособность теоретико-информационной модели адаптивного резонанса.

В пятой главе приведены результаты экспериментальной проверки и практического применения теоретических положений, методов и алгоритмов, разработанных в предыдущих главах диссертационной работы.

Дано решение задач распознавания целей, текстурного анализа и раннего обнаружения лесных пожаров (см. рис. 6), для которых применение оптико-электронных систем является актуальным. Решение проведено в рамках признакового подхода с использованием рассмотренных в главе 3 методов обобщенных решающих функций и смесей нормальных плотностей распределения, в которых критерии выбора решения модифицированы с использованием принципа РМДО, что позволило, в частности, автоматически определять сложность решения (размерность обобщенного пространства признаков или число компонентов смеси).

Рис. 6. Примеры а) изображений целей, использованных при решении задачи распознавания целей; б) образцов текстур, использованных при решении задачи текстурной сегментации; в) областей, содержащих динамические объекты, на исходных изображениях и на соответствующих им разностных изображениях, использованных при распознавании дымов в задаче раннего обнаружения лесных пожаров

Подтверждено повышение эффективности указанных методов при уточнении используемых в них критериев с помощью принципа РМДО. Повышение эффективности выражается в снижении вероятностей ложной тревоги и пропуска целей (в рассмотренных задачах в среднем с 10% до 6%), а также в снижении трудозатрат на приложение методов указанного типа в конкретных предметных областях, поскольку устраняется необходимость интерактивного поиска оптимальных значений параметров, характеризующих сложность моделей распознавания, для каждого типа объектов. Таким образом, подтверждена корректность и практическая значимость теоретических результатов и методики синтеза систем распознавания образов, полученных в главе 3.

На основе предложенных в главе 4 представлений изображений разработаны методы совмещения изображений. При этом проблема совмещения изображений поставлена как проблема построения их совместного описания (см. рис. 7), в качестве одного из компонентов которого выступает описание взаимного пространственного преобразования изображений. Критерий качества совмещения, основанный на принципе РМДО (2), в данной задаче принял форму:

(/,= К5(/, IИ) + Кя(/2 • Т|ц) + /(ц)+/(Г), где ц - общая часть описания изображения /, и изображения /2 ° Т, преобразованного с помощью отображения Т. В качестве представления 5 выступает иерархическое структурное представление 5,(я>, предложенное в главе 4.

Пиксельный Контурный Структурный

уровень уровень уровень

Изображение I

Изображение 2

Пиксельный Контурный Структурный

*

уровень уровень уровень

Описание совмещенной пары изображений

Рис. 7. Совмещение изображений как построение их совместного описания

В результате, разработанные методы совмещения изображений обладают следующими особенностями, отличающими их от существующих методов совмещения: • осуществляется автоматический выбор группы пространственных преобразований (в работе рассмотрен выбор из множества преобразований сдвига, движения, подобия, а

также аффинных, проективных и полиномиальных преобразований), что приводит к увеличению точности совмещения;

• используются иерархические структурные представления изображений, инвариантные к условиям съемки, что приводит к инвариантности методов совмещения (см. рис. 8);

• на основе модели адаптивного резонанса осуществляется адаптивная коррекция описаний изображений в процессе их сопоставления, что приводит к повышению робастности методов совмещения.

Рис. 8. Пример совмещения а) радиолокационного изображения и б) оптического изображения; в) и г) - их структурные описания: д) - результат их совмещения

Подтверждено повышение инвариантности методов анализа изображений при уменьшении значения критерия РМДО для представлений. На основе иерархического структурного описания изображений оказалось возможным проводить автоматическое совмещение аэрокосмических изображений, полученных с разных ракурсов, в разное время суток и года, с помощью сенсоров различных типов (см. рис. 8). При этом вероятность правильного сопоставления пар изображений с существенной изменчивостью для разработанных методов оказалась существенно выше, чем для корреляционных методов (вероятность 84% и 21% соответственно). Также разработаны методы, осуществляющие совмещение изображений, полученных внутри помещений.

В результате, разработанные методы структурного совмещения изображений были успешно применены при решепии задач синтеза панорамных снимков, выявления изменений, геокодирования, извлечения изображений из баз данных, автоматической навигации, что подтверждает корректность и практическую значимость теоретических и методологических результатов, полученных в главах 2 и 4.

В заключении сформулированы основные результаты, полученные в диссертационной работе, и приведены сделанные из них выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ "

В диссертационной работе дано решение актуальной научной проблемы создания теории выбора решения в методах анализа изображений и распознавания образов и разработки методологии исследования представлений изображений в целях повышения эффективности (вероятности распознавания и степени инвариантности по отношению к условиям съемки) и расширения (на предметные области с высокой априорной неопределенностью) сферы применения оптико-электронных приборов и комплексов. Следующие основные результаты работы получены лично автором.

1. Введен принцип репрезентационной минимальной длины описания, расширяющий принцип МДО на задачи с существенным индуктивным смещением, задаваемым в форме представлений изображений.

2. На основе принципа РМДО разработана теория выбора решения в задачах автоматического анализа изображений и распознавания образов и создана методология исследования представлений изображений.

а) Впервые предложено формальное определение концепции представления изображений и введен критерий, позволяющий объективно сравнивать качество представлений. Формализован ряд ключевых для иконики понятий: априорной неопределенности, инвариантности и достоверности результатов анализа.

-31 -

б) Сформулированы и доказаны утверждения о зависимости свойств оптимальных представлений от характеристик предметной области и связи критерия РМДО с степенью априорной неопределенности и инвариантностью представлений изображений.

в) Разработана теоретико-информационная модель адаптивного резонанса, позволяющая установить оптимальный характер обратных связей в иерархических системах анализа изображений.

3. В рамках теории выбора решения на основе критерия РМДО получены частно-теоретические результаты в области признакового анализа изображений.

а) Доказана сводимость критериев, применяемых в существующих методах дискриминантного распознавания образов: ближайшего соседа, эталонных образов, обобщенных решающих функций, опорных векторов, - к критерию РМДО.

б) Разработана методика анализа существующих и синтеза новых методов распознавания образов, позволяющая повысить эффективность решения задач распознавания, в частности, за счет выбора между различными параметрическими семействами решений и автоматического определения точности описания их параметров, относящихся к особенностям предложенной методики.

в) В результате применения методики к задачам синтаксического и логического распознавания образов построены высокоэффективные алгоритмы их решения.

4. В рамках предложенной автором методологии разработано иерархическое структурное представление изображений, на основе которого разработаны предментно-независимые алгоритмы анализа изображений. В отличие от существующих эвристических представлений изображений данное представление основано на объективном количественном критерии, для оптимизации которого привлекается модель адаптивного резонанса, что позволяет достигнуть высокой степени инвариантности по отношению к изменениям условий съемки.

5. Получены эффективные решения задач распознавания образов и сопоставления изображений, снятых с разных ракурсов, подверженных сезонно-суточным изменениям и смене типа сенсора. Показатели эффективности разработанных методов и алгоритмов превосходили (в ряде случаев существенно) на момент их создания уровень аналогичных отечественных и зарубежных образцов, либо значительно повышали эффективность использования известных решений. Это позволило успешно применить данные решения в приложениях выявления изменений на серии изображений, синтеза панорамных снимков, извлечения из баз данных изображений, геокодирования, экологического мониторинга и автоматической навигации.

ЦИТИРУЕМАЯ ЛИТЕРАТУРА

1. Florczyk S. Robot Vision: Video-based Indoor Exploration with Autonomous and Mobile Robots/Wiley, 2005. 216 p.

2. Тарасов B.B., Якушенков Ю.Г. Инфракрасные системы "смотрящего" типа. М.: ЛОГОС, 2004.443 с.

3. Batchelor В., Whelan P.F. Intelligent vision systems for industry I Springer-Verlag, 2002.457 p.

4. Image processing and analysis. A practical approach / Baldock R. and Graham J. (eds). New York: Oxford university press. 2000. 301 p.

5. Atkinson K.B. Close range photogrammetry and machine vision / Whittles Pub. 2003. 384 P.

6. Форсайт Д., Понс Д. Компьютерное зрение. Современный подход. Вильяме. 2004. 928 с.

7. Тагт M.J., Black MJ. A computational and evolutionary perspective on the role of representation in vision // CVGIP: Image Understanding. 1994. V. 60. No 1. P. 65-73.

8. Aloimonos J. Purposive and qualitative active vision // Proc. 10th International Conference on Pattern Recognition. 1990. V. 1. P. 346-360.

9. Rares A., Reinders M.J.T., Hendriks E.A. Image Interpretation Systems // Technical Report (MCCWS 2.1.1.3.C), MCCWS project, Information and Communication Theory Group. TU Delft. 1999. 32 p.

10. Jain R.C., Binford Т.О. Ignorance, myopia and naivete incomputer vision systems // CVGIP: Image Understanding. 1991. V. 53. No. 1.Р. 112-117.

11. Jain R.C., Binford Т.О. Revolutions and experimental computer vision // CVGIP: Image Understand. 1991. V. 53. No 1. P. 127-128.

12. Фурман Я.А. и др. Введение в контурный анализ и его приложения к обработке изображений и сигналов: М., ФИЗМАТЛИТ. 2002. 592 с.

13. Baxter R.A. Minimum Message Length Inference: Theory and Applications: PhD thesis, Department of Computer Science, Monash University, Clayton, Australia. 1996. 246 p.

14. Vitanyi P.M.B. and Li M. Minimum description length induction, Bayesianism, and Kolmogorov complexity // IEEE Transactions on Information Theory. 2000. V. 46. No. 2. P. 446-464.

15. Solomonoff RJ. The Discovery of Algorithmic Probability // J. of Computer and System Sciences. 1997. V. 55. No. 1. P. 73-88.

16. Ту Дж., Гонсалес P. Принципы распознавания образов: М., Мир. 1978.412 с.

17. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов: М., Радио и связь. 1987. 400 с.

18. Kruizinga P., Petkov N. Nonlinear operator for oriented texture // IEEE Transactions on image processing, 1999. V. 8. No. 10. P. 1395-1407.

-33-

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ В СЛЕДУЮЩИХ РАБОТАХ

Монографии

1. Потапов A.C. Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания: С-Пб, Политехника. 2007. 548 с.

Статьи в журналах, рекомендованных ВАК

2. Потапов A.C., Малышев И.А., Луцив В.Р. Совмещение аэрокосмических изображений с субпиксельной точностью методом локальной корреляции // Оптический журнал. 2004. Т. 71. №5. С. 31-36.

3. Потапов A.C. Влияние взаимных геометрических искажений изображений на возможность их пространственного совмещения методом локальной корреляции // Оптический журнал. 2004. Т. 71. № 8. С. 74-80.

4. Потапов A.C., Малышев И.А., Луцив В.Р. Принцип минимальной длины описания как средство улучшения дискриминантных методов распознавания // Оптический журнал. 2006. Т. 73. № 10. С. 41-46.

5. Андреев B.C., Губкин А.Ф., Ильяшенко A.C., Кадыков А.Б., Лапина H.H., Луцив В.Р., Малышев И.А., Новикова Т.А., Потапов A.C. Алгоритмы автоматической обработки и анализа аэрокосмических снимков // Оптический журнал. 2007. Т. 74. № 5. С. 12-30.

6. Потапов A.C. Выбор модели пространственного преобразования изображений по критерию минимальной длины описания // Оптический журнал. 2007. Т. 74. № 5. С. 48-53.

7. Потапов A.C. Теоретико-информационный подход к введению обратных связей в многоуровневых системах компьютерного зрения // Оптический журнал. 2007. Т. 74. № 10. С. 59-65.

8. Потапов A.C. Исследование представлений изображений на основе принцип репрезентационной длины описания // Изв. вузов. Приборостроение. 2008. Т. 51. № 7. С. 3-7.

9. Потапов A.C., Петроченко В.Г. Количественное описание законов перцептивного группирования с помощью принципа репрезентационной минимальной длины описания // Оптический журнал. 2008. Т. 75. № 8. С. 42-47.

Научные публикации в прочих изданиях

10. Lutsiv V.R., Malyshev LA., Pepelka V., Potapov A.S. Target independent algorithms for description and structural matching of aerospace photographs // Proc. SPIE. 2002. V. 4741. P. 351-362.

11. Lutsiv V., Malyshev I., Potapov A. Hierarchical structural matching algorithms for registration of aerospace images // Proc. SPIE. 2003. V. 5238. P. 164-175.

12. Potapov A.S., Luciv V.R. Information-theoretic approach to image description and interpretation // Proc. 7th Int. Workshop on New Approaches to High-Tech: Nondestructive Testing and Computer Simulations in Science and Engineering. 2003. V. 7. P. F8-F11.

13. Потапов A.C. Принцип минимальной длины описания и сравнение гипотез // Современная логика: проблемы теории, истории и применения в науке. Труды VIII Общероссийской научной конференции. С-Пб. 2004. С. 409-412.

14. Potapov A.S., Luciv V.R. Information-theoretic approach to image description and interpretation // Proc. SPIE. 2003. V. 5400. P. 277-283.

15. Potapov A.S. Image matching with the use of the minimum description length approach // Proc. SPIE. 2004. V. 5426. P. 164-175.

16. Potapov A.S., Gamayunova O.S. Information criterion for constructing the hierarchical structural representations of images // Proc. SPIE. 2005. V. 5807. P. 443-454.

17. Potapov A.S., Luciv V.R., Malyshev I.A. Sub-pixel precise image analysis in the industrial environment // Proc. 8th to. Workshop on New Approaches to High-Tech: Nondestructive Testing and Computer Simulations in Science and Engineering. 2004. V. 8. P. E17-E20.

18. Bahvalov J.N., Potapov A.S. A statistical model of interpolation and its application to texture segmentation // Proc. 8th Int. Workshop on New Approaches to High-Tech: Nondestructive Testing and Computer Simulations in Science and Engineering. 2004. V. 8. P. E26-E30.

19. Lutsiv V., Potapov A., Novikova 'Г., Lapina N. Hierarchical 3D structural matching in the aerospace photographs and indoor scenes // Proc. SPIE. 2005. V. 5807. P. 455-466.

20. Bahvalov J.N., Potapov A.S. A statistical model of interpolation and its application to texture segmentation //Proc. SPIE. 2005. V. 5831. P. 191-198.

21. Potapov A.S., Luciv V.R., Malyshev I.A. Sub-pixel precise image analysis in the industrial environment // Proc. SPIE. 2005. V. 5831. P. 199-203.

22. Potapov A.S. Information-theoretic interpretation of Gestalt // Perception. 2006. V. 35. P. 78.

23. Lyakhovetskii V., Potapov A., Ivanov S. Strategies for storing spatial transformations of chess positions //Perception. 2006. V. 35. P. 105.

24. Ляховецкий В.А., Потапов A.C., Попечителев Е.П. Методика изучения и модель информационной структуры памяти человека // Известия ТРТУ, Таганрог, 2006. № 11. С. 4-9.

25. Потапов A.C. Новые методы автоматического анализа изображений в задачах экологического мониторинга И Труды межд. научн. конф. Измерительные и информационные технологии в охране здоровья, Метромед-2007.2007. С. 155-162.

26. Потапов A.C., Новикова Т.Н. Распознавание дымов на основе текстур динамических изображений // Труды V межд. конф. молодых ученых и специалистов «0птика-2007». СПб: СПбГУ ИТМО. 2007. С. 364-365.

27. Потапов A.C. Технологии искусственного интеллекта: анализ проблематики и построение структуры учебной дисциплины // Научно-технический вестник СПбГУ ИТМО. 2007. Вып. 43. С. 308-313.

28. Potapov A.S. Synthetic pattern recognition methods based on the representational minimum description length principle // Digest of the 2nd International Topical Meeting on Optical Sensing and Artificial Vision, OSAV'2008.2008. P. 124-125.

29. Потапов A.C. Программный модуль «Перцептивное группирование структурных элементов» // Свидетельство о государственной регистрации программы для ЭВМ. М.: РОСПАТЕНТ.~2008. № 2008612428.

30. Потапов A.C. Программный модуль «Теоретико-информационная аппроксимация изображений габоровскими функциями» // Свидетельство о государственной регистрации программы для ЭВМ. М.: РОСПАТЕНТ. 2008. № 2008612429.

Тиражирование и брошюровка выполнены в учреждении «Университетские телекоммуникации» 197101, Санкт-Петербург, Саблинская ул., 14 Тел. (812) 233 4669 объем 1,5 п.л. Тираж 100 экз.

Оглавление.

Введение.

Глава 1. Анализ проблемы интерпретации и распознавания изображений.

1.1. Введение.

1.2. Подходы к представлению изображений.

1.2.1. Низкоуровневые методы анализа изображений.

1.2.2. Контурные методы анализа изображений.

1.2.3. Структурные методы анализа изображений.

1.2.4. Методы, основанные на знаниях.

1.2.5. Анализ изображений на основе признаков.

1.2.6. Иерархические представления изображений.

1.3. Байесовский подход к анализу изображений.

1.3.1. Использование байесовского подхода для построения низкоуровневых моделей изображений.

1.3.2. Байесовский подход к построению геометрических элементов.

1.3.3. Использование байесовского подхода для построения поля скоростей по серии изображений.

1.4. Теоретико-информационный подход к анализу изображений.

1.4.1. Энтропийные методы анализа изображений.

1.4.2. Теория информации Колмогорова и принцип минимальной длины описания в анализе изображений.

1.4.3. Построение геометрических элементов с использованием принципа МДО.

1.4.4. Построение поля скоростей по серии изображений с использованием принципа МДО.

Выводы по первой главе.

Глава 2. Теоретические основы использования принципа репрезентационной МДО при исследовании представлений изображений и решении задач их автоматического анализа.

2.1. Принцип репрезентационной минимальной длины описания.

2.2. Принцип РМДО как основа методологии исследования представления изображений.

2.2.1. Выбор модели изображения в рамках заданного представления: независимость критерия РМДО от УМТ.

2.2.2. Представление как модель предметной области.

2.2.3. Степень априорной неопределенности как характеристика задачи анализа.

2.2.4. Инвариантность методов анализа изображений.

2.2.5. Достоверность результатов интерпретации.

2.2.6. Исследование представлений изображений с использованием критерия РМДО. 76 2.3. Введение обратных связей в иерархических системах интерпретации изображений на основе теоретико-ннформационной модели адаптивного резонанса.

2.3.1. Теория адаптивного резонанса.

2.3.2. Байесовский подход к введению обратных связей.

2.3.3. Теоретико-информационная модель адаптивного резонанса.

Выводы по второй главе.

Глава 3. Анализ и синтез методов распознавания образов на основе принципа репрезентационной минимальной длины описания.

3.1. Постановка задач распознавания образов как задач индуктивного вывода.

3.2. Задача классификации единичного образа.

3.2.1. Метод эталонных образов.

3.2.2. Метод ближайшего соседа.

3.2.3. Классификация на основе правила Байееа.

3.2.4. Классификация с помощью решающих функций.

3.3. Распознавание образов как выбор оптимального представления.

3.3.1. Метод эталонных образов.

3.3.2. Степень априорной неопределенности в задаче распознавания.

3.3.3. Метод ближайшего соседа.

3.3.4. Байесовские методы распознавания образов.

3.3.5. Связь понятий дивергенции классов и достоверности выбора.

3.3.6. Обобщенные решающие функции.

3.3.7. Метод опорных векторов.

3.3.8. Методика синтеза и анализа методов распознавания образов.

3.4. Группирование образов в пространстве признаков.

3.4.1. Метод к внутригрупповых средних.

3.4.2. Анализ метода конечных смесей.

3.5. Задачи регрессии и сегментации.

3.5.1. Анализ задачи регрессии.

3.5.2. Анализ задачи сегментации.

3.6. Дискретные методы распознавания образов.

3.6.1. Восстановление наборов правил.

3.6.2. Восстановление деревьев решений.

3.7. Синтаксические методы распознавания образов и восстановление формальных грамматик.

Выводы по третьей главе.

Глава 4. Инвариантные представления изображений при высокой априорной неопределенности.

4.1. Основне элементы иерархического представления изображений.

4.1.1. Предположения Д. Марра.

4.1.2. Интерпретация предположений Д. Марра в рамках принципа РМДО.

4.2. Сегментация изображений: первый уровень представления.

4.2.1. Построение целевой функции.

4.2.2. Алгоритм сегментации.

4.2.3. Расширение представления посредством введения семейств регрессионных моделей.

4.2.4. Расширение представления посредством моделей текстуры на основе Габоровских функций.

4.3. Построение структурных элементов на основе контуров: второй уровень представления.

4.3.1. Выбор представления контуров.

4.3.2. Алгоритм сегментации контуров.

4.4. Верхний структурный уровень.

4.4.1. Подходы к объединению структурных элементов.

4.4.2. Критерий качества для представления групп структурных элементов.

4.4.3. Алгоритм группирования структурных элементов.

4.5. Реализация обратных связей в иерархическом структурном представлении.

4.5.1. Формирование иерархического представления изображений.

4.5.2. Коррекция контуров на основе структурных элементов.

4.5.3. Формирование составных структурных элементов.

Выводы по четвертой главе.

Глава 5. Практическое применение принципа РМДО в методах анализа изображений.

5.1. Показатели эффективности методов анализа изображений.

5.2. Экспериментальная проверка повышения эффективности методов распознавания образов при использовании критерия РМДО.

5.2.1. Распознавание целей на основе признаков.

5.2.2. Текстурный анализ на основе признаков.

5.2.3. Распознавание дымов в задаче раннего обнаружения лесных пожаров.

5.3. Сопоставление изображений с помощью иерархического структурного представления и принципа РМДО.

5.3.1. Задача сопоставления изображений.

5.3.2. Общая схема алгоритма иерархического структурного сопоставления изображений.

5.3.3. Автоматический выбор класса пространственного преобразования в соответствии с критерием РМДО.

5.3.4. Адаптивная коррекция описаний изображений.

5.4. Экспериментальная проверка инвариантности иерархического представления изображений в приложении к задаче их совмещения.

5.4.1. Инвариатность к условиям съемки.

5.4.2. Робастность алгоритма структурного сопоставления.

5.5. Практическое применение иерархического структурного классификатора.

5.5.1. Синтез панорамных снимков.

5.5.2. Восстановление информации в затененных областях изображений.

5.5.3. Выявление изменений в серии изображений.

5.5.4. Геокодирование.

5.5.5. Автоматическое извлечение изображений из баз данных.

5.5.6. Распознавание отпечатков пальцев.

5.5.7. Автоматическая навигация внутри помещений.

Выводы по пятой главе.

Актуальность

Оптико-электронные приборы и комплексы, использующие автоматические методы анализа изображений, широко применяются в робототехнике, системах навигации и управления движением [1] , в системах обнаружения и сопровождения целей [2], промышленных приложениях (таких, как контроль качества выпускаемой продукции, мониторинг производственных помещений [3]), разнообразных областях биомедицины [4], фотограмметрии, дистанционном сборе данных [5] и др. Дальнейшее совершенствование оптико-электронных систем определяется приоритетными направлениями науки, технологии и техники Российской Федерации — «Безопасность и противодействие терроризму», «Перспективные вооружения, военная и специальная техника», «Рациональное природопользование», «Транспортные, авиационные и космические системы».

Однако на данный момент существуют предметные области, в которых замена человека-оператора автоматическими методами анализа изображений приводит к существенному снижению эффективности оптико-электронного комплекса. Как правило, это области, в которых имеется значительная априорная неопределенность в содержании изображений. В качестве примера можно привести аэрокосмические изображения, которые могут быть получены с разных ракурсов, в разные время суток и года, а также с помощью сенсоров различных типов. Невозможность для ряда областей замены человека автономными оптико-электронными системами обусловлена, в том числе, отсутствием достаточной теоретической базы в области анализа и распознавания изображений, являющейся источником методов обработки информации в оптико-электронных комплексах.

В то же время, благодаря развитию технологии приемников излучения, за последние 10-15 лет произошло существенное повышение детальности получаемых изображений и удешевление (примерно на два порядка) устройств, формирующих цифровые изображения, при обеспечении их компактности [6]. В результате, использование оптико-электронных приборов и комплексов, ориентированных на формирование и обработку цифровых изображений, стало экономически оправданным во многих приложениях. Возросла также и производительность электронных компонентов оптико-электронных приборов, что создало возможности использования вычислительно более ресурсоемких алгоритмов анализа изображений.

Однако разработанные к настоящему времени в рамках иконики (науке об изображениях) научно-технические решения не в полной мере обеспечили возможности реализации автоматических методов обработки и распознавания изображений в новых предметных областях. Востребованность этих методов привела к появлению большого числа сторонников «практичного» подхода [7], в рамках которого критикуются попытки создания общетеоретических основ обработки и анализа изображений за непрактичность и предлагается рассматривать лишь вопросы построения систем обработки изображений, предназначенных для решения конкретных прикладных задач [8]. Такой подход позволил заполнить нишу методов анализа изображений ad hoc алгоритмами. Эти алгоритмы, как правило, не являются переносимыми, то есть они не могут быть повторно использованы для решения других аналогичных задач. Как следствие, при создании оптико-электронного комплекса существенная часть стоимости приходится на разработку и реализацию алгоритмов анализа изображений [9].

Хотя указанный подход и сыграл определенную положительную роль в развитии оптико-электронных приборов, однако сложившаяся к настоящему моменту ситуация многими исследователями воспринимается как кризисная [10], а ее причина заключается в недостаточном внимании к теоретическим аспектам иконики и применении большого числа эвристических и слабо проверенных методов [11, с. 12].

Таким образом, на настоящий момент созрела необходимость дальнейшего развития иконики и создания в ее рамках единой теории и методологии разработки алгоритмов автоматического анализа изображений и их применения для решения широкого круга задач. Решение этой крупной научной проблемы имеет важное хозяйственное значение, поскольку позволяет существенно снизить трудозатраты по разработке алгоритмов анализа изображений и повышает возможности их повторного использования, а также расширяет сферу применения и открывает новые пути применения оптико-электронных приборов и комплексов. Таким образом, данная проблема является актуальной, в особенности, в областях, для которых характерны изображения с большой априорной неопределенностью.

Теоретические положения, позволяющие решить проблему анализа изображений и распознавания образов, должны быть основаны на строгом математическом базисе, прежде всего, на теории индуктивного вывода, в рамках которой рассматриваются задачи выбора моделей, наилучшим образом описывающих данные наблюдений [12]. Под моделью обычно понимается результат обобщения данных с выделением некоторых существенных характеристик при отвлечении от несущественных, случайных, деталей. При этом основным элементом индуктивного вывода является критерий оптимальности, в соответствии с которым осуществляется выбор модели.

Достаточной универсальностью при решении проблемы определения критерия оптимальности обладает принцип минимальной длины описания (МДО) [13], вводимый в рамках теоретико-информационного (основанного на одном из вариантов теории информации) подхода и указывающий на необходимость поиска компромисса между точностью модели и ее сложностью. Однако данный принцип не вполне применим к задачам с существенным индуктивным смещением (определяемым априорной информацией предпочтением при выборе модели, задаваемым, в случае статистического подхода, в форме распределения априорных вероятностей на множестве решений), к которым относятся задачи анализа изображений.

Таким образом, одна из центральных проблем, которая должна быть разрешена с помощью разрабатываемой теории, — это проблема определения критерия оптимальности методов обработки информации в оптико-электронных системах, на основе которого могла бы производиться их направленная оптимизация. При этом теория должна быть единообразно применимой к различным аспектам анализа изображений — признаковому, текстурному, контурному и структурному, - которые различаются типами используемых представлений изображений, определяющих индуктивное смещение, поэтому принцип МДО необходимо уточнить с учетом понятия представления изображений как принцип репрезентационной минимальной длины описания (РМДО).

Цель работы

Решение научной проблемы создания теории и методологии анализа и построения новых автоматических методов распознавания образов и анализа изображении для повышения эффективности оптико-электронных приборов и комплексов в условиях априорной неопределенности на основе развития теоретико-информационного подхода к проблеме синтеза оптимальных систем распознавания образов и исследования представлений изображений применительно к системам автоматического структурного, текстурного и признакового анализа изображений.

Задачи исследования

- Системный и теоретико-информационный анализ задач распознавания образов и анализа изображений, выделение в явном виде основных компонентов (априорной и текущей информации, критерия оптимальности решения) и корректной формальной постановки задач указанного класса.

- Разработка теоретических основ построения критерия оптимальности выбора решения в методах распознавания образов и анализа изображений.

- Создание методологии исследования представлений изображений в структурных, текстурных и признаковых методах анализа.

- Разработка иерархических структурных методов анализа изображений, обладающих высокой степенью инвариантности в условиях априорной неопределенности.

- Реализация синтаксических, дискретных и дискриминантных методов распознавания образов с использованием разработанного критерия оптимальности решения и обоснование их более высокой эффективности по сравнению с существующими методами распознавания.

Используемые методы исследования

Для решения указанных задач в работе применялись методы теории вероятностей и математической статистики, теории алгоритмов, теории информации, вычислительной математики, компьютерного моделирования, обработки и распознавания изображений.

Научная новизна

- Предложена новая модификация принципа минимальной длины описания (МДО): принцип репрезентационной МДО, который расширяет принцип МДО на случай существенного индуктивного смещения, что характерно для задач распознавания образов и анализа изображений.

- Предложены новые элементы методологии иконики, позволяющие осуществлять направленный поиск оптимальных представлений информации в задачах автоматического анализа изображений, ранее осуществлявшийся преимущественно не направленно.

- На основе принципа РМДО осуществлено строгое описание задач распознавания образов, которое позволяет обосновать и уточнить эвристики, используемые на настоящий момент при синтезе отдельных систем распознавания.

- Впервые предложена теоретически обоснованная модель адаптивного резонанса в системах восприятия, которая, в отличие от существующих симуляцнонных моделей, позволяет установить оптимальный характер обратных связей между уровнями в иерархических системах восприятия при их реализации в виде компьютерных моделей.

- Предложены методы разделения изображения на однородные области, описания границ областей посредством структурных элементов, группирования структурных элементов, а также методы сопоставления изображений на основе иерархических структурных описаний, разработанные в рамках единого теоретического подхода.

Практическая значимость

- Новые методы распознавания образов и анализа изображений позволяют расширить (с уменьшением объема требуемой априорной информации о содержании изображений) сферу применимости оптико-электронных приборов и комплексов в системах технического зрения, экологического мониторинга и др. с использованием аэрокосмических и наземных средств наблюдения.

- Разработанная методика синтеза систем распознавания образов позволяет снизить вероятность пропуска объектов и вероятность ложной тревоги, что положительно сказывается на эффективности работы оптико-электронных систем при их эксплуатации.

- Результаты исследований проблемы введения обратных связей в иерархических системах анализа изображений могут быть использованы для существенного повышения устойчивости функционирования в условиях сложной фоноцелевой обстановки.

- Предложенная методология исследования представлений изображений обеспечивает повышение эффективности разработки новых методов анализа изображений.

- Применение на практике совокупности полученных теоретических результатов позволяет обеспечить адаптивные свойства разрабатываемых систем компьютерного зрения и уменьшить в них количество настроечных параметров, что снижает трудозатраты при их повторном использовании и облегчает переносимость на новые предметные области.

Достоверность результатов работы

Достоверность полученных в диссертационной работе результатов обеспечивается корректностью используемых методов исследования, математической строгостью преобразований при получении доказательств утверждений и аналитических зависимостей, а также соответствием результатов экспериментальной проверки основным теоретическим положениям и выводам.

На защиту выносятся следующие положения и результаты

- Предложенный принцип репрезентационной минимальной длины описания (РМДО) обеспечивает оптимальность критериев выбора решения в задачах с существенным индуктивным смещением, использование которых позволяет максимизировать степень инвариантности методов анализа изображений.

- Введение обратных связей, корректирующих решения нижних уровней на основе предложенной теоретико-информационной модели адаптивного резонанса с итеративной оптимизацией глобального информационного критерия качества, повышает помехоустойчивость иерархических систем обработки информации в оптико-электронных приборах и комплексах.

- Методология использования принципа РМДО в исследовании представлений информации, привлекаемых в методах распознавания образов и анализа изображений.

- Методика синтеза систем днскриминантного распознавания образов на основе принципа РМДО, включающая выбор семейств представлений информации, вывод решающего правила и процедуру определения точности оцененных параметров семейств на основе принципа РМДО.

- Методы структурного анализа изображений, разработанные в рамках общего подхода на основс принципа РМДО и инвариантные по отношению к условиям съемки при высокой априорной неопределенности, вызванной сезонно-суточными изменениями, сменой ракурса, освещения, типа сенсора.

- Алгоритмическая реализация и результаты анализа синтаксических и дискретных методов распознавания образов, эффективность которых повышена с использованием предложенного общего теоретического подхода.

- Аналитические выражения, устанавливающие связь степени априорной неопределенности выборки изображений и степени инвариантности методов анализа изображении с критерием РМДО.

Реализация результатов работы

Результаты диссертационной работы были использованы в НИР 12200060-03 «Разработка и создание методов, алгоритмов и программ автоматического текстурного и структурного анализа изображений в задачах измерения, контроля и сопоставления изображений», выполнявшейся ФГУП НПК «ГОИ им. С.И. Вавилова» по заказу Министерства науки (2003 г.), НИР 0120.0 601227 «Создание систем анализа изображений и распознавания образов на основе высокопроизводительных видеоприложений», проводимой СПбГУ ИТМО по плану фундаментальных исследований по заказу Федерального агентства по образованию (2007-2008 гг.), а также при постановке и проведении ОКР «Разработка устройства цифровой обработки видеоданных оптико-электронных систем обнаружения, сопровождения и распознавания целей» шифр «Сатрап», выполняемой ФГУП НПК «ГОИ им. С.И. Вавилова» по заказу Управления развития базовых военных технологий и специальных проектов МО РФ (2004-2005 гг.). Результаты диссертационной работы были также использованы в ОКР «Сфера», проводимой в ЗАО НИИВЦ «Карат» (2005 г.), и в проекте «Раинее обнаружение лесных пожаров», выполнявшемся в ОАО «Оптико-электронные системы» (2006 г.).

Результаты работы использованы в учебном процессе СПбГУ ИТМО при выполнении курсовых и выпускных работ, а также в учебном курсе по дисциплине «Технологии искусственного интеллекта».

Использование результатов работы подтверждается 5 актами, прилагаемыми к работе.

Апробация работы

Основные результаты работы докладывались на конференции "Battlespace Digitization and Network-Centric Warfare II" в рамках международного научного симпозиума "AeroSence-2002" (Orlando, 2002); конференции "Image and Signal Processing for Remote Sensing IX" в рамках международного симпозиума "Remote Sensing - 2003" (Barcelona, 2003); VII-ой международной конференции "Неразрушающие методы контроля и компьютерное моделирование в науке и технике" NDTCS-2003 (С.-Петербург,

2003); конференции "Automatic Target Recognition XIV" в рамках международного симпозиума "Defense and Security — 2004" (Orlando, 2004); VIII-ой международной конференции "Неразрушающие методы контроля и компьютерное моделирование в науке и технике", NDTCS-2004 (С.-Петербург,

2004); VIII-ой общероссийской научной конференции "Современная логика: проблемы теории, истории и применения в науке" (С.-Петербург, 2004); конференции "Automatic Target Recognition XV" в рамках международного научного симпозиума "Defense and Security - 2005" (Orlando, 2005); 10-й Пущинской школе-конференции молодых ученых "Биология - наука XXI века" (Пущино, 2006); 26-й Европейской конференции по зрительному восприятию ECVP-06 (С.-Петербург, 2006); Всероссийской научно-технической конференции «Медицинские информационные системы-2006» (Таганрог, 2006); XXXVI научной и учебно-методической конференции профессорско-преподавательского и научного состава (С.-Петербург, 2007); международной научной конференции «Измерительные и информационные технологии в охране здоровья, Метромед-2007» (С.-Петербург, 2007); V международной конференции молодых ученых и специалистов «0птика-2007» (С.-Петербург, 2007); XXXVII научной и учебно-методической конференции СПбГУ ИТМО (С.-Петербург, 2008); X конференции молодых ученых "Навигация и управление движением" (С.-Петербург, 2008); V Всероссийской межвузовской конференции молодых ученых (С.-Петербург, 2008); 2-й Международной конференции по оптическим сенсорам и машинному зрению OSAV'2008 (С.Петербург, 2008).

Личный вклад автора

Представленные в диссертации результаты получены лично автором или при его непосредственном участии и руководстве. Все результаты, представленные в гл. 2 и 3 получены лично автором. Результаты, представленные в гл. 4 и 5, также получены лично автором за исключением части результатов по практическому применению методов структурного сопоставления изображении, которые получены в соавторстве в процессе совместной работы.

Публикации

Основные научные результаты диссертации опубликованы в 30 научных работах общим объемом 50 п.л., среди которых одна монография, 8 статей в рецензируемых изданиях, входящих в перечень ВАК для диссертаций на соискание ученой степени доктора наук, а также два свидетельства о государственной регистрации программ для ЭВМ.

1. Lutsiv V.R., Malyshev I.A., Pepelka V., Potapov A.S. Target independent algorithms for description and structural matching of aerospace photographs // Proc. SPIE. 2002. V. 4741. P. 351-362.

2. Lutsiv V., Malyshev I., Potapov A. Hierarchical structural matching algorithms for registration of aerospace images // Proc. SPIE. 2003. V. 5238. P. 164-175.

3. Potapov A.S., Luciv V.R. Information-theoretic approach to image description and interpretation // Proc. Proc. 7th Int. Workshop on New Approaches to High-Tech: Nondestructive Testing and Computer Simulations in Science and Engineering. 2003. V. 7. P. F8-F11.

4. Потапов А.С. Принцип минимальной длины описания и сравнение гипотез // Современная логика: проблемы теории, истории и применения в науке. Труды VIII Общероссийской научной конференции. С-Пб. 2004. С. 409-412.

5. Polapov A.S., Luciv V.R. Information-theoretic approach to image description and interpretation // Proc. SPIE. 2003. V. 5400. P. 277-283.

6. Potapov A.S. Image matching with the use of the minimum description length approach // Proc. SPIE. 2004. V. 5426. P. 164-175.

7. Потапов А.С., Малышев И.А., Луцив В.P. Совмещение аэрокосмических изображений с субпиксельной точное 1ыо методом локальной корреляции // Оптический журнал. 2004. Т. 71. №5. С. 31-36.

8. Потапов А.С. Влияние взаимных геометрических искажений изображений на возможность их пространственного совмещения методом локальной корреляции // Оптический журнал. 2004. Т. 71. № 8. С. 74-80.

9. Potapov A.S., Gamayunova O.S. Information criterion for constructing the hierarchical structural representations of images // Proc. SPIE. 2005. V. 5807. P. 443-454.

10. Potapov A.S., Luciv V.R. Malyshev I.A. Sub-pixel precise image analysis in the industrial environment // Proc. 81'1 Int. Workshop on New Approaches to High-Tech: Nondestructive Testing and Computer Simulations in Science and Engineering. 2004. V. 8. P. E17-E20.

11. Bahvalov J.N., Potapov A.S. A statistical model of interpolation and its application to texture segmentation // Proc. 8th Int. Workshop on New Approaches to High-Tech: Nondestructive Testing and Computer Simulations in Science and Engineering. 2004. V. 8. P. E26-E30.

12. Lutsiv V., Potapov A., Novikova Т., Lapina N. Hierarchical 3D structural matching in the aerospace photographs and indoor scenes // Proc. SPIE. 2005. V. 5807. P. 455-466.

13. Bahvalov J.N., Potapov A.S. A statistical model of interpolation and its application to texture segmentation//Proc. SPIE. 2005. V. 5831. P. 191-198.

14. Potapov A.S., Luciv V.R., Malyshev I.A. Sub-pixel precise image analysis in the industrial environment//Proc. SPIE. 2005. V. 5831. P. 199-203.

15. Погапов А.С., Малышев И.А., Луцпв В.P. Принцип минимальной длины описания как средство улучшения дискриминантных методов распознавания // Оптический журнал. 2006. Т. 73. № 10. С. 41-46.

16. Potapov A.S. Information-theoretic interpretation of Gestalt // Perception. 2006. V. 35. P. 78.

17. Lyakhovetskii V. Potapov A., Ivanov S. Strategies for storing spatial transformations of chess positions// Perception. 2006. V. 35. P. 105.

18. Ляховецкий В.А. Погапов A.C., Попечителев Е.П. Методика изучения и модель информационной структуры памяти человека // Известия ТРТУ, Таганрог, 2006. № И. С. 4-9.

19. Потапов А.С. Распознавание образов н машинное восприятие: общий подход на основе принципа минимальной длины описания: С-Пб, Политехника. 2007. 548 с.

20. Потапов А.С. Новые методы автоматического анализа изображений в задачах экологического мониторинга // Груды межд. научн. конф. Измерительные и информационные технологии в охране здоровья. Метромед-2007. 2007. С. 155-162.

21. Андреев B.C., Губкин А.Ф., Ильяшенко А.С. Кадыков А.Б., Лапина Н.Н., Луцив В.Р., Малышев И.А., Новикова Т.А., Потапов А.С. Алгоритмы автоматической обработки и анализа аэрокосмичсских снимков // Оптический журнал. 2007. Т. 74. № 5. С. 12-30.

22. Потапов А.С. Выбор модели пространственного преобразования изображений по критерию минимальной длины описания // Оптический журнал. 2007. Т. 74. № 5. С. 48-53.

23. Потапов А.С. Теоретико-информационный подход к введению обратных связей в многоуровневых системах компьютерного зрения // Оптический журнал. 2007. Т. 74. № 10. С. 59-65.

24. Потапов А.С., Новикова Т.Н. Распознавание дымов на основе текстур динамических изображений // Труды V межд. конф. молодых ученых и специалистов «0птика-2007». СПб: СПбГУ ИТМО. 2007. С. 364-365.

25. Потапов А.С. Технологии искусственного интеллекта: анализ проблематики и построение структуры учебной дисциплины // Научно-1ехнический вестник СПбГУ ИТМО. 2007. Вып. 43. С. 308-313.

26. Potapov A.S. Synthetic pattern recognition methods based on the representational minimum description length principle // Digest of the 2nd International Topical Meeting on Optical Sensing and Artificial Vision, OSAV'2008. 2008. P. 124-125.

27. Потапов A.C. Исследование представлений изображений на основе принцип репрезентационной длины описания // Изв. вузов. Приборостроение. 2008. Т. 51. № 7. С. 3-7.

28. Потапов А.С., Петроченко В.Г. Количественное описание законов перцептивного группирования с помощью принципа репрезентационной минимальной длины описания // Оптический журнал. 2008. Т. 75. № 8. С. 42-47.

29. Потапов А.С. Программный модуль «Перцептивное группирование структурных элементов» // Свидетельство о государственной регистрации программы для ЭВМ. М.: РОСПАТЕНТ. 2008. № 2008612428.

30. Потапов А.С. Программный модуль «Теоретико-информационная аппроксимация изображений габоровскими функциями» // Свидетельство о государственной регистрации программы для ЭВМ. М.: РОСПАТЕНТ. 2008. № 2008612429.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения и списка цитируемой литературы. Она содержит 299 страниц машинописного текста, 62 рисунка и 20 таблиц. Список цитируемой литературы содержит 204 наименования.

Выводы по пятой главе

1) Экспериментально установлено, что применение методики синтеза систем распознавания образов, разработанной в главе 3, позволяет повысить эффективность методов признакового анализа изображений, что выражается в снижении вероятностей ложной тревоги и пропуска целей (в рассмотренных задачах в среднем с 10% до 6%).

2) В рамках задачи совмещения изображений экспериментально подтверждена инвариантность разработанного в главе 4 иерархического структурного представления изображений по отношению к изменениям условий съемки: вариативности освещения, сезонно-суточным изменениям, смене типа сенсора. Это доказывает а) возможность объективного измерения качества представления с помощью критерия РМДО, что позволяет использовать данный критерий как основу методологии исследования представлений изображений; б) эффективность предложенной в главе 2 методологии целенаправленного улучшения представлений изображений и базирующихся на них методов анализа.

3) Практическая значимость полученных теоретических результатов подтверждена на основе их использования при решении ряда прикладных задач а) распознавания малоразмерных целей; б) распознавания типов местности по текстурным признакам; в) раннего обнаружения лесных пожаров; г) синтеза «бесшовных» панорамных снимков; д) восстановления информации, утраченной в затененных и загороженных областях изображений; е) выявления изменений; ж) геокодирования; з) автоматического извлечения изображений из баз данных; и) распознавания отпечатков пальцев; к) автоматической навигации.

Заключение

В диссертационной работе дано решение актуальной научной проблемы создания теории задания критерия качества решения в методах анализа изображений и распознавания образов и разработки методологии исследования представлений изображений в целях повышения эффективности (вероятности правильного распознавания и степени инвариантности по отношению к условиям съемки) и расширения сферы применения оптико-электронных приборов и комплексов на предметные области с высокой априорной неопределенностью.

Следующие основные результаты работы получены лично автором.

1. Введен принцип репрезентационной минимальной длины описания, расширяющий принцип МДО на задачи с существенным индуктивным смещением, задаваемым в форме представлений изображений.

2. На основе принципа РМДО разработана теория выбора решения в задачах автоматической интерпретации изображений и методология исследования представлений в задачах анализа изображений и распознавания образов. а) Впервые предложено формальное определение концепции представления изображений и введен критерий, позволяющий объективно сравнивать качество представлений. Формализован ряд ключевых для иконики понятий: априорной неопределенности, инвариантности и достоверности результатов анализа. б) Сформулированы и доказаны утверждения о зависимости свойств оптимальных представлений от характеристик предметной области и связи критерия РМДО со степенью априорной неопределенности и инвариантностью представлений изображений. в) Разработана теоретико-информационная модель адаптивного резонанса, позволяющая установить оптимальный характер обратных связей в иерархических системах интерпретации изображений.

3. В рамках теории выбора решения на основе критерия РМДО получены частно-теоретические результаты в области признакового анализа изображений. а) Доказана сводимость критериев, применяемых в существующих методах дискриминантного распознавания образов: ближайшего соседа, эталонных образов, обобщенных решающих функций, опорных векторов, - к критерию РМДО. б) Разработана методика анализа существующих и синтеза новых методов распознавания образов, позволяющая повысить эффективность решения задач распознавания, в частности, за счет выбора между различными параметрическими семействами решений и автоматического определения точности описания их параметров, относящихся к особенностям предложенной методики. в) В результате применения данной методики к проблемам синтаксического и логического распознавания образов построены высокоэффективные алгоритмы их решения.

4. В рамках предложенной автором методологии разработано иерархическое структурное представление изображений, на основе которого разработаны предментно-независимые алгоритмы анализа изображений. В отличие от существующих эвристических представлений изображений данное представление основано на объективном количественном критерии, для оптимизации которого привлекается модель адаптивного резонанса, что позволяет достигнуть высокой степени инвариантности по отношению к изменениям условий съемки.

5. Получены эффективные решения задач распознавания образов и сопоставления изображений, снятых с разных ракурсов, подверженных сезонно-суточным изменениям и смене типа сенсора. Показатели эффективности разработанных методов и алгоритмов превосходили (в ряде случаев существенно) на момент их создания уровень аналогичных отечественных и зарубежных образцов, либо значительно повышали эффективность использования известных решений. Это позволило успешно применить данные решения в приложениях выявления изменений на серии изображений, синтеза панорамных снимков, извлечения из баз данных изображений, геокодирования, экологического мониторинга и автоматической навигации.

1. Florczyk S. Robot Vision: Video-based 1.door Exploration with Autonomous and Mobile Robots / Wiley, 2005. 216 p.

2. Тарасов B.B., Якушенков Ю.Г. Инфракрасные системы "смотрящего" типа. М.: ЛОГОС, 2004. 443 с.

3. Batchelor B.G., Whelan P.F. Intelligent vision systems for industry / Springer-Verlag, 2002. 457 p.

4. Image processing and analysis. A practical approach / Baldock R. and Graham J. (eds). New York: Oxford university press. 2000. 301 p.

5. Atkinson K.B. Close Range Photogrammetry and Machine Vision / Whittles Publishing, 2003. 384 P.

6. Форсайт Д., Понс Д. Компьютерное зрение. Современный подход. Вильяме. 2004. 928 с.

7. Tarr M.J., Black М.J. A computational and evolutionary perspective on the role of representation in vision // CVGIP: Image Understanding. 1994. V. 60. No 1. P. 65-73.

8. Aloimonos J. Purposive and qualitative active vision // Proc. 10th International Conference on Pattern Recognition. 1990. V. 1. P. 346-360.

9. Rares A., Reinders M.J.T., Hendriks E.A. Image Interpretation Systems // Technical Report (MCCWS 2.1.1.3.C), MCCWS project, Information and Communication Theory Group. TU Delft. 1999. 32 p.

10. Jain R.C., Binford Т.О. Ignorance, myopia and naivete in computer vision systems // CVGIP: Image Understanding. 1991. V. 53. № 1. P. 112-117.

11. Фурман Я.А. и др. Введение в контурный анализ и его приложения к обработке изображений и сигналов: М., ФИЗМАТЛИТ. 2002. 592 с.

12. Baxter R.A. Minimum Message Length Inference: Theory and Applications: PhD thesis, Department of Computer Science, Monash University, Clayton, Australia. 1996. 246 p.

13. Vitanyi P.M.B. and Li M. Minimum description length induction, Bayesianism, and Kolmogorov complexity I I IEEE Transactions on Information Theory. 2000. V. 46. № 2. P. 446-464.

14. Chan T.F., Shen J., and Vese L. Variational PDE models in image processing // Notice of Amer. Math. Soc. 2003. V. 50. P. 14-26.

15. Фу К. Структурные методы в распознавании образов: М., Мир. 1977. 320 с.

16. Lutsiv V.R., Malyshev I.A., Pepelka V., Potapov A.S. Target independent algorithms for description and structural matching of aerospace photographs // Proc. SPIE. 2002. V. 4741. P. 351-362.

17. Crevier D., Lepage R. Knowledge-Based Image Understanding Systems: A Survey // Сотр. Vision and Image Underst. 1997. V. 67. № 2. P. 161-185.

18. Lei B.J., Hendriks E.A., Reinders M.J.T. On Feature Extraction from Images // Technical Report, Deliverable 2.1.1.2.A+B, MCCWS project, Information and Communication Theory Group. TU Delft. 1999. 57 p.

19. Baker S. Design and Evaluation of Feature Detectors: PhD thesis. Columbia University. 1998. 167 p.

20. Kopparapu S.K., Desai U.B. Bayesian Approach to Image Interpretation // The Springer International Series in Engineering and Computer Science. 2001. V. 616.127 p.

21. Zhu S.C., Wu Y., Mumford D. Minimax Entropy Principle and its Application to Texture Modeling //Neural Computation. 1997. № 9. P. 1627-1660.

22. Потапов A.C. Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания: С-Пб, Политехника. 2007. 548 с.

23. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов: М., Радио и связь. 1987. 400 с.

24. Павлидис Т. Иерархические методы в структурном распознавании образов //ТИИЭР. 1979. Т. 67. № 5. С. 39-^9.

25. Pinz A. Interpretation and fusion recognition versus reconstruction I I In Pinz A. and Burger W. (eds.). Vision Milestones 1995, OGAI lecture series. 1995. P. 9-21.

26. Ерош И.Л., Игнатьев М.Б., Москалев Э.С. Адаптивные робототехнические системы: Л., ЛИАП. 1985. 144 с.

27. Jonsson R. Regularization based super resolution imaging using FFT's // Proc. SPIE. 2005. Vol. 5808. P. 122-131.

28. Glasbey C.A. Optimal linear interpolation of images with known point spread function // Scandinavian Image Analysis Conference, SCIA2001, 2001. P. 161— 168.

29. Guerrero-Colon J.A., Mancera L., Portilla J. Image restoration using space-variant Gaussian scale mixtures in overcomplete pyramids // IEEE Transactions on Image Processing, 2008. V. 17. Iss. 1. P. 27-41.

30. Самойлин E.A. Алгоритмы оценивания импульсного шума в задачах цифровой фильтрации оптических изображений // Оптический журнал. 2006. № 12. С. 42-46.

31. Трифонов М.И., Макулов В.Б. Автоматическое улучшение контраста изображений. // Оптический журнал. 2006. № 10. С. 34-40.

32. Petrou М., Kadyrov A. Affine invariant features from the trace transform // IEEE Trans, on Pattern Analysis and Machine Intelligence. 2004. Vol. 26. № 1. P. 30-44.

33. Lowe D. Object Recognition from Local Scale-Invariant Features // Proc. Int. Conf. on Computer Vision. 1999. P. 1150-1157.

34. Chen Q.-Sh., Defrise M., Deconinck F. Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition // IEEE Trans, on Pattern Analysis and Machine Intelligence. V. 16. № 12. 1994. P. 1156-1167.

35. Keysers D., Deselaers Т., Gollan C., Ney H. Deformation Models for Image Recognition // Trans, on Pattern Analysis and Machine Intelligence. 2007. V. 29. № 8. P. 1422-1435.

36. Абду И.Э., Прэтт У.К. Количественный расчет детекторов контуров, основанных на подчеркивании перепадов яркости с последующим пороговым ограничением // ТИИЭР. 1979. Т. 67. № 5. С. 59-70.

37. Саппу J.F. A computational approach to edge detection // IEEE Transactions on pattern analysis and Machine Intelligence. 1986. V. 8. № 6. P. 679-698.

38. Deriche R. Optimal edge detection using recursive filtering // Proc. 1st Int. Conf. Computer Vision. 1987. P. 501-505.

39. Lindeberg T. Edge detection with automatic scale selection // In IEEE Computer Vision and Pattern Recognition. 1996. P. 465-470.

40. Tang Q.L., Sang, N., Zhang T.X. Contour detection based on contextual influences // Image and Vision Computing. 2007. V. 25. № 8. P. 1282-1290.

41. Papari G., Campisi P. Petkov N., Neri A. A biologically motivated multiresolution approach to contour detection // EURASIP Journal on Andances in Signal Processing. 2007. V. 2007. Iss. 1. P. 119-147.

42. Yang C.H.T., Lai S.H., Chang L.W. Hybrid image matching combining Hausdorff distance with normalized gradient matching // Pattern Recognition. 2007. V. 40. №4. P. 1173-1181.

43. Olson C.F. A probabilistic formulation for Hausdorff matching // Proc. IEEE Conf. on Computer Vision and Pattern Recognition. 1998. P. 150-156.

44. Nacken P. Image Analysis Methods Based on Hierarchies of Graphs and Multi-Scale Mathematical Morphology: PhD thesis, University of Amsterdam. 1994. 176 p.

45. Grimson W.E.L., Marr D. A computer implementation of a theory of human stereo vision // Proc. ARPA Image Understanding Workshop, L.S. Baumann, ed., SRI. 1979. P. 41-45.

46. Lagunovsky D., Ablameyko S. Straight-line-primitive extraction in grey-scale object recognition //Pattern Recognition Letters. 1999. V. 20. P. 1005-1014.

47. Kanatani K. and Ohta N. Automatic detection of circular objects by ellipse growing // Proc. SSII2002. 2002. P. 355-360.

48. Lu W., Tan J. Detection of incomplete ellipse in images with strong noise by iterative randomized Hough transform (IRHT) // Pattern Recognition. 2008. V. 41. №4. P. 1268-1279.

49. Smith S.M., Brady J.M. SUSAN a new approach to low level image processing // Int. Journal of Computer Vision. 1997. V. 23. № 1. P. 45-78.

50. Parida L., Geiger D., Hummel R. Junctions: Detection, Classification, and Reconstruction // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. V. 20. № 7. P. 687-698.

51. Whan Kim Z.W., Nevitia R. Automatic description of complex buildings from multiple images // Computer Vision and Image Understanding. 2004. V. 96. № l.P. 60-95.

52. Lutsiv V., Potapov A., Novikova Т., Lapina N. Hierarchical 3D structural matching in the aerospace photographs and indoor scenes // Proc. SPIE. 2005. V. 5807. P. 455-466.

53. Lutsiv V., Malyshev I., Potapov A. Hierarchical structural matching algorithms for registration of aerospace images // Proc. SPIE. 2003. V. 5238. P. 164-175.

54. Shaw A.C. A formal picture description scheme as a basis for picture processing system//Infomiationand Control. 1969. V. 14. P. 9-52.

55. Ma B. Parametric and Nonparametric Approaches for Multisensor Data Fusion: PhD thesis, University of Michigan. 2001. 196 p.

56. Linying S., Sharp В., Chibelushi C. Knowledge-Based Image Understanding: A Rule-Based Production System for X-Ray Segmentation // Int. Conf. on Enterprise Information Systems (ICEIS). 2002. P. 530-533.

57. Минский M. Фреймы для представления знаний: пер. с англ. — М., Энергия. 1979. 151 с.

58. Liedtke С.-Е., Grau О., Growe S. Use of explicit knowledge for the reconstruction of 3-D object geometry // Int. Conf. on Computer Analysis of Images and Patterns. 1995. P. 580-587,

59. Growe S. Knowledge based interpretation of multisensor and multitemporal remote sensing images // IAPRS. 1999. V. 32. Part 7-4-3 W6. P. 130-138.

60. Draper В .A. et al. The Schema System // Int. J. of Computer Vision. 1989. № 2. P. 209-250.

61. Boissier O., Demazeau Y. MAVI: A Multi-Agent system for Visual Integration // Proc. IEEE Conf. on Multisensor Fusion and Integration for Intelligent Systems. 1994. P. 731-738.

62. Veenman С J., Reinders M.J.T. A Multi-Agent Framework for a Hybrid FacialiL

63. Action Tracker // Proc. 4 annual conference of the Advanced School for Computing and Imaging. 1998. P. 127-132.

64. Maillot N., Thonnat M., Hudelot C. Ontology based object learning and recognition: application to image retrieval // 16th IEEE International Conference on Tools with Artificial Intelligence, ICTAI 2004. 2004. P. 620-625.

65. Town Ch., Sinclair D. Language-based querying of image collection on the basis of an extensible ontology // Image and Vision Computing. 2004. V. 22. Iss. 3. P. 251-267.

66. Growe S., Tonjes R. A Knowledge Based Approach to Automatic Image Registration//Proc. Int. Conf. on Image Processing. 1997. V. 3. P. 228-231.

67. Castleman K.R. Digital Image Processing: New York, Prentice Hall Press. 1996. 667 p.

68. Разин И.В., Тетерин B.B. Математическая модель для экспресс-оценки степени сходства изображений // Оптический журнал. 2001. № 11. С. 33— 37.

69. Kruizinga P., Petkov N. Nonlinear operator for oriented texture // IEEE Transactions on image processing, 1999. V. 8. № 10. P. 1395-1407.

70. Portilla J., Simoncelli E.P. A Parametric Texture Model based on Joint Statistics of Complex Wavelet Coefficients // Int. J. of Computer Vision. 2000, V. 40. № l.P. 49-71.

71. Baumberg A. Reliable feature matching across widely separated views // Conf. on Computer Vision and Pattern Recognition. 2000. P. 774-781.

72. Rao С., Guo Y., Sawhney H.S., Kumar R. A Heterogeneous Feature-based Image Alignment Method // International Conference on Pattern Recognition, ICVR06. 2006. P. 345-350.

73. Zavorin I., LeMoigne J., Use of Multiresolution Wavelet Feature Pyramids for Automatic Registration of Multisensor Imagery // IEEE Trans. Image Processing. 2005. V. 14. № 6. P. 770-782.

74. Ковалевский В.А. Локальные и глобальные решения в распознавании изображений // ТИИЭР. 1979. Т. 67, № 5, С. 50-58.

75. Thevenaz P. et al. A pyramid approach to subpixel registration based on intensity // IEEE Trans, on Image Processing. 1998. V. 7. № 1. P. 27-41.

76. Анисимов В.А. Исследование и разработка методов идентификации объектов на изображениях на основе пирамидально-рекурсивных структур: Тезисы диссертации, СПИИАРАН, Санкт-Петербург. 1992.

77. Joshi J., Nabar N., Adyanthaya R., Batra P. An efficient pipelined architecture for multilevel wavelet based image denoising // IET International Conference on Visual Information Engineering (VIE 2006). 2006. P. 351-355.

78. Alexander M.E. Fast hierarchical noniterative registration algorithm // Int. J. Imaging Syst. Technol. 1999. V. 10. P. 242-57.

79. Guarneri I., Guarnera M., Lupica G., Casale S. A multilevel projective image registration technique //Proc. SPIE. 2005. V. 5685. P. 692-701.

80. Du X., Bui T.D. A New Hierarchical Image Segmentation Method // 18th International Conference on Pattern Recognition (ICPR'06). 2006. P. 108-112.

81. Duygulu P., Vural F. Multi-Level Image Segmentation and Object Representation for Content Based Image Retrieval // Proc. SPIE. 2001. V. 4315. P. 460-469.

82. Russell S., Norvig P. Artificial Intelligence: A Modern Approach (Second Edition): Prentice Hall. 2003.

83. MacKay D.J.C. Bayesian Methods for Adaptive Models: PhD thesis, Dept. of Computation and Neural Systems, California Institute of Technology, Pasadena, California. 1992. 92 p.

84. Mumford D., Gidas B. Stochastic Models for Generic Images // Quaterly of Applied Mathematics. 2001. V. 59. P. 85-111.

85. Konishi S., Yuille A.L., Coughlan J.M., Zhu S.Ch. Statistical Edge Detection: Learning and Evaluating Edge Cues // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2003. V. 25. № 1. P. 57-74.

86. Cox I.J., Rehg J.M., Hingorani S. A Bayesian multiple-hypothesis approach to edge grouping and contour segmentation // International Journal of Computer Vision. 1993. V. 11. № 1. P. 5-24.

87. Growe S., Schroder Т., Liedtke C.-E. Use of Bayesian networks as judgement calculus in a knowledge based image interpretation systems // IAPRS. 2000. V. XXXIII. P. 1-10.

88. Kumar R., Chen W.-Ch., Rockett P. Bayesian labelling of image corner features using a grey-level comer model with a bootstrapped modular neural network // Proc. 5th Int. Conf. on Artificial Neural Networks. 1997. V. 440. P. 82-87.

89. Nagao K. Bayesian approach with nonlinear kernels to feature extraction // Proc. 17th Int. Conf. on Pattern Recognition (ICPR'04). 2004. V. 2. P. 153-156.

90. Machado A.M.C., Campos M.F.M., Gee J.C. Bayesian model for intensity mapping in magnetic resonance image registration // Journal of Electronic Imaging. 2003. V. 12. Iss. 1. P. 31-39.

91. Hao Wu, Yunqiang Chen, Tong Fang. Coupled Bayesian Framework for Dual Energy Image Registration // Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2006. V. 2. P. 2475-2482.

92. Perera A., Hoogs A. Bayesian Object-Level Change Detection in Grayscale Imagery // Proc. Pattern Recognition, 17th International Conference on (ICPR'04). 2004. V. 1. P. 71-75.

93. Weiss Y., Adelson E.H. Slow and smooth: a Bayesian theory for the combination of local motion signals in human vision // A.I. Memo № 1624, C.B.C.L. Paper № 158.1998. 42 p.

94. Jia Z., Balasuriya A. Motion Based Image Segmentation with Unsupervised Bayesian Learning // Proc. IEEE Workshop on Motion and Video Computing. 2005. P. 2-7.

95. Lillholm M., Nielsen M., Griffin L.D. Feature-Base Image Analysis // Int. J. of Computer Vision. 2003. V. 52. № 2/3. P. 73-95.

96. Ruderman D.L., Bialek W. Statistics of natural images: Scaling in the woods // Physical Review Letters. 1994. V. 73. № 6. P. 100-105.

97. Kersten D. Predictability and Redundancy of Natural Images // J. Optical Soc. Am. A, 1987. V. 4. № 12. P. 2395-2400.

98. Koloydenko A. Modeling Natural Microimage Statistics: PhD thesis, Dept. of Math and Statistics, Univ. of Massachusetts, Amherst. 2000.

99. Field D.J. Relations between the statistics of natural images and response properties of cortical cells // J. Opt. Soc. Am. 1987. V. 12. № 4. P.2379-2394.

100. Atick J.J. and Redlich A.N. What Does the Retina Know about Natural Scenes? //Neural Computation. 1992. V. 4. P. 196-210.

101. Barlow H.B. What is the computational goal of the neocortex? // In C. Koch, J.L. Davis, eds. Large-scale neuronal theories of the brain: MIT Press. 1994. P. 1-22.

102. Qian G. Computing minimum description length for robust linear regression model selection // Proc. Pacific Symposium on Biocomputing. 1999. V. 4. P. 214-325.

103. Li M., Vitanyi P.M.B. Philosophical issues in Kolmogorov complexity (invited lecture) // Proc. on Automata, Languages and Programming (ICALP '92). 1992. V. 623. P. 1-15.

104. Нестерук В.Ф., Порфирьева H.H. Информационная оценка процесса зрительного восприятия // Оптика и спектроскопия. 1978. Т. 44, вып. 4. С. 801-803.

105. Viola P.A. Alignment by Maximization of Mutual Information: PhD thesis, MIT, Cambridge, Massachusetts. 1995. 156 p.

106. Schneider R.Z., Fernandes D. Entropy among a sequency of SAR images for change detection // Proc. Geoscience and Remote Sensing Symposium (IGARSS '03). 2003. V. 2. P. 1389-1391.

107. Torkkola K. Feature extraction by non-parametric mutual information maximization // Journal of machine learning research. 2003. V. 3. № 7/8. P. 1415-1438.

108. Shuyu Li, Fang Pu, Deyu Li. An Improved Edge Detection Algorithm Based on Area Morphology and Maximum Entropy // Proc. of the Second International Conference on Innovative Computing, Informatio and Control (ICICIC 2007). 2007. P. 536.

109. Maisinger K., Hobson M.P., Lasenby A.N. Maximum-entropy image reconstruction using wavelets // Monthly Notices of the Royal Astronomical Society. 2004. V. 347. № 1. P. 339-354.

110. Keysers D., Och F.J., Ney H. Maximum Entropy and Gaussian Models for Image Object Recognition // Pattern Recognition, 24th DAGM Symposium, Zurich, Switzerland, LNCS 2449. 2002. P. 498-506.

111. Колмогоров A.H. Комбинаторные основания теории информации и исчисления вероятностей // УМН. 1983. Т. 38. Вып. 4. С. 27-36.

112. Solomonoff RJ. The Discovery of Algorithmic Probability // J. of Computer and System Sciences. 1997. V. 55. № 1. P. 73-88.

113. Solomonoff R.J. A formal theory of inductive inference, pari and part 2 // Information and Control. 1964. V. 7. P. 1-22, 224-254.

114. Wallace C.S., Boulton D.M. An information measure for classification // Comput. J. 1968. V. 11. P. 185-195.

115. Wallace C.S., Freeman P.R. Estimation and inference by compact coding // J. Royal Stat. Soc. 1987. Series В. V. 49. № 3. P. 240-251. Discussion: ibid. P. 252-265.

116. Baxter R.A., Oliver J. MDL and MML: Similarities and Differences (Introduction to Minimum Encoding Inference Part III) // Technical report 207, Department of Computer Science, Monash University, Clayton, Australia. 1994.

117. Rissanen J.J. Modeling by the shortest data description // Automatica-J.IFAC. 1978. V. 14. P. 465-471.

118. Rissanen J.J. Stochastic Complexity and Statistical Inquiry: World Scientific Publishers. 1989.

119. Li M., Vitanyi P.M.B. Inductive reasoning and Kolmogorov complexity // Proc. 4th IEEE Structure in Complexity Theory Conf. 1989. P. 165-185.

120. Vitanyi P., Li M. Ideal MDL and its relation to Bayesianism // Proc. ISIS: Information, Statistics and Induction in Science. 1996. P. 282-291.

121. Vovk V., Gammerman A. Complexity Approximation Principle // The Computer Journal. 1999. V. 42. № 4. P. 318-322.

122. Solomonoff RJ. Does Algorithmic Probability Solve the Problem of Induction? // Oxbridge Research, P.O.B. 391887, Cambridge, Mass. 02139. 1997.

123. Luo Q., Khoshgoftaar T.M. Unsupervised Multiscale Color Image Segmentation Based on MDL Principle // IEEE Trans, on Image Processing. 2006. V. 15. № 9. P. 2755-2761.v

124. Galland F., Bertaux N., Refregier Ph. Multi-component image segmentation in homogeneous regions based on description length minimization: Application to speckle, Poisson and Bernoulli noise // Pattern Recognition. 2005. V. 38. Iss. 11. P. 1926-1936.

125. Lee T.C.M. A Minimum Description Length Based Image Segmentation Procedure, and Its Comparison with a Cross-Validation Based Segmentation Procedure // Journal of the American Statistical Association. 2000. V. 95. P. 259-270.

126. Lindeberg Т., Li M.-X. Segmentation and classification of edges using minimum description length approximation and complementary junction cues // Computer Vision and Image Understanding. 1997. V. 67. № l. p. 88-98.

127. Cazorla M.A. et al. Bayesian models for finding and grouping junctions // Energy Minimization Methods in Computer Vision and Pattern Recognition. 1999. P. 70-82.

128. Ward A., Hamarneh Gh. Statistical Shape Modeling using MDL Incorporating Shape, Appearance, and Expert Knowledge // In Lecture Notes in Computer Science, Medical Image Computing and Computer-Assisted Intervention (MICCAI). 2007. P. 278-285.

129. Davies R.H., Twining C.J., Cootes T.F., Waterton J.C., Taylor C.J. A minimum description length approach to statistical shape modeling // IEEE Trans. Medical Imaging. 2002. V. 21. № 5. P. 525-537.

130. Lanterman A. Minimum Description Length understanding of infrared scenes // Proc. SPIE. 1998. V. 3371. P. 375-386.

131. Li M., Gao Q. and Vitanyi P.M.B. Recognizing on-line handwritten characters using MDL // Proc. IEEE Information Theory Workshop. 1993. P. 24-25.

132. Gao Q., Li M., Vitanyi P.M.B. Applying MDL to learning best model granularity//Artificial Intelligence. 2000. V. 121. P. 1-29.

133. Yvan G. et al. Self-Consistency and MDL: A Paradigm for evaluating point-correspondence algorithms, and its application to detecting changes in surface elevation // Int. J. of Computer Vision. 2003. V. 51. № 1. P. 63-83.

134. Maybank S.J. and Sturm P.F. MDL, Collineations and the Fundamental Matrix // Proc. 10th British Machine Vision Conference. 1999. P. 53-62.

135. Ayer S., Sawhney H. Layered representation of motion video using robust maximum-likelihood estimation of mixture models and MDL encoding // ICCV. 1995. P. 777-784.

136. Mansouri A.-R. and Konrad J. Minimum description length region tracking with level sets // Proc. SPIE Image and Video Communications and Process. 2000. V. 3974. P. 515-525.

137. Mansouri A.-R. and Konrad J. Motion segmentation with level sets // Proc. IEEE Int. Conf. Image Processing. 1999. V. II. P. 126-130.

138. Radke R.J., Andra S., Al-Kofahi O., Roysam B. Image change detection algorithms: a systematic survey // IEEE Transactions on Image Processing. 2005. V. 14. Iss. 3. P. 294-307.

139. Maybank S.J., Sturm P.F. Minimum description length and the inference of scene structure from images // IEE Colloquium on Applied Statistical Pattern Recognition. 1999. P. 9-16.

140. Feldman J. Perceptual grouping by selection of a logically minimal model // Int. J. of Computer Vision. 2003. V. 55. № 1. p. 5-25.

141. Pilu M., Fisher R.B. Part segmentation from 2D edge images by the MDL criterion // Image and Vision Computing. 1997. V. 15. № 8. P. 563-573.

142. Hansen M.H., Yu B. Model selection and the principle of minimum description length // American Statistical Association J. 2001. V. 96. P. 746-774.

143. Solomonoff R.J. The Universal Distribution and Machine Learning // The Computer Journal. 2003. V. 46. P. 598-601.

144. Solomonoff R.J. Two Kinds of Probabilistic Induction // The Computer Journal. 1999. V. 42. № 4. P. 256-259.

145. Перегудов Ф.И., Тарасенко В.П. Введение в системный анализ. М: Высшая школа, 1989. 367 с.

146. Левин Л.А. Универсальные задачи перебора // Проблемы передачи информации. 1973. Т. 9.№3. С.115-116.

147. Griinwald P.D. Model selection based on minimum description length // J. of Mathematical Psychology. Special issue on Model Selection. 2000. V. 44. № 1. P. 133-152.

148. Gove A., Grossberg S., Mingolla E. Brightness perception, illusory contours, and corticogeniculate feedback // Visual Neuroscience. 1995. V. 12. P. 10271052.

149. Grossberg S. Adaptive pattern classification and universal recoding (I, II). Parallel development and coding of neural feature detectors // Biol. Cybernet. 1976. V. 23. P. 121-134, 187-202.

150. Grossberg S. Adaptive resonance theory // Technical Report CAS/CNS TR-2000-024. In The encyclopedia of cognitive science. London: Macmillan Reference Ltd. 2003.

151. Carpenter G. and Grossberg S. Adaptive resonance theory (ART) // In Arbib M., ed. Handbook of Brain Theory and Neural Networks: MIT Press. 1995. P. 7982.

152. Kuo R.J. Integration of adaptive resonance theory II neural network and genetic K-Means algorithm for data mining // Journal of the Chinese Institute of Industrial Engineers. 2002. V. 19. № 4. P. 64-70.

153. Sato M., Kudo M., Toyama J., Shimbo M. Construction of a nonlinear discrimination function based on the MDL criterion // 1st International Workshop on Statistical Techniques in Pattern Recognition. 1997. P. 141-146.

154. U. von Luxburg, Bousquet O., Scholkopf B. A compression approach to support vector model selection // Journal of Machine Learning Research. 2004. V. 5. P. 293-323.

155. Selb A., Bischof H., Leonardis A. Fuzzy c-means in an MDL-Framework // Proc. 15th International Conference on Pattern Recognition (ICPR'00). 2000. V. 2. P. 740-743.

156. Lai Y.N., Yuen S.Y. Successive-least-squares error algorithm on minimum description length neural networks for time series prediction // 17th International Conference on Pattern Recognition (ICPR'04). 2004. V. 4. P. 609-612.

157. Leonardis A., Bischof H. An efficient MDL-Based construction of RBF networks //Neural Networks. 1998. V. 11. № 5. P. 963-973.

158. Wang J.Sh., Lin H.Y., Hsu Y.L., Yang Y.T. Using a Wiener-Type Recurrent Neural Network with the Minimum Description Length Principle for Dynamic System Identification // in Advanced Intelligent Computing Theories and

159. Applications with Aspects of Artificial Intelligence: Berlin, Springer. 2007. Vol. 4682. P. 192-201.

160. Ту Дж., Гонсалес P. Принципы распознавания образов: М., Мир. 1978. 412 с.

161. Вапник В.Н., Червоненкис А .Я. Теория распознавания образов: М., Наука. 1974. 415 с.

162. Vapnik V.N. Statistical Learning Theory: N.Y., Wiley. 1998.

163. Люгер Д.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем, 4-е издание: Пер. с англ.: М., Изд. дом "Вильяме". 2003. 865 с.

164. Akaike Н. Information theory and an extension of the maximum likelihood principle // 2nd Int. Symposium on Information Theory. 1973. P. 267-281.

165. Schwarz G. Estimating Dimension of a Model // Ann. Stat. 1978. V. 6. P. 461464.

166. Ben-Hur A., Horn D., Siegelmann H.T., Vapnik V. Support vector clustering // J. of Machine Learning Research. 2001. V. 2. P. 125-137.

167. Sund R. Minimum Description Length based model selection in linear regression // Lectures on Statistical Modeling Theory, fall 2001 course (J. Rissanen). Department of Computer Science, University of Helsinki, Finland. 2001. 12 p.

168. Lee T.C.M. Tree-based wavelet regression for correlated data using the minimum description length principle // Australian & New Zealand Journal of Statistics. 2002. V. 44. № 1. P. 23-39.

169. Anguita D., Gagliolo M. MDL Based Model Selection for Relevance Vector Regression // Proc. International Conference on Artificial Neural Networks, 2002. P. 468-473.

170. Poland J., Hutter M. Strong asymptotic assertions for discrete MDL in regression and classification. Technical Report № IDSIA-02-05, 2005. Dalle Molle Institute for Artificial Intelligence, Galleria 2, 6928 Manno, Switzerland. 8 p.

171. Baxter R.A., Oliver J.J. The kindest cut: minimum message length segmentation // In S. Arikawa and A. Sharma, eds. Lecture Notes in Artificial Intelligence 1160, Algorithmic Learning Theory, ALT-96. 1996. P. 83-90.

172. Fitzgibbon L.J., Allison L., Dowe D.L. Minimum message length grouping of ordered data // In Arimura, H., Jain, S., eds. Proc. 11th Int. Conf. on Algorithmic Learning Theory (ALT2000). 2000. P. 56-70.

173. Джексон П. Введение в экспертные системы.: Пер. с англ.: Уч. Пос. М., Изд. дом "Вильяме", 2001. 624 с.

174. Quinlan J.R. С4.5: Programs for Machine Learning: San Mateo, CA, Morgan Kaufmann. 1993.

175. Quinlan J.R. Learning efficient classification procedures and their application to chess end games // In: R.S. Michalski, J.G. Carbonell, T.M. Mitchell, eds. Machine Learning: Springer-Verlag. 1983.

176. Quinlan J.R. Induction of Decision Tress // Machine Learning. 1986. V. 1. № 1. P. 81-106.

177. Quinlan J.R. Inferring Decision Trees using the. Minimum Description Length Principles // Information and Computation. 1989. V. 80. P. 227-248.

178. Roy D., Mukherjee N. Towards Situated Speech Understanding: Visual Context Priming of Language Models // Computer Speech and Language. 2005. V. 19. № 2. P. 227-248.

179. Daugman J.G. Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters // J. Opt. Soc. Amer. A, 1985. V. 2, № 7, pp. 1160-1169.

180. Kruizinga P., Petkov N. Nonlinear operator for oriented texture // IEEE Transactions on image processing, 1999. V. 8. № 10. P. 1395-1407.

181. Grigorescu C., Petkov N., Westenberg M.A. Contour detection based on nonclassical receptive field inhibition // IEEE Trans, on Image Processing. 2003. V. 12. № 7. P. 729-738.

182. Прибрам К. Языки мозга: М., Прогресс. 1975. 464 с.

183. Wang D.L., Terman D. Image Segmentation Based on Oscillatory Correlation // Neural Computation. 1997. V. 9. № 4. P. 805-836.

184. Kato Z. Segmentation of color images via reversible jump MCMC sampling // Image and Vision Computing. 2008. V. 26. № 3. P. 361-371.

185. Li M., Staunton R.C. Optimum Gabor filter design and local binary patterns for texture segmentation // Pattern Recognition Letters. 2008. V. 29. № 5. P. 664672.

186. Haralick R.M., Shapiro L.G. A Survey: Image Segmentation Techniques // J. of Computer Vision, Graphics and Image Processing. 1985. V. 29. № 1. P. 100132.

187. Gomez-Rodriguez F., Arrue B.C., Ollero A. Smoke monitoring and measurement using image processing: application to forest fires // Proc. SPIE. 2003. V. 5094. P.404-411.

188. Li Y. Vodacek A., Kremens R.L., Ononye A.E. A new algorithm for global forest fire detection using multispectral images // Proc. SPIE. 2003. V. 5075. P. 367-377.

189. Liu C.-B., Ahuja N. Vision based fire detection // Proc. 17th Int. Conf. on Pattern Recognition. 2004. V. 4. P. 134-137.

190. Потапов A.C., Новикова Т.Н. Распознавание дымов на основе текстур динамических изображений // Труды V межд. конф. молодых ученых и специалистов, 0птика-2007. 2007. С. 364-365.

191. Потапов А.С. Новые методы автоматического анализа изображений в задачах экологического мониторинга // Труды международной научной конференции Измерительные и информационные технологии в охране здоровья, Метромед-2007. 2007. С. 155-162.

192. Brown L.G. A survey of Image Registration Techniques // ACM Computing surveys. 1992. V. 24. P. 325-376.

193. Chen C.Ch., Stamos I. Range Image Registration Based on Circular Features // Proc. Third International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT'06). 2006. P. 543-550.

194. Zhao С.J., Shi W.K., Deng, Y. A new Hausdorff distance for image matching // Pattern Recognition Letters. 2005. V. 26. № 5. P. 581-586.

195. Keller Y., Averbuch A. Global parametric image alignment via high-order approximation // Computer Vision and Image Processing. 2008. V. 109. № 3. P. 244-259.

196. Essannouni L., Ibn-Elhaj E., Aboutajdine D. Fast cross-spectral image registration using new robust correlation // Journal of Real-Time Image Processing. 2006. V. 1. № 2. P. 123-129.

197. Wen G.J., Lv J., Yu W. A High-Performance Feature-Matching Method for Image Registration by Combining Spatial and Similarity Information // IEEE Trans. Geoscience and Remote Sensing. 2008. V. 46. № 4. P. 1266-1277.

198. Потапов А.С. Иерархические структурные методы автоматического анализа аэрокосмических изображений: Тезисы диссертации, ФГУП «ГОИ им. С.И. Вавилова», Санкт-Петербург. 2005. 158 с.

199. Потапов А.С., Малышев И.А., Луцив В.Р. Совмещение аэрокосмических изображений с субпиксельной точностью методом локальной корреляции // Оптический журнал. 2004. Т. 71. № 5. С. 31-36.

200. Casasent D. and Psaltis D. Deformation-invariant, space-variant optical pattern recognition // Progress in Optics. 1978. V. 16. P. 291-365.

201. Потапов А.С. Выбор модели пространственного преобразования изображений по критерию минимальной длины описания // Оптический журнал. 2007. Т. 74. № 5. С. 48-53.

202. Goecke R., Asthana A., Pettersson N., Petersson L. Visual Vehicle Egomotion Estimation using the Fourier-Mellin Transform // IEEE Trans. Intelligent Vehicles Symposium. 2007. P. 450-455.

203. Popescu А., МоёШс P.-A., Millet Ch. SemRetriev: an ontology driven image retrieval system. // Proc. 6th ACM international conference on Image and video retrieval. 2007. P. 113-116.

204. Chatzis S., Doulamis A., Varvarigou Th. A content-based image retrieval scheme allowing for robust automatic personalization // Proc. 6th ACM international conference on Image and video retrieval. 2007. P. 2-8.