автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Объектно-независимый подход к структурному анализу изображений

На правах рукописи

ЛУЦИВ Вадим Ростиславович

ОБЪЕКТНО-НЕЗАВИСИМЫЙ ПОДХОД К СТРУКТУРНОМУ АНАЛИЗУ ИЗОБРАЖЕНИЙ

05.13.01 - Системный анализ, управление и обработка информации (в технике и технологиях)

Автореферат диссертации на соискание ученой степени доктора технических наук

2 ОЕВ 2012

Санкт-Петербург - 2011

005008997

Работа выполнена на Федеральном Государственном унитарном предприятии «Научно-производственная корпорация «Государственный оптический институт им. С.И. Вавилова» и в Федеральном Государственном бюджетном образовательном учреждении высшего профессионального образования «Санкт-Петербургский Государственный университет аэрокосмического приборостроения» - на кафедре «Информационных систем» (№51).

Научный консультант: доктор технических наук

Шейнин Юрий Евгеньевич

Официальные оппоненты:

член-корреспондент РАН доктор технических наук, профессор Мирошников Михаил Михайлович;

доктор технических наук, профессор Тимофеев Адиль Васильевич;

доктор технических наук, профессор Мальцев Георгий Николаевич.

Ведущая организация: "Филиал ФГУП "ЦНИИ "Комета" "Научно-Проектный центр оптико-электронных комплексов наблюдения" ("НПЦ ОЭКН")

Защита состоится «Л^» МЖ^К._20-/2, г. вО на заседании

диссертационного совета Д 212.233.02 при Федеральном Государственном бюджетном образовательном учреждении высшего профессионального образования Санкт-Петербургский Государственный университет аэрокосмического приборостроения по адресу: 190000, Санкт-Петербург, ул. Большая Морская, дом 67.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан « .» _20*12, г.

Ученый секретарь

диссертационного совета

доктор технических наук, профессор

Осипов Л. А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Автоматический анализ изображений, ведущий свою историю от первых моделей перцептронов и компьютерных экспериментов по автоматическому распознаванию зрительных образов, выполненных в середине двадцатого века, стал в настоящее время самостоятельным научным направлением, имеющим вахшые практические приложения в автоматизации производства и контроля качества продукции, неразрушающей диагностике, медицине, криминалистике, системах безопасности, системах дистанционного зондирования Земли, системах наведения и целеуказания, робототехнике и многих других областях. На начальных этапах автоматический анализ изображений основывался на корреляционном сопоставлении и формальных методах распознавания образов в пространствах признаков. Уже на первых шагах стало очевидно, что эти подходы, исходно разработанные для обнаружения сигнала известной формы, не достаточно эффективны при анализе сложным образом изменяющихся двумерных и трехмерных образов, соответствующих изображениям реальных сцен. Поэтому методы пространственной декомпозиции и структурного сопоставления начали применяться уже на ранних стадиях становления науки об автоматическом анализе изображений. Применение методов формальной лингвистики не внесло заметного вклада в прогресс структурного анализа (СА) изображений. Напротив, применение неформальных эвристических методов в течение многих лет неизменно оказывалось достаточно успешным и фактически легло в основу многих экспертных систем конкретного назначения. Ахиллесовой пятой таких экспертных систем оказалась чрезвычайно узкая сфера эффективного применения каждой из них. Например, экспертная система, разработанная для автоматического распознавания танков, не могла эффективно использоваться для распознавания самолетов. Это закономерно следовало из свойств применяемых эвристических решений, отдельно разрабатываемых для распознавания каждого нового конкретного типа объектов. Кризис эвристического подхода стал наиболее очевиден при решении задач сопоставления и распознавания изображений, характеризующихся большой неопределенностью подлежащего анализу сценария, например, при автоматической обработке аэрокосмических снимков или при построении мобильных автономных роботов, функционирующих внутри помещений или на открытой местности. Необходимым шагом в дальнейшем прогрессе компьютерного зрения должна стать разработка объектно-независимых подходов к СА изображений. Построенные в рамках таких подходов алгоритмы должны в основном абстрагироваться от частных особенностей подлежащих анализу зрительных образов и принимать во внимание только самые общие закономерности их формирования, обусловленные свойствами применяемых оптических систем, законами их взаимодействия с объектами наблюдаемого мира и наиболее общими закономерностями его организации.

Целью работы является разработка методов объектно-независимого структурного анализа изображений; разработанные методы должны быть эффективны в условиях сюжетного многообразия и естественных изменений изображений наблюдаемого мира, имеющих наиболее сложную форму в системах анализа аэрокосмических снимков и системах автоматического управления беспилотными аппаратами.

Поставленная цель достигается решением следующих задач:

1. Определение особенностей формирования изображений, обусловленных свойствами наиболее часто применяемых для этого систем преобразования и восприятия физических полей и путями взаимодействия этих полей с объектами отображаемых сцен. Определение моделей наиболее характерных геометрических и фотометрических трансформаций, которым в связи с этим могут подвергаться формируемые изображения.

2. Определение свойств изображений, вытекающих из особенностей организации наблюдаемого мира, и моделей наиболее характерных геометрических и фотометрических трансформаций, которым в связи с этим могут дополнительно подвергаться подлежащие автоматическому анализу зрительные образы.

3. Определение элементов изображений, наиболее устойчивых к трансформациям, обусловленным свойствами систем формирования изображений и особенностями организации наблюдаемого мира, и пригодных к использованию в качестве непроизводных структурных элементов (СЭ) при построении объектно-независимых структурных описаний (СО).

А. Разработка методов выявления непроизводных СЭ на анализируемых изображениях и методов измерения параметров геометрических трансформаций изображений на основе параметров выделенных СЭ.

5. Разработка объектно-независимых методов построения структурных описаний, устойчивых к характерным геометрическим и фотометрическим трансформациям видеоданных и основанных на существенных в контексте решаемой проблемы общих особенностях организации наблюдаемого мира.

6. Построение объектно-независимых методов сопоставления и распознавания изображений на основе их СО.

Методы исследования. Для решения указанных задач в работе применялись методы системного анализа, аналитической геометрии, спектрального анализа, теории групп, компьютерного моделирования,' обработки и распознавания изображений.

Научная новизна.

1. Представлена в рамках единой модели структурная организация изображений окружающего мира на разных иерархических уровнях - от микро-уровня, соответствующего текстурам, до макро-уровня, относящегося к объектам и подобъектам. Это дает возможность единообразно применять

разработанные объектно-независимые методы структурной декомпозиции и СО изображений реального мира на каждом из иерархических уровней.

2. Разработан инвариантный к аффинным преобразованиям (АП) и проективным преобразованиям (ПП) ортогональный базис обобщенных непроизводных СЭ, пригодный для объектно-независимой структурной декомпозиции изображений на разных иерархических уровнях - от анализа взаимного положения и формы объектов сцены до описания текстуры их поверхностей. При этом группы АП и ПП и их подгруппы выбраны в качестве моделей, наиболее полно соответствующих преобразованиям изображений в самых распространенных схемах организации естественных зрительных систем и систем технического зрения.

3. Предложен объектно-независимый иерархический метод структурной декомпозиции и СО изображений; при этом структурная декомпозиция производится в рамках единой модели при построении описания на каждом иерархическом уровне.

4. Предложен объектно-независимый метод сопоставления изображений реальных сцен с помощью их иерархических СО, построенных в разработанном базисе обобщенных непроизводных СЭ. В основу метода структурного сопоставления положены объектно-независимые ограничения, следующие из существенных в контексте решаемой проблемы общих принципов пространственной организации наблюдаемого мира и его взаимодействия с элементами естественных и искусственных зрительных систем.

5. Разработаны методы измерения параметров аффинных и проективных преобразований изображений объектов на основе аппроксимации этих изображений предложенными обобщенными непроизводными СЭ, и выведены формулы для представления измеренных параметров в

аналитическом виде.

6. Разработанный объектно-независимый подход к СА изображений позволяет представить в рамках единой модели и развить известные методы теории автоматической обработки и анализа изображений и методы анализа изображений, реализованные в естественных зрительных системах. Это свидетельствует о достаточно высокой обобщающей способности разработанного подхода.

Практическая значимость работы. Методы и алгоритмы, разработанные в рамках предложенного объектно-независимого подхода, представляют ценность при автоматическом анализе изображений, подвергнутых сложным фотометрическим и геометрическим искажениям и характеризующихся высокой степенью априорной неопределенности сюжета. В частности, они позволяют осуществлять надежное и точное сопоставление, совмещение и совместный пространственно-временной анализ аэрокосмических снимков, сделанных в разные сезоны и с разных ракурсов видео-датчиками различающихся типов (оптическими датчиками

видимого или инфракрасного диапазонов электромагнитных волн, радиолокаторами с синтезированной апертурой, лазерными дальномерами и т.п.). Это дает возможность синтезировать высококачественные панорамные снимки, извлекать информацию о третьей координате по взаимному смещению локальных особенностей сопоставленных двумерных видеоданных, выявлять локальные изменения объектов наблюдения во времени, интегрировать (комплексировать) видеоданные, сформированные датчиками разных типов (data fusion). Эти методы могут также использоваться при поиске изображений в базах данных. Разработанные методы и алгоритмы также могут быть полезны при создании систем зрительной адаптации автономных мобильных роботов и систем технического зрения для автоматического управления производством и контролем качества разнообразной продукции.

Реализация результатов работы. На основе концепций, методов и алгоритмов, предложенных в диссертационной работе, был реализован ряд программно-алгоритмических продуктов и электронно-оптических устройств, нашедших применение в нашей стране и за рубежом. Среди них:

• комплекс алгоритмов и структура бортового вычислителя микроспутника для автоматического сопоставления, совмещения и анализа космических снимков в НИИ Космических Систем им. A.A. Максимова - филиале Федерального Государственного унитарного предприятия «Государственный космический научно-производственный центр им. М.В. Хруничева»;

• комплекс алгоритмов для автоматического узнавания наблюдаемой местности по ее эталонным изображениям для Федерального Государственного унитарного предприятии «Центральный НИИ автоматики и гидравлики»;

• программное обеспечение автоматической навигации на основе изображений, сформированных в видимом оптическом диапазоне, для мобильного робота, разработанного компанией LG Electronics;

• аппаратура автоматического измерения отклонения линии визирования объекта привязки на местности в системе управления искусственного спутника Земли для Федерального Государственного унитарного предприятия «Научно-производственная корпорация «Государственный оптический институт им. С.И. Вавилова».

Результаты диссертации были также использованы в качестве основы выполнения трех научно-исследовательских работ.

Разработанные программы h алгоритмы автоматического сопоставления, совмещения, обработки и анализа аэрокосмических снимков были сведены в единый каталог, опубликованный в Оптическом журнале в 2007 году.

Использование результатов работы подтверждается прилагаемыми к ней актами.

Достоверность полученных в диссертационной работе результатов

обеспечивается корректностью используемых методов исследования, математической строгостью выполненных преобразований и доказательств, а также соответствием сформулированных положений и выводов результатам их экспериментальной проверки.

Ma защиту выносятся следующие положения и результаты:

1. Геометрические и фотометрические модели наблюдаемого мира и систем формирования видеоданных, положенные в основу предлагаемого объектно-независимого подхода к структурному анализу изображений.

2. Разработанный ортогональный базис обобщенных непроизводных структурных элементов, инвариантных к аффинным и проективным преобразованиям и пригодных для объектно-независимой структурной декомпозиции изображений на разных иерархических уровнях - от анализа взаимного положения и формы объектов сцены до описания текстуры их поверхностей.

3. Методы структурной декомпозиции и описания изображений, единообразно реализуемые в рамках предложенной иерархической модели наблюдаемого мира на каждом ее уровне.

4. Методы измерения параметров аффитгых и проективных преобразований на основе аппроксимации изображений разработанными структурными элементами и аналитические выражения для измерения параметров аффинных преобразований, выведенные на основе этих методов.

5. Иерархический метод сопоставления изображений реальных сцен с помощью их структурных описаний, построенных в разработанном базисе обобщенных структурных элементов, на основе объектно-независимых ограничений, следующих из результатов системного анализа моделей пространственной организации наблюдаемого мира и его взаимодействия с элементами естественных и искусственных зрительных систем.

6. Обобщение и развитие в рамках разработанных формальных моделей известных методов теории автоматической обработки и анализа изображений и методов анализа изображений, реализованных в естественных зрительных системах.

Апробация работы. Основные результаты работы были представлены • на ряде международных конференций (второй и третьей конференциях

«Applications of computer systems» в Щецине, Польша; восьми

конференциях международного общества SPIE инженеров-оптиков;

конференции «Controi of oscillation and chaos» института IEEE

инженеров по электротехнике и электронике; 29-той европейской конференции ЕСУР, посвященной визуальному восприятию);

• на шести конференциях и семинарах Всесоюзного, Всероссийского и республиканского уровня;

• на XXXVI и XXXVIII научных и учебно-методических конференциях профессорско-преподавательского и научного состава в Санкт-Петербургском Государственном университете информационных технологий, механики и оптики.

Публикации. По материалам диссертации опубликованы 35 печатных работ, включая 23 статьи в рецензируемых научных журналах (из них 15 статей в изданиях, включенных в список ВАК), 12 докладов на международных научных конференциях, 6 докладов на Всесоюзных, Всероссийских и республиканских конференциях, две статьи в научных сборниках, главу в монографии, полнотекстовую монографию, международный патент.

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановку задач и их математические и алгоритмические решения,' получены автором лично, или выполнены под его научным руководством и при непосредственном участии.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы из 160 наименований, 8 приложений. Содержание работы изложено на 318 страницах. В работе содержится 49 рисунков и 1 таблица.

СОДЕРЖАНИЕ РАБОТЫ

Во введении описана подлежащая решению проблема, обоснована ее актуальность, сформулированы цель и задачи проводимых исследований, научная новизна и практическая значимость полученных результатов, кратко излагается содержание разделов диссертации.

В первой главе проанализирована история возникновения и совершенствования методов автоматической обработки и распознавания изображений. Анализ проведен в контексте характерных практических трудностей, с которыми сталкивались разработчики методов и алгоритмов, и путей преодоления этих трудностей, предложенных на разных этапах становления науки компьютерного зрения. Показано, что методы корреляционного сопоставления и распознавания образов в пространстве признаков, хорошо проработанные и формализованные в статистической теории связи, в целом оказались недостаточно эффективны при попытке их применения для анализа изображений реальных сцен. Это связано со сложными трансформациями, которым подвергаются такие изображения под влиянием естественных изменений объектов окружающего мира, и с

геометрическими и фотометрическими преобразованиями, обусловленными проецированием объектов на поверхность видео-датчиков систем компьютерного зрения. Показано, что указанные трудности более эффективно решаются на основе применения методов СЛ.

В главе продемонстрировано, что большое количество успешных проектов в области СА изображений основывалось на эвристических подходах, что в конечном итоге приводит к кризису в развитии структурного распознавания. Объектная зависимость многочисленных алгоритмов СА, каждый из которых разрабатывался для решения специфической конкретной задачи, не позволяла эффективно решать задачи автоматического анализа изображений в ситуациях, связанных с высокой неопределенностью сюжета. Примерами таких ситуаций может быть анализ аэрокосмических снимков, или конструирование зрительных систем автономных мобильных роботов.

На основе проведенного анализа в главе формулируется подлежащая решению проблема: делается вывод о необходимости разработки объектно-независимых подходов к автоматическому СА изображений.

Во второй главе сформулированы основные положения, ставшие основой объектно-независимого подхода. Показано, что при выборе принципов построения объектно-независимой системы автоматического анализа изображений необходимо максимально абстрагироваться от частных особенностей, характерных для конкретных практических задач, поэтому в основу объектно-независимого подхода следует положить только наиболее общие и существенные ограничения, следующие из пространственной организации наблюдаемого мира, и ограничения, обусловленные свойствами зрительной системы человека и большинства систем компьютерного зрения:

1. Зрительная система человека и большинство систем компьютерного зрения используют оптический объектив на основе сферической линзы, проецирующий изображения объектов на поверхность «матрицы» световоспринимающих датчиков. Эта поверхность плоская в большинстве систем компьютерного зрения и локально плоская в зрительной системе человека, поэтому проекция изображения, анализируемая такими зрительными системами, трансформируется труппой ПП на плоскости, которую можно приблизительно представить как аффинную, если рассматриваемый объект находится достаточно далеко от объектива. На практике часто оказывается достаточным использовать аффинную модель преобразования. Эта модель точна, если строятся изображения плоских поверхностей. Если же отклонения формы поверхности от плоской значительны по сравнению с расстоянием от поверхности до объектива, используемая модель преобразования должна допускать локальные отклонения от АП.

2. Объекты окружающего мира, как правило, локально жесткие. Локальное взаимное положение частей объектов не может существенно изменяться мгновенно, иначе картина окружающего мира хаотично рассыпалась бы на глазах. Однако жесткость эта касается только локальных

связей, что делает возможным естественное изменение формы живых и неживых объектов, причем реальная форма последних в большинстве случаев может оставаться неизменной, в то время как наблюдаемая форма может меняться под влиянием изменения условий наблюдения. Небольшая локальная нежесткость объектов приводит к небольшим локальным отклонениям взаимного геометрического преобразования их изображений, сопоставляемых во времени, от глобально заданного АП или ПП.

3. ^ Объекты окружающего мира, как правило, не прозрачны, поэтому наблюдение прозрачных объектов часто связано со зрительными иллюзиями. Как правило, непрозрачность препятствует появлению изображений зеркально отраженных объектов, которые могут возникать при наблюдении поверхности прозрачного объекта сквозь его тело с задней его стороны, или при отражении от гладких поверхностей. Последний случай в естественных условиях встречается не очень часто и поэтому может также служить источником зрительных иллюзий.

4. Наблюдаемый мир состоит из изображений поверхностей объектов, что в ^совокупности с ограничениями, рассмотренными в предыдущем пункте, обусловливает правила загораживания и затенения наблюдаемых объектов.

5. Наблюдаемые поверхности объектов отличаются друг от друга спектральным составом и яркостью отраженного света (реже - излучаемого света), параметрами текстуры, дальностью, локальной пространственной ориентацией, параметрами движения относительно наблюдателя. Яркость, спектральный состав отраженного света и параметры наблюдаемой текстуры поверхностей могут существенно варьировать под действием естественных изменений условий наблюдения. К сожалению, изменения спектрально-яркостных характеристик, обусловленные естественными изменениями наблюдаемых сцен, в общем случае неизвестны или не могут быть компенсированы, что часто делает неэффективным применение известных интегральных методов измерения параметров АП и ПП и методов вычисления инвариантных к ним признаков. В то же время наиболее устойчивыми и поэтому наиболее информативными в условиях действия таких изменений остаются наблюдаемые границы объектов, связанные обычно с резкими перепадами значений перечисленных спектрально-яркостных, текстурных и т.п. признаков, характеризующих их поверхности.

6. Наблюдаемый естественный мир структурирован и, как правило, организован иерархически: видимая сцена делится на объекты, объекты делятся на подобъекты, последние в свою очередь имеют собственную внутреннюю структуру и т.д. Если изображение сцены однородно, на нем нечего будет анализировать и распознавать. При этом текселы, являющиеся простыми составляющими текстуры, становятся при соответствующем увеличении пространственного разрешения изображения объектами исследования, имеющими свою форму. Часто в изображениях природных объектов размывается грань между понятиями тюдобъекта и тексела, когда размеры объектов и текселов на изображениях их поверхностей имеют близкий порядок.

На основе особенностей геометрических преобразований изображений, рассмотренных в п.1 и п.2 и особенностей спектралъно-яркостных изменений, описанных в п.5, можно построить следующие модели описания и распознавания наблюдаемых изображений. Спектральные и яркостные параметры света, отраженного от поверхности объекта, или излучаемого поверхностью, сохраненные на эталонном изображении как параметры В(х,у)

пикселов с вектором координат X = (х,.у)Г (где Т - знак транспонирования), в

реальных (не эталонных) условиях наблюдения преобразуются к виду В'(Х'):

В'(Х') = М (Т/Х,Р))В(ТГ(Х,Р))+ А(ТГ(Х,Ъ) + ЩХ), (1)

где X' = (х',у')г = Т/Х,.Р) - вектор наблюдаемых координат пикселов, претерпевший геометрическое преобразование Тг, определяемое I-компонентным вектором параметров Р = (ру..р1)Г, Ре К1. Координаты

пикселов целочисленные, поэтому Хе г2, Х'е г2. М и А - соответственно мультипликативные и аддитивные преобразования спектралыю-яркостных характеристик, обусловленные естественными изменениями наблюдаемой сцены (например, изменениями освещения или сезонно-суточными изменениями ландшафтов) и свойствами систем формирования изображения. N - аддитивный шум, возникающий в процессе распространения излучения от поверхности объекта наблюдения к световоспринимающим сенсорам, и шум электронно-оптического и аналого-цифрового преобразований. Тип геометрического преобразования ТГ(Х,Р) обычно может быть оценен исходя из известных условий наблюдения. Если преобразование может быть единообразно описано как АП или ПП на плоскости и если допустимо пренебречь действием искажающих факторов Ш(ТГ(Х,Р)), А(ГГ(Х.Р)) и Щ), возможно вычисление параметров преобразования или построение системы

—»

инвариантных к нему признаков (вектора признаков luv) одним из известных способов на основе измеренных спектрально-яркостных характеристик

B'(fr(X,P)) наблюдаемого изображения. В последнем случае процедуру распознавания (отнесения изображения объекта к w-тому классу объектов из Мвозможных) можно представить следующим образом:

arg шах {similarityf Inv (вт(Щ, Im (X)) ]},

т =

т=\..М

Inv (В'(Х)) = inv (В[ТГ(Х,Р)]) = const [ T/XPJ] = func [Bm(X )}= func [m],

где similarity - мера сходства вектора признаков Inv {вт(Щ /и-того эталонного изображения с вектором признаков Inv {B'(Xfj наблюдаемого

изображения, агртах _ функция определения значения параметра т,

доставляющего максимум выражению, являющемуся ее аргументом.

В соответствии с альтернативным подходом, если известен тип геометрического преобразования (а согласно п.1 он, как правило, известен), делается попытка по содержимому изображения измерить параметры его преобразования, на основе которых можно вычислить обратное

преобразование Тг 1. При этом /-тый параметр преобразования измеряется

как некоторая функция Шпс,- содержимог о наблюдаемого изображения:

Л=Ашс ¡(В'(Х)).

Применив преобразование Г/' к наблюдаемому изображению В'(Х'), можно нормализовать его относительно геометрических преобразований. В этом случае операция распознавания изображения объекта (отнесения его к т-тому классу) может быть формально представлена следующим образом:

от=а^тах {втШагйу[Вт(Х), В'(?~х(х',Р))-\}.

№1=1..М

Этот подход более объектно-независим, т.к. не требует применения знаний об объектах распознавания (специфической эталонной информации) по крайней мере на стадии измерения параметров преобразования. Как будет показано ниже, на стадии выделения СЭ объектно-специфичная информация может не использоваться вообще.

В представленной выше форме оба описанных подхода единообразно оперируют со всей площадью изображения, однако, в соответствии с положениями, изложенными выше в п.1 и п.2, взаимное расположение элементов наблюдаемых сцен, рассмотренных в п.6, может меняться, что в большинстве случаев делает непригодным применение интегральных методов описания и распознавания, рассматривающих изображение как неделимое целое. Только структурный подход, позволяющий представлять изображение как совокупность СЭ, взаимное положение и параметры формы которых могут меняться в пределах, разумных с точки зрения законов окружающего мира, оказывается действительно объектно-независимым средством анализа изображений реальных сцен, причем при построении объектно-независимого метода структурного описания изображений необходимо выполнять следующие требования:

а) При разработке процедуры обнаружения СЭ необходимо абстрагироваться от индивидуальных особенностей элементарных объектов, соответствующих этим элементам в изображениях реальных сцен, постольку, поскольку эти особенности могут быть связаны со спецификой конкретных решаемых задач. Однако обнаруженные СЭ должны сохранять информацию о параметрах пространственного положения соответствующих им элементарных объектов, т.к. такая информация может быть полезна при структурном описании изображения, последующем определении параметров его геометрического преобразования и общей интерпретации сцены.

б) Классификационные признаки выделяемых на изображении СЭ должны быть инвариантны к геометрическим преобразованиям, описанным в п.1. Форма и пространственное положение таких элементов, а также возможные методы их выделения должны быть устойчивы к мультипликативным и аддитивным изменениям спектрально-яркостных признаков и аддитивному шуму, представленным в модели (1), и к естественным изменениям наблюдаемой текстуры поверхностей.

в) Общая стратегия построения структурного описания анализируемого изображения должна быть инвариантна к его содержанию. Структурное описание изображения, подвергнутого искажениям, описанным выше в п.1, п.2, п.5 и п.б, должно обеспечивать возможность правильного сопоставления с эталонными описаниями, и в то же время процедура сопоставления должна предоставлять информацию о параметрах взаимного геометрического преобразования сравниваемых изображений, которая может быть необходима для дальнейшей интерпретации изображения наблюдаемой сцены.

г) При построении структурных описаний изображений и их сопоставлении необходимо учитывать рассмотренные в п. 1 - 6 этой главы разумные ограничения, обусловленные общими свойствами реального мира и устройством применяемых видео-датчиков.

Возможно ли в действительности сформировать объектно-независимые СЭ, обладающие свойствами, сформулированными в требовании (а)? Нейрофизиологические исследования показывают, что в зрительном анализаторе человека и высших млекопитающих имеются механизмы, позволяющие обнаруживать типовые СЭ изображения, пренебрегая второстепенными особенностями их формы, и измерять пространственные параметры их положения и ориентации. Эти механизмы основываются на вычислении функции корреляции изображения с локально определенными весовыми функциями специальных детекторов (информационными функциями), имеющими узкий пространственный спектр, сосредоточенный вокруг нулевой гармоники. В ниже следующем тексте они упоминаются как обобщенные эталонные функции. Эта идея получила развитие в материалах диссертационной работы. Показано, в частности, что в результате отбрасывания высших пространственных гармоник Фурье-спектра изображения любого пространственно компактного объекта, выделенного из фона внутри локального окна, ограничивающего анализируемую область, изображение В(х,у) (где В(х,у) = \В(х,у)\, или в(х,у) = \в'(х\у')\) этого

объекта приводится к виду, аналитически описываемому эллиптическим параболоидом с неограниченной областью определения, который без потери общности для удобства изложения может быть представлен в частной форме

В(х,у) -к{х2 + к2у2 + С, (2)

где ки к2 и С - константы. Таким образом, любому компактному локальному объекту изображения соответствует объектно-независимое ядро, описываемое формулой (2). Показано, что координата ядра могут измеряться

путем поиска максимума функции корреляции изображения объекта с весовой функцией детектора, описываемой в локальном окне аналогичным формуле (2) выражением. Весовая функция детектора такого вида может быть представлена в виде суммы двух независимых слагаемых

причем не сложно убедиться, что детекторы, снабженные весовыми функциями вида (3) и (4), имеют пространственный спектр с нулевой шириной по одной декартовой координате и близкой к нулю шириной по другой пространственной координате и могут использоваться для независимого измерения соответствующей декартовой координаты объекта. Свойства детекторов вида (2), (3) и (4), полезные с точки зрения возможностей измерения параметров АП и ПП, обсуждены в главе 3.

СЭ вида (2) (назовем его элементом первого тина) имеет ряд недостатков. С одной стороны, такой элемент соответствует компактным объектам, размеры которых должны максимально отвечать размерам окна, на котором задана весовая функция применяемого для их выделения детектора. Описывать сильно удлиненные объекты с помощью такого СЭ неэффективно. С другой стороны, согласно п.5 такие признаки, как яркость, спектральный состав отраженного света и параметры текстуры поверхностей, могут в соответствии с моделью (1) претерпевать существенные аддитивные и мультипликативные изменения, влияющие на форму, количество и пространственное положение выделяемых на изображении объектов и соответствующих им СЭ первого типа, что частично входит в противоречие с требованием (б). Однако алфавит СЭ изображений может включать и элементы других типов. Как указано в п.5, наиболее устойчивым к естественным изменениям оказывается положение наблюдаемых границ объектов, соответствующих большим локальным градиентам выше перечисленных наблюдаемых признаков их поверхностей. Таким образом, в алфавит СЭ целесообразно также включить элементы, описывающие области больших градиентов. Такие элементы более эффективны в качестве средства СО некомпактных объектов. В компьютерном зрении для выделения границ используют детекторы вида

Вх(х,у)=2к1х и (5)

В/х,у) = 1к2у, (6)

соответствующие заданному в локальном окне фильтру Превитг. Аналогичные детекторы реализуются специальными нейронными ансамблями в живых зрительных системах. Не сложно убедиться, что СЭ, описывающие границы (назовем их элементами второго типа), и соответствующие им детекторы, представленные в (5) и (6), могут быть получены путем дифференцирования выражений (3) и (4), соответственно. Вследствие этого функции (5) и (6) соответственно попарно ортогональны функциям (3) и (4) (т.к. первые содержат только синусные гармоники, а

Вх(х,у) = к\х~ + С\ и Ву(х,у) = к2у2 + С2,

(3)

(4)

вторые - только косинусные), и по той же причине функции (3) и (4) ортогональны функции (2). Ортогональность выполняется с точностью до нулевой гармоники, которая в перечисленных функциях может быть без ущерба для общности подхода удалена. Предельно узкий спектральный состав предложенных СЭ гарантирует не только их объектную независимость, но и устойчивость к высокочастотному аддитивному шуму. Таким образом, предложен ортогональный базис непроизводных СЭ, отвечающий требованиям (а) и (б), вытекающим из общих закономерностей, сформулированных в п. 1, 5 и 6. Известны и другие ортогональные базисы СЭ, в том числе и более широкие, например, базис Робертса, но для них не гарантируется устойчивость к АП и ПП. Этот недостаток характерен и для других, например, морфологических методов выделения объектов и границ.

В третьей главе рассмотрено, как влияют АП и ПП на элементы предложенного ортогонального базиса, и выведены методы измерения параметров АП и ПП изображений объектов на основе свойств их объектно-независимых ядер, соответствующих указанным элементам базиса. Сначала показано, что АП А может быть разложено на простые геометрические трансформации следующим образом:

/а) а2 а5л

А =

= А1А2А3А4А5А6, (7)

а3 а4 а6

ч0 0 1,

где а/... а6- параметры АП, представленного в матричной форме, а матрицы А, описывают в том порядке, в котором они пронумерованы в (7), смещение центра тяжести по двум декартовым координатным осям, вытягивание или сжатие в каком-либо направлении, зеркальное отражение относительно прямой, проходящей через начало координат, масштабирование и вращение относительно начала координат, причем, как показано в п. 3 главы 2, зеркальным отражением изображения в большинстве практически значимых случаев можно пренебречь. Представленный в (7) порядок простых преобразований может быть изменен, однако, именно такой порядок позволяет производить поэтапное измерение их параметров и их компенсацию, начиная с А( и заканчивая А6. При этом преобразования А! и А2 взаимно ортогональны и могут быть переставлены местами в (7). Аналогично, могут быть переставлены местами преобразования А5 и А6. Преобразование А4 может быть переставлено местами с преобразованием А5, и оно может измеряться и компенсироваться либо одновременно с преобразованием Аз, частью которого оно фактически является, либо одновременно с преобразованием А^.

Далее показано, что элементы предложенного ортогонального базиса можно правильно обнаруживать и классифицировать несмотря на воздействие АП и ПП. Иными словами, предложенные элементы являются инвариантами АП и ПП, что дает возможность обнаруживать их на изображении путем анализа функции его локальной корреляции с

Лс=-0-

детекторами, весовые функции которых описываются формулами (2) - (6) В то же время СЭ первого и второго типа таким образом изменяют параметры своей формы и пространственного положения под действием указанных преооразований, что по виду и величине таких изменений можно однозначно измерять параметры преобразований и такое измерение может осуществляться путем анализа функции взаимной корреляции оонаруженного СЭ с детектором соответствующего типа по измеряемому параметру преобразования.

В частности, функция корреляции изображения с весовой функцией детектора, описываемого параболоидом вращения, относящимся к элементам первого типа, обладает замечательным свойством. Декартовы координаты тс и V, максимума корреляции соответствуют центру тяжести объекта если последний находится полностью внутри окна, на котором локально определена весовая функция детектора, и вычисляются по формулам (8):

¡\хВ(х,уу1хс1у ЦуВ(х,у)с1.гсЬ

& _ р

\\в(х,уУЫу ' (8)

а а

где £2 - двумерная область определения изображения объекта, задаваемая ооластью определения весовой функции детектора, В(х,у) - яркость пиксела с координатами {х, у}. Это дает возможность измерить параметры линейных смещении А,иА2 для СЭ первого типа и компенсировать их.

Следующим простым преобразованием, подлежащим в соответствии с (7) измерению и компенсации является изменение А, масштаба вдоль некоторого направления. Не сложно убедиться, что если в качестве эталонного состояния изображения компактного объекта принять такое при котором соответствующий этому объекту СЭ первого типа имеет форму параоолоида вращения, то под действием преобразования А3 он становится эллиптическим параболоидом. Фурье-спектр параболоида вращения центрированного в полярной системе координат, не имеет иных гармоник по координате азимута кроме нулевой, в то время как в азимутальной составляющей спектра центрированного эллиптического параболоида появляется вторая гармоника. Таким образом, в качестве эталонного состояния центрированного изображения объекта можно принять такое при котором функция его взаимной корреляции с весовой функцией (2) детектора, по параметру их взаимного вращения будет константой. На основе такого подхода получены следующие аналитические выражения, с помощью которых могут оыть вычислены параметры преобразования А3 - направление 0и величина // изменения масштаба изображения объекта:

V /о-^сЧ?' <9>

9=0,5 аг^(С/Е)+лп, ^

Е = \\В{г,(р)г-со$(2(р)с!гс1<р,

С = \\В(г,<р)гг*.т{2(р)(1Ы<р, (12)

а

П = Цв(г,<р)г2<1гс1(р^ (13)

а

где В(г,р) - яркость пиксела центрированного изображения объекта, представленного в полярной системе координат, £2 - область определения изображения объекта в полярной системе координат, {г, <р} - соответственно радиус и азимут пиксела в полярной системе координат.

После компенсации преобразования А3 остаются некомпенсированными преобразования А«, А5 и Аб зеркального отражения, равномерного масштабирования и вращения. В главе 4 продемонстрировано, что в общем случае для решения задач выделения и идентификации параметров СЭ первого типа и построения на их основе объектно-независимых структурных описаний производить измерение параметров и компенсацию преобразований Ад, А5 и А« не требуется, поэтому на этом измерение и компенсацию компонентов АП с помощью обобщенных эталонных функций можно закончить. Однако задача структурного сопоставления в вырожденном варианте может сводиться к случаю, когда изображение содержит единственный и неделимый подлежащий сопоставлению объект -единственный СЭ. Такой случай характерен для ряда задач промышленной робототехники и для других практических приложений, в которых изображение объекта анализа легко выделяется из фона и в которых геометрические трансформации хорошо описываются АП или ПП на плоскости, имеющими неизменные параметры по всей площади изображения объекта. В связи с этим в работе также выведены аналитические выражения, с помощью которых по изображению объекта могут быть определены параметры равномерного масштабирования, вращения и зеркального отражения, и это измерение также делается в рамках предложенного единого подхода - на основе анализа функции корреляции изображения с обобщенными эталонными функциями, имеющими узкополосный пространственный спектр. Сделано это следующим образом. Масштабирование А5 не зависит от изменения углового положения пиксела и не влияет на результаты компенсации Аб и Л4, поэтому параметр М (М О

преобразования А5

можно измерить по проекции изображения на

ОМ)

радиус полярной системы координат. В этом случае обобщенная эталонная функция (3) двух декартовых координат и формулы (8) доя вычисления декартовых координат центра тяжести могут быть представлены в виде функций одной координаты. Тогда коэффициент М равномерного масштабирования изображения объекта может быть измерен согласно (14) по смещению центра тяжести его проекции на радиус полярной системы координат относительно эталонного положения в центра тяжести этой проекции:

¡¡г ■ В{г,(р)с1гс1(р В{г, (ру1гс1(р М=я-1м-. (14)

В свою очередь, вращение Аб изображения центрированного объекта относительно начала координат и его зеркальное отражение А4 относительно прямой, проходящей через начало координат, не изменяют радиальные координаты точек изображения, поэтому параметры этих преобразований можно измерить по проекции изображения на окружность, т.е. на угловую полярную координату. Однако угловая координата циклична, поэтому использование одномерных параболических обобщенных эталонных функций с неограниченной областью определения в этом случае неприемлемо. В работе показано, что аналитические выражения для параметров вращения и зеркального отражения можно построить на основе фаз нескольких Фурье-гармоник проекции изображения на окружность. Однако гармонические функции не принадлежат разработанному в диссертации базису СЭ. В связи с этим автор показал, как параметры преобразований А6 и А4 можно измерить в рамках процедуры измерения ПП, также выполняемой на основе анализа параметров содержащегося в изображении объектно-независимого СЭ первого типа.

ПП на плоскости описывается следующими выражениями, связывающими векторы координат исходного ^ = (х,у)т и преобразованного Ж'= (-*',/) изображений:

а,х+а2у+д3 _агх+агу+а}

а7х + аку+1 ~ Х-Р+1 ' (15)

-,/- а4х + а5у + а6 _ а,х + аьу + дь

а7х + агу +1 Х-Р+1 ' (16)

где а, ... а6 - параметры АП, упомянутые в (7), а параметры а7 и а$ характеризуют отличие ПП от АП. При этом из (15) и (16) видно, что знаменатель формулы ПП можно выразить на основе скалярного произведения^ Х Р вектора декартовых координат точки и вектора параметров Р = (а7,а&у. К сожалению, ПП нелинейно, поэтому не удается определить вектор его параметров в аналитическом виде, как это было сделано для параметров АП. Решение получено в виде итеративной процедуры, основанной на оптимизационном поиске в пространстве параметров а7 и ан. Разработанный метод основан на том, что ПП в отличие от АП приводит к перераспределению точек изображения объекта относительно его центра тяжести, что дает возможность сделать следующее предположение. Пусть центр тяжести изображения объекта расположен в начале координат, и изображение разделяется на две половины (полуизображения) произвольной прямой, также проходящей через начало координат. Полученные полу-изображения можно представить в виде половинок диполя, массы М, и М2 которых сконцентрированы в центрах тяжести полу-изображений, отстоящих от начала координат соответственно

на расстояния 1\ и Ь2. Диполь уравновешен относительно центра тяжести полного изображения объекта, но в общем случае не симметричен, т.е. М\Ь\=МтЬг, но М\1Мг и Ь\фЬг, причем в каком-то направлении 0отношение Ьг к 1[ максимально. Таким образом, в общем случае изображение можно однозначно представить как диполь, ориентированный в направлении <9, и можно описать его вектором £, длина которого равна отношению ¿2 к 1\, а направление соответствует направлению в плеча 12 диполя. В качестве эталонного состояния изображения принимается такое, при котором

М,=Л/2 и ¿,=¿2, (17)

т.е. при котором оно представляет собой диполь, симметричный и уравновешенный относительно центра тяжести изображения объекта при любом направлении прямой, проходящей через центр тяжести изображения и

делящей его на два полу-изображения (\/<9: ¡¿¡ = 1). В работе показано, что

любое изображение объекта, имеющее ограниченную область определения, действительно может быть приведено к эталонному виду симметричного диполя, при котором выполняется условие (17) независимо от направления диполя. Показано также, что любое ПП заданного таким образом эталонного изображения объекта с параметрами О и/или а^О вызывает перераспределение точек изображения относительно центра его тяжести, что приводит к нарушению условия (17) и к смещению центра тяжести. При

небольшой длине вектора Р, параметров ПП вращение этого вектора приводит к изменению направления смещения, но не приводит к изменению величины смещения центра тяжести. Напротив, если изображение соответствует несимметричному диполю (т.е. если оно ранее уже

подверглось некоторому ПП с параметрами Р, в результате чего > 1), то

вращение вектора Р, параметров дополнительно приложенного к нему «тестового» ПП приводит к различному по величине смещению А центра тяжести, причем для некоторого направления 0 = 6>тах, для которого

РГЬ> О, величина разности ¡¿(<9тах)||-|2(6>1Пах + л-)| максимальна. В связи

с этим предложен метод измерения параметров ПП, составляющих вектор Р, путем итеративной компенсации этого преобразования. Метод основан на оптимизационном поиске в пространстве параметров а7 и а8. Показано, что процесс сходится, если на каждой его итерации изображение нормализуется относительно смещений А] и А2 центра тяжести и относительно направленного изменения А3 масштаба (как это было описано выше для АП) и к нему прикладывается небольшое компенсирующее ПП с вектором

параметров Рк, имеющим направление вк = 0шах + л. Таким образом, измерение параметров а-, и а% и компенсация ПП также выполняется на основе анализа параметров содержащегося в изображении объектно-независимого ядра (2). Предложенный подход к измерению параметров ПП имеет аналогии в зрительной системе человека.

Параметры преобразований Аб и А4 предлагается измерить в рамках анализа ПП изображения по направлению наибольшего ускорения смещения центра тяжести нормализованного изображения под действием ПП с циркулирующим вектором Р, параметров и по асимметрии траектории такого смещения по отношению к этому направлению, соответственно.

Показано что СЭ первого типа инвариантны к АП (под действием АП эллиптический параболоид остается таковым), в связи с чем по их пространственному положению и могут быть измерены параметры смещений и равномерного и неравномерного масштабирования соответствующих им объектов на изображении. В то же время неинвариантность этих СЭ по отношению к ПП позволяет измерить параметры вращения и зеркального отражения и параметры я7 и а8 ПП изображения объекта. СЭ второго типа, имеющие вид (5) и (6), представляют собой фрагменты плоскости, по-разному ориентированные в пространстве. В результате АП элементы второго типа остаются плоскостями, но меняется ориентация линии их пересечения с плоскостью изображения. Т.е. СЭ второго типа являются инвариантами АП, а по их пространственному положению могут быть измерены параметры пространственного положения соответствующих им границ объектов на изображении. В то же время ПП изменяет форму СЭ второго типа так, что соответствующая ему линия пересечения с плоскостью изображения прямолинейна, но коэффициент к наклона описывающей его поверхности к плоскости изображения может изменяться вдоль линии пересечения, не меняя, однако, своего знака. Однако встречаемые на практике величины параметров «7 и а8 не связаны с заметным локальным изменением коэффициента наклона к, поэтому можно полагать, что СЭ второго типа инвариантны также и к ПП и пригодны для локального описания формы границ объектов в условиях действия такого преобразования.

В четвертой главе рассмотрены объектно-независимые методы построения структурных описаний изображений на основе СЭ разных иерархических уровней. Наиболее привлекательными представляются СЭ второго типа, поскольку в соответствии с п. 5, сформулированным в главе 2, они наиболее устойчивы к естественным изменениям условий наблюдения, и как показано в главе 3, более инвариантны к ПП. Однако в отличие от элементов первого типа они предназначены для описания локальных фрагментов границ объектов. Дифференцирующие фильтры вида (5) и (6) не могут иметь область определения протяженностью более нескольких единиц пикселов. В противном случае они потеряли бы свойство объектной независимости: для каждой новой конкретной формы объекта приходилось бы разрабатывать свой фильтр для выделения его границы. В компьютерном зрении эта проблема традиционно решается путем описания формы контура, выделенного фильтрами (5) и (6), на основе его прослеживания пиксел за пикселом. Однако традиционное описание границы в виде цепочки ее пикселов на практике оказывается не всегда пригодным для решения задач

автоматического сопоставления изображений, поскольку локальная форма выделенных таким образом границ чувствительна к действию шумовой N и мультипликативной М составляющих модели (1) преобразования изображений. Эта проблема традиционно решается путем локального сглаживания контуров, однако, построенное таким образом описание границ в общем случае не инвариантно к АП и ПП. В диссертационной работе это противоречие разрешается путем локальной аппроксимации контуров структурными элементами, инвариантными к АП и ГШ. В первую очередь это - отрезки прямых линий. Однако локально построенные отрезки прямой - очень простые и поэтому плохо отличаемые друг от друга СЭ, что препятствует построению на их основе надежных алгоритмов однозначного структурного сопоставления. Поэтому алфавит СЭ дополнен углами контурных линий. Они также инвариантны к АП и ПП, поскольку строятся на основе их инвариантов - прямых линий. В некоторых случаях описанный алфавит СЭ может также дополняться сегментами эллиптических дуг, которые также инвариантны к АП и локально инвариантны к ПП.

Предложенный алфавит описания контура прямыми линиями, углами и т.п. базируется на элементах более высокого иерархического уровня (назовем их элементами первого уровня) по сравнению с элементами нулевого уровня, соответствующими исходно выделенным границам. Построение структурного описания на основе СЭ первого уровня можно также рассматривать в контексте группирования фрагментов границ, соответствующих этим СЭ. Таким образом, проблемы устойчивости к локальному шуму, объектной независимости и инвариантности к естественным геометрическим и фотометрическим преобразованиям решаются путем построения иерархических структурных описаний в соответствии с положениями, сформулированными в п. 1, 5 и 6 главы 2. Прямолинейным сегментам контура на первом уровне соответствуют более крупные СЭ второго типа - вида (5) и (6) - при проецировании этих сегментов на нулевой уровень - уровень полутонового изображения. Показано также, что такие элементы первого уровня как прямолинейные сегменты контура, углы и дуги, выделяются детекторами вида (2), поэтому они являются на первом уровне и элементами первого типа.

Выше описанные СЭ первого уровня могут исчерпывающе описываться следующими наборами параметров: декартовы координаты середины, направление и длина - для отрезков прямых линий, декартовы координаты вершины, направление вершины и величина угла - для углов, декартовы координаты середины, угловой размер или длина и величина кривизны - для дуг. Использование указанных параметров позволяет строить структурные описания, инвариантные к преобразованиям подобия, включающим линейные смещения, равномерное масштабирование и вращение. Инвариантами указанной группы являются, например, относительные угловые взаимные положения СЭ или относительные расстояния между центрами СЭ (получаемые как отношения абсолютных значений расстояний к длинам соответствующих прямых линий и дуг). Для учета принципа

локальной жесткости, сформулированного в п. 2 главы 2, в структурное описание включается также информация о непосредственном локальном сопряжении соседних СЭ.

Однако в соответствии с положениями п. 1 и 2, сформулированными в главе 2, наблюдаемые изображения поверхностей объектов могут подвергаться и более сложным геометрическим искажениям, описываемым как АП или ПП. Кроме того, пространственное положение элементов изображения может локально отклоняться от положения, предписанного указанными преобразованиями, и отклонение это тем больше, чем больше отклоняется форма наблюдаемой поверхности от плоской, или чем сильнее локальная нежесткость объекта. В связи с этим решающие правила, входящие в алгоритм структурной классификации, должны допускать значительные отличия расстояний между СЭ, соответствующими друг другу на сопоставляемых изображениях, значительные отличия их взаимных угловых положений, и параметров их размера. Такая неопределенность усугубляется большими количествами достаточно простых и поэтому недостаточно уникальных сопоставляемых СЭ первого уровня (как это проиллюстрировано на рис. 1): на реальных изображениях могут выделяться сотни и даже тысячи таких элементов. Это приводит к недостаточной однозначности решения задачи структурного сопоставления. При этом чем дальше друг от друга СЭ, взаимное положение которых описывается, тем сильнее неопределенность.

Степень неопределенности, обусловленную большим количеством похожих СЭ (большой размерностью задачи структурного сопоставления, равной числу перестановок Р„=п\ на всем множестве п выделенных СЭ), удается многократно уменьшить путем введения в структурное описание дополнительного иерархического уровня, в рамках которого простые контурные элементы объединяются в группы. Это дает возможность на более низком иерархическом уровне не сопоставлять каждый СЭ одного изображения с каждым СЭ другого, а по отдельности сопоставлять структурные описания, построенные в рамках к созданных групп. Число элементов пц (¿=1...к) каждой группы может быть на один - два порядка меньше числа п СЭ первого уровня, выделенных во всем изображении. Структурное сопоставление групп целиком как более сложных элементов изображения может производиться на более высоком иерархическом уровне. В результате такого группирования значительно уменьшается неопределенность результатов сопоставления. С одной стороны, это связано с уменьшением размерности задачи структурного сопоставления, равной теперь т\-к\=[(п/к)\]-к\ (без существенной потери общности размер группы т задан здесь постоянным и равным п/к). С другой стороны, неопределенность сопоставления уменьшается за счет более пространственно компактного расположения СЭ, относящихся к одной и той же группе.

При реализации группирования были исследованы две стратегии, следующие из принципа иерархичности организации окружающего мира, сформулированного в п. 6 главы 2. Согласно первой стратегии в одну группу

включались СЭ первого уровня, составляющие одну непрерывную контурную линию. Логично предполагать, что такая линия должна относиться к одному конкретному объекту из совокупности которых и состоит сцена. Пример структурного описания непрерывных контурных линий приведен на рис. 2. Эта стратегия имеет хорошую вычислительную эффективность, обеспечивает выделение наибольшего числа СЭ, что особенно важно, если изображение содержит недостаточно большое их количество, и в большинстве случаев обеспечивает хорошую надежность структурного сопоставления. Однако если модель преобразования изображения включает значительные мультипликативные и аддитивные трансформации контрастно-яркостных параметров и значительные локальные отклонения геометрического преобразования от АП или ПП, происходит разрыв непрерывных контурных линий или «слипание» контуров, принадлежащих разным объектам. Это приводит к недопустимому искажению структурного описания в сложных условиях наблюдения.

Рисунок 1 - Космический снимок (слева) и СЭ первого Рисунок 2 - Структурное описание уровня, выделенные на нем и сгруппированные в сети непрерывных контурных линий в прямоугольных ячеек (справа). снимке, показанном на рис. 1.

Согласно второй стратегии к одной и той же группе должны относиться СЭ, принадлежащие некоторым образом заданному локальному компактному региону. Этот подход свободен от недостатков, характерных для первой стратегии. Полученные структурные описания более гибки и устойчивы к действию сложных искажающих факторов, и обеспечивают лучшую надежность сопоставления. В целом этот подход более соответствует иерархическому делению сцен, сформулированному в п. 6 главы 2, поэтому он выбран в качестве основного. Наибольшие трудности в этом случае связаны с построением регионов группирования СЭ. Уже на начальных этапах исследования отличные практические результаты были получены при примитивном делении изображения сеткой ортогональных линий на равновеликие прямоугольные регионы группирования. Иллюстрация такого группирования приведена на рис. 1. Возможность примитивного группирования была обусловлена характером сопоставляемых изображений: это были аэрокосмические снимки достаточно плоского рельефа, сделанные с большого расстояния, поэтому ко всей площади снимка и, в частности, к

каждому региону группирования допустимо было применять одну и ту же модель АП или ПП. Однако последнее допущение становится некорректным при сопоставлении изображений трехмерных сцен, если видео-датчик находится вблизи сцены или внутри нее. В этом случае изображение каждой отдельной поверхности подвергается геометрическому преобразованию с индивидуальными параметрами, поэтому регионы группирования должны соответствовать отдельным наблюдаемым поверхностям объектов.

К сожалению, при применении традиционных методов сегментации изображений для разделения сцены на изображения отдельных поверхностей объектов не всегда обеспечивается необходимая инвариантность к естественным изменениям условий наблюдения. В диссертационной работе проблему устойчивого разделения изображений на семантически значимые области, реально соответствующие отдельным объектам, удалось решить путем моделирования механизмов формирования зон внимания, сходных с аналогичными механизмами, найденными в живых зрительных системах. Согласно таким механизмам наибольшую ценность для последующего «изучения» представляют области изображения, соответствующие экстремумам функции его локальной корреляции с обобщенными эталонными функциями, имеющими низкочастотный пространственный спектр, а выделенные таким образом элементы изображения используются далее как основа его СА. Однако именно такой подход был использован в главе 2 при формировании СЭ первого типа, в результате чего и были синтезированы оптимальные в условиях действия АП и ПП структурные элементы и соответствующие им весовые функции детекторов, имеющие вид (2). Использование СЭ вида (2) для выделения регионов изображения в целях группирования относящихся к ним контуров представляется тем более рациональным, что элементы первого и второго типов как раз и были синтезированы для обнаружения компактных СЭ и относящихся к ним границ, соответственно. Однако в главе 2 остались неразрешенными две проблемы: для корректного выделения и измерения параметров СЭ первого типа они должны быть правильно отделены от фона и должны полностью вписываться в окно, на котором задана весовая функция детектора вида (2).

В рамках моделирования зон внимания первую из проблем удалось решить, учитывая системное взаимодействие операции сегментации изображения с параметрами формы выделенных с ее помощью объектов. Была также использована адаптивная подстройка пороговых яркостей, отделяющих объект от фона, на основе анализа изменения гистограммы яркости от петра к периферии окна, на котором задана весовая функция детектора. Этот метод разделения, аналогичный методу ожидания-максимизации, был также экстраполирован для перехода к многомерным пространствам признаков текстуры. Вторая проблема была решена в соответствии с п. 6 главы 2, представляющим окружающий мир как иерархическую систему объектов и подобъектов. Окно, на котором задается детектор вида (2), выделяющий представляющие интерес объекты, имеет размер, изменяющийся от полного размера изображения до некоторого

минимального уровня (аналогично тому, как меняется размер зоны внимания, при рассматривании изображения живой зрительной системой). При этом детектор вида (2) дает заметно возрастающий отклик, если выделяемые объекты оптимально вписываются в окно, на котором детектор задан. Примеры зон внимания, построенных для изображений двумерных и трехмерных сцен, показаны на рис. 3.

Результата построения зон внимания, полученные на основе анализа яркости пикселов или признаков текстуры, показывают, что предложенный метод выделения локальных объектов и соответствующих им регионов группирования контуров путем обнаружения непроизводных элементов первого типа на разных иерархических (масштабных) уровнях оказался достаточно успешным. Система регионов группирования, соответствующих объектам и подобъектам, также может быть организована иерархически, что соответствует положениям п. 6, сформулированным в главе 2.

Рисунок 3 - Примеры зон внимания, автоматически построенных для изображений реальных сцен: а, б, в, - аэрофотоснимки плоского ландшафта; г, д, е - зоны внимания, построенные для этих снимков; ж, з - изображение трехмерной сцены и зоны внимания, соответствующие поверхностям представленного на нем объекта.

В соответствии с положениями п. 6 главы 2 вследствие иерархического характера организации изображений наблюдаемого мира система объектов и подобъектов (и относящихся к ним границ) может применяться не только на «макро-уровне», соответствующем крупным компонентам сцен, но и для описания текстур на изображениях их поверхностей, причем на «микроуровне» (т.е. на уровне текстур) для описания могут использоваться такие же как на «макро-уровне» непроизводные СЭ. Следуя этому принципу, СЭ первого и второго типов были применены для описания и распознавания текстур. На рис. 4 приведен пример сегментации аэрофотоснимка, выполненной на основе структурного описания текстуры на единственном иерархическом уровне. Однако для естественных ландшафтов характерны

также ситуации, когда не существует четкой грани между подобъектами и текселами на поверхностях объектов (случаи «сложных текстур»). В таких случаях применение 1радиционных подходов приводит к недопустимой фрагментарованности результатов сегментации изображений, как это продемонстрировано на рис. 5. Эта проблема решается в работе путем построения иерархических алгоритмов описания и сегментации текстур, причем на разных иерархических уровнях успешно используются одни и те же СЭ (элементы первого и второго типов), принадлежащие разработанному ортогональному базису. На рис. 6 показан результат сегментации, основанной на иерархическом описании текстур. Описание текстур каждого иерархического уровня базировалось на анализе плотностей распределения обнаруженных текселов по типам соответствующих им СЭ, по значениям их контрастно-яркостных параметров и параметров пространственного положения и формы, описанным в главе 3 для СЭ первого и второго типов.

Рисунок 4 - Сегментация изображения по описанию текстуры на одном иерархическом уровне: слева - исходный аэрофотоснимок, справа - результат сегментации.

Рисунок 5 - Сегментация аэрофотоснимка по Рисунок 6 - Результат

описанию сложной текстуры на единственном иерархической сегментации

иерархическом уровне: слева - исходный снимка, представленного слева

аэрофотоснимок, справа - результат сегментации. на рис. 5, по текстуре.

В пятой главе описана реализация предложенного объектно-независимого подхода при сопоставлении изображений на основе их иерархических структурных описаний. В соответствии с многоуровневой организацией используемых описаний система их сопоставления также иерархическая многоуровневая. В работе было рассмотрено два разных метода сопоставления: с помощью оптимизирующей нейронной сети

Хопфилда-Танка и методом обхода дерева решений. Предпочтение было отдано второму методу. Схема разработанной объектно-независимой системы структурного сопоставления приведена на рис. 7. Основой структурного сопоставления, выполняемого на уровне контурных СЭ (первом иерархическом уровне), является оптимизированный обход дерева всевозможных вариантов взаимно-однозначных сопоставлений СЭ двух изображений (дерева решений). Каждый вариант такого сопоставления можно представить как

где («, не.) - сопоставление /-того СЭ из множества п элементов, принадлежащих некоторой группе элементов первого изображения, с от-тым элементом некоторой группы во втором изображении, К=Р„=п\ - число возможных вариантов структурного сопоставления, равное числу перестановок в множестве из я элементов (в целях упрощения изложения здесь принято допущение, что два множества сопоставляемых элементов имеют одинаковый размер). Для сокращения вычислительных затрат, связанных с сопоставлением, любая из ветвей (подветвей) дерева решений исключается из дальнейшего рассмотрения при первом встреченном несоответствии параметров сопоставляемых элементов а и ет, а операции проверки соответствия параметров выполняются в порядке увеличения связанных с ними вычислительных затрат. Сначала, анализируется совпадение собственных типов сопоставляемых СЭ и их собственных параметров, и при несовпадении данная ветвь дерева решений из последующего анализа исключается (например, угол нельзя сопоставить с фрагментом линии, а разница длин сопоставляемых фрагментов не может быть больше заданной доли от длины наименьшего из них). Затем анализируется совпадение параметров, связанных с парами сопоставленных СЭ, например, расстояния между их центрами, или относительного азимута направления от одного элемента к другому. Далее проверяются параметры троек сопоставленных элементов, например, не соответствует ли матрица преобразования координат, рассчитанная по трем сопоставленным элементам, преобразованию с зеркальным отражением.

В результате этой трехэтапной проверки подавляющая часть неправильных версий сопоставления отвергается. Для немногих оставленных для дальнейшего рассмотрения гипотез анализируется связанная с ними суммарная ошибка пересчета координат СЭ от одного сопоставляемого изображения к другому и суммарное отклонение взаимно-соответствующих точек контуров, возникающее при пересчете координат. Окончательно, для каждой пары групп элементов первого и второго изображений выбирается гипотеза сопоставления, имеющая наилучшее качество, т.е. связанная с наименьшими значениями указанных интегральных ошибок.

Лучшая гипотеза сопоставления для каждой пары групп (перечень попарных соответствий входящих в группы элементов и соответствующий

Верхний иерархический уровень (сопоставление групп)

Построение контурных структурных элементов

гипотезе показатель качества) передается на следующий (второй) иерархический уровень, на котором делается попытка сопоставления регионов группирования как неделимых СЭ более высокого уровня. При этом могут учитываться взаимное пространственное положение и параметры формы регионов группирования в двух сопоставляемых изображениях, а также показатели качества сопоставления, соответствующие каждой паре групп в соответствии с результатами сопоставления на предыдущем иерархическом уровне. Для лучших гипотез сопоставления, выработанных на втором иерархическом уровне, в соответствии с рассчитанными для них параметрами преобразования координат делается попытка скорректировать форму регионов группирования, в результате чего именно для более качественных гипотез сопоставления и далее увеличивается количество правильно сопоставленных контурных элементов, и уменьшается количество неправильных сопоставлений на первом иерархическом уровне.

Коррекция ^ формы групп

в1

вп V,

Группы элементов первого изображения

Группы элементов второго изображения

? Нижний иерархический уровень (сопоставление элементов каждой

Рисунок 7 - Иерархическая система структурного сопоставления изображений.

Аналогичные нисходящие обратные связи соединяют первый иерархический уровень с нулевым, на котором формируются контурные СЭ. Под действием этих обратных связей для наилучших гипотез сопоставления на первом и втором иерархических уровнях корректируются процессы формирования контурных СЭ на нулевом иерархическом уровне. Коррекция работы более низких иерархических уровней на основе результатов сопоставления более высокого уровня, выполняется итеративно, в результате чего показатели качества сопоставления, соответствующие лучшим верным гипотезам, возрастают, а неправильные гипотезы еще сильнее подавляются.

Реализованная таким образом иерархическая система демонстрирует возможность выполнения объектно-независимого структурного сопоставления изображений, отвечающего принципу иерархического структурирования окружающего мира, сформулированному в п. 6 главы 2. При построении иерархической системы использовано итеративное улучшение гипотез с помощью нисходящих обратных связей в соответствии с принципом адаптивного резонанса, описанным для живых зрительных систем. Таким путем принимается во внимание системное взаимодействие разных иерархических уровней организации окружающего мира. Система сопоставления может включать несколько иерархических уровней, соответствующих регионам группирования (объектам и подобъектам и соответствующим им зонам внимания) разного масштаба. При построении системы структурного сопоставления учтены и остальные пять принципов организации объектно-независимых систем СА, сформулированные в главе 2.

В заключение в главе оцениваются показатели эффективности разработанных методов. В частности, относительная частота правильного сопоставления снимков с сезонными и ракурсными отличиями достигает 96%, что 3,5 раза лучше чем у метода Фурье-Меллина, при этом ошибка совмещения изображений плоского рельефа не превышает пиксела.

В шестой главе приведены результаты решения практически важных задач, связанных со СА изображений, на основе разработанного объектно-независимого подхода. Рассмотренные достижения могут применяться в разных областях, поэтому в соответствии с особенностями решаемых задач и для компактности изложения полученные результаты целесообразно систематизировать здесь по нескольким тематическим группам. 1. Автоматическая запись изображений в общей системе координат. Внутри этой группы приложений можно выделить три подгруппы:

а) Выполнялась запись разнородных изображений в общей системе координат:

• изображений, сформированных в видимом или ИК диапазонах;

• видеоданных, сформированных радарами с синтезированной апертурой, интерференционными радиолокаторами, лазерными, акустическими или радиолокационными дальномерами;

• векторных изображений, характерных для географических карт, геоинформационных систем, чертежей CAD-формата.

Такое объединение разнородных датшх (data iusion) часто используется для оптимизации визуального восприятия видеоданных (например, аэрокосмические снимки, совмещаются с картой местности), для коррекции изображений с учетом далънометрических данных, для восполнения информации, утраченной в результате затенения или загораживания, видеоданными, полученными с других ракурсов наблюдения. Задача осложняется в этом случае существенными отличиями сопоставляемых изображений, обусловленными, отличающимися свойствами применяемых датчиков, отличающимися

ракурсами наблюдения, отличающимися способами формирования изображений, локальными отклонениями формы отображаемых поверхностей от плоской. Примеры успешного сопоставления радиолокационных снимков с оптическими и векторных чертежей с оптическими изображениями приведены соответственно на рис. 8 и 9. б) Выполнялась запись в общей системе координат изображений, сформированных в разное время или с разных ракурсов. Этот вариант сопоставления имеет следующие практические приложения:

• мониторинг местности для выявления изменений и обнаружения признаков возникновения природных и техногенных катастроф;

• сопоставление изображения объекта с эталонным, например, в целях контроля качества произведенной продукции или для выявления мест разрушения деталей;

• стереоскопическое измерение дальности по сопоставленным

Рисунок 8 - Структурное сопоставление изображений различающихся типов: слева - радиолокационный снимок, по центру - аэрофотоснимок, справа -результат сопоставления, представленный в мозаичной форме.

Рисунок 9,- Структурное сопоставление растровых изображений с векторными: слева - аэрофотоснимок, по центру - ГИС-карта того же региона, справа -результат сопоставления аэрофотоснимка и карты.

Задача сопоставления осложняется изменением ракурса наблюдения и характера освещения, а также сезонно-суточными изменениями

местности. Дополнительные трудности сопоставления связаны с неплоским характером отображаемых поверхностей. Пример сопоставления аэрофотоснимков, сделанных в разные сезоны, представлен на рис. 10.

в) Выполнялся синтез аэрокосмических изображений больших регионов на основе локальных снимков местности.

2. Поиск изображений в базах данных. Выполнялось опознавание ключевого фрагмента изображения в одном или нескольких изображениях, хранящихся в базе данных, и определение координат искомого фрагмента в найденных изображениях при решении задач:

- автоматической навигации мобильного робота или беспилотного аппарата;

- автоматического нахождения и локализации заданных конкретных объектов;

- автоматического обнаружения и локализации объектов заданного класса.

3. Автоматическая сегментация аэрокосмических снимков, распознавание и идентификация элементов ландшафта на основе параметров их текстур при решении задач мониторинга Земли из космоса в целях рационального землепользования и выявления признаков природных и техногенных катастроф. Примеры выполнения одноуровневой и иерархической сегментации аэрофотоснимков по текстуре показаны на рис. 4 и 6.

Рисунок 10 - Структурное сопоставление аэрофотоснимков, сделанных в разные сезоны: слева - летний снимок, по центру - зимний снимок того же региона, справа -результат сопоставления летнего и зимнего снимков.

4. Распознавание неделимого изображения единственного объекта является упрощенным частным случаем структурного распознавания. Применение такого упрощения оправдано, если аддитивными, мультипликативными и шумовыми составляющими преобразования яркости пикселов, описанными в модели (1), можно пренебречь, а геометрическое преобразование, представленное в этой модели может быть сведено к АП или одной из его подгрупп. Тогда после измерения параметров и компенсации АП методами, описанными в главе 3, объект может быть распознан одним из подходящих известных способов. Именно такие упрощения оказываются правомерными при решении некоторых задач промышленной робототехники. В связи с этим предложенный в настоящей работе подход был успешно применен при распознавании и измерении параметров положения деталей на конвейерах.

В заключении приведены основные результаты работы и сформулированы следующие из них выводы. Перечисляются также важные исследовательские и хозяйственные проекты, в которых нашли практическое применение результаты диссертационной работы, и приводятся сведения о полученных актах о внедрении. Приводятся также сведения о методах и инструментах обработки изображений, которые были обобщены или улучшены в рамках разработанного автором объектно-независимого подхода.

В Приложения 1-7 вынесены поясняющие материалы, которые «утяжелили» бы текст работы и не способствовали бы правильному восприятию ее общей структуры, если бы были включены в основную ее часть.

В Приложении 8 приведены акты о внедрении результатов работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Достигнута цель работы: в рамках проблемы, сформулированной автором, разработаны методы объектно-независимого СА изображений, основанного на существенных в контексте решаемых задач общих закономерностях пространственной организации наблюдаемого мира и свойствах наиболее часто применяемых систем формирования изображений.

2. Разработанный объектно-независимый подход позволяет представить в рамках единой модели и усовершенствовать ряд известных методов и инструментов теории автоматической обработки и анализа изображений и методы анализа изображений, реализованные в естественных зрительных системах. Это свидетельствует о его высокой обобщающей способности.

3. Методы и алгоритмы, разработанные в рамках предложенного подхода, объектно-независимы и робастны, поэтому они представляют ценность при автоматическом анализе изображений, подвергнутых сложным фотометрическим и геометрическим искажениям и характеризующихся высокой априорной неопределенностью сюжета. В частности, они позволяют осуществлять надежное и точное сопоставление, совмещение и совместный пространственно-временной анализ аэрокосмических снимков, сделанных в разные сезоны и с разных ракурсов видео-датчиками различающихся типов: синтезировать панорамные снимки, выполнять стерео-анализ, интеграцию видеоданных, сформированных датчиками разных типов (data fusion), выявление их локальных изменений. Эти методы могут также использоваться при поиске изображений в базах данных, в системах зрительной адаптации автономных мобильных роботов и в системах технического зрения для автоматического управления производством и контроля качества продукции.

4. На основе концепций, методов и алгоритмов, предложенных в работе, реализован ряд программно-алгоритмических продуктов, нашедших

применение в нашей стране и за рубежом. Результаты работы представляют

основу для решения важных исследовательских и хозяйственных задач.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ПРЕДСТАВЛЕНЫ В СЛЕДУЮЩИХ РАБОТАХ:

(статьи 1-15 опубликованы в изданиях, включенных в список изданий, рекомендованных ВАК для опубликования результатов диссертаций, и в изданиях, перечисленных в «Thomson Reuters: Science Citation Index Expanded / Conference Proceedings Citation Index»)

Луцнв B.P., Данилов Е.П. Нейронные сети: современное состояние и перспективы // Оптико-механическая промышленность. Оптический журнал. 1991. No.4. С. 20-33.

2. Луцив В.Р., Долиной Д.С., Жеребко А.К., Новикова Т.А. Применение искусственных нейронных сетей в задачах обработки изображений // Оптический журнал. 1997. Т. 64, JV»2. С. 45-52.

3. Луцнв В.Р., Жеребко А.К. Согласованная фильтрация в естественных

и искусственных нейронных сетях // Оптический журнал. 1999. Т.

66, №9. С. 69-72.

4. Lutsiv V.R., Allinson N.M., Zherebko A.K., Barabanov N.E. Neural net based images matching // SPIE Proceedings. 2000. V. 3962 "Applications of artificial neural networks in image processing". P. 128-137.

5. Lutsiv. V.R., Malyshev I.A., Pepelka V.A. Automatic fusion of the multiple sensor and multiple season images // SPIE Proceedings. 2001. V. 4380 "Signal Processing, Sensor Fusion, and Target Recognition X". P. 174-183.

6. Луцив B.P., Малышев И.А., Потапов A.C. Совмещение аэрокосмических изображений с субпиксельной точностью методом локальной корреляции // Оптический журнал. 2004. Т. 71, №5. С. 3136.

7. Луцив В.Р., Малышев И.А., Потапов A.C. Принцип минимальной длины описания как средство улучшения дискриммнантных методов распознавания // Оптический журнал. 2006. Т. 73, №10. С. 41-46.

8. Луцив В.Р., Андреев B.C., Губкин А.Ф., Ильяшеико A.C., Кадыков А.Б., Лапина H.H., Малышев H.A., Новикова Т.А., Потапов A.C. Алгоритмы автоматической обработки и анализа аэрокосмических снимков // Оптический журнал. 2007. Т. 74, №.5, С. 12-30.

9. Луцнв В.Р. Моделирование зон внимания в задачах автоматической декомпозиции и структурного анализа изображений // Оптический журнал. 2007. Т. 74, №4. С. 59-67.

10. Луцив В.Р. Применение обобщенных эталонных функций в естественных и искусственных зрительных системах // Оптический журнал. 2007. Т. 74, JV« И. С. 47-52.

11. Луцив В.Р., Новикова Т.А. Моделирование зон внимания на основе анализа локальных особенностей текстуры изображений // Оптический журнал. 2008. Т. 75, JV®7. С. 55-64.

12. Луцив В.Р. Объектно-независимый подход к структурному анализу изображений // Оптический журнал. 2008. Т. 75, №11. С. 26-34.

13. Луцив В.Р. Метод итеративной компенсации проективных искажений изображений Н Оптический журнал. 2009. Т. 76, №7. С. 5360.

14. Аверкпн А.Н., Луцив В.Р., Потапов A.C. Построение систем локальных инвариантных признаков изображения на основе преобразования Фурье-Меллина // Оптический журнал. 2010. Т. 77, №1. С. 36-41.

15. Луцив В.Р., Лапина H.H., Малышев H.A., Потапов A.C. Особенности сопоставления изображении в задачах определения местоположения мобильного робота // Оптический журнал. 2010. Т. 77, №11. С. 25-34.

16. Луцив В.Р. Визуальные системы роботов. Глава VIII / Мясников В.А., Игнатьев М.Б., Покровский A.M. Программное управление оборудованием. - 2-е изд.-Л.: Машиностроение, 1984. С, 354-381.

17. Луцив В.Р. Создание гибких оптических информационных систем для ГАП // Материалы краткосрочного семинара «Гибкие автоматизированные производства в радиоаппарато- и приборостроении». -Л.: ЛДНТП, 1984. С. 31-34.

18. Луцив. В.Р. Методы обработки изображений при управлении роботами в ГАП // Сб. «ЭВМ в проектировании и производстве». Вьтп.2 /Под. ред. Г.В. Орловского. - Л.: Машиностроение, 1985. С. 154-162.

19. Луцив В.Р. Модель искажения изображений в зрительных анализаторах // Тезисы докладов к зональному семинару «Состояние, опыт и направления работ по комплексной автоматизации на основе гибких автоматизированных производств, робототехнических комплексов и промышленных роботов». Пенза, 1985. С. 86-88.

20. Луцив В.Р., Постнова М.Н. Алгоритмы распознавания изображений в ГПС // Материалы краткосрочного семинара «Опыт разработки и эксплуатации АСУ ТП». - Л.: ЛДНТП, 1985. С. 46-48.

21. Луцив В.Р. К вопросу структурного анализа изображений // Сб. Иконика/ книга VI / Труды ГОИ. 1992. Т. 79, Вып. 213. - С.-Петербург: ГОИ им. С.И. Вавилова. С. 65-71.

22. Луцив В.Р., Долинов Д.С. Нейронная сеть для сопоставления изображений, реализованная на транспьютерах // Материалы V Конференции «Транспьютерные системы и их применение». Москва, Домодедово, 1995.1 с.

23. Luciv V, Dolinov D, Zherebko A. On the use of the neuron-like and parallel computational architectures for image processing // Proceedings of the 2-nd international conference "Applications of computer systems". Szczecin, Poland, 1995. P. 213-214.

24. Luciv V., Dolinov D., Zherebko A. The artificial neural networks for image contours extraction and image segmentation on the base of texture geometric features // Proceedings of the third international conference "Applications of computer systems". Szczecin, Poland, 1996. P. 355-363.

25. Lutsiv V.R., Dolinov D.S., Zherebko A.K., Barabanov N.E. The artificial neural network for image contours extraction // Proceedings of the IEEE international conference "Control of oscillation and chaos", August 27-29, 1997, St. Petersburg, Russia. P. 536-538.

26. Lutsiv. V.R., Malyshev I.A., Pepelka V.A., Potapov A.S. The target independent algorithms for description and structural matching of aerospace photographs // SPIE Proceedings. 2002. V. 4741 "Geo-spatial image exploitation developments and applications I". P. 351-362.

27. Луцив В.P., Сильников M.B., Петроченков C.A., Новикова Т.А. О количественной оценке маскировочных свойств специзделий и спецобмундирования // Тезисы докладов пятой Всероссийской научно-практической конференции «Актуальные проблемы защиты и безопасности». С.-Петербург, 2-5 апреля 2002. С. 36-37.

28. Lutsiv. V.R., Potapov A.S. Information-theoretic approach to image description and interpretation // SPIE Proceedings. 2003. V. 5400 "Seventh International Workshop on Nondestructive Testing and Computer Simulations in Science and Engineering". P. 277-283.

29. Lutsiv. V.R., Malyshev I.A., Potapov A.S. Hierarchical structural matching algorithms for registration of aerospace images // SPIE Proceedings. 2003. V. 5238 "Image and Signal Processing for Remote Sensing IX". P. 164-175.

30. Lutsiv V., Malyshev I., Novikova T. Hierarchical approaches to analysis of natural textures // SPIE Proceedings. 2004. V. 5426 "Automatic Target Recognition XIV". P. 144-154.

31. Lutsiv V.R., Potapov A.S., Malyshev I.A. Sub-pixel precise image analysis in the industrial environment // SPIE Proceedings. 2004. V. 5831 "Eighth International Workshop on Nondestructive Testing and Computer Simulations in Science and Engineering". P. 199-203.

32. Lutsiv V., Potapov A., Novikova Т., LapinaN. Hierarchical 3D structural matching in the aerospace photographs and indoor scenes // SPIE Proceedings.

2005. V. 5807 "Automatic Target Recognition XV". P. 455-466.

33. Lutsiv V. Computer simulation of attention fields in the task of image inspection and structural matching // Perception, V. 35, Supplement: ECVP

2006. Abstracts. (29th European conference on visual perception. St. Petersburg, 20-25 August 2006). P. 50.

34. Patent KR20110009547 (A) (Korea). Apparatus and method for detecting rotation-invariant features for localization of a mobile robot / Lutsiv V., Potapov A., Redkov V., and others; LG Electronics Inc. - Appl. No. KR20090066995 2009.07.22; Prior. No. KR20090066995 2009.07.22; Publ. 2011.01.28 by UK Intellectual Property Office; Classif.-intem.: A47L9/28; B25J13/08; G05D1/02.

35. Вадим Луцив. Автоматический анализ изображений. Объектно-независимый структурный подход. - Саарбрюккен, Германия: Ламберт Академик Паблишинг, 2011 г. - 300с.

Формат 60x84 1\16 .Бумага офсетная.

_Тираж 100 экз. Заказ № 606._

Редакционно-издательский центр ГУАП 190000, Санкт-Петербург, Б. Морская ул., 67

ИСПОЛЬЗОВАННЫЕ СОКРАЩЕНИЯ.

ВВЕДЕНИЕ.

1 ПРЕДПОСЫЛКИ ВОЗНИКНОВЕНИЯ И ЭТАПЫ ФОРМИРОВАНИЯ СТРУКТУРНЫХ МЕТОДОВ АНАЛИЗА ИЗОБРАЖЕНИЙ.

1.1 Первые шаги автоматического распознавания изображений.

1.2 Становление структурного подхода к анализу изображений.

1.3 Применение экспертных систем - один из этапов развития методов структурного анализа изображений.

1.4 Кризис структурных методов, основанных на частных эвристиках, и разработка объектно-независимых алгоритмов структурного анализа.

1.5 Выводы.

2 ОСНОВНЫЕ ПРИНЦИПЫ, ПОЛОЖЕННЫЕ В ОСНОВУ ОБЪЕКТНО-НЕЗАВИСИМОГО ПОДХОДА К СТРУКТУРНОМУ АНАЛИЗУ ИЗОБРАЖЕНИЙ.

2.1 Принципы и требования, которые должны быть положены в основу объектно-независимого структурного анализа изображений.

2.2 Свойства инвариантного параболического ядра, содержащегося в изображениях локальных объектов.

2.3 Выбор алфавита объектно-независимых структурных элементов, устойчивых к характерным преобразованиям изображений.

2.4 Итоги и выводы.

3 ВЛИЯНИЕ АФФИННОГО И ПРОЕКТИВНОГ О ПРЕОБРАЗОВАНИЙ ИЗОБРАЖЕНИЯ НА СОДЕРЖАЩИЕСЯ В НЕМ ЭЛЕМЕНТЫ ПРЕДЛОЖЕННОГО ОРТОГОНАЛЬНОГО БАЗИСА.

3.1 Представление аффинного преобразования в виде последовательности простых геометрических трансформаций.

3.2 Инвариантность объектно-независимых структурных элементов по отношению к аффинному преобразованию, измерение параметров их положения на изображении.

3.3 Измерение направления и величины анизотропного масштабного преобразования содержащихся в изображении структурных элементов первого типа.

3.4 Измерение параметра изотропного по направлению масштабирования изображения.

3.5 Измерение параметров преобразований вращения и зеркального отражения, входящих в состав аффинного преобразования.

3.6 Итеративная компенсация и измерение параметров проективного преобразования.

3.7 О влиянии проективного преобразования на форму структурных элементов первого и второго типов.

3.8 Измерение параметров преобразований вращения и зеркального отражения, входящих в состав проективного преобразования.

3.9 Выводы.

4 МЕТОДЫ ПОСТРОЕНИЯ ОБЪЕКТНО-НЕЗАВИСИМЫХ Т10 ФОРМЕ ОПИСАНИЙ ИЗОБРАЖЕНИЙ НА ОСНОВЕ НЕПРОИЗВОДНЫХ СТРУКТУРНБ1Х ЭЛЕМЕНТОВ РАЗНЫХ ИЕРАРХИЧЕСКИХ УРОВНЕЙ

4.1 Использование структурных элементов второго типа для описания границ объектов на низшем (нулевом) иерархическом уровне.

4.2 Использование структурных элементов первого и второго типов для описания границ объектов на первом иерархическом уровне.

4.3 Структурное описание изображения на втором иерархическом уровне

4.3.1 Примитивное группирование структурных элементов сетью прямоугольных ячеек.

4.3.2 Моделирование зон внимания на основе локального анализа яркости пикселов изображений.

4.3.3 Результаты моделирования зон внимания на основе анализа яркости пикселов изображений реальных объектов.

4.3.4 Моделирование зон внимания на основе анализа признаков текстуры

4.3.5 Выводы о возможности обнаружения элементов первого типа и построения регионов группирования с использованием зон внимания.

4.4 Структурное описание текстур.

4.5 Системный анализ подходов, применяемых при построении структурного описания изображений на разных иерархических уровнях.

4.6 Выводы.

5 РЕАЛИЗАЦИЯ ПРЕДЛОЖЕННОГО ОБЪЕКТНО-НЕЗАВИСИМОГО ПОДХОДА ПРИ СОПОСТАВЛЕНИИ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ИХ ИЕРАРХИЧЕСКИХ СТРУКТУРНЫХ ОПИСАНИЙ.

5.1 Сопоставление контурных структурных описаний искусственной нейронной сетью Хопфилда-Танка.

5.1.1 Нейронная сеть Хопфилда-Танка, использованная на первом иерархическом уровне сопоставления.

5.1.2 Нейронная сеть Хопфилда-Танка, выполняющая сопоставление контурных структурных элементов на двух иерархических уровнях.

5.2 Иерархическая система сопоставления контурных структурных описаний, использующая метод обхода дерева решений.

5.2.1 Сопоставление контурных описаний методом обхода дерева решений

5.2.2 Иерархическое сопоставление контурных описаний.

5.3 Выводы.

6 ПРИМЕНЕНИЕ РАЗРАБОТАННОГО ОБЪЕКТНО-НЕЗАВИСИМОГО ПОДХОДА ПРИ РЕШЕНИИ ВАЖНЫХ ЗАДАЧ СТРУК ТУРНОГО АНАЛИЗА, СОПОСТАВЛЕНИЯ И РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ.

6.1 Автоматическое распознавание объектов по текстуре на аэрокосмических снимках поверхности Земли.

6.2 Автоматическое обнаружение объектов заданной формы на изображениях

6.3 Регистрация в общей системе координат аэрокосмических снимков одной и той же местности, сделанных в разное время и с разных ракурсов.

6.4 Регистрация в общей системе координат аэрокосмических снимков, сформированных датчиками различающихся типов.

6.5 Сопоставление аэрокосмических снимков с картой местности векторного или растрового формата.

6.6 Автоматическая навигация беспилотного летательного аппарата на основе сопоставления изображений небольших единовременно наблюдаемых фрагментов поверхности Земли с эталонными.

6.7 Автоматическое извлечение информации о высоте объектов местности из аэрофотоснимков, сделанных из разных точек траектории летательного аппарата.

6.8 Автоматическая навигация мобильного робота на основе сопоставления изображений окружающего его пространства с эталонными.

6.9 Автоматическое распознавание деталей на конвейере.

6.10 Некоторые результаты автоматического структурного сопоставления изображений, не дошедшие до стадии практического применения.

6.11 Выводы.

Актуальность проблемы. Автоматический анализ изображений, ведущий свою историю от первых моделей перцептронов и компьютерных экспериментов по автоматическому распознаванию зрительных образов, выполненных в середине двадцатого века, стал в настоящее время самостоятельным научным направлением, имеющим важные практические приложения в автоматизации производства и контроля качества продукции, неразрушающей диагностике, медицине, криминалистике, системах безопасности, системах дистанционного зондирования Земли, системах наведения и целеуказания, робототехнике и многих других областях. На начальных этапах автоматический анализ изображений основывался на корреляционном сопоставлении и формальных методах распознавания образов в пространствах признаков. Уже на первых шагах стало очевидно, что эти подходы, исходно разработанные для обнаружения сигнала известной формы, не достаточно эффективны при анализе сложным образом изменяющихся двумерных и трехмерных образов, соответствующих изображениям реальных сцен. Поэтому методы пространственной декомпозиции и структурного сопоставления начали применяться уже на ранних стадиях становления науки об автоматическом анализе изображений. Применение методов формальной лингвистики не внесло заметного вклада в прогресс структурного анализа (СА) изображений. Напротив, применение неформальных эвристических методов в течение многих лет неизменно оказывалось достаточно успешным и фактически легло в основу многих экспертных систем ОС) конкретного назначения. Ахиллесовой пятой таких ЭС оказалась чрезвычайно узкая сфера эффективного применения каждой из них. Например, ЭС, разработанная для автоматического распознавания танков, не могла эффективно использоваться для распознавания самолетов. Это закономерно следовало из свойств применяемых эвристических решений, отдельно разрабатываемых для распознавания каждого нового конкретного типа объектов. Кризис эвристического подхода стал наиболее очевиден при решении задач сопоставления и распознавания изображений, характеризующихся большой степенью неопределенности подлежащего анализу сценария и существенными возможными изменениями облика представленных в них объектов, например, при автоматической обработке аэрокосмических снимков Земли или при построении мобильных автономных роботов, предназначенных для применения внутри помещений или на открытой местности. Необходимым шагом в дальнейшем прогрессе компьютерного зрения должна стать разработка объектно-независимых подходов к СА изображений. Общая структура построенных в рамках таких подходов алгоритмов обработки изображений должна в основном абстрагироваться от частных особенностей подлежащих анализу зрительных образов и принимать во внимание только самые общие закономерности их формирования, обусловленные свойствами применяемых оптических систем (или систем, использующих другие физические принципы), законами их взаимодействия с объектами окружающего мира и наиболее общими закономерностями его организации.

Целью работы является разработка методов объектно-независимого структурного анализа изображений; разработанные методы должны быть эффективны в условиях сюжетного многообразия и естественных изменений изображений наблюдаемого мира, имеющих наиболее сложную форму в системах анализа аэрокосмических снимков и системах автоматического управления беспилотными аппаратами.

Поставленная цель достигается решением следующих задач:

1. Определение особенностей формирования изображений, обусловленных свойствами наиболее часто применяемых для этого систем преобразования и восприятия физических полей и путями взаимодействия этих полей с объектами отображаемых сцен. Определение моделей наиболее характерных 9 геометрических и фотометрических трансформаций, которым в связи с этим могут подвергаться формируемые изображения.

2. Определение свойств изображений, вытекающих из особенностей организации наблюдаемого мира, и моделей наиболее характерных геометрических и фотометрических трансформаций, которым в связи с этим могут дополнительно подвергаться подлежащие автоматическому анализу зрительные образы.

3. Определение элементов изображений, наиболее устойчивых к трансформациям, обусловленным свойствами систем формирования изображений и особенностями организации наблюдаемого мира, и пригодных к использованию в качестве непроизводных структурных элементов (СЭ) при построении объектно-независимых структурных описаний (СО).

4. Разработка методов выявления непроизводных СЭ на анализируемых изображениях и методов измерения параметров геометрических трансформаций изображений на основе параметров выделенных СЭ.

5. Разработка объектно-независимых методов построения структурных описаний, устойчивых к характерным геометрическим и фотометрическим трансформациям видеоданных и основанных на существенных в контексте решаемой проблемы общих особенностях организации наблюдаемого мира.

6. Построение объектно-независимых методов сопоставления и распознавания изображений на основе их СО.

Методы исследования. Для решения указанных задач в работе применялись методы системного анализа, аналитической геометрии, спектрального анализа, теории групп, компьютерного моделирования, обработки и распознавания изображений.

Научная новизна.

1. Представлена в рамках единой модели структурная организация изображений окружающего мира на разных иерархических уровнях - от микро

10 уровня, соответствующего текстурам, до макро-уровня, относящегося к объектам и подобъектам. Это дает возможность единообразно применять разработанные объектно-независимые методы структурной декомпозиции и СО изображений реального мира на каждом из иерархических уровней.

2. Разработан инвариантный к аффинным преобразованиям (АГ1) и проективным преобразованиям (I III) ортогональный базис обобщенных непроизводных СЭ, пригодный для объектно-независимой структурной декомпозиции изображений на разных иерархических уровнях - от анализа взаимного положения и формы объектов сцены до описания текстуры их поверхностей. При этом группы АП и ПГ1 и их подгруппы выбраны в качестве моделей, наиболее полно соответствующих преобразованиям изображений в самых распространенных схемах организации естественных зрительных систем и систем технического зрения.

3. Предложен объектно-независимый иерархический метод структурной декомпозиции и СО изображений; при этом, структурная декомпозиция производится в рамках единой модели при построении описания на каждом иерархическом уровне.

4. Предложен объектно-независимый метод сопоставления изображений реальных сцен с помощью их иерархических СО, построенных в разработанном базисе обобщенных непроизводных СЭ. В основу метода структурного сопоставления положены объектно-независимые ограничения, следующие из существенных в контексте решаемой проблемы общих принципов пространственной организации наблюдаемого мира и его взаимодействия с элементами естественных и искусственных зрительных систем.

5. Разработаны методы измерения параметров аффинных и проективных преобразований изображений объектов на основе аппроксимации этих изображений предложенными обобщенными непроизводными СЭ, и выведены формулы для представления измеренных параметров в аналитическом виде.

6. Разработанный объектно-независимый подход к СА изображений позволяет представить в рамках единой модели и развить известные методы

11 теории автоматической обработки и анализа изображений и методы анализа изображений, реализованные в естественных зрительных системах. Это свидетельствует о достаточно высокой обобщающей способности разработанного подхода.

Практическая значимость работы. Методы и алгоритмы, разработанные в рамках предложенного объектно-независимого подхода, представляют ценность при автоматическом анализе изображений, подвергнутых сложным фотометрическим и геометрическим искажениям и характеризующихся высокой степенью априорной неопределенности сюжета. В частности, они позволяют осуществлять надежное и точное сопоставление, совмещение и совместный пространственно-временной анализ аэрокосмических снимков, сделанных в разные сезоны и с разных ракурсов видео-датчиками различающихся типов (оптическими датчиками видимого или инфракрасного диапазонов электромагнитных волн, радиолокаторами с синтезированной апертурой, лазерными дальномерами и т.п.). Это дает возможность синтезировать высококачественные панорамные снимки, извлекать информацию о третьей координате по взаимному смещению локальных особенностей сопоставленных двумерных видеоданных, выявлять локальные изменения объектов наблюдения во времени, интегрировать (комплексировать) видеоданные, сформированные датчиками разных типов (data fusion). Эти методы могут также использоваться при поиске изображений в базах данных. Разработанные методы и алгоритмы также могут быть полезны при создании систем зрительной адаптации автономных мобильных роботов и систем технического зрения для автоматического управления производством и контролем качества разнообразной продукции.

Реализация результатов работы. На основе концепций, методов и алгоритмов, предложенных в диссертационной работе, был реализован ряд программно-алгоритмических продуктов и электронно-оптических устройств, нашедших применение в нашей стране и за рубежом. Среди них:

• комплекс алгоритмов и структура бортового вычислителя микро-спутника для автоматического сопоставления, совмещения и анализа космических снимков в НИИ Космических Систем им. A.A. Максимова - филиале Федерального Государственного унитарного предприятия «Государственный космический научно-производственный центр им. М.В. Хруничева»;

• комплекс алгоритмов для автоматического узнавания наблюдаемой местности по ее эталонным изображениям для Федерального Государственного унитарного предприятии «Центральный НИИ автоматики и гидравлики»;

• программное обеспечение автоматической навигации на основе изображений, сформированных в видимом оптическом диапазоне, для мобильного робота, разработанного компанией LG Electronics;

• аппаратура автоматического измерения отклонения линии визирования объекта привязки на местности в системе управления искусственного спутника Земли для Федерального Государственного унитарного предприятия «Научно-производственная корпорация «Государственный оптический институт им. С.И. Вавилова».

Результаты диссертации были также использованы в качестве основы выполнения трех научно-исследовательских работ.

Разработанные программы и алгоритмы автоматического сопоставления, совмещения, обработки и анализа аэрокосмических снимков были сведены в единый каталог, опубликованный в Оптическом журнале в 2007 году.

Использование результатов работы подтверждается прилагаемыми к ней актами.

Достоверность полученных в диссертационной работе результатов обеспечивается корректностью используемых методов исследования, математической строгостью выполненных преобразований и доказательств, а также соответствием сформулированных положений и выводов результатам их экспериментальной проверки.

На защиту выносятся следующие положения и результаты:

1. Геометрические и фотометрические модели наблюдаемого мира и систем формирования видеоданных, положенные в основу предлагаемого объектно-независимого подхода к структурному анализу изображений.

2. Разработанный ортогональный базис обобщенных непроизводных структурных элементов, инвариантных к аффинным и проективным преобразованиям и пригодных для объектно-независимой структурной декомпозиции изображений на разных иерархических уровнях - от анализа взаимного положения и формы объектов сцены до описания текстуры их поверхностей.

3. Методы структурной декомпозиции и описания изображений, единообразно реализуемые в рамках предложенной иерархической модели наблюдаемого мира на каждом ее уровне.

4. Методы измерения параметров аффинных и проективных преобразований на основе аппроксимации изображений разработанными структурными элементами и аналитические выражения для измерения параметров аффинных преобразований, выведенные на основе этих методов.

5. Иерархический метод сопоставления изображений реальных сцен с помощью их структурных описаний, построенных в разработанном базисе обобщенных структурных элементов, на основе объектно-независимых ограничений, следующих из результатов системного анализа моделей пространственной организации наблюдаемого мира и его взаимодействия с элементами естественных и искусственных зрительных систем,

6. Обобщение и развитие в рамках разработанных формальных моделей известных методов теории автоматической обработки и анализа изображений и методов анализа изображений, реализованных в естественных зрительных системах.

Апробация работы. Основные результаты работы были представлены на

• ряде международных конференций (второй и третьей конференциях «Applications of computer systems» в Щецине, Польша; восьми конференциях международного общества SP1E инженеров-оптиков; конференции «Control of oscillation and chaos» института IEEE инженеров по электротехнике и электронике; 29-той европейской конференции ECVP, посвященной визуальному восприятию);

• на шести конференциях и семинарах Всесоюзного, Всероссийского и республиканского уровня;

• на XXXVI и XXXVIII научных и учебно-методических конференциях профессорско-преподавательского и научного состава в Санкт-Петербургском Государственном университете информационных технологий, механики и оптики.

Публикации. По материалам диссертации опубликованы 35 печатных работ, включая 23 статьи в рецензируемых научных журналах (из них 15 статей в изданиях, включенных в список ВАК), 12 докладов на международных научных конференциях, 6 докладов на Всесоюзных, Всероссийских и республиканских конференциях, две статьи в научных сборниках, главу в монографии, полнотекстовую монографию, международный патент.

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановку задач и их математические и алгоритмические решения, получены автором лично, или выполнены под его научным руководством и при непосредственном участии.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы из 160 наименований, 8 приложений. Содержание работы изложено на 318 страницах. В работе содержится 49 рисунков и I таблица.

6.11 Выводы

1. Практическое применение предложенного объектно-независимого СА позволило разрешить ряд сложных проблем при решении важных задач военного, экономического и экологического характера.

2. Полномасштабное применение разработанного метода иерархического СА оказалось наиболее эффективным в задачах, связанных с автоматической обработкой аэрокосмических снимков. Это соответствует выводам, сделанным в главе 1 при выборе направления исследования, и связано с тем, что задачи анализа аэрокосмических снимков характеризуются наибольшей степенью неопределенности обрабатываемой информации.

3. Частичное применение предлагаемого объектно-независимого подхода позволило получить эффективные решения в задачах автоматической навигации автономных мобильных аппаратов на основе сопоставления наблюдаемых изображений окружающей среды с эталонными. Наиболее впечатляющие результаты были получены при решении задачи навигации по аэрокосмическим снимкам местности, поскольку в этом случае анализируемые изображения подвергаются наиболее сложным изменениям, что также соответствует выводам, сделанным в главе 1 при выборе направления исследования. Частичное применение предлагаемого подхода оказалось возможным и эффективным благодаря уменьшению степени неопределенности обрабатываемых видеоданных, что явилось результатом использования дополнительной информации о возможных параметрах траектории движения автономного мобильного аппарата. Важным дополнительным ограничением, использованным при построении системы навигации домашнего робота является отсутствие сезонно-суточных изменений объектов внутри помещений.

4. Частичное применение предлагаемого объектно-независимого подхода позволило получить эффективные решения в задачах автоматизации производственных процессов. Это оказалось возможным и эффективным благодаря уменьшению степени неопределенности обрабатываемых видеоданных, связанному с упрощением модели геометрического преобразования анализируемых изображений производственных сцен, и благодаря исключению возможности их сложных сезонно-суточных изменений.

5. Благодаря объектной независимости разработанный подход к СА изображений может быть эффективен и при решении других практически важных задач. Например, он с таким же успехом был применен при автоматическом распознавании отпечатков пальцев, хотя решение конкретно этой задачи может опираться на очень жесткие и специфические ограничения и реализуется более эффективно специализированными алгоритмами.

6. Интересные области практического использования разработанного подхода могут быть связаны с определением визуального сходства объектов, критерии которого с трудом поддаются формализации.

ЗАКЛЮЧЕНИЕ

В первой главе было продемонстрировано, что классические интегральные методы автоматического распознавания изображений на основе корреляционного подхода или анализа пространства признаков, рассматривающие изображение как единое целое, теряют работоспособность в условиях действия сложных естественных геометрических и фотометрических изменений анализируемых сцен. В то же время объектно-специфичные эвристические методы СА могут быть очень эффективны при решении некоторых конкретных частных задач, в рамках которых эти методы разрабатывались. Однако методы, основанные на наборах частных эвристик, в основном исчерпали свои возможности при решении сложных задач автоматического анализа изображений, характеризующихся высокой неопределенностью сюжета, таких как сопоставление аэрокосмических снимков. Для решения этой проблемы и для увеличения эффективности разработки систем компьютерного зрения, ориентированных на новые сферы практического применения, назрела необходимость создания объектно-независимых подходов к СА изображения, которые абстрагировались бы от частных особенностей конкретных видов изображений и основывались бы только на наиболее общих ограничениях и закономерностях. Именно такая проблема была сформулирована при выполнении настоящей работы, и приведенные выше материалы позволяют сделать вывод, что поставленная цель была достигнута, и при этом был получен ряд важных теоретически и практически значимых результатов.

1. В рамках сформулированной автором проблемы разработан объектно-независимый подход к СА изображений, основывающийся на самых общих ограничениях, обусловленных конструктивными особенностями наиболее часто применяемых систем формирования зрительных образов, и на наиболее

222 общих и существенных в контексте решаемых задач закономерностях пространственной организации наблюдаемого мира. Основой разработанного подхода является алфавит объектно-независимых СЭ, которые единообразно применяются для структурной декомпозиции изображения на разных иерархических уровнях его представления, причем СЭ предложенного алфавита ортогональны, поэтому рассматриваются как элементы ортогонального базиса декомпозиции изображений. Основой разработанного объектно-независимого подхода является также предложенная в диссертационной работе методика иерархического СО изображений на основе элементов ортогонального базиса и методика сопоставления изображений на основе их иерархических СО. Высокая эффективность предложенной методики структурного сопоставления основывается на системном подходе к построению и сопоставлению иерархических СО. С одной стороны, сопоставление СО на разных иерархических уровнях производится с учетом и на основе взаимодействия между ними. С другой стороны, сопоставляемые СО разных иерархических уровней не носят застывшего характера, - они динамически изменяются в процессе выполнения структурного сопоставления. Автор полагает, что успехи, достигнутые при разработке предложенного объектно-независимого подхода, не в последнюю очередь основаны на заимствовании и ч творческой переработке механизмов зрительного восприятия, выявленных нейрофизиологами в живых зрительных системах, эффективно функционирующих в условиях бесконечного многообразия окружающего мира.

2. Разработанный объектно-независимый подход позволяет представить в рамках единой концепции ряд известных понятий, методов и инструментов теории автоматической обработки и анализа изображений и пути анализа изображений, реализованные в естественных зрительных системах, а модификация некоторых известных методов анализа изображения с учетом предлагаемого в настоящей работе подхода позволяет улучшить качество их функционирования. Это свидетельствует о достаточно высокой обобщающей способности разработанного подхода. В частности:

Независимо получено известное из теоретической механики понятие ЦТ, широко используемое в компьютерном зрении. В контексте настоящей работы положение ЦТ объекта соответствует координатам центра содержащегося в изображении этого объекта инвариантного ядра - СЭ первого типа.

В качестве частного результата получены градиентные фильтры, известные как фильтры Превитт, широко используемые для обнаружения границ на изображениях. В контексте настоящей работы положение локального фрагмента границы на изображении соответствует координатам центра содержащегося в нем инвариантного ядра - СЭ второго типа, который эквивалентен по форме фильтру Превитт.

Широко применяемые методы выделения контуров с использованием горизонтальных и вертикальных градиентных фильтров и методы описания контуров на более высоком иерархическом уровне отрезками прямых линий, углами между ними, сегментами дуг представлены с единых позиций - как поиск в изображении СЭ первого и второго типов, принадлежащих предложенному в настоящей работе ортогональному базису.

В качестве частного результата, соответствующего предложенному алгоритму измерения параметров ПП, получен метод оценки изменения ПП изображений поверхностей по скорости «разбегания» текселов. Этот метод используется в живых зрительных системах и в копирующих их системах компьютерного зрения для оценки параметров пространственной ориентации поверхностей объектов.

Используемые в компьютерном зрении и предположительно используемые в живых зрительных системах методы обнаружения границ текселов представлены с единых позиций - как поиск в изображении СЭ второго типа, принадлежащих предложенному в настоящей работе ортогональному базису.

Используемые в компьютерном зрении и предположительно используемые в живых зрительных системах методы обнаружения текселов представлены в рамках предлагаемого в настоящей работе объектно-независимого подхода с единых позиций - как поиск в изображении компактных микрообъектов, соответствующих СЭ первого типа, важными параметрами которых являются геометрические размеры, величина пространственного удлинения, пространственная ориентация, величина и знак контраста относительно фона.

Метод формирования ЗВ, используемый по предположению нейрофизиологов в зрительной системе человека, выводится в качестве следствия предлагаемого объектно-независимого подхода как поиск в изображении локальных объектов с узким пространственным спектром (возможно, СЭ первого типа) при анализе на разных масштабных уровнях.

Модификация известных алгоритмов структурного сопоставления, основанных на поиске и анализе локальных информативных регионов изображения и, в частности, методов SIFT и SURF с учетом разработанного объектно-независимого подхода позволила увеличить надежность функционирования и робастность этих алгоритмов. Модификация заключается в замене привязки ключевых точек к локальным всплескам градиента яркости на привязку к характерным точкам прямолинейных сегментов контуров, углов и дуг, соответствующих согласно предлагаемому подходу структурным элементам первого типа.

Поиск ключевых точек и информативных регионов (структурных элементов) изображений на разных масштабных уровнях, используемый в алгоритмах, основанных на выявлении и анализе локальных информативных точек и регионов, соответствует предлагаемому в настоящей работе принципу иерархической структурированности окружающего мира и связанному с ней поиску СЭ, соответствующих зонам внимания, на разных масштабно-иерархических уровнях.

Ряд методов формирования информативных регионов (в работах, в которых С А выполняется на основе таких регионов), являются частными случаями отдельных иерархических этапов объектно-независимого СА, предложенного автором настоящей работы (построение эллиптических ЗВ, включающих локальный объект; привязка ЗВ к углу прослеженного контура). В то же время, усовершенствование отдельных этапов формирования информативных регионов на основе единого подхода, предложенного автором, позволяет улучшить результаты выделения таких регионов и структурного сопоставления изображений, выполняемого на их основе.

Структурные элементы, основанные на прямоугольных примитивах, аналогичных вейвлетам Хаара, используемые в классификаторах, обучаемых распознаванию лиц, автомобилей и других объектов, соответствуют элементам предложенного автором объектно-независимого базиса, а используемый в этих классификаторах анализ изображений в скользящем окне переменного масштаба соответствует предлагаемому в настоящей работе принципу иерархической структурированности окружающего мира и связанному с ней поиску СЭ, соответствующих зонам внимания на разных масштабно-иерархических уровнях.

Известные методы обработки сигналов (различения и сопровождения целей, измерения положения пика корреляции с субпиксельной точностью) с использованием их параболической аппроксимации или с использованием поиска ЦТ представлены в рамках предлагаемого в настоящей работе объектно-независимого подхода с единых позиций как измерение координат объекта по содержащемуся в его изображении инвариантному параболическому ядру.

Интересно отметить, что некоторые авторы независимыми путями пришли к формулировкам подходов и формулам, идентичным подходам и формулам, представленным в настоящей работе (подробнее см. в Приложении 7).

3. Методы и алгоритмы, разработанные в рамках предложенного подхода, объектно-независимы и робастны, поэтому они представляют ценность при автоматическом анализе изображений, подвергнутых сложным фотометрическим и геометрическим искажениям и характеризующихся высокой априорной неопределенностью сюжета. В частности, они позволяют осуществлять надежное и точное сопоставление, совмещение и совместный пространственно-временной анализ аэрокосмических снимков, сделанных в разные сезоны и с разных ракурсов видео-датчиками различающихся типов: синтезировать панорамные снимки, выполнять стерео-анализ, интеграцию видеоданных, сформированных датчиками разных типов (data fusion), выявление их локальных изменений. Эти методы могут также использоваться при поиске изображений в базах данных, в системах зрительной адаптации автономных мобильных роботов и в системах технического зрения для автоматического управления производством и контроля качества продукции.

4. На основе концепций, методов и алгоритмов, предложенных в диссертационной работе, реализован ряд программно-алгоритмических продуктов, нашедших применение в нашей стране и за рубежом. Результаты работы представляют основу для решения важных исследовательских и хозяйственных задач и нашли практическое применение при реализации ряда исследовательских и хозяйственных проектов, имеющих важное научное и прикладное значение. В частности, они были использованы:

• в НИИ космических систем имени A.A. Максимова - филиале

Федерального Государственного унитарного предприятия

227

Государственный космический научно-производственный центр им. М.В. Хруничева» при разработке аппаратуры, бортового программного обеспечения и программы рабочего функционирования экспериментального образца бортового комплекса оперативной обработки целевой информации микроспутника;

• на Федеральном Государственном унитарном предприятии «Центральный НИИ автоматики и гидравлики» при разработке алгоритмов автоматического узнавания наблюдаемой местности по ее эталонным изображениям;

• на Федеральном Государственном унитарном предприятии «Научно-производственная корпорация «Государственный оптический институт им. С.И. Вавилова» при разработке алгоритмов автоматического измерения отклонения линии визирования объекта привязки на местности в системе управления искусственного спутника Земли;

• в компании "LG Electronics" при разработке алгоритмов автоматической зрительной адаптации автономного мобильного робота.

Практическое применение результатов диссертационной работы подтверждено актами о внедрении, приведенными в Приложении 8.

1. Патент 56-33747 (Япония). Устройство для распознавания изображений / Индзима Тайдзо; Фудзицу к.к. - Заявл. 19.05.73. №48-56047; Опубл. 5.08.81. Токке Кохо, №6-844; МКИ G06K 9/62.

2. Заявка 2035645 (Великобритания). Pattern discrimination method / Hajime industries, Ltd. Заявл. 12.11.79. №7939040; Приор. Япония, 10.11.78. №53/138578; Опубл. 18.06.80. Abstracts №4766; МКИ G06K 9/66; НКИ G4R.

3. Луцив В.Р. Методы и средства управления промышленным оборудованием на основе визуальной информации. Диссертация на соискание ученой степени кандидата технических наук. Ленинградский институт авиационного приборостроения, Ленинград, 1985. 183с.

4. Casasent, D and Furman, A. Sources of correlation degradation // Applied Optics. 1977. V. 16, June. P. 1652-1661.

5. Кейсесент Д. Оптическое когерентное распознавание образов // ТИИЭР. 1979. Т. 67, №5. С. 131-148.

6. D. Casasent and D. Psaltis. Deformation-invariant, space-variant optical pattern recognition // Progress in Optics. 1978. V. XVI. P. 291-356.

7. Qin-sheng Chen, Defrise M., and Deconinck F. Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1994. V. 16, №12. P. 1156-1167.

8. Ту, Дж., Гонсалес, P. Принципы распознавания образов / Пер. с англ. под ред. Ю.И. Журавлева. М.: Мир, 1978. 411 с.

9. А. с. 596979 (СССР). Способ классификации объектов по N признакам / Институт Кибернетики АН Трузинской ССР; Авт. изобрет. Чавчанидзе В.В.; Заявл. 12.06.74. №2073833/18-24; Опубл. В Б.И., 1978, №9; МКИ G06 9/00.

10. А. с. 898466 (СССР). Устройство для считывания и распознавания изображений микрообъектов / Институт биологической физики АН СССР;

11. Авт. изобрет. Агаджаян Ж.М. Заявл. 22.05.80. №2928610/18-24; Опубл. в Б.И., 1982, №2; МКИ G06K 9/00.

12. Заявка 56-27913 (Япония). Схема идентификации контурной информации / Коге гидзюцу инте. Заявл. 5.11.75 №50-132622; Опубл. 27.06.81. Токке Кохо, №6-698; МКИ G06K 9/52.

13. Заявка 57-21750 (Япония). Устройство для распознавания изображений / Ниппон дэнки к.к. Заявл. 27.05.74. №4960099; Опубл. 10.05.82. Токке Кохо, №6-544; МКИ G06K 9/62.

14. Заявка 56-15544 (Япония). Способ выделения характерных признаков линий изображения / Коге гидзюцу инте. Заявл. 14.06.73. №48-90572; Опубл. 10.04.81. Токке Кохо, №6-389; МКИ G06K 9/46.

15. Maitra S. Moment invariants //Proceedings IEEE. 1979. V. 67, №4. P. 697-699.

16. Файн B.C. Опознавание изображений. Основы непрерывно-групповой теории и ее приложения. М.: Наука, 1970. - 283 с.

17. Ling, Н. and Jacobs, D. Shape classification using the inner distance // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2007. V. 29, №2. P. 286-299.

18. Клименко B.Jl. Метод «резиновой маски». Обзор // Зарубежная радиоэлектроника. 1974. №8. С. 3-17.

19. Катинский B.C. Узнавание рукописных знаков с использованием многоуровневого динамического эталона // Вопросы радиоэлектроники. Серия «Электронная вычислительная техника». 1975. №8. С. 59-70.

20. Отчет о работе «Оценка возможностей создания аппаратуры для автоматического измерения отклонения линии визирования объекта привязки на местности». Ленинград, Государственный оптический институт им. С.И. Вавилова, 1992, Per. №22-7/92. 198 с.

21. Жеребко А.К., Луцив В.Р. Согласованная фильтрация в естественных и искусственных нейронных сетях// Оптический журнал. 1999. Т. 66, №9. С. 69-72.

22. Заявка 53-17021 (Япония). Устройство распознавания изображений посредством их пофрагментного сравнения с эталонами / Ямамото

23. Синдзи; Хитати сейсакусе к.к. Заявл. 15.05.72. №47-47204; Опубл. 5.06.78. Токке Кохо, №6-426; МХИ G06K 9/00; НКИ 97(7) В622.

24. Заявка 1577797 (Великобритания). Fingerprint identification method and apparatus / Calspan corporation. Заявл. 21.06.77. №25961/77; Приор. США, 9.07.76. №706728; Опубл. 29.10.80. Abridgments. №4779; МКИ G06K 9/00; НКИ G4R.

25. Патент 4204193 (США). Adaptive alignment for pattern recognition system / Eugene N. Schroeder, Lexington, Ky; IBM Corporation. Заявл. 3.11.78. №957634; Опубл. 20.05.80. Official Gazette. 994 №3; МКИ G06K 9/04; НКИ 340-146/3H.

26. Фукусима Кунихико. Новая система распознавания образов «Неокогнитрон» // Дзидзока гидзюцу. Mech. Automat. 1981. V. 13, №2. Р.31-34 (Япон.).

27. Розенблатт Ф. Принципы нейродинамики (перцептрон и теория механизмов мозга). М.: Мир, 1965. - 480 с.

28. Rumelhart D.E., Hinton G.E., Williams R.J. Learning Internal Representations by Error Propagation // Parallel Distributed Processing. Cambridge, MA, MIT Press. 1986. V. 1. P. 318-362.

29. Rumelhart D.E., Hinton G.E., Williams R.J. Learning Representations by Back-propagating Errors // Nature. 1986. V. 323. P. 533.

30. Farr К.В., Hartman R.L. Optical-digital neural network system for aided target recognition// SPIE Proceedings. April 1995. V. 2485. P.141-154.

31. Alastair McAulay and Ivan Kadar. Image compression and automatic target recognition//Proceedings SPIE. 1989. V. 1099. P. 74-82.

32. Yamada K., Kami H., Tsukumo J., Temma T. Handwritten numeral recognition by multilayered neural network with improved learning algorithm // IJCNN International Joint Conference on Neural Networks. 1989. D.C., USA. P. 11-259 II-266.

33. Yamada Keiji. Improved learning algorithm for multilayer neural networks and handwritten numeral recognition // NEC Research and Development. July 1990. №98. P. 81-88.

34. Fukushima K. Neural network model for selective attention in visual pattern recognition and associative recall // Applied optics. 1 December 1987. V. 26, №23. P. 4985-4992.

35. Интегральные роботы. Сборник статей / Пер. с англ. под ред. Г.Е. Поздняка. В. 1. М.: Мир, 1973.-421 с.

36. Интегральные роботы. Сборник статей / Пер. с англ. под ред. Г.Е. Поздняка. В. 2. М.: Мир, 1975. - 449 с.

37. Фу К. Структурные методы распознавания образов / Пер. с англ. под ред. М.А. Айзермана. -М.: Мир, 1977. 319 с.

38. Гренандер У. Лекции по теории образов. Т. 1. Синтез образов / Пер. с англ. под ред. Ю.И. Журавлева. М.: Мир, 1979. - 384 с.

39. Гренандер У. Лекции по теории образов. Т. 2. Анализ образов / Пер. с англ. под ред. Ю.И. Журавлева. М.: Мир, 1981. - 448 с.

40. N.R. Corby, J.L. Mundy, Р.А. Vrobel. An environment for intelligence analysis // Proceedings: 18th Image Understanding Workshop. 6-8 April, 1988. Cambridge, Massachusetts, USA. P. 342-350.

41. M.A. Fisher, R.C. Bolles. Image understanding research at SRI international // Proceedings: 18th Image Understanding Workshop. 6-8 April, 1988. Cambridge, Massachusetts, USA. P. 53-61.

42. D.T. Lawton, T.S. Levitt, P. Gelband. Knowledge based vision for terrestrial robots // Proceedings: 18th Image Understanding Workshop. 6-8 April, 1988. Cambridge, Massachusetts, USA. P. 103-110.

43. Разработка систем автоматического распознавания целей // Радиоэлектроника за рубежом. Обзоры. НИИЭИР. 1992. Выпуск 4(60). С. 15-36.

44. А.А. Степанов. Развитие искусственного интеллекта в Западной Европе и США // Новости зарубежной науки и техники. Системы авиационного вооружения. 1990. №15. С.26-30.

45. Т. Matsuyama. Expert systems for image processing: Knowledge based composition of image analysis processes // Computer vision, graphics and image processing. October 1989. V. 48, №1. P. 22-49.

46. США. Подсистема обнаружения и алгоритм распознавания целей для перспективных крылатых ракет // Экспресс-информация. Зарубежные авиационные системы. По материалам иностранной печати. 30 апреля 1992. №17. С. 4-5.

47. Е. Beech. Sight Unseen // Flight International. 2 February 1989. V.135, № 4151. P. 34-35.

48. Бочкарев A.M., Почуев С.И. Экспертные системы электронные консультанты летчика (современное состояние проблемы, перспективы) // Зарубежная радиоэлектроника. 1989. №10. С. 42-51.

49. Технология искусственного интеллекта и программного обеспечения СОИ США // Космическая радиоэлектроника и телеметрия. КРТ. 15 июля 1988. №13(387). С.5.

50. D.M. McKeown, Jr. Wilson, A. Harvey, L. Ewixon. Automating knowledge acquisition for aerial image interpretation // Computer vision, graphics and image processing. 1989. V. 46. P. 37-81.

51. M.A. Fisher, T.M. Strax. Recognizing objects in a natural environment: a contextual vision system (CVS) // DARPA image understanding workshop. May 23-26, 1989. Palo Alto, California, USA. P. 774.

52. J.M. De Catrel, J.R. Surdu. Practical recognition of armored vehicles in FUR // SPIE Proceedings. 1995. V. 2485. P.200-208.

53. Barf Ponteau. Vector-to-raster change detection for property assessment // Earth observation magazine. 2005. V. 14, Issue 1. P. 10-13.

54. Aaron K. Shackelford and Curt H. Davis. Automated processing of high resolution satellite imagery for feature extraction and mapping of urban areas // Earth observation magazine. 2005. V. 14, Issue 1. P. 17-19.

55. A.S. Murillo, J.J. Guerrero and C. Sagties. SURF features for efficient robot localization with omnidirectional images // IEEE international conference on robotics and automation. April 2007. Rome, Italy. P. 3901-3907.

56. Woo Yeon Jeong and Kyoung Mu Lee. Visual SLAM with line and corner features // Intelligent Robots and Systems. IEEE/RSJ International Conference. 9-15 October 2006. Beijing, China. P. 2570-2575.

57. A. Huertas, W. Cole and R. Nevatia. Detecting runways in aerial images // Proceedings of Sixth International Conference on Artificial Intelligence AAAI-87. July 13-17, 1987. Seattle, Washington, USA. P. 712-717.

58. Nevatia, R.; Lin, C.; Huertas, A. A system for building detection from aerial images // Automatic extraction of man-made objects from aerial and space images. Basel: Birkhaser Verlag, 1997. P. 77-86.

59. Луцив B.P., Долинов Д.С. Нейронная сеть для сопоставления изображений, реализованная на транспьютерах // V Конференция «Транспьютерные системы и их применение». Москва, Домодедово. 1995. 1 с.

60. Luciv V, Dolinov D, Zherebko A. On the use of the neuron-like and parallel computational architectures for image processing // Proceedings of the 2-ndinternational conference "Applications of computer systems". Szczecin, Poland. 1995. P. 213-214.

61. Luciv V., Dolinov D., Zherebko A., Barabanov N. Projects in massively parallel computing. Annual Report. Electrotechnical University, Center for Parallel Computer Technologies, Saint Petersburg. 1995. P. 5-13.

62. Lutsiv V.R., Dolinov D.S., Zherebko A.K., Novikova T.A. Using artificial neural networks in image processing problems // Journal of optical technology. 1997. V. 64, No.2, P. 112-118.

63. Lutsiv V.R., Allinson N.M., Zherebko A.K., Barabanov N.E. Neural net based images matching // SP1E Proceedings. 2000. V. 3962 "Applications of artificial neural networks in image processing". P. 128-137.

64. Lutsiv. V.R., Malyshev I.A., Pepelka V.A. Automatic fusion of the multiple sensor and multiple season images // SP1E Proceedings. 2001. V. 4380 "Signal Processing, Sensor Fusion, and Target Recognition X". P. 174-183.

65. Lutsiv. V.R., Malyshev I.A., Potapov A.S. Hierarchical structural matching algorithms for registration of aerospace images // SPIE Proceedings. 2003. V. 5238 "Image and Signal Processing for Remote Sensing IX". P. 164-175.

66. Луцив B.P., Лапина H.H., Малышев И.А., Потапов А.С. Особенности сопоставления изображений в задачах определения местоположения мобильного робота // Оптический журнал. 2010. Т. 77, №11. С. 25-34.

67. Lutsiv V., Potapov A., Novikova Т., Lapina N. Hierarchical 3D structural matching in the aerospace photographs and indoor scenes // SPIE Proceedings. 2005. V. 5807 "Automatic Target Recognition XV". P. 455-466.

68. Луцив В.P. Моделирование зон внимания в задачах автоматической декомпозиции и структурного анализа изображений // Оптический журнал. 2007. том 74, №4, С. 59-67.

69. Луцив В.Р., Новикова Т.А. Моделирование зон внимания на основе анализа локальных особенностей текстуры изображений // Оптический журнал. 2008. том 75, №7. С. 55-64.

70. Аверкин А.Н., Луцив В.Р., Потапов А.С. Построение систем локальных инвариантных признаков изображения на основе преобразования Фурье-Меллина // Оптический журнал. 2010. том 77, №1. С. 36-41.

71. Lowe D.G. Distinctive Image Features from Scale-Invariant Keypoints // Int. J. of Computer Vision. 2004. V. 60, No. 2. P. 91-110.

72. Bay H., Tuytelaars Т., Van Gool L. SURF: Speeded Up Robust Features // Proc. 9th European Conf. on Computer Vision. May 7-13, 2006. Graz, Austria. P. 404-417.

73. Maja Rudinac, Boris Lenseigne and Pieter Jonker. Keypoint extraction and selection for object recognition // Proceedings of MVA2009IAPR Conference on Machine Vision Applications. May 20-22, 2009. Yokohama, Japan. P. 191194.

74. Cheng-Chieh Chiang, Jia-Wei Wu and Greg C. Lee. Probabilistic-based semantic image feature using visual words // Proceedings of MVA2009IAPR Conference on Machine Vision Applications. May 20-22, 2009. Yokohama, Japan. P. 386-389.

75. Mapp Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов / Пер. с англ. М.: Радио и связь, 1987. 400 с.

76. Луцив В.Р. Визуальные системы роботов. Глава VIII / Мясников В.А., Игнатьев М.Б., Покровский A.M. Программное управление оборудованием.-2-е изд.-Л.: Машиностроение, 1984. С. 354-381.

77. Луцив. В.Р. Методы обработки изображений при управлении роботами в ГАП / Сб. «ЭВМ в проектировании и производстве». Вып.2 /Под. ред. Г.В. Орловского. -Л.: Машиностроение, 1985. С. 154-162.

78. Луцив В.Р. Создание гибких оптических информационных систем для ГАП // Материалы краткосрочного семинара «Гибкие автоматизированные производства в радиоаппарато- и приборостроении». Л.: ЛДНТП, 1984. С. 31-34.

79. Луцив В.Р., Постнова М.Н. Алгоритмы распознавания изображений в JT1C // Материалы краткосрочного семинара «Опыт разработки и эксплуатации АСУ ТП». Л.: ЛДНТП, 1985. С. 46-48.

80. Луцив В.Р., Ерош И.Л. Отчет по НИР-635 «Исследование по созданию адаптивного робототехнического модуля ГАП повышенной надежности». Промежуточный. Инв.№02850003367, №Г.Р.О1840043500, ЛИАП, Ленинград, 1984. 98 с.

81. Луцив В.Р. К вопросу структурного анализа изображений / Сб. Иконика/ книга VI / Труды ГОИ. 1992. Т. 79, Вып. 213. С.-Петербург: ГОИ им. С.И. Вавилова. С. 65-71.

82. Lutsiv V., Malyshev I., Novikova T. Hierarchical approaches to analysis of natural textures // SPIE Proceedings. 2004. V. 5426 "Automatic Target Récognition XIV". P. 144-154.

83. Красильников H.H. Цифровая обработка 2D- и ЗР-изображений: учебное пособие. СПб.: БХВ-Петербург, 2011. - 608 с.

84. В. Julesz. Textrons. The elements of textural perception, and their interactions // Nature. V. 290. P. 91-97.

85. Луцив В.Р. Применение обобщенных эталонных функций в естественных и искусственных зрительных системах // Оптический журнал. 2007. Т. 74, № 11. С. 47-52.

86. Луцив В.Р. Объектно-независимый подход к структурному анализу изображений // Оптический журнал. 2008. Т. 75, №11. С. 26-34.

87. McCulloch, W.S., Pitts, W. A logical calculus of the ideas immanent in nervous activity // Bull, of Math. Biophys. V. 5. P. 115-133.

88. A.V. Slavutskaya, E.S. Mikhailova, V.A. Konishev. Human visual evokedpotentials to bars and cross-like figures // Perception. 2006. V. 35 (Supplement, th

89. ECVP 2006. 29 European conference on visual perception, St Petersburg 20-25 August 2006. Abstracts). P. 99.

90. Завалишин H.B., Мучник И.Б. Модели зрительного восприятия и алгоритмы анализа изображений. М.: Наука, 1974. - 344 с.

91. Л. Рабинер, Б. Гоулд. Теория и применение цифровой обработки сигналов / Пер. с англ. под ред. Ю.Н. Александрова. М.: Мир, 1978. - 848 с.

92. Г. Корн, Т. Корн. Справочник по математике для научных работников и инженеров. Определения, теоремы, формулы. М.: Наука. Главная редакция физико-математической литературы, 1978. - 832 с.

93. И.С. Градштейн и И.М. Рыжик. Таблицы интегралов, сумм, рядов и произведений / Издание 4-е, переработанное. М.: Государственное издательство физико-математической литературы, 1963. - 1108 с.

94. Г .Б. Двайт. Таблицы интегралов и другие математические формулы. С.Петербург: Издательство и типография АО ВНИИГ им. Б.В. Веденеева, 1995.- 176 с.

95. Р. Гонсалес, Р. Вудс. Цифровая обработка изображений / Пер. с англ. под ред. П.А. Чочиа. М.: Техносфера, 2006. - 1072 с.

96. Л. Шапиро, Дж. Стокман. Компьютерное зрение / Пер. с англ. под ред. С.М. Соколова. М.: Бином. Лаборатория знаний, 2006. - 752 с.

97. Lutsiv V.R., Malyshev I.A., Potapov A.S. Bringing aerospace images into coincidence with sub-pixel accuracy by the local-correlation method // Journal of Optical Technology. May 2004. V. 71, No.5. P. 293-297.

98. Yardimci Yacemin; Cadzow, James A. High resolution algorithms for locating closely spaced objects via infrared focal-plane arrays // Optical engineering. 1994. V. 33, No. 10. P. 3315-3323.

99. Zimmer, Marilyn F.; Tsai, Ming-Jer. Tracking a single cluster of closely spaced objects using one and two passive optical sensors // Proceedings of SPIE. 1992. V. 1698. P. 268-280.

100. Stengel, Karl C. Discrimination of closely spaced objects using infrared sensors // Proceedings of SPIE. 1994. V. 2232. P. 340-348.

101. Давид Форсайт и Жан Понс. Компьютерное зрение. Современный подход / Пер. с англ. под ред. А.В. Назаренко. М. : Издательский дом «Вильяме», 2004. - 928 с.

102. Задачи распознавания образов в робототехнических системах / И.Л. Ерош. В кн. Проблемы и перспективы оптических методов обработки изображений. Тематический сборник. - Л.: ФТИ АН СССР, 1984. С. 75-88.

103. Ерош ИЛ. Применение преобразований Крестенсона для определения параметров положения объектов по плоским проекциям // Техническая кибернетика. 1981. №3. С. 46-52.

104. Луцив В.Р. Метод итеративной компенсации проективных искажений изображений // Оптический журнал. 2009. Т. 76, №7. С. 53-60.

105. Гуревич О.Б. Основы теории алгебраических инвариантов. М.; Л.: Гос. изд. техн.-теорет. лит-ры, 1948. - 408 с.

106. Canny, J. A computational approach to edge detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986. 8(6). P. 679-698.

107. Deriche, R. Optimal edge detection using recursive filtering // Proc. 1st Int. Conf. Computer Vision. June 8-11, 1987. London, England. P. 501-505.

108. Потапов A.C. Технологии искусственного интеллекта. Учебное пособие. -С.-Петербург: СПбГУ ИТМО, 2010. 218 с.

109. Jeff A. Bilmes. A gentle tutorial of the EM algorithm and its application to parameter estimation for Gaussian mixture and hidden Markov Models // International computer science institute. Berkeley, California. April 1998. 15 p.

110. Bradski R. Computer vision face tracking for use in perceptual user interface // Intel Technology Journal. 1998. Q2. 15 p.

111. Харалик P.M. Статистический и структурный подходы к описанию текстур // ТИИЭР. 1979. Т. 67, №5. С. 98-120.

112. Тетерин В.В., Павлова В.А. Анализ пространственной информации с использованием интегральных инвариантов // ОМП. 1984. №7. С.11.

113. J. Мао and А. К. Jain. Texture classification and segmentation using multiresolution simultaneous autoregressive models // Pattern Recognition. 1992. V. 25, №2. P. 173-188.

114. F.S. Cohen, Z. Fan. Classification of rotated and scaled texture images using Gaussian Markov random field models // IEEE Transactions on Pattern Analysis and Machine Intelligence. PAMI-13. 1991. №2, P. 192-202.

115. Chang, T. and Kuo C.-C. J. Texture analysis and classification with tree-structured wavelet transform // IEEE Transactions on Image Processing. October 1993. V. 2, Issue 4. P. 429-441.

116. J. M. Francos, A. Z. Meiri. A Unified Texture Model Based on a 2-D Wold Like Decomposition // IEEE Transactions on Signal Processing. August 1993. P. 2665-2678.

117. Laws, K. Rapid texture identification // SPIE Image Processing for Missile Guidance. 1980. V. 238. P. 376-380.

118. Vistnes, R. Texture models and image measures for segmentation // Proceedings: 18th Image Understanding Workshop. 6-8 April, 1988. Cambridge, Massachusetts, USA. P. 1005-1015.

119. Kohonen, T. Self organization and associative memories. Berlin: Springer, 1984.-255 p.

120. Benoit B. Mandelbrot. The fractal geometry of nature. San Francisco: Freeman, 1983.-468 p.

121. J.J. Hopfield and D.W. Tank. Neural computation of decisions in optimization problems // Biological Cybernetics. July 1985. V. 52, No. 3. P. 141-152.

122. Parvin, B. and Medioni, G. A constraint satisfaction network for matching 3D objects // IJCNN International Joint Conference on Neural Networks. 1989. Washington, DC, USA. P. 11-281 11-286.

123. Слэйгл, Дж. Искусственный интеллект: подход на основе эвристического программирования / Дж. Слэйгл. Пер. с англ. - М.: Мир, 1973. - 319 с.

124. Carpenter Gail A. and Grossberg Stephen. ART-2: self-organization of stable category recognition codes for analog input patterns // Applied Optics. December 1, 1987. V. 26, No. 23. P. 4919-4930.

125. Liu F., Pickard R.W. Periodicity, directionality, and randomness: Wold features for image modeling and retrieval // IEEE Trans, on PAMI. 1996. V.18, No.7. P.722-733

126. Daniel Scharstein, Richard Szeliski. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms // International Journal of Computer Vision. 2002. V. 47, No. 1-3. P. 7-42.

127. C. Harris and M. Stephens. A combined corner and edge detector // Proceedings of the 4-th Alvey Vision Conference. Manchester, UK, 1988. P 147-151.

128. Mikolajczyk, K. and Schmid, C. Scale & affine invariant interest point detectors // International Journal on Computer Vision. 2004. 60(1). P. 63-86.

129. T. Lindeberg. Feature detection with automatic scale selection // International Journal of Computer Vision. 1998. 30 (2). P. 77-116.

130. Lindeberg, Т. and Garding, J. Shape-adapted smoothing in estimation of 3-D shape cues from affine deformations of local 2-D brightness structure // Image and Vision Computing. 1997. 15(6). P. 415^*34.

131. Kadir, Т., Zisserman, A., and Brady, M. An affine invariant salient region detector // Proceedings of the 8-th European Conference on Computer Vision, Prague, Czech Republic, 2004. P. 404-416.

132. Tinne Tuytelaars and Luc Van Gool. Matching Widely Separated Views Based on Affine Invariant Regions // International Journal of Computer Vision. 2004. 59(1). P. 61-85.

133. J.Matas, O. Chum, M. Urban, and T. Pajdla. Robust wide baseline stereo from maximally stable extremal regions // BMVC. 2002. P. 384-393.

134. K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. Kadir and L. Van Gool, A comparison of affine region detectors // International Journal of Computer Vision. 2005. 65(1/2). P.43-72.

135. J.M. Morel and G.Yu. ASIFT: A New Framework for Fully Affine Invariant Image Comparison // SIAM Journal on Imaging Sciences. 2009. V. 2, Issue 2. P. 438-469.

136. G. Yu and J.M. Morel. A Fully Affine Invariant Image Comparison Method // Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). Taipei, 2009. P. 1597-1600.

137. Paul Viola and Michael J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features // Proceedings of IEEE Computer Vision and Pattern Recognition Conference. 8-14 December, 2001. Kauai, HI, USA. P. 1501 -1-518.

138. Freeman W.T., Tanaka K., Ohta J., Kyuma K. Computer vision for computer games // Proceedings 2nd International Conference on Automatic Face and Gesture Recognition. 1996. Killington, VT, USA. P. 100-105.

139. Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. - 584 с.

140. Вадим Луцив. Автоматический анализ изображений. Объектно-независимый структурный подход. Саарбрюккен, Германия: Ламберт Академик Паблишинг, 2011. - 300 с.

141. Baumberg A. Reliable feature matching across widely separated views //Proceedings of 2000 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. June 13-15 2000. SC, USA. Volume 1. P. 774 -781.

142. Потапов A.C. Распознавание образов и машинное восприятие: Общий подход на основе принципа минимальной длины описания. -СПб.: Политехника, 2007. -548 с.

143. Потапов Алексей. Автоматический анализ изображений и распознавание образов. Подход на основе принципа репрезентационной минимальной длины описания. Саарбрюккен, Германия: Ламберт Академик Паблишинг, 2011. - 292 с.

144. Визильтер Ю.В., Желтов С.Ю., Бондаренко А.В. и др. Обработка и анализ изображений в задачах машинного зрения: Курс лекций и практических занятий. М.: Физматкнига, 2010. - 672 с.

145. Ascani A., Frontoni Е., Mancini A., Zingaretti P. Feature group matching for appearance-based localization // IEEE/RSJ International Conference on Intelligent Robots and Systems. Nice, France, Sept. 22-26, 2008. P.3933-3938.

146. Casetti A., Frontoni E., Mancini A., and others. A visual global positioning system for unmanned aerial vehicles used in photogrammetric applications // Journal on Intelligent Robot Systems. 2011. V. 61. P. 157-168.