автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Модели и методы распознавания динамических образов на основе пространственно-временного анализа последовательностей изображений



ФАВОРСКАЯ МАРГАРИТА НИКОЛАЕВНА

МОДЕЛИ И МЕТОДЫ РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ ОБРАЗОВ НА ОСНОВЕ ПРОСТРАНСТВЕННО-ВРЕМЕННОГО АНАЛИЗА ПОСЛЕДОВАТЕЛЬНОСТЕЙ ИЗОБРАЖЕНИЙ

05.13.17 - «Теоретические основы информатики»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора технических наук

О 3 СО 2011

Красноярск - 2011

4843551

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева», г. Красноярск

Научный консультант: доктор физико-математических наук, профессор

Попов Алексей Михайлович

Официальные оппоненты: доктор технических наук, профессор

Кашкин Валентин Борисович

доктор технических наук, профессор Киричук Валерий Сергеевич

доктор физико-математических наук, профессор Рязанов Владимир Васильевич

Ведущая организация ФГУП «Государственный научно-

исследовательский институт авиационных систем», г. Москва

Защита состоится 18 февраля 2011 года в 14 часов на заседании диссертационного совета Д 212.099.11 при Сибирском федеральном университете по адресу: 660074, г. Красноярск, ул. акад. Киренского, 26, ауд. УЖ 115.

С диссертацией можно ознакомиться в научной библиотеке Сибирского федерального университета по адресу: г. Красноярск, ул. акад. Киренского, 26, Г274.

Автореферат разослан 12 января 2011 г.

Ученый секретарь диссертационного совета

Л. И. Покидышева

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Существует класс задач, где особую важность приобретает информация о структуре и движении объектов сцены (видеонаблюдение в закрытых помещениях, в местах большого скопления людей, управление движением робототехнических комплексов, наблюдение за движением транспортных средств и т.д.). Последовательности изображений являются сложным информационным ресурсом, структурированным в пространстве и во времени и объединяющим исходную информацию в виде многомерных сигналов, форму ее представления в компьютере и физические модели динамических объектов, явлений, процессов.

Анализ пространственно-временных данных позволяет выявлять не только статические, но и динамические признаки объектов наблюдения. В этом случае задачу распознавания можно определить как классификацию совокупностей состояний или как классификацию траекторий, решение которой не может быть найдено классическими методами распознавания, т.к. временные переходы могут порождать преобразования изображений, не описываемые известными аналитическими зависимостями. Также наряду с задачей распознавания динамических объектов возникают задачи распознавания активных действий объектов и событий сцены, например, для выявления несанкционированных действий в местах скопления людей или определении жанра сцены для индексации в мультимедийных базах данных. Если рассматривать задачу распознавания объектов и событий по последовательностям изображений в виде единого процесса, то наиболее целесообразным является системный иерархический подход с элементами параллельной обработки на каждом уровне.

Первые работы исследователей из США, Швеции, Франции, Японии по обработке последовательностей изображений и распознаванию динамических объектов были опубликованы в конце 1980-х гг. Позже аналогичные работы стали появляться и в России: в Москве (МГУ, МФТИ), С-Петербурге (СПбГУ, ГУАП), Самаре (СГАУ), Рязани (РГРУ), Новосибирске (НГУ), Томске (ТГПУ) и других городах. Следует отметить особый вклад выдающихся российских ученых, занимающихся в данной области, таких, как академик РАН, д.ф.-м.н. Ю. И. Журавлев, член-корреспондент РАН, д.т.н. В. А. Сойфср, д.т.н. Н. Г.Загоруйко, д.т.н. Л. М. Местецкий, д.т.н. В. П. Пяткин, д.т.н. Б. А. Алпатов и другие. На сегодняшний день достигнуты значительные успехи при построении систем видеонаблюдения, систем аутентификации личности по изображениям и т. д. Однако существуют нерешенные проблемы при распознавании динамических образов из-за сложности и многообразия поведения объектов реального мира. Таким образом, данное направление нуждается в совершенствовании мо- V дел ей, методов и алгоритмов распознавания динамических объектов и со- \ бытий по, последовательностям изображений в различных диапазонах электромагнитного излучения.

Целью диссертационной работы является повышение эффективности распознавания динамических объектов, их активных действий и событий в сложных сценах по последовательностям изображений для систем наружного и внутреннего видеонаблюдения.

Достижение цели предполагает решение следующих основных задач:

- Провести анализ методов оценки движения и нахождения признаков движения объектов по набору последовательных изображений, методов сегментации динамических объектов и семантического анализа сложных сцен, а также подходов к построению систем распознавания и слежения за динамическими объектами различного целевого назначения.

- Разработать модели распознавания статических и динамических образов, основываясь на иерархической процедуре обработки временных рядов, в частности, последовательностей изображений.

- Разработать метод оценки движения динамических структур по пространственно-временной информации, полученной в различных диапазонах электромагнитного излучения, позволяющий выбирать методы сегментации в зависимости от характера движения и, тем самым, выполнять адаптивное распознавание динамических образов.

- Создать модель многоуровневого движения динамических структур в сложной сцене, позволяющую на основе полученных одометриче-ских данных строить траектории движения динамических структур и выдвигать гипотезы о существовании визуальных объектов на основе анализа предыстории движений.

- Разработать комплексный алгоритм сегментации, учитывающий совокупность выявленных признаков динамических структур при произвольных направлениях перемещений и перекрытий проекций объектов, основываясь на модели многоуровневого движения в сложных сценах.

- Разработать метод распознавания динамических образов, представленных в терминах формальной грамматики и видеографа сцены, на основе метода коллективного принятия решений, а также методы распознавания активных действий и событий в сложной сцене, использующие графы активных действий и событий (расширяющие видеограф сложной сцены) и байесовскую сеть.

- На основе разработанных методов и моделей спроектировать экспериментальные системы различного назначения, предназначенные для обработки последовательностей изображений объектов, характеризующихся фиксированным и произвольным набором 2£>-проекций, и распознавания динамических образов в сложных сценах.

Методы исследований. При выполнении диссертационной работы использовались методы теории распознавания образов, дескриптивной теории распознавания изображений, теории обработки сигналов, методы векторного анализа и тензорного исчисления, а также теория групп, теория формальных грамматик.

Научная новизна диссертационной работы состоит в разработке нижеприведенных теоретических положений, совокупность которых является новым научным достижением в области распознавания динамических образов на основе пространственно-временного анализа последовательностей изображений.

1. Построена новая модель преобразования динамических изображений, отличающаяся расширенными иерархическими уровнями сегментации (по локальным и глобальным векторам движения) и распознавания (объектов и их активных действий), позволяющая находить целевые признаки для статических сцен с движущимися объектами и динамических сцен на основе понятия максимального динамического инварианта.

2. Расширена дескриптивная теория распознавания изображений введением четырех новых принципов: учет цели распознавания на начальных стадиях анализа, распознавание поведения динамических объектов, оценка предыстории, переменное количество объектов наблюдения, что позволяет повысить качество распознавания движущихся объектов за счет повышения информативности исходных данных.

3. Впервые разработан адаптивный пространственно-временной метод оценки движения в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения, позволяющий извлекать признаки движения на различных иерархических уровнях, сочетая достоинства обоих типов последовательностей изображений.

4. Разработана новая модель многоуровневого движения, позволяющая проводить декомпозицию сцены на отдельные уровни, не ограничивающаяся общепринятым разделением на передний план и фон, что позволяет выполнять более достоверную сегментацию изображений объектов в сложных перспективных сценах.

5. Обоснован и построен новый обобщенный алгоритм сегментации динамических объектов с применением множества признаков, включающих предыстории поведения, и позволяющий отслеживать как динамику отдельных визуальных объектов, так и взаимодействия объектов в сцене (перекрытия проекций, появление/исчезновение объектов из поля зрения видсодатчика) на основе групповых преобразований и впервые предложенном анализе общей части проекций объекта (взятых из двух соседних кадров) с применением интегральных и инвариантных оценок.

6. Модифицирован метод коллективного принятия решений, отличающийся нахождением признаков межкадровых проекций объекта и позволяющий учитывать предысторию наблюдений для распознавания активных действий и событий на основе байесовской сети, а также предложены четыре вида псевдо-расстояний для нахождения меры сходства динамических образов с эталонными динамическими образами в зависимости от представления динамических признаков.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения при мониторинге автотранспортных средств при многополосном движении в рамках государственного проекта «Безопасный город», в системах автоматизированного контроля различных технологических производственных процессов по видеопоследовательностям, в системах наружного видеонаблюдения и видеонаблюдения в закрытых помещениях, а также в системах идентификации объектов на аэрофотоснимках и распознавании ландшафтных изображений. На основе диссертационных исследований разработаны программные комплексы обработки и распознавания динамических объектов, применяемые в различных сферах деятельности.

Реализация результатов работы. Семь разработанных программ зарегистрированы в Российском реестре программ для ЭВМ (перечень прилагается в списке основных работ автора).

Получены акты о передаче и использовании алгоритмического и программного обеспечения для распознавания корпусов холодильников на сборочной линии (ОАО КЗХ «Бирюса», г. Красноярск), для идентификации изображений объектов на ландшафтных изображениях (Концерн радиостроения «Вега», ОАО КБ «Луч», г. Рыбинск Ярославской области), для сегментации лесной растительности по набору последовательных аэрофотоснимков (ООО «Альтекс Геоматика», г. Москва), для обнаружения пластин государственных регистрационных знаков автотранспортных средств в видеопоследовательностях при многопоточном движении и повышении качества их отображения (УГИБДД ГУВД по Красноярскому краю, г. Красноярск).

Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении занятий по дисциплинам «Интеллектуальная обработка данных», «Компьютерные технологии в науке и образовании», «Теоретические основы цифровой обработки изображений», «Распознавание образов», «Нейронные сети», «Алгоритмы обработки изображений», «Алгоритмы обработки видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете имени академика М.Ф. Решетнева (СибГАУ).

Достоверность полученных в диссертационной работе результатов обеспечивается корректностью используемых методов исследования, математической строгостью выполненных преобразований, а также соответствием сформулированных положений и выводов результатам их экспериментальной проверки.

Основные положения, выносимые на защиту:

1. Модель обработки и распознавания динамических образов в сложных сценах, существенно расширенная иерархическими уровнями сегментации и распознавания не только объектов, но и их активных действий.

2. Расширение дескриптивной теории распознавания изображений для временных рядов (последовательностей изображений) за счет повышения информативности анализируемых данных не только в пространственной области, но и по временной составляющей.

3. Адаптивный пространственно-временной метод оценки движения на основе тензорных представлений локальных 3D объемов в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения.

4. Модель многоуровневого движения в сложных сценах, расширяющая декомпозицию перспективных сцен на отдельные уровни для более достоверного анализа траекторий движения объектов.

5. Обобщенный алгоритм сегментации динамических объектов, позволяющий на основе групповых преобразований и предложенных интегральных и инвариантных оценок выявлять перекрытия проекций объектов, появление/исчезновение объектов из поля зрения видеодатчика.

6. Методы распознавания динамических образов на основе модифицированного метода коллективного принятия решений и нахождения псев-до-расстояний в метрических пространствах, а также активных действий и событий в сложных сценах.

Апробация работы. Основные положения и результаты диссертационных исследований докладывались и обсуждались на 10 международной конференции «Pattern Recognition and Image Analysis: Modern Information Technologies», (S.-Petersburg, 2010), международном конгрессе «Ultra Modern Telecommunications and Control Systems ICUMT2010» (Moscow, 2010), XII международном симпозиуме по непараметрическим методам в кибернетике и системному анализу (Красноярск, 2010), II международном симпозиуме «Intelligent Decision Technologies - IDT 2010» (Baltimore, 2010), III международной конференции «Automation, Control and Information Technology - ACIT-ICT'2010» (Novosibirsk, 2010), 10-й, 11-й и 12-й международных конференциях и выставках «Цифровая обработка сигналов и ее применение» (Москва, 2008 - 2010 гг.), X международной научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2009 г.), IX международной научно-технической конференции «Кибернетика и высокие технологии XXI века» (Воронеж, 2008), всероссийской конференции «Модели и методы обработки изображений» (Красноярск, 2007 г.), на X, XI и XIII международных научных конференциях «Решетневские чтения» (Красноярск, 2006, 2007, 2009 гг.), а также на научных семинарах Государственного университета аэрокосмического приборостроения (С-Петербург, 2009 г.), Института вычислительного моделирования СО РАН (Красноярск, 2009 г.), Института систем обработки изображений РАН (Самара, 2010).

Публикации. По результатам диссертационного исследования опубликовано 53 печатных работы, из них 1 монография, 26 статей (из них 14

статей - в изданиях, включенных в список ВАК, 2 статьи - в изданиях, перечисленных в «Thomson Reuters: Science Citation Index Expanded / Conference Proceedings Citation Index»), 19 тезисов докладов, 7 свидетельств, зарегистрированных в Российском реестре программ для ЭВМ, а также 3 отчета по НИР.

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановку задач и их математические и алгоритмические решения, получены автором лично, или выполнены под его научным руководством и при непосредственном участии. Были защищены две диссертации на соискание ученой степени кандидата технических наук, при выполнении которых автор был официальным научным руководителем.

Структура работы. Работа состоит из введения, шести глав, заключения, библиографического списка. Основной текст диссертации содержит 326 страниц, изложение иллюстрируется 63 рисунками и 23 таблицами. Библиографический список включает 232 наименования.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность диссертационной работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практическая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе представлена классификация задач обработки и распознавания изображений, методов оценки движения, алгоритмов сегментации движущихся объектов, методов интерпретации событий, а также рассматриваются существующие коммерческие аппаратно-программные комплексы и исследовательские разработки для систем видеонаблюдения.

Существуют три класса задач обработки и распознавания визуальной информации, классифицируемой как статические изображения, статические сцены с элементами движения и временные последовательности изображений. Последний случай является самым сложным, т. к. обладает большей информативной структурой, а динамические свойства объектов расширяют классическую постановку задач обработки и распознавания изображений, что делает непригодным использование ряда разработанных и хорошо зарекомендовавших себя классических методов распознавания.

Методы оценки движения в последовательностях изображений разделяются на сопоставительные и градиентно-ориентировапные методы для различных групп физических процессов, объектов и ситуаций (табл. 1). Большинство методов основано на предположении, что локализация шаблонов движения проведена априори до распознавания и требуется установить соответствие шаблонов для оценки расположения, скорости движения и масштаба шаблона на изображении. Реализации других методов требует определения точных границы объектов и расположение их частей, как правило, для сцен с простым фоном.

Возможность автоматического формирования классов движения объектов по тестовым выборкам является сложной проблемой. Движения в последовательностях изображений с учетом их повторяемости во времени и пространстве можно разделить на временные текстуры, активные действия, события и сложные движения (табл. 2).

Таблица 1

Классификация методов оценки движения

Сопоставительные методы [ Градиентно-ориентированные методы

Динамические текстуры

Метод анализа пространственно-временных фракталов Анализ па основе авторегрессионных функций

Объекты с конечным набором проекций

Метод вычитания фона* Метод сопоставления блоков* Анализ функций плотности движения* Шаблоны движений Метод отслеживания краевых точек Метод слежения за точечными особенностями Метод построения траекторий движения объектов

Объекты с произвольным набором проекций

Метод вычитания фона* Метод сопоставления блоков* Метод отслеживания краевых точек Метод слежения за точечными особенностями Метод оптического потока Метод построения глобальных и локальных траекторий движения объектов и их частей

Активные действия и события

Метод выявления относительных движений Прогнозирование траекторий движения объектов Метод построения графов событий сцены

Символом «*» помечены быстродействующие, но менее точные методы оценки движения.

Таблица 2

Классы движения

Название Краткое описание Области применения

Временные текстуры Статистические регулярности в пространстве и времени Анализ турбулентности жидкостей и газов, распознавание ландшафтных изображений, анализ движения небольших однотипных объектов

Активные действия Повторяемые во времени структуры Сопровождение объектов, системы интерактивного взаимодействия человек-компьютер (при наличии стационарной видеокамеры)

События Простые движения, не повторяющиеся во времени и пространстве Анализ действий людей, поиск в цифровых библиотеках, анализ спортивных матчей, отслеживание чрезвычайных ситуаций, происшествий различного рода

Сложные движения Динамические многоуровневые движения Анализ сложных сцеп при сопровождении объектов, навигации роботов, отслеживании чрезвычайных ситуаций (подвижная видеокамера)

Известные методы сегментации движущихся объектов условно можно разделить на три группы: сегментация с учетом априорных сведений об ожидаемых размерах и скоростях движения объектов, сегментация объектов, изображения которых описываются аффинной (реже проективной) группой преобразований, вероятностная сегментация объектов как задача с недостающими данными. Наиболее сложными проблемами являются появление и исчезновение объектов из поля зрения видеодатчика, перекрытия изображений объектов, «быстрые» движения объектов, многоуровневые движения в сцене.

Семантический анализ сцен развивается в трех основных направлениях: обнаружение необычных действий, категоризация действий человека и распознавание событий в сцене. Распознавание событий является ключевым моментом для семантического описания сцены. Одним из наиболее. широко применяемых подходов является категоризация объектов и сцен с помощью «портфеля слов» {Bag-of-Words), В ряде работ события моделируются последовательностями гистограмм, построенных на основе визуальных признаков. Такие последовательности интерпретируются как строки (фразы), в которых отдельная гистограмма является символом. Классификация строк выполняется машиной опорных векторов. Словарь формируется путем кластеризации точек в пространстве признаков по методу к-средних. Размер словаря обычно определяется жанром сцены и определяется эмпирическим путем. Признаки вычисляются в отдельных кадрах, что уменьшает вычислительные затраты и сделает их более простыми по структуре, однако такой подход не учитывает временные связи между различными признаками, что может привести к потере значимой информации.

Наиболее часто задача распознавание динамических объектов встречается в системах безопасности при распознавании лиц, несанкционированного проникновения людей на охраняемую территорию, в системах распознавания жестов с целью управления техническими средствами, в системах мониторинга транспортных средств различного назначения. Сравнительная характеристика некоторых коммерческих систем, предназначенных для распознавания объектов техногенного происхождения и использующих программно-аппаратные решения, приведена в табл. 3.

Завершается первая глава постановкой задачи пространственно-временной обработки последовательностей изображений. Низший уровень (I этап) характеризуется значительной изменчивостью формы регионов, по временным признакам регионов выявляется многоуровневое движение-в сцене. Отдельные регионы изображения УЯ объединяются в пространственно-временные структуры вЯ/д, низкого уровня:

где вР/; - множество пространственных признаков регионов; ТР^ - множество временных признаков регионов; 1ТЛ - множество отношений соседства регионов.

Средний уровень обработки пространственно-временной структуры вИж целесообразно представить в виде двух этапов: этап выявление проекций визуальных объектов УОр (II этап) и этап БИнормализация проекций визуальных объектов УОд> (Ш этап):

$Кг'М1={УОг{8¥р,Т¥р}Л0Е} , 8&,ш={\0„{8¥тТЕ11}, 1Т0£} , где - множество пространственных признаков произвольных проекций объектов; ТЕр - множество временных признаков произвольных проекций объектов; ТТ0е - множество активных действий объектов; 8ГЛ.- - множество пространственных признаков нормализованных проекций объектов; ТРЛ- -множество временных признаков нормализованных проекций объектов.

Таблица 3

Характеристика систем распознавания динамических объектов

Название системы Основные функциональные характеристики

Программно-аппаратная система «Вокорд» (РФ) Мониторинг дорожного движения на городских улицах и автомагистралях, ситуация на парковках, идентификация лиц в толпе

Программно-аппаратный комплекс «Fore View» (РФ) Предназначен для организации безопасности на территориаль-но-распределёш1ых объектах

Программно-аппаратный комплекс «VideoNet» (РФ) Видеонаблюдепие и аудиорегистрация, возможна интеграция с системами контроля доступа, определения автомобильных номеров, охранно-пожарной сигнализации, системой «Чек-ТВ» и другими системами

Аппаратно-программный комплекс «Ураган» (РФ) Предназначен для регистрации номерных знаков автотранспортных средств при 4 полосах движения и архивации данных на сервере

Аппаратно-программный комплекс «Поток» (РФ) Предназначен для считывания государственных регистрационных знаков движущихся транспортных средств и их автоматической проверки по базам данных (обслуживание платных парковок, терминалы оплаты проезда, пограничный контроль)

Распределенная интерактивная система «DIVA» (США) Мониторинг дорожного движения на городских улицах и автомагистралях, сопровождение людей на улицах и в закрытых помещениях, идентификация лиц

Система «Tennis analyzer» (США) Мониторинг теннисных матчей с возможностью семантического анализа игровых ситуаций

Следует различать объекты техногенного (с конечным количеством проекций) и антропогенного (с произвольным количеством проекций) происхождения. В последнем случае процедура выявления пространственно-временных признаков значительно усложняется. Учет пространственной составляющей дает возможность выявить множество активных действий объектов (см. табл. 2). Приведение проекций объектов к нормализованному виду позволяет упростить процедуру распознавания, а обнаруже-

ние активных действий и событий способствует повышению достоверности распознавания.

Высший уровень обработки предполагает отслеживание сложных событий, которые инициируют сигналы о внештатных ситуациях и рекомендации их устранения. Высший уровень обработки пространственно-временной структуры вИя! сцены включает этап распознавания ди-

намических и статических образов УР (IV этап) и этап распознавания жанра сцены, выявление сложных событий УЕ при длительном видеонаблюдении (V этап):

8Крж={УР{8Г0,ТР0},1Т£} , 8^я,={УЕ{УР, 1ТЕ} где ЯР« - множество пространственных признаков объектов; Т¥0 - множество временных признаков объектов; \ТГ - множество событий сцены.

Представленная постановка задачи пространственно-временной обработки сложной сцены является системным многоуровневым подходом с идентичной формой описания пространственно-временных структур, но с принципиально различным содержанием на каждом уровне обработки.

Во второй главе диссертации представлены разработанные формальные модели обработки и распознавания объектов по их статическим изображениям и последовательностям изображений, а также расширена дескриптивная теория распознавания изображений.

В табл. 4 и 5 представлен порядок отображений в соответствующих пространствах, где символом «I» обозначено множество изображений, символом «18» - множество последовательностей изображений, символом «X» - множество признаков, индексами Я,Р,Р,0£ - реальные, отфильтрованные (от шумов), проекционные, нормализованные и эталонные изображения или пространственные признаки, а индексами - реальные, отфильтрованные (от шумов), проекционные, нормализованные и эталонные последовательности изображений или пространственно-временные признаки.

Примем, что на множестве Xя существует некоторое разбиение классов изображений УгьУ2,...,Угт такое, что

Хя=У,иУ2и...иУт , УлУ;=0 при г*/ .

Тогда формальную модель статического изображения можно представить как

^Л^А«^^^ > (!)

где /у-е^- отфильтрованное (без учета шума) изображение /-го объекта_/'-го образа на входном поле изображения; ¡е~№0 - переменный параметр, каждое значение которого определяет единственный объект наблюдения (N0 - множество объектов наблюдения); Брю - функция описания нормализованных объектов; Брор - функция описания объектов в различных проекциях; - функция описания изображений; (ЗеВ - параметр отображе-

ния, характеризующий неопределенность при отображении объектов наблюдения (В - множество возможных значений Р); /геН - шум, возникающий в процессе отображения (Н - множество возможных значений /г); йр™ - функция, характеризующая воздействие шума. Физический смысл параметра Р различен на каждом этапе описания изображений.

Таблица 4

Допустимые отображения при распознавании статических объектов

Отображения в пространстве изображений Отображения в пространстве признаков Краткая характеристика

S/F:XUXF Низший уровень обработки. I этап - предварительная обработка, выявление и анализ глобальных признаков изображения в делом

sfp-\f->f Sfp:XF->Xp Средний уровень обработки. II этап - вычисление глобальных н локальных признаков изображений проекций объектов, сегментация

S/°: f->l° Sf0\Xp-+X° Средний уровень обработки. III этап - вычисление глобальных и локальных признаков изображений объектов, сегментация

s°z:i°->iz Sfoz:X°^Xz Высший уровень обработки. IV этап - анализ глобальных и локальных признаков изображешш объектов и распознавание объектов

Таблица 5

Допустимые отображения при распознавании динамических объектов

Отображения в пространстве последовательностей Отображения в пространстве признаков Краткая характеристика

у RsFs Rs ^ j Низший уровень обработки. I этап - пространственная и временная фильтрация, выявление зон интереса (в частности, зон движения)

SFsP'-.XFUXP! Средний уровень обработки. II этап - вычисление глобальных и локальных признаков изображений проекций объектов, сегментация

IS/s0s-.l SPs^S0s g PsOs, -yrPs_y^Os Средний уровень обработки. III этап - вычисление глобальных и локальных признаков изображений объектов с учетом предыстории, сегментация

ISp0sZ!: IS0i->lSZl Sy0sZs:X0s->Xz" Высший уровень обработки. IV этап - анализ глобальных и локальных признаков изображений объектов с учетом предыстории, распознавание

ZS/^IS^IS^ t^ ZsEs.^Zs_^^¿'s Высший уровень обработки. V этап - анализ глобальных и локальных событий с учетом предыстории, распознавание событий и жанра сцены

! f

При г=уаг иу-сопвг функция 5РЮ описывает все возможные проекции объектов у'-го образа 17>у=5р70(1^),. Если же принять, что и г-сош^ то 5р20(1у)=1^, т.е. в этом случае результатом воздействия функции является сам эталон у'-го образа. Тогда модель процесса описания изображений существенно упрощается и принимает вид (при этом реВи\0, т.е. множество возможных значений параметра |3 существенно расширяется):

Г,(2)

Построим аналогичную формальную модель для последовательностей изображений. Особенность рассматриваемого класса задач состоит в том, что в них отображение и соответствующее ему об-

ратное отображение зависят не только от мешающего па-

раметра Р, но и от времени Т. Обозначим функцию отображения /5/1Й:18?,!-»18Л, изменяющуюся во времени как 18рр'г\-)р,, а изображение

, Ю^Я/'^^^^СК"^ , (3) назовем динамическим изображением (последовательностью изображений) объекта наблюдения, принадлежащего образу V®, где у - параметр, учитывающий предысторию поведения объекта. Можно рассмотреть упрощенную модель при у=сош1 (Однако, следует помнить, что преобразование становится намного сложней из-за концепции многоуровневого движения в последовательности изображений.) Тогда

Ю^ТВ/'*^,/») , ^гЕр^Щ0*^^ . (4)

Такая модель, отображающая динамические характеристики объектов, существенно отличается от модели статического изображения (2). Обобщенная модель (4) отличается тем, что любые переходы (Р*-»р„)еВс обладают свойством гомоморфных преобразований, но переходы этим свойством не обладают. Именно эта особенность последовательностей изображений не позволяет применять обычные методы распознавания для их классификации, хотя постановка задачи формально не изменяет своего содержания.

Введем понятие динамического максимального инварианта для динамических изображений. Пусть 18^ - последовательность кадров {18™,, 18гг,+ь •■•» 18",+«}, где г - начальный, а г+1, г+2, ..., Н-7У - последующие моменты наблюдения, причем ? может быть выбрано в любой точке гиперповерхности. При этом любые две точки и Х^,, соответствующие одному и тому же образу, должны лежать на гиперповерхности, соответствующей заданному значению I. Тогда динамической инвариантной функцией будем называть любую функцию от 18&, если она не изменяется при изменении параметров Р и /. Предположим, что для динамической инвариантной функции Е при достаточно длинных последовательностях изображений и (18й)с равенство

£{18&}=£{18ЛТ' (5)

выполняется только тогда, когда для каждой пары из серии наблюдений {18^} и {18й}с существует такое преобразование geG и всегда найдутся такие значения г и гс, что

К"*,! = £18™у/ , • - (6)

Функцию £'{18Л!} назовем максимальным динамическим инвариантом, причем gsG - преобразования, порожденные всевозможньми переходами из Вс. Условия (5) и (6) выполняются только тогда, когда все наблюдения {К^1} и {В^}' принадлежат гиперплоскости при отсутствии шума или они сосредоточены в окрестности гиперплоскости, определяемой распределением шума к, и всегда существует возможность сдвинуть наблюдения во времени так, чтобы выполнялись равенства (б). При обучении распознаванию динамических образов задача определения полного множества преобразований в существенно усложняется и практически не может быть решена без дополнительных ограничений.

Одним из решений является дескриптивный подход к распознаванию изображений, разработанный коллективом авторов под руководством академика Ю.И. Журавлева в 70-90-е гг. XX в. Подход предусматривает выбор основных эвристических процедур, построение соответствующей модели, параметризацию модели и переход к постановке и решению на эвристической модели оптимизационных задач. Однако дескриптивная теория распознавания изображений имеет дело со статическими изображениями. Распознавание временных рядов, в частности, последовательностей изображений, требует формулирования дополнительных принципов, расширяющих основные положения дескриптивного подхода. Сформулируем такие принципы: учет цели распознавания на начальных стадиях обработки последовательности изображений; распознавание поведенческих ситуаций динамических объектов; оценка предыстории динамических объектов; переменное количество объектов наблюдения в сложных сценах. Отметим, что динамические изображения являются, как правило, многоплановыми и характеризуются неоднозначностью отображаемых траекторий движения.

В третьей главе представлены условия и ограничения методов пространственно-временной обработки последовательностей изображений, классифицированы допустимые преобразования изображений, обоснован новый метод оценки движения в пространственно-временном наборе данных видимого и инфракрасного диапазонов излучения на основе тензорного подхода (I этап). В табл. 6 представлены основные ограничения пространственно-временной обработки и распознавания динамических объектов и событий в сложных сценах.

Введем ряд определений, необходимых для классификации движущихся объектов в последовательностях изображений.

Определение 1. Регионом с фиксированным набором проекций Я/ называется компактная область изображения, обладающая постоянными цветовыми Гс. и текстурными Р, характеристиками в определенных условиях освещения и имеющая ограниченный набор проекций Р„ ¡Р^сопб^ во фронтальной плоскости, контур которых может изменяться в соответствии с аффинной или проективной группой преобразований.

Таблица 6

Условия и ограничения метода пространственно-временной обработки последовательностей изображений

Условия и ограничения Критерий

Количество видеокамер Одна видеокамера

Калибровка видеокамеры Отсутствует

Подвижность видеокамеры Допустимо перемещение видеокамеры относительно сцены

Диапазон электромагнитного излучения Видимый, инфракрасный

Режим обрабопси Режим off-line или режим on-line с заранее оговоренной задержкой

Количество целей наблюдения Теоретически не ограничено

Количество фиксированных проекций обт>екта наблюдения Не ограничено

Динамика движения Равномерное и равноускоренное движение

Сложность фона Фон может бьггь сложным с элементами движения

Сложность сцены Движение в сцене может быть многоуровневым

Определение 2. Регионом с произвольным набором проекций К, называется компактная область изображения, обладающая постоянными цветовыми Рс и текстурными Г, характеристиками в определенных условиях освещения и имеющая произвольный набор проекций Р,;, ко, во фронтальной плоскости с произвольно изменяющимся контуром.

Если видеодатчик установлен неподвижно, то сложная сцена представляет собой совокупность статических структур или статических и динамических структур. Если видеодатчик установлен на перемещающейся платформе, то сцена представляет набор динамических структур с признаками многоуровневого движения. В обоих случаях важно найти признаки движения, проследить динамику изменения структур и на основе накопленной информации выдвинуть гипотезу о принадлежности совокупности структур (как единого объекта) некоторому классу. Примем, что размеры динамических структур значительно меньше размеров изображения:

Г>Л« П

где х,у - пространственные координаты; г - время; /{х,у,{) - функция, описывающая пространственно-временной набор данных; 0М5 — множество

точек, принадлежащих динамическим регионам; О - множество точек наблюдаемого изображения.

Новый метод оценки локальных признаков движения относится к методам оптического потока, но отличается тем, что оцениваются локальные движения регионов с применением 3£)-структурного тензора для последовательностей видимого диапазона и/или ЗО тензора потока для последовательностей инфракрасного диапазона. Оценка локальных параметров движения производится с использованием геометрических примитивов и особенных точек локального региона, что позволяет существенно снизить вычислительные затраты, исключив из вычислений геометрические примитивы и особенные точки фона. Новый метод оценки глобальных признаков движения визуальных объектов основан на выявлении периодического движения динамических структур и построении графа соседства динамических структур с целью последующей сегментации визуальных объектов с дополнительным привлечением текстурных, цветовых, геометрических, топологических и других признаков динамических регионов.

На стадии инициации требуется выявить локальные динамические структуры, претендующие на роль визуальных объектов. Примем, что остальная информация относится к фону сцены и в дальнейших измерениях не участвует. При этом процедуру выявления объектов интереса следует периодически повторять, поскольку они могут появляться и исчезать из поля зрения камер, и метеоусловия также могут изменяться. К данному этапу предъявляются требования по возможности быстрой, но грубой оценки движения. Особенностью метода является обобщенный анализ последовательностей изображений в различных диапазонах излучения.

Усовершенствованная модель фона изображения, содержащего объекты интереса на переднем плане, связана с одновременной выборкой N кадров и построении усредненных изображений для обоих видов последовательностей. Для каждого пиксела с яркостью ¡¡(х>у), где х, у - координаты пиксела, вычисляются взвешенные средние значения ц(х>}') и отклонения а2(х,у) по N кадрам:

N

= ^--, (В)

!>,(*, у)

ы

N

о2{х,у) = ^~-—- , (9)

N 1

где м>,(ху) - весовые коэффициенты, используются для минимизации выбросов, максимально удаленных от среднего 1те,1 и вычисляются по нормальному распределению, центрированному относительно величины

™Х*.у) = -г==гехР

,2. Л

2с£

(10)

Стандартное отклонение а „ можно рассчитать по N соседним кадрам. Использование взвешенных значений в статистической модели фона позволяет получить устойчивую модель фона без обучающих последовательностей. На основе статистической модели фона, полученной из инфракрасной последовательности (выражения (8) и (9)), можно получить маску регионов интереса еР5 по критерию квадрата расстояния Махаланобиса.

Зададим дискретную функцию 1л, определенную в точках трехмерной решетки {(*,-,у,а)=р^}, где хьуьгк - координаты решетки по осям ОХ,, ОУ, 01 соответственно, х,е\а0}фо>\, У^[атФог], Ч^[ао2,Ъ0т\, 1<г'<10, ук- Построим математическую модель оценки движения регионов в последовательностях изображений. Найдем дифференцируемую функцию \(х,у,~) такую, что в узлах решетки 1Л(р1Л)=1Л^. Обозначим произвольную точку из допустимого множества как р=[х,у,(|, где х и у- пространственные координаты пикселов кадра по осям ОХ и ОУ соответственно, а / — временная координата, учитывающая последовательность появления кадров вдоль оси 02. Тогда выражение для оценки пространственно-временного набора данных видеопоследовательности 1(р) (при условии постоянного освещения сцены) относительно положения некоторой локальной точки р имеет вид:

е1(р)=5/(р)+5/(Р) +а/(р] ,(М) т дх х ду у д1 ' ^ и/ К '

где у(р)=[ух,у>,,у,] - вектор скорости потока относительно точки р. Модуль вектора скорости \(р) определяется из условия нахождения минимума функции (11) по локальному 3/3 объему Г2(р,я), центрированному относительно вектора р, где с| - локальная точка с координатами я=[х„1у„,?„]. Найдена оценка е^/р) скорости перемещения точки по методу наименьших квадратов в локальном объеме Г2(р,я) при условии, что ¡\'(р)'|=1 и !|У1(Ч)Ц=1. Тогда

где а, - множители Лагранжа, функция №(р,ц) - это пространственно-инвариантная функция, имеющая распределение Гаусса и характеризующая изменения градиентов.

Предположим, что вектор скорости \'(р) является постоянным внутри пространственного объема £1(р,я) и продифференцируем выражение (12). 'Подынтегральное выражение можно представить как сим-

метричное ядро скалярного произведения. В результате получим приближенную оценку вектора \'(р)

^(Р^(р))у(р)=£а,.у(р) ,

где матрица Д5{р,\У) - 31) структурный тензор пространственно-временного набора данных, центрированного относительно вектора р:

Проведено дополнительное исследование, показавшее, что при наличии больших шумовых выбросов квадратичная мера расхождения не обеспечивает устойчивость метода измерения ошибок. Для данного случая выведено выражение устойчивого структурного тензора Джомана-МсКлура (Суетап-МсС1иге):

где т - параметр, определяющий штраф за большие выбросы ошибок.

Также рассмотрен вопрос о применении пространственно изменяемого ядра №'(р,я), адаптивного к размерам и ориентации окружения 0(р,я). Разработана процедура адаптации окружения О(р^), вначале имеющего форму круга, а затем в течение 2-3 итераций превращающегося в ориентированный эллипс для улучшения оценки градиентных структур при движении регионов.

Нахождение собственных значений тензора позволяет оценить градиент в окрестности точки р, вычисляя след матрицы ^{р) и сравнивая его с пороговым значением. Далее для классификации динамических структур проведем анализ собственных значений матрицы ^р). Собственные значения Л-(¿=1,2,3) симметричной ковариационной матрицы ,15{р) можно определить по локальным смещениям яркостей изображений соседних кадров и использовать для оценки локальных ориентаций динамических структур. Причем, в силу особенностей видеонаблюдения собственные значения Хк указывают на локальные отклонения яркости по трем направлениям, и могут быть отсортированы в следующем порядке Выражение (11) можно рассматривать как матрицу, составленную из векторов градиентов в пространственно-временном наборе. В соответствии с методом главных компонент собственные значения этой матрицы сортируются в порядке убывания. Наибольшее собственное значение указывает направление наибольшего изменения данных. Отношение каждого собственного значения к сумме трех собственных значений характеризует концентрацию энергии по соответствующему направлению. Таким образом, собственные значения локального ЗО структурного тензора можно использовать для обнаружения локальных изменений в последовательности кадров. Наименьшее собственное значение можно использовать для определения различий в кадрах, оно является более устойчивым к шу-

му и низко контрастным объектам фона по сравнению с простейшим методом яркостной разницы кадров. Далее на основе собственных значений >>,/), к2(х,У,1), строятся карты ~к\(1), Х2(1), Хз(Г) локального ЗВ

структурного тензора. При этом карта собственных значений )ч(7) фиксирует как динамические структуры, так и некоторые изолированные текстурные регионы фона. Карта собственных значений ^(Т) является менее информативной, а карта собственных значений Х3(/) генерирует небольшие разрывы внутри масок визуальных объектов. Для обнаружения движения основное внимание следует уделять собственному вектору А,1(7). Для нахождения динамических структур целесообразно вычислять коэффициент корреляции К между кадрами по критерию Пирсона, используя наименьшие собственные значения и Ы/м) кадров Гг, и Рг,+\. Разброс коэффициентов корреляции кадров сцены позволяет оценить степень изменчивости формы динамических структур. Так, для регионов с фиксированным набором проекций он будет значительно меньше, чем для регионов с произвольным набором проекций.

Однако нахождение собственных значений для всех пикселов изображения сопровождается большими вычислительными затратами. Возможны два способа оценки локальных движений регионов. Первый способ основан на нахождении особых точек сцены (в отличие от существующих алгоритмов) только в найденных динамических структурах. Отметим, что между особенностями сцены и особенностями изображения есть соответствие: точечной особенности сцены должна соответствовать точечная особенность изображений. Большинство детекторов точечных особенностей вычисляют некоторую функцию от окрестности точки и анализируют локальные максимумы. Существует целый набор функций, которые можно использовать для обнаружения точечных особенностей. Чаще всего для задач отслеживания точек сцены применяются функции, находящие в изображении структуры, похожие на углы.

Второй способ заключается в использовании инфракрасной последовательности данных, содержащей распределение тепловой энергии объектов. При этом воспользуемся тензором потока, который позволяет оценить движение объектов без вычисления собственных значений векторов 3,0 структурного тензора. Найдем вторую производную выражения (11) относительно переменной I. Тогда

а,

или в векторной форме

Используем аналогичный подход для нахождения ошибки е^р), полагая, что скорость является постоянной, а ||у(р)|[=1. Тогда

ц2

dq

)v(p)+|a([l-v(Pfv(p)]. (13)

При условии постоянной скорости в пространственном объеме Q(p,q) выражение для 3D тензора потока Jf примет вид

Элементы тензора потока содержат информацию об изменениях градиентов, что позволяет эффективно разделять статические и динамические структуры. След матрицы тензора потока имеет вид:

и может непосредственно использоваться для классификации регионов по признаку движения без вычисления собственных значений статических регионов. При необходимости выражение (13) можно минимизировать для получения оценки вектора v(p), используя равенство

JK(piW(p))v(p)=Éaiv(p) .

;=i

Для оценки движения следует вычислить производные

хЛ ' dxdt у'4' dydt "4J dtôt и провести интегрирование по области £2(p,q). Эти производные вычисляются как свертки изображений инфракрасной последовательности с ядрами сепарабельных фильтров, которые можно представить в виде каскадных 1D сверток. При этом сглаживающие фильтры позволяют снизить влияние шумов. Для вычисления производных 1Х„ 1у, и Itt вычисляются пространственные свертки /„, Iys и /„, где s - сглаживающий фильтр. Для каждого входного кадра вычисляются и запоминаются наборы Ixs, lys и Iss. Затем при накоплении достаточного количества данных по нескольким входным кадрам находится сумма производных 12х,+12у,+12,ь по которой и строится маска движения MFM- Маску MFM, полученную с применением 3D тензора потока, можно использовать для построения маски движения регионов MSm видеопоследовательности кадров (т.е. найти и проанализировать собственные значения векторов матрщы J^{p) в локальной области кадра видеопоследовательности в соответствии с маской MFw).

В четвертой главе построена многоуровневая модель движения на основе структур движения, разработан обобщенный алгоритм сегментации объектов в сложных сценах (II и III этапы), учитывающий сложные случаи сегментации (перекрытия изображений, появление и исчезновение объектов из поля зрения камеры, движение на камеру).

Последовательности изображений часто состоят из структур движения, имеющих сходные параметры скоростей и ускорений. Требуется оп-

ределить набор уровней движения, которые сопоставляются с объектами, расположенными на различных расстояниях от движущейся камеры. Пусть для каждой структуры движения текущего кадра имеется локальный вектор движения, соединяющий его со структурой движения следующего кадра. Известен набор различных параметрических уровней движения сложной сцены. Вектор глобального движения определяется по локальным векторам связанных структур движения.

Определение 3. Статической структурой 53' называется неподвижный регион изображения Л/, Яс или связанная совокупность регионов изображения в пространственно-временном объеме.

Определение 4. Динамической структурой йБ называется регион изображения Я/, Яс или связанная совокупность регионов изображения в пространственно-временном объеме, находящаяся в одном из трех возможных состояний:

1. Состояние движения характеризуется локальным вектором скорости поступательного, вращательного или периодического движения во фронтальной плоскости наблюдения и описывается изоморфными преобразованиями проекций.

2. Состояние пересечения регионов возникает, когда состояние одного региона (по п. 1) не изменяется, а состояние других регионов описывается локальными гомоморфными преобразованиями проекций до тех пор, пока состоя!ше пересечения не завершится.

3. Состояние пересечения с границей поля наблюдения возникает, когда состояние региона описывается локальными гомоморфными преобразованиями проекций до тех пор, пока регион не появится в поле наблюдения целиком или полностью не исчезнет из поля наблюдения.

В данной модели определяется набор различных, но внутренне подобных уровней движения, которые отвечают твердым телам, расположенным на различном расстоянии от движущейся камеры и § сегментам на изображении. Предположим, что уровень движения задан в параметрической форме, и имеется к уровней движения. Для текущего и последующего кадров требуется определить: а) уровень движения, к которому относится каждая структура движения; б) значения параметров каждого уровня. В такой постановке имеем задачу с недостающими данными. Отсутствующими данными являются значение уровня, к которому принадлежит структура движения, или параметры уровней.

Пусть некая структура движения в точке с параметрами (и,у) г'-го текущего кадра DS¡ принадлежит /-му уровню движения, имеющему параметры 0/. Это означает, что на последующем (г+1)-м кадре структура движения переместится в точку с параметрами (и,у)+т(и,у,8;) с точностью до ошибки измерения С. Обозначим уровень движения неременной Утъь которая принимает значение 1, если структура движения относится к /-му уровню движения, и 0 в противном случае. Предполагается, что на

значения яркостей пикселов изображения влияет гауссов шум с дисперсией а. Тогда логарифм функции правдоподобия запишется как

2 а2

где 0=(01,..Далее определим вероятности уровней движения

Р(Г„,=ЦЩ,£Юм,0) , которые представляют собой карты яркостного представления максимально вероятного уровня для каждого структуры движения. Карта получается в процессе кластеризации локальных оценок движения на изображении. Каждый уровень яркости определяет уровень движения, а каждый уровень движения связан со своей моделью движения, в качестве которой обычно выступает аффинная модель

1 (">у,9;)=

т

а,, а.

\

12

\

13

Ч"23У

21 "22 /V

где §г(а\\,...,а2ъ). Карту можно упростить, оставив только выбранный уровень движения, для того, чтобы проверить, насколько движение соседних пикселов согласуется с движением пикселов на предыдущих и последующих кадрах. Модель многоуровневого движения связывает пикселы, «движущиеся» в одном направлении, имеется возможность определения границ движения, также последовательности кадров можно восстанавливать по имеющимся уровням движения, когда некоторые уровни отсутствуют.

Определение 5. Под динамическим визуальным объектом ¥Оп понимается совокупность динамических структур ОБ, обладающих постоянными на некотором временном интервале относительными направлениями и скоростями движения.

Определение 6, Под статическим визуальным объектом понимается совокупность статических структур обладающих несущественными признаками движения или отсутствием движения.

Рассмотрим сложные случаи сегментации динамических и статических структур с использованием групповых преобразований, используя полученные в 3 главе признаки движения регионов. Зададим топологическое отображение ф некоторой окрестности Пу единицы группы С на область С1Г координатного евклидова пространства при котором единица переходит в начало координат. Тогда каждой точке р е Ои локальной группы в соответствует система действительных чисел р\...,рг, являющихся координатами точки <р(р) е 9?£. Назовем такие числа координатами точки реО,и (при этом единица группы получает координаты, равные нулю). И наоборот, каждой системе чисел р1,...,рг (если числа достаточно малы по модулю) соответствует определенная точка реО-и, имеющая своими координатами эти числа. Пусть столь малая окрестность единицы группы

в, что для любых элементов р и ^ из окрестности определено произведение рдеПц. Тогда

, (14)

где функции/1 в правых частях - непрерывные однозначные функции, определенные для достаточно малых значений аргументов. Координаты р\...,рг локальной группы О называются дифференцируемыми, если функции (14) трижды непрерывно дифференцируемы.

Следствием теоремы об инвариантности преобразований координат группы Ли, доказанной Л. С. Понтрягиным, является следующее утверждение: всякий локальный автоморфизм ф локальной группы описывается в системе координат уравнениями

с трижды непрерывными дифференцируемыми (аналитическими) функциями (|У и с отличным от нуля функциональным определителем

. Если функции О и П являются каноническими первого рода,

Ф'

то функции ф' линейны. Внутренний автоморфизм группы запишется как Фа(р)=ахра, где а - фиксированный элемент группы С. Функции яркости многоградационных изображений попадают под определения трижды непрерывных дифференцируемых функций (хотя на практике достаточно иметь дважды дифференцируемые функции бинарных масок), а метод оценки движения межкадровой разницы, представленный в 3 главе, позволяет установить области смещения объекта и найти «неподвижную» область, являющуюся внутренним автоморфизмом групповых координат, описывающих данный объект.

Легко показать, что евклидово пространство 91е является топологическим пространством, на котором замыкание М множества М определяется как совокупность всех точек, принадлежащих М или являющихся предельными для М. Пусть (?' иб - две линейно связанные топологические группы пространства Э}£, соответствующие проекциям одного и того же объекта на двух соседних кадрах, причем группа б односвязна и локально связна. Пусть / - некоторый локальный гомоморфизм группы Б в группу С. Тогда можно продолжить локальный гомоморфизм / в гомоморфизм ф всей группы О в группу С единственным образом. Продолжение гомоморфизма/понимается в том смысле, что/и ф совпадают на некоторой окрестности IV единицы группы (г. Действительно, в окрестности IV функции / и ф совпадают, а т. к. функция / непрерывна, то функция ф непрерывна всюду. Если группа (?' односвязна и локально связна, а функция / есть некоторый локальный изоморфизм, то гомоморфизм ф является изоморфизмом. Таким образом, подгруппы Б, С ,... , представляющие собой проекции одного и того же объекта в ортогональной плоскости, близ-

кие в силу малого межкадрового смещения, являются, либо изоморфными при постоянном направлении и скорости относительного движения, либо гомоморфными при смене направления движения. Более того, выявленные зоны смещения проекции также являются компактными подгруппами, по степени изменения которых можно судить о характере движения отдельных частей объектов (регионов).

Далее, при перекрытиях проекций нескольких объектов во временном ряде можно проследить порождение локальных гомоморфизмов проекций объектов заднего плана в глобальный гомоморфизм вплоть до полной потери проекции. Очевидно, что аналогичная ситуация наблюдается при появлении или исчезновении проекции объекта из ограниченного поля зрения датчика. Тогда обобщенный алгоритм сегментации имеет вид:

Предсегментация пространственно-временного набора данных

Шаг 1.1. Построение гауссовой пирамиды и выбор слоя с малым разрешением для набора кадров К'1.

Шаг 1.2. Грубая оценка движения методом сопоставления блоков в пространственно-временном наборе данных.

Шаг 1.3. Оценка фона по модели (8,9).

Шаг 1.4. Вычисление признаков цветности, текстуры, формы регионов изображения в пространственном наборе.

Шаг 1.5. Учет статических структур {55} и структур движения {£>5}.

Сегментация пространственно-временного набора данных

Шаг 2.1. Для статических структур {55} пространственная сегментация на основе графов, маркировка значимых регионов.

Шаг 2.2. Для динамических структур {ОБ} вычисление локальных 31) структурных тензоров и ЗП тензоров потока, нахождение собственных значений матриц Л<{р) и <1/(р), вычисление коэффициента корреляции Я между кадрами и разброса коэффициентов корреляции.

Шаг 2.3. Нахождение регионов с фиксированным и произвольным наборами проекций и {/?с} (определения 1, 2).

Шаг 2.4. Для динамического объекта УОц при наличии регионов {Я/} анализ изоморфизма проекций объекта и локального гомоморфизма при пересечениях проекций нескольких объектов.

Шаг 2.5. Для динамического объекта УОц при наличии регионов {Яс} анализ локального гомоморфизма проекций объекта и глобального гомоморфизма при резкой смене направления движения объекта или при пересечениях проекций нескольких объектов.

Шаг 2.6. Повторение шагов 2.1-2.5 для выявления нового движения в сцене. Хранение предыстории движения объектов.

Пост-сегментация пространственно-временного набора данных

Шаг 3.1. Окончательная оценка размеров и формы динамических объектов по пространственным признакам.

Шаг 3.2. Оценка признаков движения по пороговым значениям и классификация динамических объектов по уровням движения.

Шаг 3.3. Выбор проекций ISPl объектов для нормализации и получения lS0s. Использование метода шаблонов при пересечениях проекций нескольких объектов или прекращение сегментации на временном интервале. Построение траекторий движения (при необходимости с предсказанием).

В пятой главе рассматривается процесс распознавания динамических образов (IV этап), использующий формальную грамматику, видеограф сцены и основанный на модифицированном методе коллективного принятия решений, а также методы распознавания активных действий и событий в сложной сцене (V этап) на основе графов активных действий, графов событий и байесовской сети.

Признаки динамических объектов, определяемые на этапе сегментации, условно можно разделить на статические (цвет, текстура сегментов изображений) и динамические (форма, траектория движения) характеристики. На этапе обучения объектов целесообразно представлять наборы признаков как эталонные графы или деревья грамматического разбора в рамках контекстной грамматики. При этом каждый признак - это множество значений признака и множество временных отсчетов, в течение которых он существовал. Для каждого объекта составляется свое дерево вывода в терминах контекстной грамматики GR^: G> Ssj.m,GM, TV, T& TE, Re, »E, E(e,e'); (e^eDSCR,},^, {Rr, (Z, Z(t,t')\ (>/)eDSCR(}}}>. где \o,e,g ~ основной словарь объектов, временных событий, жанров сцены; Ss,lm,gm — вспомогательный словарь структурных элементов, локальных признаков движения и глобальных признаков движения; Tv - множество непроизводных элементов; Т5 - множество описаний; Rr - предикат построения регионов; Rq - предикат построения объектов; Rß - предикат временных событий. Элемент множества &=V0,e,g^->Ss,lm,gm называется событием. Множество Т£ описывает набор событий. Множество Т=ТриТ6-иТ£ в данном случае представляет собой объединение события и описания. Множество Е(е.е') - множество временных событий; (ß,c')eUSCR,. - описание временного события. Множество Z(i/) - множество временных регионов изображения; (t,t')e DSCR, - описание временного региона,

При распознавании объектов с ограниченным допустимым количеством проекций можно предложить следующую формальную схему. Предположим, что каждый образ представлен только одним изображением (эталон образа) V. Пусть задано множество допустимых преобразований G» исходного эталона, параметризованное по мешающему параметру ß. Результатом применения преобразования Gp к эталону vJ является преобразованный эталон

m$y=Gрт/.

Соответственно для распознавания объектов с произвольным количеством проекций используется рекуррентная процедура нахождения эталонного изображения V,- (X) на /-м шаге, порождаемого грамматикой СЖд, которая максимизирует функцию сходства следующего вида:

у/(х) = ум*(х)+у,Л(х,,1Л) , где 1,1-1 - шаги аппроксимации; у,- - некоторая функция, зависящая от шага аппроксимации (например, последовательность положительных чисел); Д, - изменяемая в процессе анализа последовательности изображений величина; V,' (х) = а^ шах Р(Х/1/(])) - функция сходства на 1-м шаге; 1

.Р(Х/К(/,Р)) - распределение вероятностей многомерной случайной величины, описывающей наблюдаемые изображения.

На этапе распознавания строится видеограф по методу иерархического группирования, когда на основе признаков низшего уровня формируются локальные пространственные структуры, устойчивые во времени, локальные пространственные объекты, совокупность присущих им действий, а также пространственно-временные связи между ними. Модификация коллективного метода принятия решений основана на допущении, что существует не Ь различных алгоритмов решения задачи, а один алгоритм, но рассчитываются Ь решений в дискретные моменты времени наблюдения за динамическим объектом. Такой подход подразумевает двухуровневую процедуру распознавания: распознавание принадлежности изображения той или иной области компетентности и выбор решающего правила, компетентность которого максимальна в заданной области. Построены четыре вида псевдо-расстояний (на основе расстояний Хаусдорффа, Громо-ва-Хаусдорффа, Фреше и метрического расстояния) для нахождения меры сходства входных динамических образов с эталонными динамическими образами в зависимости от представления динамического признака - множества числовых характеристик, множества векторов, множества функций.

При распознавании событий видеограф сложной сцены расширяется до видеографа событий. При этом событие представляет собой совокупность активных действий, и любое событие можно рассматривать как временную последовательность зависимых активных действий. Построена объектно-зависимая модель динамического объекта. В качестве функции соответствия используются простейшие классификаторы в пространстве признаков (например, по методу ¿-средних), т. к. сопоставление осуществляется не по всему набору шаблонов, а по ограниченному множеству шаблонов, ассоциированных с ранее опознанным объектом. Рассмотрены способы формирования шаблонов проекций визуальных объектов.

Видеограф событий строится на основе сетей Маркова. Подробно рассмотрены способы выявления активных действий агентов, порядок построения и разрезания видеографа событий для распознавания событий. Обнаружение событий в поступающих видеопоследовательностях сводит-

ся к кластеризации последовательно выполняемых активных действий на основе байесовского подхода. Выполняется рекурсивное разрезание матрицы весовых коэффициентов во входной видеопоследовательности и сравнение с эталонными событиями, полученными на этапе обучения. Данная информация является исходной для определения жанра сцены и при необходимости индексирования видеопоследовательности в базе данных. Разработана схема понимания и интерпретации изображений и видео материалов для индексирования в мультимедийных Интернет-базах.

В шестой главе приведены схемы экспериментального программного комплекса <<$РОЕИ», у.1.02 по обработке последовательностей изображений и распознаванию движущихся объектов и событий, показаны результаты его тестирования, а также полученные экспериментальные оценки на различных этапах обработки информации. На базе экспериментального комплекса «ЗРОЕК», у.1.02 были разработаны системы обработки видеоинформации различного целевого назначения, описания которых также приведены в главе. В табл. 7 приведено краткое описание основных модулей системы.

Таблица 7

Модули программного комплекса «¿¡РОЕН» и их назначение

Название модули Функциональная характеристика

1. Модуль организации интерфейса с пользователем Обеспечивает взаимодействие с пользователем и координирует работу всех модулей

2. Модуль предварительной обработки Осуществляет фильтрацию последовательностей изображений, включает градиентные методы обработки

3. Модуль оценки движения Находит динамические структуры на наборе изображений, рассчитывает и выдает результаты грубой и точной оценки движения, определяет степень изменчивости динамических структур

4. Модуль сегментации Осуществляет сегментацию статических и динамических структур в пространственно-временном наборе данных, проводит нормализацию проекций, строит видеограф сцены

5. Модуль распознавания визуальных объектов Выполняет распознавание объектов на основе структурного подхода, модифицированного метода коллективного принятия решений

6. Модуль распознавания активных действий Осуществляет распознавание активных действий и событий на основе сетей (в частности, сетей Маркова)

7. Конфигурационный модуль Осуществляет сохранение и загрузку параметров системы в конфигурационный файл

Экспериментальные результаты оценки движения, сегментации и распознавания объектов, полученные на тестовых последовательностях изображений («Hamburg taxi», «Rubik cube». «Silent», видеопоследовательности и инфракрасные последовательности из тестовой базы «OTCBVS») и собственных видеоматериалах, приведены в таблице 8. В таблице 9 пред-

ставлены сведения о точности распознавания некоторых активных действий людей на примерах из тестовых баз «PETS», «CAVIAR», «VACE».

Как видно из табл. 8, характер последовательности влияет на показатели. Хуже распознаются объекты, осуществляющие вращательное движение {«Rubik cube»), лучше - техногенные объекты небольших размеров («Hamburg taxi», «Видео 1»). Наилучшие результаты показывает распознавание по обоим типам последовательностей, когда для сегментации локального движения применяется инфракрасная последовательность, а для оценки движения - видеопоследовательность. Экспериментальные результаты, представленные в табл. 9, демонстрируют лучшую точность распознавания периодических активных действий людей, не находящихся в группах (хождение, бег, поднятие рук). Ложные срабатывания обусловлены засветкой и наличием теней в ряде мест сцены. Приведенные в таблицах 8 и 9 цифры характеризуют обобщенные результаты применения разработанных алгоритмов ко всем кадрам тестовых последовательностей.

Таблица 8

Обобщенные результаты экспериментальных исследований

Характеристика Последова- ТСЛЬИОСТЬ N. Оценка движения Сегментация динамических структур Распознавание объектов

Точность, % Ложпое срабатывание, % Точ- иасть, % Ложное срабатывание, % Точность, % Ложное срабатывание, %

«Hamburg taxi» 93,82 2,76 91,46 3,28 94,63 2,51

«Rubik cube» 82,61 3,81 80,52 4,16 87,91 3,37

«Silent» 92,87 2,54 84,29 3,91 91,56 3,19

Thermal«Sequence 6а» из «OTCBVS» 98,15 2,18 70,21 9,52 75,39 6,83

Color «Sequence 6й» из «OTCBVS» 90,29 2,63 89,82 3,64 93,18 2,94

«Sequence 6а» и «Sequence 6b» 94,94 2,51 92,66 3,08 96,13 2,22

«Видео 1» 90,12 2,94 90,82 2,89 93,32 2,18

«Видео 2» 91,28 3,29 89,92 3,32 92,16 2,67

«Видео 3»' ' 73,04 2,12 70,25 3,94 79,62 8,82

- Видео с малым количеством динамических структур, до 10% от площади кадра

- Видео со средним количеством динамических структур, до 40% от площади кадра

* - Видео с большим количеством динамических структур, до 100% от площади кадра

Также были созданы прикладные проекты с применением разработанных методов. Проект «Визуальная регистрация государственных номерных знаков автотранспортных средств при многопоточном движении» предназначен для обнаружения автотранспортных средств и локализации местоположения номерных пластин по данным из видеопоследовательности. Его основными функциями являются: считывание и воспроизведение

данных с регулируемым периодом, выбор цветовой модели, формирование карты движения на основе контурных и цветовых представлений данных, сегментация объектов движения, анализ характеристических особенностей автотранспортного средства и выделение номерной пластины на основе матрицы спектральных характеристик, улучшения качества изображения номерной пластины.

Таблица 9

Точность распознавания активных действий людей в сложных сценах

Последова- «Meeting» «Survelence 1» «Survelence!»

^^тельпость Точ- Ложное Точ- Ложное Точ- Ложное

Активные ность, срабаты- ность, срабаты- ность, срабаты-

действия % вание, % % вание, % % вание, %

Поднятие рук 90,15 2,16 86,94 3,43 90,37 2,07

Рукопожатие 87,42 3,41 - - - -

Ходьба 91,67 1,84 90,79 2,11 91,15 1,94

Остановка 92,04 0,67 89,12 1,04 90,66 0,85

Обмен' 76,81 2,83 69,85 4,02 73,49 3,48

Бег - 0,92 87,73 1,93 90,32 1,46

Проект «Система идентификации моделей корпусов холодильников по изображениям» позволяет как по отдельным изображениям корпусов холодильников, так и по видеопоследовательности идентифицировать модель холодильника. Программный продукт производит следующую последовательность действий: предварительная обработка изображения, улучшение яркостных характеристик изображения; поиск объекта на изображении или наборе соседних кадров видеопоследовательности (с целью выбора «наилучшего» кадра); обработка изображения, включающая бинаризацию, выделение контуров, устранение нежелательных визуальных эффектов, нормализацию изображения (сдвиги, повороты и изменения масштаба); поиск признаков модельного ряда (наличие камер, ребер и технологических отверстий, определение их количества и взаимного положения); принятие решения о модели корпуса холодильника.

В программной системе «Алгоритмы обработки и сегментации ландшафтных изображений. Идентификация объектов» ландшафтные изображения интерпретируются как совокупность текстурных фрагментов естественного происхождения и изображений антропогенных объектов. Разработана комплексная система оценки цветовых, статистических и фрактальных признаков ландшафтных изображений. Причем, используется оригинальный метод выявления техногенных объектов на ландшафтных изображениях по признаку отсутствия показателя фрактальной размерности, вычисленной в локальных областях границ техногенных объектов. Программная система имеет модификацию для сегментации и распознавания лесной растительности по последовательности аэрофотоснимков, в ос-

нову которой положена двухуровневая процедура сегментации и распознавание текстуры трехуровневой нейронной сетью прямого распространения.

В заключении сформулированы основные результаты и выводы, полученные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Построены формальные модели обработки и распознавания пространственно-временных структур на основе иерархической процедуры обработки последовательностей изображений, отличающиеся тем, что в них учтены изоморфные и гомоморфные преобразования и выведены обобщенные функции статических и динамических инвариантов. Также построены модели поиска статических и динамических признаков объектов для четырех задач анализа последовательностей изображений в зависимости от наличия движущегося видеодатчика и объектов в сцене.

2. Расширены основные положения дескриптивного подхода к распознаванию последовательностей изображений, позволяющие учитывать цели распознавания на начальных стадиях обработки последовательности изображений с последующей сегментацией областей интереса, строить траектории движения и распознавать поведение динамических объектов, учитывать предысторию движения объектов при пересечении их проекций, сопровождать переменное количество объектов наблюдения.

3. Разработан иерархический метод обработки и распознавания пространственно-временных структур, состоящий из трех уровней и пяти этапов и предполагающий нормализацию проекций объектов, что позволяет сократить количество эталонов для одного класса при распознавании сложных динамических объектов.

4. Разработан метод оценки движения для последовательностей изображений из видимого и инфракрасного диапазонов электромагнитного излучения, отличающийся тем, что используются пространственно-временные наборы данных в виде ЪО структурных тензоров и 31) тензоров потоха соответственно. Полученная оценка движения позволяет выбрать наиболее эффективный метод сегментации динамических визуальных объектов, отличающихся количеством допустимых проекций.

5. Построена модель многоуровневого движения регионов изображения на основе локальных векторов скорости, отличающаяся тем, что позволяет разделять сцену не только на объекты переднего плана и фон, но и на уровни движения объектов, удаленных от наблюдателя. Это особенно актуально для сложных сцен, регистрируемых подвижным видеодатчиком, когда все объекты сцены находятся в относительном движении.

6. Разработан адаптивный алгоритм сегментации динамических объектов: а) для объектов с ограниченным количеством проекций на основе анализа предыстории движения локальных динамических регионов, отли-

чающийся тем, что при перекрытиях изображений достраивается форма региона по текущему шаблону и при условии применения фильтра Калма-на прогнозируется текущая траектория; б) для объектов с произвольным количеством проекций на основе комплексного анализа цветовых, текстурных, статистических, топологических признаков и признаков движения, отличающийся тем, что при перекрытиях изображений форма региона достраивается с использованием метода активных контуров.

7. Предложен способ построения динамического видеографа сложной сцены по методу иерархического группирования комплексных признаков низшего уровня в локальные пространственные структуры устойчивые во времени, и далее в локальные пространственные объекты. Сформированный видеограф устанавливает временные отношения между объектами и сохраняет все обобщенные признаки для распознавания событий в сцене. Расширена двумерная грамматика М.И. Шлезингера в рамках структурного метода распознавания до трехуровневой контекстной грамматики.

8. Для распознавания динамических объектов модифицирован коллективный метод принятия решений, вначале осуществляющий распознавание принадлежности изображения области компетентности, а затем выбирающий то решающее правило, компетентность которого максимальна в заданной области. Построены четыре вида псевдо-расстояний для нахождения меры сходства входных динамических образов с эталонами в зависимости от представления динамических признаков.

9. Разработан метод распознавания событий на основе байесовской сети, выполняющий рекурсивное разрезание матрицы весовых коэффициентов во входной видеопоследовательности и сравнение с эталонными событиями, полученными на этапе обучения. Данная информация является исходной для определения жанра сцепы и индексирования видеопоследовательностей в мультимедийных Интернет-базах.

10. Практические задачи обработки и распознавания последовательностей изображений решены с помощью адаптивно-иерархического метода пространственно-временной обработки, показана работоспособность метода, продемонстрирована эффективность применения системы иерархических методов обработки и распознавания визуальной информации с возможностью адаптивного выбора признаков в процессе решения задачи. Полученные результаты в виде спроектированных экспериментальных систем переданы заинтересованным организациям.

Таким образом, в данной диссертационной работе решена важная научно-техническая проблема информационного обеспечения систем видеонаблюдения и разработано новое направление в области распознавания динамических образов на основе пространственно-временного анализа последовательностей изображений.

Основные положения и результаты диссертационной работы представлены в следующих работах автора. Списки статей и материалы конференций приведены в хронологическом порядке.

Статьи в рецензируемых научных изданиях и в изданиях, входящих в перечень ВАК:

1. Фаворская, М.Н. Комплексный расчет характеристик ландшафтных изображений / М.Н. Фаворская, ШО.Петухов // Оптический журнал, 77, 8, 2010. с. 54-60.

2. Фаворская, М.Н. Модель улучшения цветных изображений на основе адаптивного выравнивания спектральных диапазонов / М.Н. Фаворская, А.И. Пахирка // Системы управления и информационные технологии /ИЛУ РАН, ВГТУ, № 1 (39), М.-Воронеж, 2010. с. 23-26.

3. Фаворская, М.Н. Оценка движения объектов в сложных сценах на основе тензорного подхода / М.Н. Фаворская // Цифровая обработка сигналов, М.:-Рязань, № 1, 2010. с. 2-9.

4. Favorskaya М., Zotin A., Danilin I., Smolentcheva S. Realistic 3D-modeling of Forest Growth with Natural Effect // Proceedings of the Second KES International Symposium IDT 2010, Baltimore. USA. Springer-Verlag, Berlin, Heidelberg. 2010. pp. 191-199.

5. Favorskaya M., Zotin A., Damov M. Intelligent Inpainting System for Texture Reconstruction in Videos with Text Removal // Proceedings of International Congress on Ultra Modem Telecommunications and Control Systems ICUMT2010, Moscow. Russia. 2010. Article number 1569331721.

6. Фаворская, М.Н. Формирование контекстной грамматики для распознавания сложных сцен с многоуровневым движением объектов / М.Н. Фаворская, A.M. Попов // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 1 (27), Красноярск, 2010. с. 64-68.

7. Фаворская, М.Н. Нахождение движущихся видео объектов с применением локальных 3D структурных тензоров / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 2 (23), Красноярск, 2009. с. 141146.

8. Фаворская, М.Н. Методы поиска движения в видеопоследовательностях / М.Н. Фаворская, А.И. Пахирка, A.C. Шилов, М.В. Дамов // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 1 (22) в 2 частях, Ч. 2, Красноярск, 2009. с. 69-74.

9. Фаворская, М.Н. Распознавание динамических образов на основе предсказывающих фильтров / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 1(22) в 2 частях, Ч. 1, Красноярск, 2009. с. 64-68.

10. Фаворская, М.Н. Алгоритмы реализации оценки движения в системах видеонаблюдения / МН. Фаворская, A.C. Шилов // Системы управления и информационные технологии / ИПУ РАН, ВГТУ, № 3.3(33), М.Воронеж, 2008. с. 408-412.

П.Фаворская, М.Н. Модели локализации лиц на изображениях / М.Н. Фаворская, А.И. Пахирка // Системы управления и информационные технологии / ИПУ РАН, ВГТУ, № 3.3 (33), М.-Воронеж, 2008. с. 404-408.

12. Фаворская, М.Н. Модель распознавания изображений рукописного текста / М.Н. Фаворская, А.Н. Горошкин // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Ре-шетнева. - Вып. 2 (19), Красноярск, 2008. с. 52-58.

13. Фаворская, М.Н. Вероятностные методы сегментации видеопотока как задача с недостающими данными I М.Н. Фаворская П Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 3(16), Красноярск, 2007. с. 4-8.

14. Фаворская, М.Н. Морфологическая обработка контурных изображений в системах распознавания текстовых символов / М.Н. Фаворская, А. Г. Зотин, А. Н. Горошкин // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 1 (14), Красноярск, 2007. с. 70-75.

15. Фаворская, М.И. Инвариантные решающие функции в задачах распознавания статических изображений / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 1 (14), Красноярск, 2007. с. 65-70.

16. Фаворская, М.Н. Прогнозирование в системах распознавания образов на основе скрытых марковских моделей / М.Н. Фаворская, Н.Д. Тор-гашин, А.Г. Зотин // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 1(8), Красноярск, 2006. с. 59-63.

Материалы конференций, статьи в сборниках:

17. Favorskaya М. N., Petukhov N. Y., Danilin I. М., Danilin A. I. Recognition of forest textures on airphotos // Proceedings of the IASTED International Conferences on Automation, Control, and Information Technology (ACIT 2010). Vol.1, Novosibirsk, Russia. ACTA Press, Anaheim, Calgary, Zurich. 2010. pp. 9-14.

18. Фаворская, М.Н. Построение видео графа сложной динамической сцены I М.Н. Фаворская // В материалах 12-й международной конференции и выставки «Цифровая обработка сигналов и ее применение», М. В 2 т. Т. 2,2010. с. 185-189.

19. Фаворская, М.Н. Локальные пространственно-временные признаки событий в видеопоследовательностях / М.Н. Фаворская // В материалах X междунар. науч.-техн. конф. «Теоретические и прикладные вопросы со-

временных информационных технологий», ч. II, Улан-Удэ, 2009. с. 461— 466.

20. Фаворская, М.Н. Пространственно-временная сегментация видеопоследовательностей на основе 3D структурного тензора / М.Н. Фаворская // В материалах 11-й междунар/ конф. и выставки «Цифровая обработка сигналов и ее применение», Москва, 2009. с. 385-388.

21. Фаворская, М.Н. Методы и модели поиска целевых информативных признаков в видеопоследовательностях / М.Н. Фаворская // В материалах IX международной научно-технической конференции «Кибернетика и высокие технологии XXI века», в 2 т., Т. 1, Воронеж, 2008. с. 171-182.

22. Фаворская, М.Н. Стратегии сегментации двумерных изображений / М.Н. Фаворская // В материалах всероссийской научной конференции «Модели и методы обработки изображений ММОИ-2007», Красноярск, 2007. с. 136-140.

23. Фаворская, М.Н. Определение аффинной структуры объекта по движению / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 6, Красноярск, 2005. с. 86-89.

24. Фаворская, М.Н. Идентификация ограниченного набора образов на основе ассоциативных нейронных сетей / М.Н. Фаворская, А.Г. Зотитт, М.В. Дамов, Н.Д. Торгашин // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 5, Красноярск, 2004. с. 109-116.

25. Фаворская, М.Н. Цифровой анализ искаженных изображений по плоским проекциям / М.Н. Фаворская // В кн. «ЭВМ в проектировании и производстве», вып. 2 / Под общ. ред. Г.В.Орловского, Л., Машиностроение, 1985, с. 149-153.

26. Луцив, В.Р. Принципы унификации оптических систем роботов / В.Р. Луцив, М.Н. Фаворская // В кн. «Унификация и стандартизация промышленных роботов», Ташкент, 1984, с. 93-94.

Свидетельства о регистрации программных продуктов:

27. Пахирка, А.И. Нелинейное улучшение изображений (Nonlinear image enhancement) / А.И. Пахирка, М.Н. Фаворская // Свидетельство № 2010610658. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 31 марта 2010 г.

28. Зотин, А.Г. Программа визуальной регистрации государственных номерных знаков автотранспортных средств при многопоточном движении (FNX CTRAnalyzer). Версия 1.27 / А.Г.Зотин, М.Н. Фаворская, Е.А. Вей-сов, С.В. Щульц // Свидетельство № 2010610570. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 25 марта 2010 г.

29. Левтин, К.Э. Визуальное детектирование дыма (SmokeDetection) / К.Э. Левтин, М.Н. Фаворская // Свидетельство № 2009612795. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 30 июля 2009 г.

30. Смоленцева, С.С. Система наложения визуальных природных эффектов на статическое изображение (Natural effects imitation) / С.С. Смоленцева, М.Н. Фаворская // Свидетельство № 2009612794. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 30 июля 2009 г.

31. Шилов, А.С. Определение движения (MotionEstimation) / А.С. Шилов, М.Н. Фаворская // Свидетельство № 2009611014. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 16 февраля 2009 г.

32. Пахирка, А.И. Локализация лица (FaceDetection) / А.И. Пахирка, М.Н. Фаворская // Свидетельство № 2009611010. Зарегастрировано в Реестре программ для ЭВМ г. Москва, 16 февраля 2009 г.

33. Горошкин, А.Н. Сегментация изображений рукописного текста (SegPic) / А.Н. Горошкин, М.Н. Фаворская // Свидетельство № 2008614243. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 5 сентября 2008 г.

Монография:

34. Фаворская, М.Н. Методы распознавания изображений и видеопоследовательностей: монография / M. Н. Фаворская / Сиб. гос. аэрокос-мич. ун-т. Красноярск, 2010.-176 с.

Фаворская Маргарита Николаевна

Модели и методы распознавания динамических образов на основе пространственно-временного анализа последовательностей изображений

Автореферат

Подписано к печати 28.12.2010 Формат 60x84/16. Бумага писчая. Печ. л. 1.5 Тираж 100 экз. Заказ №

Отпечатано в отделе копировальной и множительной техники СибГАУ 660014 г. Красноярск, пр. им. газеты «Красноярский рабочий», 31

ВВЕДЕНИЕ.

ГЛАВА 1 АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ И СИСТЕМ ОБРАБОТКИ И РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ ОБЪЕКТОВ ПО ПОСЛЕДОВАТЕЛЬНОСТЯМ ИЗОБРАЖЕНИЙ.

1.1 Изображение как носитель разнородной информации.

1.2 Классификация задач распознавания изображений.

1.3 Классификация методов оценки движения.

1.3.1 Анализ сопоставительных методов оценки движения.

1.3.2 Анализ градиентных методов оценки движения.

1.4 Классификация групп признаков.

1.5 Анализ методов сегментации движущихся объектов.

1.6 Методы интерпретации событий и определения жанра сцены.

1.7 Системы обработки и распознавания динамических объектов.

1.7.1 Коммерческие аппаратно-программные комплексы.

1.7.2 Экспериментально-исследовательские программные комплексы.

1.8 Постановка задачи пространственно-временной обработки последовательностей изображений.

1.9 Выводы по главе.

ГЛАВА 2 МОДЕЛИ ОБРАБОТКИ И РАСПОЗНАВАНИЯ СТАТИЧЕСКИХ И ДИНАМИЧЕСКИХ ОБРАЗОВ.

2.1 Модель обработки и распознавания статических образов.

2.2 Модель обработки и распознавания динамических образов.

2.3 Дескриптивная теория распознавания изображений.

2.4 Расширение дескриптивной теории распознавания изображений.

2.5 Обобщенные модели поиска целевых признаков при обработке и распознавании динамических объектов в сложных сценах.ИЗ

2.6 Выводы по главе.

ГЛАВА 3 НАХОЖДЕНИЕ И ОЦЕНКА ЛОКАЛЬНЫХ ПРИЗНАКОВ ДВИЖЕНИЯ5 ДИНАМИЧЕСКИХ РЕГИОНОВ.119 •

3.1 Условия и ограничения усовершенствованного метода обработки последовательностей изображений.

3.2 Оценка локальных признаков движения.

3.2.1 Стадия инициализации.

3.2.2 Оценка пространственно-временного объема данных.

3.2.3 Классификация динамических регионов.

3.3 Способы нахождения локальных движений регионов.

3.3.1 Нахождение и отслеживание особых точек сцены.

3.3.2 Оценка движения на основе 3D тензора потока.

3.4 Уточнение границ движущихся регионов.

3.5 Выводы по главе.

ГЛАВА 4 СЕГМЕНТАЦИЯ ДИНАМИЧЕСКИХ ОБЪЕКТОВ В СЛОЖНЫХ СЦЕНАХ.

4.1 Модель многоуровневого движения в сложных сценах.

4.2 Модели оценки движения на плоскости.

4.3 Исследование свойств группы Ли.

4.4 Изоморфизмы и гомоморфизмы группы.

4.5 Модель предыстории движения объектов в последовательностях изображений.

4.6 Сегментация сложной сцены на пространственные объекты.

4.6.1 Предсегментация.

4.6.2 Сегментация.

4.6.3 Пост-сегментация.

4.7 Отображение ЗБ движения точки на видеопоследовательностях.

4.8 Выводы по главе.

ГЛАВА 5 РАСПОЗНАВАНИЕ ДИНАМИЧЕСКИХ ОБЪЕКТОВ, АКТИВНЫХ ДЕЙСТВИЙ И СОБЫТИЙ СЛОЖНОЙ СЦЕНЫ.

5.1 Построение контекстной грамматики:.

5.1.1 Формирование деревьев грамматического разбора.

5.1.2 Синтаксический анализ последовательности изображений.

5.1.3 Синтаксический анализ сцены.

5.2 Построение видеографа сложной сцены.

5.3 Распознавание динамических образов.

5.4 Распознавание событий сцены.

5.4.1 Способ выявления активных действий.

5.4.2 Построение видеографа событий.

5.5 Распознавание событий и жанра сцены.

5.5.1 Распознавание событий сцены.

5.5.2 Распознавание жанра сцены.

5.6 Выводы по главе.

ГЛАВА 6 ПОСТРОЕНИЕ СИСТЕМ ОБРАБОТКИ И РАСПОЗНАВАНИЯ ПОСЛЕДОВАТЕЛЬНОСТЕЙ ИЗОБРАЖЕНИЙ И ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ.

6.1 Экспериментальный программный комплекс «ЗРОЕЯ».

6.2 Работа модулей экспериментальной системы «ЭРОЕИ.».

6.2.1 Модуль предварительной обработки.'.

6.2.2 Модуль оценки движения.

6.2.3 Модуль сегментации.

6.2.4 Модуль распознавания объектов.

6.2.5 Модуль распознавания активных действий.

6.3 Результаты экспериментальных исследований.

6.4 Прикладной проект «Визуальная регистрация государственных номерных знаков автотранспортных средств при многопоточном движении».

6.5 Прикладной проект «Система идентификации моделей кор-пусов холодильников по изображениям».

6.6 Программная система «Алгоритмы обработки и сегментации ландшафтных изображений. Идентификация объектов».

6.7 Выводы по главе.

Существует класс задач, в которых особую важность приобретает информация^ структуре и движении объектов сложной сцены (видеонаблюдение в закрытых помещениях, в местах большого скопления людей, управление движением робототехнических комплексов, наблюдение за движением транспортных средств и т.д.). Последовательности изображений являются сложным информационным ресурсом, структурированным в пространстве и во времени и объединяющим исходную информацию в виде многомерных сигналов, форму ее представления в компьютере и физические модели динамических объектов, явлений, процессов. Новые технические возможности цифровой обработки изображений позволяют частично учитывать такую специфику изображений, используя одновременно достижения когнитивной теории человеческого восприятия зрительных образов.

Анализ пространственно-временного объема данных позволяет выявлять не только статические, но и динамические признаки объектов наблюдения. В этом случае задачу распознавания можно определить как классификацию совокупностей состояний или как классификацию траекторий, решение которой не может быть найдено классическими методами распознавания, т.к. временные переходы^ могут порождать,преобразования изображений, не описываемые известными аналитическими зависимостями; Также наряду с задачей распознавания динамических объектов возникают задачи распознавания активных действий и событий, например, для выявления несанкционированных действий в местах скопления людей или определении жанра сцены для индексации в мультимедийных базах данных. Если рассматривать задачу распознавания объектов и событий по последовательностям изображений в виде единого процесса, то наиболее целесообразным является иерархический подход с элементами параллельной обработки на каждом уровне.

Совершенствование технических средств сбора и воспроизведение информации в виде статических изображений (фотографий) и видеопоследовательностей требует дальнейшего развития методов и алгоритмов их обработки, анализа ситуаций и распознавания изображенных объектов. Начальная теоретическая постановка задачи распознавания изображений относится к 1960-1970 гг. и отражена в ряде работ известных авторов [1, 6, 11, 12, 13, 23, 38, 42, 104, 106, 111]. Постановка задачи распознавания изображений может варьироваться от собственно задачи распознавания объектов, задач анализа сцен до задач понимания изображений и проблем машинного зрения. При этом системы принятия интеллектуальных решений, основанные на методах распознавания образов и изображений, используют входную информацию комплексного типа. К ней относятся как изображения, полученные в широком волновом диапазоне электромагнитного спектра (ультрафиолетовом, видимом, инфракрасном и др.), так и информация в виде звуковых образов и локационных данных. Несмотря на различную физическую природу, такую информацию можно представить в виде реальных изображений объектов и специфических изображений. Радиометрические данные - это плоские изображения сцены, представленные в перспективной или ортогональной проекции. Они формируются путем измерения интенсивности электромагнитных волн определенного спектрального диапазона, отраженных или излучаемых объектами сцены. Обычно используют фотометрические данные, измеренные в видимом спектральном диапазоне, - монохроматические (яркостные)* или цветные изображения: Локационные данные — это пространственные координаты наблюдаемых точек сцены. Если координаты измерены для всех точек сцены, то такой массив локационных данных можно назвать изображением глубины сцены. Существуют упрощенные модели изображений (например, модели аффинной проекции, представленные слабоперспективными, пара-перспективными, ортогональными и параллельными проекциями), в которых глубина сцены считается постоянной величиной, и локационное изображение сцены не несет полезной информации [105]. Звуковая информация носит в данном случае вспомогательный событийный характер.

Наиболее оперативно измеряются фотометрические данные. Локационная информация, как правило, вычисляется по данным, получаемым от специальных устройств (например, лазерного дальномера, радиолокатора) или с использованием стереоскопического метода анализа яркостных изображений. Вследствие трудностей оперативного получения локационных данных (особенно для сцен с быстро изменяющейся формой визуальных объектов) преобладают задачи описания сцены по одному визуальному изображению, т.е. задачи монокулярного зрительного восприятия сцены. В общем случае полностью определить геометрию сцены по одному изображению невозможно. Только при определенных ограничениях для достаточно простых модельных сцен и наличии априорных сведений о пространственном расположении объектов удается построить полное трехмерное описание по одному изображению [14]. Одним из способов выхода из данной ситуации является обработка и анализ видеопоследовательностей, полученных от одной или нескольких видеокамер, установленных неподвижно или перемещающихся в пространстве.

Таким образом, изображения являются основной формой представления информации о реальном мире, и требуется дальнейшее развитие методов преобразования и семантического анализа как отдельных изображений, так и видеопоследовательностей. Одним из важнейших направлений разработки таких интеллектуальных систем является автоматизация выбора методов описания и преобразования изображений с учетом их информационной природы и целей распознавания уже на начальных этапах обработки изображений.

Первые работы исследователей из США {Louisiana State University, Carnegie Mellon University, Pittsburgh), Швеции ('Computational Vision and Active Perception Laboratory {CVAP), Department of Numerical Analysis and Computer Science), Франции {INRIA), Великобритании (University of Leeds), ФРГ (University of Karlsruhe), Австрии {University of Queensland), Японии, Китая {School of Computer Science, Fudan University) по обработке последовательностей изображений и распознаванию динамических объектов были опубликованы в конце 1980-х гг. Позже аналогичные работы стали появляться и в России: в Москве (МГУ, МАИ (ГТУ), МФТИ, ГосНИИ АС), С.Петербурге (СПбГУ, ГУАП, ФГУП ГОИ, ЛОМО), Рязани (РГРТУ), Самаре (СГАУ), Воронеже (ВГУ), Ярославле (ЯрГУ), Кирове (ВГУ), Таганроге (ТТИ ЮФУ), Новосибирске (НГУ), Томске (ТГПУ), Иркутске (ИрГУ), Улан-Удэ (ВСГТУ) и др. городах. Следует отметить особый вклад таких выдающихся российских ученых, занимающихся в данной области, как академик РАН, д.т.н. Ю. И. Журавлев, член-корреспондент РАН, д.т.н. В. А. Сойфер, д.т.н. Н. Г. Загоруйко, д.т.н. Л. М. Местецкий, д.т.н. Б. А. Алпатов и др. На сегодняшний день достигнуты значительные успехи при построении систем видеонаблюдения, систем аутентификации личности по изображениям и т.д. Однако существуют нерешенные проблемы при распознавании динамических образов из-за сложности и многообразия поведения объектов реального мира. Таким образом, данное направление нуждается в совершенствовании моделей, методов и алгоритмов распознавания динамических объектов и событий по последовательностям изображений в различных диапазонах электромагнитного излучения, что позволит разрабатывать системы видеоиаблю-дения на качественно новом уровне.

Целью диссертационной работы является повышение эффективности распознавания динамических объектов, их активных действий и событий в сложных сценах по последовательностям изображений для систем наружного и внутреннего видеонаблюдения.

Поставленная цель определила необходимость решения следующих задач:

- Провести анализ методов оценки движения и нахождения признаков движения объектов по набору последовательных изображений, методов сегментации динамических объектов и семантического анализа сложных сцен, а также подходов к построению систем распознавания и слежения за динамическими объектами различного целевого назначения.

- Разработать модели распознавания статических и динамических образов, основываясь на иерархической процедуре обработки временных рядов, в частности, последовательностей изображений.

- Разработать метод оценки движения динамических структур по пространственно-временной информации, полученной в различных диапазонах электромагнитного излучения, позволяющий выбирать методы сегментации в зависимости от характера движения и, тем самым, выполнять адаптивное распознавание динамических образов.

Создать модель многоуровневого движения динамических структур в сложной сцене, позволяющую на основе полученных одометрических данных строить траектории движения динамических структур и выдвигать гипотезы о существовании визуальных объектов на основе анализа предыстории движений.

Разработать комплексный алгоритм сегментации, учитывающий совокупность выявленных признаков динамических структур при произвольных направлениях перемещений и перекрытий проекций объектов, основываясь на модели многоуровневого движения в сложных сценах.

Разработать метод распознавания динамических образов, представленных в терминах формальной грамматики и видеографа сцены, на основе метода коллективного принятия решений, а также методы распознавания активных действий и событий в сложной сцене, использующие графы активных действий и событий (расширяющие видеограф сложной сцены), и байесовскую сеть.

На основе разработанных методов и моделей спроектировать экспериментальные системы различного назначения; предназначенные для обработки последовательностей изображений объектов, характеризующихся фиксированным и произвольным набором 2£>-проекций, и-распознавания динамических образов в. сложных сценах.

Методы , исследований. При выполнении диссертационной работы использовались методы теории распознавания образов, дескриптивной теории распознавания изображений, теории обработки сигналов, методы векторного анализа и тензорного исчисления, а также теория групп, теория формальных грамматик.

Научная новизна диссертационной работы состоит в следующем:

1. Построена новая модель преобразования динамических изображений, отличающаяся расширенными иерархическими уровнями сегментации (по локальным и глобальным векторам движения) и распознавания (объектов и их активных действий), позволяющая находить целевые признаки для статических сцен с движущимися объектами и динамических сцен на, основе понятия максимального динамического инварианта.

2. Расширена дескриптивная теория распознавания изображений введением четырех новых принципов: учет цели распознавания на начальных стадиях анализа, распознавание поведения динамических объектов, оценка предыстории, переменное количество объектов наблюдения, что позволяет повысить качество распознавания движущихся объектов за счет повышения информативности исходных данных.

3. Впервые разработан адаптивный пространственно-временной метод оценки движения в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения, позволяющий извлекать признаки движения на различных иерархических уровнях, сочетая достоинства обоих типов последовательностей изображений.

4. Разработана новая модель многоуровневого движения; позволяющая проводить декомпозицию сцены на отдельные уровни; не > ограничивающаяся; общепринятым разделением на передний план и фон, что позволяет выполнять более достоверную сегментацию изображений объектов в; сложных перспективных сценах.

5: Обоснован? и построен; новый; обобщенный алгоритм сегментации динамических объектов; с, применением, множества признаков^ включающих предыстории поведения; и позволяющий отслеживать как динамику отдельных визуальных объектов, так и взаимодействия объектов в сцене (перекрытия проекций; появление/исчезновение объектов из поля зрения видеодатчика) на основе групповых преобразований; и впервые предложенном анализе общей части проекций объекта (из двух соседних кадров) с применением интегральных и инвариантных оценок.

6. Модифицирован метод коллективного принятия решений, отличающийся нахождением признаков межкадровых проекций объекта и позволяющий учитывать предысторию наблюдений для распознавания активных действий и событий на основе байесовской сети, а также предложены четыре вида псевдо-расстояний для нахождения меры сходства v динамических образов с эталонными динамическими образами в зависимости от представления динамических признаков.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения при'мониторинге автотранспортных средств при многополосном движении в рамках государственного проекта «Безопасный город», в системах автоматизированного контроля за различными технологическими производственными процессами по видеопоследовательностям, в системах наружного видеонаблюдения и видеонаблюдения в закрытых помещениях, а также в системах иденл тификации объектов на аэрофотоснимках и распознавании ландшафтных изображений. На основе диссертационных исследований разработаны программные комплексы обработки и распознавания динамических объектов, применяемые в различных сферах деятельности.

Реализация результатов работы. Разработанные программы зареги-• стрированы в Российском реестре программ для ЭВМ: программа «Сегментация изображений рукописного текста (SegPic)» (свидетельство №2008614243, г. Москва, 5 сентября 2008 г.); программа «Определение движения (MotionEstimation)» (свидетельство №2009611014, г. Москва, 16 февраля- 2009 г.); программа «Локализация лица (FaceDetection)» (свидетельство №2009611010, г. Москва, 16 февраля-2009 г.); программа «Система наложения визуальных природных эффектов на статическое изображение (Natural effects imitation)» (свидетельство №2009612794, г. Москва, 30 июля 2009 г.); программа «Визуальное детектирование дыма (SmokeDetection)» (свидетельство №2009612795, г. Москва, 30 июля 2009 г.); «Программа визуальной регистрации государственных номерных знаков автотранспортных средств при многопоточном движении (FNX CTRAnalyzer)» (свидетельство №2010612795, г. Москва, 23 марта 2010 г.), программа «Нелинейное улучшение изображений (Nonlinear image enhancement)» (свидетельство №2010610658, г. Москва, 31 марта 2010 г.

Получены акты о передаче и использовании алгоритмического и программного обеспечения для распознавания корпусов холодильников на сборочной линии (ОАО КЗХ «Бирюса», г. Красноярск), для идентификации изо бражений объектов на ландшафтных изображениях (Концерн радиостроения «Вега», ОАО КБ «Луч», г. Рыбинск Ярославской области), для сегментации лесной растительности по набору последовательных аэрофотоснимков (ООО «Альтекс Геоматика», г. Москва), для обнаружения пластин государственных регистрационных знаков автотранспортных средств в видеопоследовательностях при многопоточном движении и повышении качества их отображения^ (УГИБДД ГУВД по Красноярскому краю, г. Красноярск).

Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении занятий по дисциплинам «Интеллектуальная обработка данных», «Компьютерные технологии в науке и образовании», «Теоретические основы цифровой обработки изображений», «Распознавание образов», «Нейронные сети», «Алгоритмы обработки изображений», «Алгоритмы обработки видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете имени академика М.Ф. Решетнева (СибГАУ).

Достоверность полученных в диссертационной работе результатов обеспечивается корректностью используемых методов исследования^ математической строгостью выполненных преобразований, а также соответствием сформулированных положений- и выводов результатам их экспериментальной проверки.

Основные положения, выносимые на защиту:

1. Модель обработки и распознавания динамических образов в сложных сценах, существенно расширенная' иерархическими уровнями сегментации и распознавания не только объектов, но и их активных действий.

2. Расширение дескриптивной теории распознавания изображений для временных рядов (последовательностей изображений) за счет повышения информативности анализируемых данных не только в пространственной области, но и по временной составляющей.

3. Адаптивный пространственно-временной метод оценки движения на. основе тензорных представлений локальных ЗИ объемов в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения.

4. Модель многоуровневого движения в сложных сценах, расширяющая декомпозицию перспективных сцен на отдельные уровни для более достоверного анализа траекторий движения объектов.

5. Обобщенный алгоритм сегментации динамических объектов, позволяющий на основе групповых преобразований и предложенных интегральных и инвариантных оценок выявлять перекрытия проекций объектов, появление/исчезновение объектов из поля зрения видеодатчика.

6. Методы распознавания динамических образов на основе модифицированного метода коллективного принятия решений и нахождения псевдорасстояний в метрических пространствах, а также активных действий и событий в сложных сценах.

Апробация работы. Основные положения и результаты диссертационных исследований докладывались и обсуждались на 10 международной конференции «Pattern Recognition and Image Analysis: Modern Information Technologies», (S.-Petersburg, 2010), международном конгрессе «Ultra Modern Telecommunications and Control Systems ICUMT2010» (Moscow, 2010); XII международном симпозиума по непараметрическим методам в кибернетике и системному анализу (Красноярск, 2010), II международном симпозиуме «Intelligent Decision-Technologies - IDT 2010» (Baltimore, 2010), III международной конференции. «Automation, Control? and Information Technology - AOIT— ICT'2010» (Novosibirsk, 2010), 10-й, 11-й и 12-й международных конференциях и выставках «Цифровая обработка сигналов и ее применение» (Москва, 2008 — 2010 гг.), X международной научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2009 г.), IX международной научно-технической конференции «Кибернетика и высокие технологии XXI века» (Воронеж, 2008), всероссийской конференции «Модели и методы обработки изображений» (Красноярск, 2007 г.), на X, XI и XIII международных научных конференциях «Ре-шетневские чтения» (Красноярск, 2006, 2007, 2009 гг.), а также на научных семинарах Государственного университета аэрокосмического приборостроения (С.-Петербург, 2009 г.), Института вычислительного моделирования СО

РАН (Красноярск, 2009 г.), Института систем обработки изображений РАН (Самара, 2010).

Публикации. По результатам диссертационного исследования опубликовано 53 печатных работы, из них 1 монография, 26 статей (из них 14 статей - в изданиях, включенных в список ВАК, 2 статьи — в изданиях, перечисленных в «Thomson Reuters: Science Citation Index Expanded / Conference Proceedings Citation Index»), 19 тезисов докладов, 7 свидетельств, зарегистрированных в Российском реестре программ для ЭВМ, а также 3 отчета по НИР.

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановку задач и их математические и алгоритмические решения, получены автором лично, или выполнены под его научным руководством и при непосредственном участии. По материалам работы были защищены две диссертации на соискание ученой степени кандидата технических наук, при выполнении которых автор был официальным научным руководителем.

Структура работы. Работа состоит из введения, шести глав, заключения, библиографического списка. Основной текст диссертации содержит 326 страниц, изложение иллюстрируется 63 рисунками и 23 таблицами. Библиографический список включает 232 наименования.

6.7 Выводы по главе

В' данной главе подробно рассмотрена структура и основные функции экспериментального программного комплекса «ЗРОЕЛ», у.1.02, который; выполняет системную иерархическую обработку последовательностей изображений вплоть до высших уровней распознавания объектов и событий. Он является автоматизированной системой, требующей участия человека для обучения и настройки графов, сетей и классификаторов. Ряд низкоуровневых модулей системы работает в автоматическом режиме. Структура программного комплекса такова, что возможна модификация модулей без оказания влияния на другие модули системы. Представлены функциональные схемы основных модулей системы: модуля, предварительной обработки, модуля оценки движения, модуля сегментации, модуля распознавания объектов и модуля распознавания активных действий.

Экспериментальные исследования на основе данного программного комплекса проводились на нескольких видеопоследовательностях и инфракрасных последовательностях из тестовой базы «OTCBVS^07», на тестовых видеопоследовательностях «Hamburg taxi», «Rubik cube». «Silent», а также на собственном видеоматериале. Тестировались пять методов оценки движения. Экспериментально было показано, что метод сопоставления блоков и предложенный метод для инфракрасной последовательности показывают близкие значения и являются наименее точными. Предложенный метод для видеопоследовательности и метод слежения за точечными особенностями демонстрируют близкие результаты. При этом разработанный тензорный подход требует меньшего объема компьютерных вычислений по сравнению с методом слежения за точечными особенностями. Совместное использование синхронизированных видеопоследовательности и инфракрасной последовательности целесообразно использовать для нахождения модуля вектора скорости и в условиях пониженного освещения сцены.

Для распознавании визуальных объектов применялись четыре вида псевдо-расстояний (псевдо-расстояния Хаусдорффа, Громова-Хаусдорффа, Фреше, естественное псевдо-расстояние) для нахождения меры сходства входных динамических образов с эталонными динамическими образами (в зависимости от представления динамического признака - множества числовых характеристик, множества векторов, множества функций). Они показали свою состоятельность для образов с допустимыми морфологическими преобразованиями. Использовались интегрированные нормализованные оценки формы контура Кс общей части проекции объекта между условно соседними кадрами и площадь общей части 5е и инвариантная оценка - корреляционная функция общих частей проекций Fcor. Применение модифицированного метода коллективного принятия решений позволяет «отбросить» неудачные наблюдения входных образов (случаи перекрытия проекций объектов, искажения сцены от источников освещения и т. д.) и выбрать наиболее подходящие наблюдения. Эксперименты показали, что применение модифицированного метода коллективного принятия решения повышает точность распознавания в среднем на 2,4-2,9 %.

Экспериментальные результаты оценки движения, сегментации и распознавания объектов были получены на тестовых последовательностях изображений («Hamburg taxi», «Rubik cube». «Silent», видеопоследовательности и инфракрасные последовательности из тестовой базы «ОТСВVS'07»). Для распознавания активных действий людей использовались примеры из тестовых баз «PETS», «CAVIAR», «VACE». Характер тестовой визуальной последовательности влияет на показатели. Хуже распознаются объекты, осуществляющие вращательное движение («Rubik cube»), лучше — техногенные объекты небольших размеров («Hamburg taxi», «Видео 1»). Наилучшие результаты показывает распознавание по двум последовательностям. Также лучшие экспериментальные результаты достигались при распознавании периодических активных действий людей, не находящихся в группах (хождение, бег, поднятие рук). Ложные срабатывания обусловлены засветкойш наличием теней, в ряде мест сцены.

В ^завершении* шестой главы были рассмотрены такие прикладные'проекты, как «Визуальная регистрация государственных номерных знаков автотранспортных средств при многопоточном движении», «Система идентификации моделей корпусов холодильников по изображениям», «Алгоритмы.обработки и-сегментации, ландшафтных изображений. Идентификация объектов». Алгоритмическое и. программное обеспечение передано заинтересованным, организациям: Результаты тестовой эксплуатации показали работоспособность программного обеспечения, разработанного на основе предложенных в диссертационной работе моделей и методов.

ЗАКЛЮЧЕНИЕ

В диссертационной работе была поставлена и решена важная научно-техническая проблема обработки пространственно-временных данных, полученных из последовательностей видимого и инфракрасного диапазонов электромагнитного излучения, и распознавания динамических образов в сложных сценах. Система иерархических методов обработки и извлечения признаков из пространственно-временных данных представляет собой методологическую основу решения прикладных задач в области видеонаблюдения.

Во введении обоснована актуальность диссертационной работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практическая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе показано, что визуальные объекты в видеопоследовательностях характеризуются более многомерным вектором признаков, чем" образы в классической постановке задачи распознавания статических изображений. В диссертационной работе вводятся уточняющие этапы на среднем и высшем уровнях обработки, которые имеют существенное значение для динамических изображений.

Построена классификация основных типов задач распознавания для статических изображений, статических сцен с элементами движения и последовательностей изображений, которая отражает исторический характер развития математических методов в данной области. Проведен подробный анализ методов оценки движения, алгоритмов сегментации движущихся объектов, методов интерпретации событий в сложных сценах.

Рассмотрены существующие коммерческие аппаратно-программные комплексы в таких областях, как мониторинг транспортных средств различного назначения, обработка спортивных видеоматериалов, обеспечение безопасности (распознавание лиц, несанкционированное проникновения людей на охраняемую территорию), Также анализируются исследовательские разработки для систем видеонаблюдения.

В завершении главы 1 приведена постановка задачи пространственно-временной обработки последовательностей изображений, представленная в виде трех уровней и пяти этапов обработки и распознавания визуальной информации по последовательностям изображений.

Во второй главе диссертации разработаны формальные модели обработки и распознавания объектов по их статическим изображениям и последовательностям изображений. Построены допустимые отображения в пространстве изображений и пространстве признаков для прямой задачи и обратной задачи. Приведены правила построения инвариантных решающих функций и обобщенного максимального динамического инварианта. При распознавании траектории различных образов в многомерном пространстве признаков могут пересекаться. При пересечении проекций объектов нахождение обобщенного максимального динамического инварианта становится еще более трудной, а в некоторых случаях и невозможной задачей.

Рассмотрены основные принципы дескриптивной теории распознавания изображений, в основу которой легли регулярные методы выбора и синтеза алгоритмических процедур обработки информации при распознавании изображений. Предложены дополнительные принципы, расширяющие дескриптивную теорию для динамических изображений: учет цели распознавания на начальных стадиях обработки последовательности изображений, распознавание поведенческих ситуаций динамических объектов, оценка предыстории динамических объектов, переменное количество объектов наблюдения в сложных сценах.

Подробно рассмотрена проблема поиска целевых признаков для анализа последовательностей изображений в зависимости от типа съемки (в случае одноракурсной съемки), движения видеодатчика и наличия движущихся объектов в зоне видимости. Приведены описания четырех ситуаций в пространстве признаков по мере усложнения задачи.

В третьей главе сформулированы этапы обработки последовательностей изображений и распознавания объектов, активных действий, событий и жанра сцены. Этапы отражают последовательный иерархический характер обработки визуальной информации. Также представлены условия и ограничения иерархических методов пространственно-временной обработки последовательностей изображений.

Классификация динамических регионов изображения производится путем анализа собственных значений 31) структурного тензора, собственные векторы которого определяются по локальным смещениям интенсивностей изображений соседних кадров и используются для оценки локальных ориен-таций динамических регионов. Обоснован новый метод оценки движения в пространственно-временном объеме данных видимого и инфракрасного диапазонов излучения на основе тензорного подхода. Рассмотрена возможность применения пространственно изменяемого ядра, адаптивного к размерам и ориентации окружения точки. Адаптация окружения, вначале имеющего форму круга, а затем превращающегося после 2-3 итераций в форму ориентированного эллипса позволяет улучшить оценку ориентированных структур на изображении. Такая стратегия улучшает оценки градиентов в пространственно-временном наборе данных.

Оценка локальных параметров движения производится путем вычисления геометрических примитивов и особенных точек локального региона. Таким образом, оценка локальных признаков движения регионов является основой выдвижения последующих гипотез принадлежности визуальных объектов к тому или иному классу. Использование синхронных видеопоследовательности и инфракрасной последовательности позволяет улучшить результаты сегментации движущихся регионов на изображении и нахождения локальных векторов движения.

Показано, что оценить границы в цветных изображениях можно на основе многомерных градиентных методов, построенных по всем направлениям в каждой точке границы, векторными методами с использованием порядковых статистиках о цветном изображении, а также применением тензорного подхода в рамках многомерных градиентных методов. Способы уточнения контурной информации имеют существенное значение для регионов с произвольным количеством допустимых проекций.

В четвертой главе построена многоуровневая модель движения на основе структур движения, отражающая динамику объектов реальных сцен и расширяющая двухуровневое представление сцены, разделяемой на объекты интереса и неподвижный фон.

Исследуются модели движения объектов на плоскости, основанные на теории компактных групп Ли. Представлены модели для проективного преобразования и разновидностей моделей аффинного преобразования. Такие преобразования хорошо описывают структуры движения с ограниченным количеством проекций (техногенные объекты). Представление структур с неограниченным количеством проекций (антропогенные объекты) аффинными или проективными преобразованиями сопровождается рядом дополнительных условий (в частности, требование удаленности объектов от видеодатчика, малоразмерные объекты и т. д.). Приводятся определения и теорема, доказанная Л. С. Понтрягиным, на основании которых удалось найти внутренний автоморфизм групповых координат, описывающих некоторый объект с точностью до сдвигов между соседними кадрами. Величина сдвигов опреде1 ляется по методу оценки движения межкадровой разницы, разработанному в 3" главе.

Построено расширение допустимых переходов между группами преобразований в- силу двойственности природы 2£)-изображений (отображение изменений проекции отдельного объекта и визуальное пересечение нескольких объектов: (взаимодействие объектов)). Найдены, критерии, которые при изменении групп преобразований фиксируют активные действия и события, в сцене, а именно, интегрированные оценки формы контура Кс общей части проекции между условно соседними кадрами и площадь общей части 5е и инвариантные оценки — корреляционная функция общих частей проекций Рсог и структурные константы группы Ли с'д, которые позволяют оценить степень изменчивости и выявить характер движения наблюдаемых объектов.

Также построена модель предыстории движения объектов в последовательностях изображений, включающая временные ряды траекторий перемещения, изменения формы объекта при его движении в 3£>-пространстве, а также изменения формы объекта, связанные с взаимодействием объектов в сцене и появлением/исчезновением объекта из поля зрения датчика (используется для распознавания активных действий и событий в сцене). 1

Разработан обобщенный алгоритм сегментации объектов в сложных сценах, учитывающий сложные случаи сегментации (перекрытия изображений, появление и исчезновение объектов из поля зрения камеры, движение на камеру), который включает три подэтапа: предсегментацию, сегментацию и пост-сегментацию. Для каждого подэтапа сформулированы задачи, исходные и выходные данные, разработаны блок-схемы алгоритмов, позволяющие проводить сегментацию сложных сцен, используя преимущества синхронных последовательностей из различных диапазонов излучения.

В пятой главе рассматривается процесс распознавания динамических образов, использующий формальную грамматику, видеограф сцены и модифицированный метод коллективного принятия решений. Динамическая сцена с многоуровневым движением обладает изменяющейся во времени структурой, поэтому целесообразно использовать структурные методы распознавания. Предложенная трехуровневая контекстная грамматика распознавания сложных сцен с многоуровневым движением объектов реализует две задачи: задачу синтаксического анализа последовательности изображений и задачу синтаксического анализа сцены.

Более наглядным средством семантического описания сцены является видеограф, построенный по методу иерархического группирования. На основе комплексных признаков низшего уровня формируются локальные пространственные структуры, устойчивые во времени, локальные пространственные объекты и строится видеограф сцены, включающий распознанные пространственные объекты, совокупность присущих им действий, а также пространственно-временные связи между ними.

Модифицированный метод коллективного принятия решений основан на двухуровневой процедуре распознавания. На первом уровне осуществляется распознавание принадлежности изображения той или иной области компетентности. На втором уровне вступает в силу решающее правило, компетентность которого максимальна в заданной области. Построены выражения для псевдо-расстояний при нахождении меры сходства входных динамических образов с эталонными динамическими образами в зависимости от представления динамических признаков - множества числовых характеристик, множества векторов, множества функций.

При распознавании событий видеограф сложной сцены расширяется до видеографа событий: Построена объектно-зависимая модель динамического объекта. В качестве функции соответствия используются простейшие классификаторы в пространстве признаков (например, по методу ^-средних), т. к. сопоставление осуществляется по ограниченному множеству шаблонов, ассоциированных с ранее опознанным объектом. Рассмотрены способы формирования шаблонов проекций визуальных объектов.

Видеограф событий строится на основе сетей Маркова. Рассмотрены способы выявления активных действий агентов, а также порядок построения и разрезания видеографа событий для распознавания, событий в сцене. При этом для каждого события строится своя модель, которая обучается на тестовых примерах. Обнаружение событий сводится к кластеризации последовательно выполняемых активных действий на основе байесовского подхода. Выполняется рекурсивное разрезание- матрицы весовых коэффициентов во входной видеопоследовательности и сравнение с эталонными, событиями, полученными на этапе обучения. Данная информация является* исходной для определения жанра сцены и при необходимости индексирования видеопоследовательности в базе данных. Разработана схема понимания и интерпретации изображений и видеоматериалов для индексирования в мультимедийных Интернет-базах.

В шестой главе представлено описание экспериментального программного комплекса «SPOER», v.l.02 по обработке последовательностей изображений и распознаванию движущихся объектов и событий. Он выполняет системную иерархическую обработку последовательностей изображений вплоть до высших уровней распознавания объектов и событий. Он является автоматизированной системой, требующей участия человека для обучения и настройки графов, сетей и классификаторов. Ряд низкоуровневых модулей системы работает в автоматическом режиме.

В экспериментальных исследованиях, проведенных с помощью программного комплекса «SPOER», v.l.02, использовались видеопоследовательности и инфракрасные последовательности изображений из тестовой базы «OTCBVS'07», тестовые видеопоследовательности «Hamburg taxi», «Rubik cube». «Silent» и собственные видеоматериалы. Тестировались пять методов оценки движения. Предложенный метод для видеопоследовательности демонстрирует наиболее точные результаты и требует меньшего объема компьютерных вычислений по сравнению с другими методами. Совместное использование синхронизированных видеопоследовательности и инфракрасной последовательности целесообразно при нахождении модулей векторов скоростей в условиях пониженного освещения сцены.

Для распознавании визуальных объектов с допустимыми морфологическими преобразованиями проекций использовались интегрированные нормализованные оценки формы контура Кс общей части проекции объекта между условно соседними кадрами и площадь общей части 5е и инвариантная оценка - корреляционная функция общих частей проекций Fcor. Применение модифицированного метода коллективного принятия решений позволяет «отбросить» неудачные наблюдения входных образов (случаи перекрытия проекций объектов, визуальные искажения сцены от источников освещения и т. д.) и выбрать наиболее подходящие наблюдения. Эксперименты показали, что применение модифицированного метода коллективного принятия решения повышает точность распознавания в среднем на 2,4—2,9 %.

Экспериментальные результаты оценки- движения; сегментации и распознавания объектов были получены на тестовых последовательностях изображений («Hamburg taxi», «Rubik cube». «Silent», видеопоследовательности и инфракрасные последовательности из тестовой базы «OTCBVS*07»). Для распознавания активных действий людей использовались примеры из тестовых баз «PETS», «CAVIAR», «VACE». Наилучшие результаты показывает распознавание по двум последовательностям. Также лучшие экспериментальные результаты достигались при распознавании периодических активных действий людей, не находящихся в группах (хождение, бег, поднятие рук). Ложные срабатывания обусловлены засветкой и наличием теней в ряде мест сцены.

На базе экспериментального комплекса «ЗРОЕЯ», V. 1.02 были разработаны системы обработки видеоинформации различного целевого назначения: «Визуальная регистрация государственных номерных знаков автотранспортных средств при многопоточном движении», «Система идентификации моделей корпусов холодильников по изображениям», «Алгоритмы обработки и сегментации ландшафтных изображений. Идентификация объектов». Алгоритмическое и программное обеспечение передано заинтересованным организациям. Результаты тестовой эксплуатации показали работоспособность программного обеспечения, разработанного на основе предложенных в диссертационной работе моделей и методов.

Таким образом, в диссертационной работе были получены следующие результаты:

1. Построены формальные модели обработки и распознавания пространственно-временных структур на основе адаптивной иерархической процедуры. обработки последовательностей изображений, отличающиеся тем, что в них учтены изоморфные и гомоморфные преобразования и выведены обобщенные функции статических и динамических инвариантов. Также построены модели поиска статических и динамических признаков объектов для четырех задач анализа последовательностей изображений в зависимости от наличия движущегося1 видеодатчика и движущихся объектов в сцене.

2. Расширены- основные положения дескриптивного подхода к распознаванию последовательностей изображений, позволяющие учитывать цели распознавания на начальных стадиях обработки последовательности изображений с последующей сегментацией областей интереса, строить траектории движения и распознавать поведение динамических объектов, учитывать предысторию движения объектов при пересечении их проекций, сопровождать переменное количество объектов наблюдения.

3. Разработан иерархический метод обработки и распознавания пространственно-временных структур, состоящий из трех уровней и пяти этапов и предполагающий нормализацию проекций объектов, что позволяет сократить количество эталонов для одного класса при распознавании сложных динамических объектов.

4. Разработан метод оценки движения для последовательностей изображений из видимого и инфракрасного диапазонов электромагнитного излучения отличающийся тем, что используются пространственно-временные наборы данных, представленные в виде 3£> структурных тензоров и ЪВ тензоров. потока соответственно. Полученная оценка движения позволяет выбрать наиболее эффективный метод сегментации динамических визуальных объектов, отличающихся количеством допустимых проекций.

5. Построена модель многоуровневого движения регионов изображения на основе локальных векторов скорости, отличающаяся тем, что позволяет разделять сцену не только на объекты переднего плана и фон, но и на уровни движения объектов, удаленных от наблюдателя. Это особенно актуально для сложных сцен, регистрируемых подвижным видеодатчиком, когда все объекты сцены находятся в относительном движении.

6. Разработан адаптивный алгоритм-сегментации динамических объектов: а) для объектов с ограниченным количеством проекций, на основе анализа предыстории движения локальных динамических регионов, отличающийся тем, что при перекрытиях изображений достраивается форма, региона по текущему шаблону и при условии применения фильтра Калмана прогнозируется,текущая, траектория; б) для объектов с произвольным количеством проекций на основе комплексного анализа, цветовых, текстурных, статистических, топологических признаков и признаков движения, отличающийся тем, что при перекрытиях изображений^форма региона достраивается с использованием метода активных контуров.

7. Предложен способ построения динамического видеографа сложной сцены по методу иерархического группирования комплексных признаков низшего уровня в локальные пространственные структуры, устойчивые во времени, и далее в локальные пространственные объекты. Сформированный видеограф устанавливает временные отношения между объектами и сохраняет все обобщенные признаки для распознавания событий в сцене. Расширена двумерная грамматика М.И. Шлезингера в рамках структурного метода распознавания до трехуровневой контекстной грамматики.

8: Для распознавания динамических объектов модифицирован коллективный метод принятия решений, вначале осуществляющий распознавание принадлежности изображения области компетентности, а затем выбирающий то решающее правило, компетентность которого максимальна в заданной области. Построены четыре вида псевдо-расстояний для нахождения меры сходства входных динамических образов с эталонами в зависимости от представления динамических признаков.

9. Разработан метод распознавания событий на основе байесовской сети, выполняющий рекурсивное разрезание матрицы весовых коэффициентов во входной видеопоследовательности и сравнение с эталонными событиями, полученными на этапе обучения. Данная информация является исходной для определения жанра сцены и индексирования видеопоследовательностей в мультимедийных Интернет-базах.

10. Практические задачи обработки и распознавания последовательностей изображений решены с помощью адаптивно-иерархического метода пространственно-временной обработки, показана работоспособность метода, продемонстрирована эффективность применения системы иерархических методов обработки и. распознавания визуальной информации с возможностью адаптивного выбора признаков в. процессе решения задачи. Полученные результаты в виде спроектированных экспериментальных систем, переданы заинтересованным организациям.

Таким образом, в данной диссертационной, работе решена важная научно-техническая проблема информационного обеспечения систем видеонаблюдения и разработано новое направление в области пространственно-временной обработки и распознавания динамических изображений.

1. Автоматический анализ сложных изображений / Под ред. Э.М. Бра-вермана. М.: Мир, 1969. - 309 с. Бонгард М.М. Проблемы узнавания. - М.: Наука, 1967.-320 с.

2. Алпатов, Б.А., Обнаружение движущегося объекта в последовательности изображений при наличии ограничений на площадь и скорость движения объекта / Б.А. Алпатов, A.A. Китаев // Цифровая обработка изображений, №1, 2007. с. 11-16.

3. Алпатов, Б.А., Выделение движущихся объектов в условиях геометрических искажений изображения / Б.А. Алпатов, П.В. Бабаян // Цифровая обработка сигналов, № 45 2004. с. 9-14.

4. Алпатов, Б.А., Бабаян П.В. Методы обработки и анализа изображений' в бортовых системах обнаружения и сопровождения объектов / Б.А. Алпатов, П.В. Бабаян // Цифровая обработка сигналов, №2, 2006. 45-51 с.

5. Большаков, A.A., Методы обработки многомерных данных и временных рядов: Учебное пособие для вузов / A.A. Большаков, Р.И. Каримов / М.: Горячая линия-Телеком, 2007. 522 с.6: Бонгард, М.М. Проблемы узнавания / М.М. Бонгард / М.: Наука, 1967.-320 с.

6. Булинский, A.B. Теория случайных процессов1 / A.B. Булинский, А.Н. Ширяев / М.: ФИЗМАТЛИТ, 2005. 408 с.

7. Вайнцвайг, М.Н. Архитектура системы представления зрительных динамических сцен в терминах понятий / М.Н.Вайнцвайг, М.Н. Полякова // Сб. тр. 11-й всеросс. конф. «Математические методы распознавания образов (ММРО-11)», М., 2003. с.261-263.

8. Вапник, В.Н. Задача обучения распознаванию образов / В.Н. Вапник / М.: Знание, 1970. - 384 с.

9. П.Вапник, В.Н. Теория распознавания образов (статистические проблемы обучения) / В.Н. Вапник, А.Я. Червоненкис / М.: Наука, 1974. 416 с.

10. Васильев, В.И. Распознавание движущихся тел / В.И. Васильев, А.Г. Ивахненко, В.Е. Реуцкий и др. // Автоматика, 1967, № 6, с. 47-52.

11. Васильев, В.И. Распознающие системы / В.И. Васильев / Киев: Наук. Думка, 1969. 292 с.

12. Васильев, В.И. Распознающие системы. Справочник / В.И. Васильев / Киев, Наук, думка, 1983. 422 с.

13. Визильтер, Ю.В. Применение метода анализа морфологических свидетельств в задачах машинного зрения>/ Ю.В. Визильтер // Вестник компьютерных и информационных технологий, № 9, 2007 с. 11-18.

14. Визильтер, Ю.В. Проективные морфологии на базе интерполяции / Ю.В. Визильтер // Вестник компьютерных и информационных технологий, №4, 2008.-с. 11-18.

15. Визильтер, Ю.В., Проективные морфологии и их применение в структурном анализе цифровых изображений / Ю.В. Визильтер, С.Ю. Желтов // Изв. РАН. ТиСУ, № 6, 2008. с. 113-128.

16. Визильтер, Ю.В. Исследование поведения авторегрессионных фильтров в задаче выделения и анализа движения на цифровых видеопоследовательностях / Ю.В. Визильтер, Б.В. Вишняков // Вестник компьютерных и информационных технологий, № 8, 2008. — с. 2-8.

17. Визильтер, Ю.В. Проективные морфологии изображений на базе моделей, описываемых структурирующими функционалами /Ю.В. Визильтер, С.Ю. Желтов // Вестник компьютерных и информационных технологий, № 11, 2009.-с. 12-21.

18. Вишняков, Б.В. Использование модифицированного метода оптических потоков в задаче обнаружения и межкадрового прослеживания движуs.

19. Ганебных, С.Н. Анализ сцен на основе применения древовидных представлений изображений / С.Н.Ганебных, М.М. Ланге // Сб. тр. 11-й все-росс. конф. «Математические методы распознавания образов (ММРО-11)», М., 2003.-с. 271-275.

20. Глушков, В.М. Введение в кибернетику / В.М. Глушков / Киев: изд-во АН УССР, 1964. 324 с.

21. Гонсалес, Р., Вудс Р. Цифровая обработка изображений. Пер.с англ. под ред. П.А.Чочиа / Р.Гонсалес, Р. Вудс / М.: Техносфера, 2006. 1072 с.

22. Горошкин, А.Н., Сегментация изображений рукописного текста (SegPic) / А.Н. Горошкин, М.Н. Фаворская // Свидетельство № 2008614243. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 5 сентября 2008 г.

23. Гренандер, У. Лекции по теории образов / У. Гренандер / В 3 т. / Пер.с англ. Под ред. Ю.И.Журавлева. М.: Мир, 1979-1983. 130 с.

24. Грузман, И.С. Цифровая обработка изображений в информационных системах: Учебн. Пособие / И.С.Грузман, B.C. Киричук, В.П. Косых, Г.И.Перетягин, A.A. Спектор / Новосибирск, изд-во НГТУ, 2003. с. 352.

25. Достоверный и правдоподобный вывод в интеллектуальных системах / Под ред. В.Н. Вагина, Д.А. Поспелова. 2-е изд., испр. и доп. - М.: ФИЗМАТЛИТ, 2008. - 712 с.

26. Дуда, Р. Распознавание образов и анализ сцен / Р. Дуда, П. Харт / М.: изд-во «Мир», 1978. 512 с.

27. Журавлев, Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации / Ю.И. Журавлев // Проблемы кибернетики: Сб. ст., вып. 33, М.: Наука, 1978. с. 5-68.

28. Журавлев, Ю.И. Об алгебраической коррекции процедур обработки (преобразования) информации / Ю.И.Журавлев, К.В. Рудаков // Проблемы прикладной математики и информатики, М.: Наука, 1987. с. 187-198.

29. Журавлев, Ю.И. Распознавание образов и распознавание изображений / Ю.И. Журавлев, И.Б. Гуревич // Ежегодник «Распознавание. Классификация. Прогноз. Математические методы и их применение», вып. 2, М.: Наука, 1989.-72 с.

30. Журавлев, Ю.И. Распознавание образов и анализ изображений / Ю.И.Журавлев, И.Б. Гуревич / Искусственный интеллект в 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А. Поспелова, М.: изд-во «Радио и связь», 1990. — с.149-190.

31. Загоруйко, Н.Г. Методы распознавания и их применение / Н.Г. За-горуйко / М.: Сов. радио, 1972. 206 с.

32. Загоруйко, Н.Г. Искусственный интеллект и эмпирическое предсказание / Н.Г. Загоруйко / Новосибирск: изд. НГУ, 1975. 82 с.

33. Ивахненко, А.Г. О применении теории инвариантности и комбинированного управления к синтезу и анализу обучающихся систем / А.Г. Ивахненко // Автоматика, 1961, № 5, с. 11-19.

34. Ивахненко, Г.И. Самообучающиеся системы распознавания и автоматического управления / А.Г. Ивахненко / Киев: Техника, 1969. 302 с.

35. Кашкин, В.Б. Дистанционное зондирование Земли из космоса. Цифровая обработка изображений: Учебное пособие / В.Б. Кашкин, А.И. Су-хинин / М.: Логос, 2001. 264 с.

36. Кобзарь, А.И. Прикладная математическая статистика. Для инженеров и научных работников / А.И. Кобзарь / М.: ФИЗМАТЛИТ, 2006. 816 с.

37. Ковалевский, В.А. Корреляционный метод распознавания изображений / В.А. Ковалевский // Журн. вычисл. математики и мат.физики, 1962, 2, № 4, с. 684-690.

38. Колмогоров, А.Н: Эпсилон-энтропия и эпсилон-емкость множеств в функциональных пространствах / А.Н. Колмогоров, В.М. Тихомиров // Теория информации и теория алгоритмов. М.: Наука, 1987. с. 119-198.

39. Корн, Г. Справочник по математике для научных работников и инженеров / Г.Корн, Т. Корн // М.: Наука, Гл. ред. физ.-мат. лит., 1984. 832 с.

40. Кроновер, Р. Фракталы и хаос в динамических системах / Р. Кроно-вер // М.: Техносфера, 2006. 488 с.

41. Лапко, A.B. Непараметрические*и гибридные системы классификации разнотипных данных / А.В.Лапко, BlA. Лапко // Тр. 12-й всеросс. конф. «Математические методы и модели распознавания образов» (ММРО-12), М., 2005.-с. 159-162.

42. Левтин, К.Э. Визуальное детектирование дыма (SmokeDetection) / К.Э.Левтин, М.Н. Фаворская // Свидетельство № 2009612795. Зарегистрировано в Реестре программ для ЭВМ г. Москва, ЗО июля 2009 г.

43. Луцив, В.Р. Принципы унификации оптических систем роботов / В.Р. Луцив, М.Н. Фаворская // В- кн. «Унификация и стандартизация промышленных роботов», Ташкент, 1984. с. 93-94.

44. Луцив, В.Р. Универсальная оптическая система для ГАП / В.Р. Луцив, М.Н. Фаворская // В кн. «Опыт создания, внедрения и использования АСУТП в объединениях и на предприятиях», Л., ЛДНТП, 1984. с. 44-47.

45. Медведева, Е.В. Метод оценки векторов движения в видеоизображениях / Е.В.Медведева, Б.О. Тимофеев // В материалах 12-й международной конференции и выставки «Цифровая обработка сигналов и ее применение», М.: В 2 т. Т. 2, 2010. с. 158-161.

46. Методы компьютерной обработки изображений / Под ред. В.А.Сойфера. 2-е изд., исп. - М.: ФИЗМАТЛИТ, 2003. - 784 с.

47. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Б. А. Алпатов, П.В. Бабаян, O.E. Балашов, А.И. Степашкин. -М.: Радиотехника, 2008. — 176 с.

48. Методы компьютерной оптики / Под ред. В.А.Сойфера. М.: ФИЗМАТЛИТ, 2003. - 688 с.

49. Мудров, А.Е. Численные методы для ПЭВМ на языках Бейсик, Фортран и Паскаль / А.Е. Мудров / Томск: МП «РАСКО», 1991. 272 с.

50. Пахирка, А.И. Локализация лица (FaceDetection) / А.И.Пахирка, М.Н. Фаворская // Свидетельство № 2009611010. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 16 февраля 2009 г.

51. Пахирка, А.И. Нелинейное улучшение изображений (Nonlinear image enhancement) / А.И.Пахирка, М.Н. Фаворская // Свидетельство № 2010610658. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 31 марта 2010 г.

52. Понтрягин, Л. С. Непрерывные группы J Л. С. Понтрягин // 4-е изд., М.: Наука, 1984.-520 с.

53. Потапов, A.A. Фракталы в радиофизике и радиолокации: Топология выборки / A.A. Потапов // Изд. 2-е, перераб. и доп. — М.: Университетская книга, 2005. 848 с.

54. Радченко, Ю.С. Исследование спектрального алгоритма обнаружения' изменений в видеопоследовательности / Ю.С.Радченко, А.В.Булыгин, Т.А. Радченко // Изв. ВУЗОВ. Радиоэлектроника, ;№ 7, 2009. с. 49-59.

55. Сальников, И.И. Растровые пространственно-временные сигналы в системах анализа изображений / И.И. Сальников // М.: ФИЗМАТЛИТ, 2009. -248 с.

56. Сергунин, С.Ю. Схема динамического построения многоуровнего описания изображений / С.Ю.Сергунин, К.М.Квашнин, М.И. Кумсков // Сб. тр. 11-й всеросс. конф: «Математические методы распознавания образов (ММРО-11)», М., 2003. с. 436-439:

57. Слынько, Ю.В. Решение задачи одновременного сопровождения и оконтуривания методом максимального правдоподобия / Ю.В. Слынько // Цифровая обработка сигналов, № 4, 2008. с. 7-10

58. Солсо, Р. Когнитивная психология / Р. Солсо / СПб.: Питер, 6-е изд., 2006. 590 с.

59. Тарасов, И.Е. Разработка цифровых устройств на основе ПЛИС «Xi-linx»c применением языка VHDL / И.Е. Тарасов / М.: Горячая линия-Телеком, 2005. — 252 с.

60. Фаворская, М.Н. Разработка алгоритмов цифрового распознавания изображений в адаптивных робототехнических комплексах / М.Н*. Фаворская // Л!, Ленинградский ин-т авйац. приборостр., 1985. Рукопись деп: в ВИНИТИ 23.01.85. № 659-85 Деп.

61. Фаворская; М.Н. Применение спектральных методов для нормализации и распознавания изображений в адаптивных робототехнических комплексах / М.Н.*.Фаворская // Л., Ленинградский,ин-т авиац. приборостр., 1985. Рукопись деп. в ВИНИТИ23.01.85. № 660-85 Деп.

62. Фаворская, М.Н. Опыт разработки алгоритмов распознавания объектов для штамповочного производства / М.Н. Фаворская // В кн. «Состояние, опыт и направления работ по комплексной автоматизации на основе ГПС, РТК и ПР», Пенза, 1985. с. 64-66.

63. Фаворская, М.Н. Исследование проективных свойств групп объектов / М.Н. Фаворская, Ю.Б. Козлова // Вестник Сибирского государственного аэрокосмического университета. Вып. 3, Красноярск, 2002. — с. 99-105.

64. Фаворская, М.Н. Определение аффинной структуры объекта по движению / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета, Вып. 6, Красноярск, 2005. — с. 86-89.

65. Фаворская- М.Н. Общая классификация подходов к распознаванию изображений / М-.Н. Фаворская // В< материалах X междунар. научн. конф. «Решетневские чтения» СибГАУ, Красноярск, 2006. с. 54-55.

66. Фаворская М.Н. Инвариантные решающие функции в задачах распознавания статических изображений / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета. Вып. 1 (14), Красноярск, 2007. с. 65-70.

67. Фаворская, М.Н. Вероятностные методы сегментации видеопотока как задача с недостающими данными / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета. Вып. 3 (16), Красноярск, 2007. с. 4-8.

68. Фаворская, М.Н. Выбор целевых информативных признаков в системах распознавания изображений / М.Н. Фаворская // В материалах XI меж-дунар. научн. конф. «Решетневские чтения» СибГАУ, Красноярск, 2007 с. 306-307.

69. Фаворская, М.Н. Стратегии сегментации двумерных изображений / М.Н. Фаворская // В материалах всероссийской научной конференции «Модели и методы обработки изображений ММОИ-2007», Красноярск, 2007. с. 136-140.

70. Фаворская, М.Н. Сегментация ландшафтных изображений на основе фрактального подхода / М.Н. Фаворская // В материалах 10-й международной конференции и выставке «Цифровая обработка сигналов и ее применение», М., 2008. с. 498-501.

71. Фаворская, М.Н. Модель распознавания изображений рукописного текста / М.Н. Фаворская, А.Н. Горошкин // Вестник Сибирского государст4 i, венного аэрокосмического университета. Вып. 2' (19), Красноярск, 2008. с. 52-58.

72. Фаворская, М.Н. Алгоритмы реализации оценки движения в системах видеонаблюдения / М.Н. Фаворская, A.C. Шилов // Системы управленияи информационные технологии. Перспективные исследования / ИПУ РАН; ВГТУ, № 3.3(33), М.-Воронеж, 2008. с. 408^12.

73. Фаворская, М.Н. К вопросу об использовании формальных грамматик при распознавании объектов в сложных сценах // М.Н. Фаворская / В материалах XIII междунар.научн.конф. «Решетневские чтения». В 2 ч. 4.2, Красноярск, 2009. с. 540-541.

74. Фаворская, М.Н. Распознавание динамических образов на основе предсказывающих фильтров / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета. Вып. 1(22) в 2 ч. 4f. 1, Красноярск, 20091 с. 64-68.

75. Фаворская, М.Н., Методы, поиска движения в.видеопоследовательностях / М.Н. Фаворская,, А.И. Пахирка, A.C. Шилов; М.В. Дамов // Вестник. Сибирского государственного аэрокосмического университета. Вып. 1 (22) в 2 ч. Ч. 2, Красноярск, 2009. с. 69-74.

76. Фаворская, М.Н. Нахождение движущихся видео объектов, с применением- локальных 3D структурных тензоров / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета. Вып. 2 (23), Красноярск, 2009. с. 141-146.

77. Фаворская, М.Н. Оценка движения объектов в сложных сценах на основе тензорного подхода / М.Н. Фаворская // Цифровая обработка сигналов, № 1,2010.-с. 2-9.

78. Фаворская, М.Н. Комплексный расчет характеристик ландшафтных изображений / М.Н. Фаворская, Н.Ю. Петухов // Оптический журнал, 77, 8, 2010.-с. 54-60.

79. Файн, B.C. Опознавание изображений / B.C. Файн // М.: Наука, 1970.-284 с.

80. Форсайт, Д.А. Компьютерное зрение. Современный подход / Д.А. Форсайт, Дж. Понс // М.: издательский дом «Вильяме», 2004. 928 с.

81. Фу, К. Последовательные методы в распознавании образов и обучение машин / К. Фу / М.: Наука, 1971. 320 с.

82. Фу, К. Структурные методы в распознавании образов / К. Фу / М.: Мир, 1977.-320 с.

83. Фукунага, К. Введение в статистическую теорию распознавания образов / К. Фукунага / М.: Наука, 1979. 368 с.

84. Шелухин, О.И. Самоподобие и фракталы. Телекоммуникационные приложения / О.И. Шелухин, А.В. Осин, С.М. Смольский / Под ред. О.И. Шелухина. М.: ФИЗМАТЛИТ, 2008. 368 с.

85. Шилов, А.С. Определение движения (MotionEstimation) / А.С. Шилов, М.Н. Фаворская // Свидетельство № 2009611014. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 16 февраля 2009 г.

86. Ш.Шлезингер, М.И. Корреляционный метод распознавания последовательностей изображений / М.И. Шлезингер / В кн.: Читающие автоматы. Киев: Наук.думка, 1965. с. 62-70.

87. Шлезингер, М.И. Синтаксический анализ двумерных зрительных сигналов в условиях помех / М.И. Шлезингер // Кибернетика, № 4, 1976. — с.76-82.

88. Штарк, Г.-Г. Применение вейвлетов для ЦОС / Г.-Г. Штарк / Ml: Техносфера, 2007. 192 с.

89. Шуп, Т. Прикладные численные методы в физике и технике: Пер. с англ. / Т. Шуп / Под ред. С.П.Меркурьева; М.: Высш. Шк., 19901 - 255 с.11'5. Электр, ресурс: http:// www.cse.ohio-state.edu/otcbvs-bench

90. Электр, ресурс: http://www.textures.forrest.cz/ электронный ресурс (база текстурных изображений textures library forrest).

91. Электр, ресурс: http://www.ux.uis.no/~tranden/brodatz.html электронный ресурс (база текстурных изображений Brodatz).

92. Allili M.S., Ziou D. Active contours for video object tracking using region, boundary and shape information // SIViP, Vol. 1, no. 2, 2007. pp. 101-117.

93. Almeida J., Minetto R., Almeida T.A., Da S. Torres R., Leite N.J. Robust estimation of camera motion using optical flow models // Lecture Notes in

94. Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) 5875 LNCS (PART 1), 2009. pp. 435-446.

95. Ballan L., Bertini M., Bimbo A. D., Serra G. Video Event Classification using String Kernels // Multimed. Tools Appl., Vol. 48, no. 1, 2009. pp. 6987.

96. Ballan L. Bertini M. Del Bimbo A., Serra G. Action categorization in soccer videos using string kernels // In: Proc. of IEEE Int'l Workshop on Content-Based Multimedia Indexing (CBMI). Chania, Crete, 2009. pp. 13-18.

97. Barnard K., Fan Q. F., Swaminathan R., Hoogs A., Collins R, Rondot P., and Kaufhold J. Evaluation of localized semantics: Data, methodology, and experiments // International Journal of Computer Vision, IJCV 2008, Vol. 77, no. 1-3,2008.-pp. 199-217.

98. Bertini M., Del Bimbo A., Serra G. Learning rules for semantic video event annotation // Lecture Notes In Computer Science; In: Proc. of Int'l Conference on Visual Information Systems (VISUAL), Vol. 5188, 2008. pp. 192-203.

99. Bobick A.F., Davis J.W. The recognition of human-movement using temporal templates // IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, no. 3, 2001. pp. 257-267.

100. Boiman O., Irani M. Detecting irregularities in images and in video // International Journal of Computer Vision, Vol. 74, no. 1, 2007. pp. 17-31.

101. Bresson X., Vandergheynst P., Thiran J.-P. A Variational Model for Object Segmentation Using Boundary Information and Shape Prior Driven4 by the Mumford-Shah Functional // International Journal of Computer Vision, vol. 68, no. 2, 2006.-pp. 145-162.

102. Cavallaro A., Salvador E., Ebrahimi T. Shadow-aware object-based video processing // IEEE Vision; Image and Signal Processing, Vol. 152, no. 4, 2005.-pp. 14-22.

103. Chen J., Ye J. Training SVM with indefinite kernels // In: Proc. of the 25th international conference on Machine learning (ICML), Vol. 307, 2008. pp. 136-143.

104. Cheung S.-M., Moon Y.-S. Detection of Approaching Pedestrians from a Distance Using Temporal Intensity Patterns // MVA2009, Vol. 10, no. 5, 2009. -pp. 354-357.

105. Dalai N., Triggs B., and Schmid G. Human detection using oriented histograms of flow and appearance // In ECCV, vol. II, 2006. pp. 428^141.

106. Dalai N., Triggs B. Histograms of Oriented Gradients for Human Detection // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol. II, 2005-pp. 886-893.

107. Dani A.P., Dixon W.E. Single camera structure and motion estimation // Lecture Notes in Control and Information Sciences, 401, 2010. pp. 209-229.

108. Datta Ri, Joshi D;, Li J., and Wang J. Z1 Image retrieval: Ideas, influences, and trends of the new age // ACM'-Computing Surveys, Vol. 40:, no: 2, 2008. ■ -pp. 1-60.

109. Dikbas S., Arici T., Altunbasak Y. Fast motion estimation with interpolation-free sub-sample accuracy // IEEE Transactions on Circuits and Systems for Video Technology 20 (7), 2010. -pp. 1047-1051.

110. Dollar P., Rabaud V., Cottrell G., Belongie S. Behavior recognition via sparse spatio-temporal features // In: Proc. 2nd Joint IEEE International Workshop on Evaluation of Tracking and Surveillance, VS-PETS, 2005. pp. 65-72.

111. Donatini P. and Frosini P. Natural pseudodistances between closed surfaces // Journal of the European Mathematical Society, Vol. 9, no. 2, 2007 pp. 231-253.

112. Donatini P. and Frosini P. Natural pseudodistances between closed curves // Forum Mathematicum, Vol. 21, no. 6, 2009. pp. 981-999.

113. Ebadollahi S., L., X., Chang S.F., Smith J.R. Visual event detection using multi-dimensional concept dynamics // In: Proc. of IEEE Int'l Conference on Multimedia and Expo (ICME), 2006. pp. 239-248.

114. Favorskaya M., Zotin A., Danilin I., Smolentcheva S. Realistic 3D-modeling of Forest Growth with Natural Effect // Proceedings of the Second KES International Symposium IDT 2010, Baltimore. USA. Springer-Verlag, Berlin, Heidelberg. 2010.-pp. 191-199.

115. Francois A.R.J., Nevatia R., Hobbs J.R., Bolles R.C. VERL: An ontology framework for representing and annotating video events // IEEE Multimedia, Vol: 12; no. 4, 2005. pp. 76-86.

116. Gao J., Kosaka A:, Kak A.C. A Multi-Kalman Filtering Approach for Video Tracking of Human-Delineated Objects in Cluttered' Environments // IEEE Com-puter Vision and Image Understanding, 2005, V. 1, no. 1. pp. 1-57.

117. Gui L., Thiran J.-P., Paragios N. Joint Object Segmentation and Behavior Classification in Image Sequences // IEEE Conf. on Computer Vision and Pattern Recognition, 17-22 June 2007. pp. 1-8.

118. Haasdonk B. Feature space interpretation of SVMs with indefinite kernels // IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 27, no. 4, 2005. pp. 482-492.

119. Harris C. and Stephens M. A combined corner and edge detector // In Fourth Alvey Vision Conference, Manchester, UK, 1988. pp. 147-151.

120. Haubold A., Naphade M. Classification of video events using 4-dimensional- time-compressed motion features // In CIVR '07: Proceedings of the6th ACM international confcrcnce on Image and video retrieval, NY, USA, 2007. -pp. 178-185.

121. Haykin S. Neural Networks: A Comprehensive Introduction. / N.Y.: Prentice-Hall, 1999;.— 658 pi.

122. Hoynck M., Unger M., Wellhausen J. and Ohm J.-R. A Robust Approach to Global Motion Estimation for Content-based Video Analysis // Proceedings of SPIE Vol. 5601, Bellingham, WA, 2004. pp. 36-45.

123. Huang Q., Zhao D., Ma S., Gao W., Sun H. Deinterlacing using hierarchical motion analysis // IEEE Transactions on Circuits and Systems for Video Technology 20 (5), 2010. pp. 673-686.

124. Jackins C.L., Tanimoto S.L. Quad-trees, Oct-trees and K-trees: A Generalized Approach to Recursive Decomposition of Euclidean Space // IEEE Transactions onPAMI, Vol. 5, no. 5, 1983.-pp. 533-539.

125. Ke Y., Sukthankar R:, Hebert Mi. Efficient visual event detection using volumetric features // In: Proc. of Int'l Conference on Computer Vision (ICCV), vol.1, 2005.-pp. 166-173.

126. Klaser A., Marszalek M., and Schmid C.A Spatio-Temporal Descriptor Based on 3D-Gradients // In BMVC, British Machine Vision, Conference, 2008. -pp. 995-1004.

127. Kovashka, A., Grauman, К Learning a hierarchy of discriminative space-time neighborhood features for human action recognition // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition ,2010. pp.2046-2053 .

128. Kumskov M.I. Calculation Scheme of the Image Analysis Controlled by the Models of the Objects to be Recognized // Pattern Recognition and Image Analysis, Vol. 11, no. 2, 2001. p. 446-449:

129. Kwang-Kyu S. Content-based image retrieval by combining genetic algorithm and support vector machine // In ICANN (2), 2007. pp. 537-545.

130. Lai C.-L., Tsai S.-T., Hung Y.-P. A study on the three-dimensional coordinate calibration using fuzzy system // International Symposium on Computer, Communication, Control and Automation 1, 2010. — pp. 358-362.

131. Laptev I. On space-time interest points // International Journal of Computer Vision, Vol. 64, no. 23, 2005. pp. 107-123.

132. Leibe B., Seemann E., Schiele B. Pedestrian Detection in- Crowded* Scenes // IEEE Conference on Computer Vision and'Pattern Recognition, Vol. 1, 2005.-pp. 878- 885.

133. Lew M. S., Sebe N., Djeraba C., and Jain R. Content-based multimedia information1 retrieval: State of the art and challenges // ACM Transactions on Multimedia Computing, Communications, and Applications, Vol. 2, no. 1, 2006. pp. 1-19.

134. Li J. and Wang J. Z. Real-time computerized annotation of pictures // IEEE Trans. PAMI, Vol. 30, 2008. pp. 985-1002.

135. Li L., Luo R., Ma R., Huang W., and Leman K. Evaluation of An IVS System for Abandoned Object Detection on PETS 2006 Datasets // Proc. 9 IEEE Intern. Workshop on PETS, New York, 2006. pp. 91-98.

136. Li L., Socher R., and Fei-Fei L. Towards Total Scene Understanding: Classification, Annotation and Segmentation in an Automatic Framework // IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 2009. pp. 2036-2043.

137. Li Q., Wang G., Zhang G.} Chen S. Accurate global motion estimation based on pyramid with mask // Jisuanji Fuzhu Sheji Yu Tuxingxue Xuebao/Journal of Computer-Aided Design and Computer Graphics, Vol: 21, no. 6, 2009. pp. 758-762.

138. Lindeberg T., Akbarzadeh A. and Laptev I. Galilean-diagonalized spatio-temporal interest operators // Proceedings of the 17th International Conference on Pattern Recognition (ICPR'04), 2004. pp. 1051-1057.

139. Lim J., Barnes,N. Estimation of the epipole using optical flow at antipodal points // Computer Vision and Image Understanding 114, no. 2, 2010. pp. 245-253.

140. Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision, Vol. 60, no. 2, 2004. pp. 91-110.

141. Lucas B.D., Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision // International Joint Conference on Artificial Intelligence, 1981. pp. 674-679.

142. Mandelbrot B;B. The Fractal Geometry of Nature / N.Y.: Freeman^ 1982. 468 p.; русс, пер.: Мандельброт Б. Фрактальная, геометрия природы: Пер. с англ. / М.: Институт компьютерных исследований, 202. - 658 с.

143. Mandelbrot В.В., Frame M.L. Fractals, Graphics, and Mathematics Education/N. Y.: Springer-Verlag, 2002. 654 p.

144. Mandelbrot B.B. Fractals and Chaos: The Mandelbrot Set.and Beyond / N.Y.: Springer-Verlag, 2004. 308 p.

145. Memoli F. On the use of Gromov-Hausdorff distances for shape comparison // Proceedings of the Eurographics Symposium on Point-Based Graphics. Prague, Czech Republic, 2007. pp. 81-90.

146. Mercer J. Functions of positive and negative type and their connection with the theory of integral equations // Transactions of the London Philosophical Society (A), vol. 209, 1909. pp. 415-446.

147. Mikolajczyk K. Detection of local features invariant to affine transformations, Ph.D.thesis, Institut National Polytechnique de Grenoble, France. 2002.171 p.

148. Mikolajczyk K. and Schmid G. An Affine Invariant Interest Point Detector // Proceedings of ECCV. Vol. 1. 2002. pp. 128-142.

149. Minhas R., Baradarani A., Seifzadeh S., Jonathan Wu, Q.M. Human action recognition using extreme learning machine based on visual vocabularies // Neurocomputing, Vol. 73 (10-12), 2010. pp. 1906-1917.

150. Mladenic D., Skowron A., eds.: ECML. Vol. 4701 of Lecture Notes in Computer Science, Springer, 2007. pp. 164-175.

151. Moshe Y., Hel-Or H. Video block motion estimation based on gray-code kernels // IEEE Transactions on Image Processing 18 (10), 2009. pp. 22432254.

152. Nakada T., Kagami S;, Mizoguchi H. Pedestrian Detection using 3D Optical Flow Sequences for- afMobile Robot // IEEE Sensors, 2008. pp: 116-119:

153. Needleman, S.B:,. Wunsch C.D; A general method applicable to the search for similarities in the* amino acid sequence of two proteins // Journal'of Molecular Biology Vol. 48, no: 3, 1970. pp. 443-453.

154. Neuhaus M., Bunke H. Edit distance-based kernel functions-for structural pattern classification // Pattern Recognition. Vol. 39, no. 10, 2006. pp: 1852-1863.

155. Nevatia R., Hobbs J., and Bolles B. An ontology for video event representation // In Workshop on Event Detection and Recognition. IEEE, Vol.12, no. 4, 2004. pp. 76-86.

156. Nguyen.N.-T., Laurendeau D:, Branzan-Albu A. A robust method for camera motion estimation in movies based on optical flow // The 6th International