автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Методы видеонаблюдения, сегментации и сопровождения движущихся объектов

На правах рукописи

Обухова Наталия Александровна

□ОЗ164652

МЕТОДЫ ВИДЕОНАБЛЮДЕНИЯ, СЕГМЕНТАЦИИ И СОПРОВОЖДЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ

Специальность 05 12 04 - радиотехника, в том числе системы и

устройства телевидения

АФТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

2 8 фЕВ 2Ш

Санкт-Петербург - 2008

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Санкт-Петербургском государственном университете аэрокосмического приборостроения»

Научный консультант -

доктор технических наук, профессор Тимофеев Б С

Официальные оппоненты

доктор технических наук, профессор Гоголь А А

доктор технических наук, профессор Ерош И Л

доктор технических наук, профессор Лысенко Н В

Ведущая организации - ФГУП «НИИ телевидения», Санкт-Петербург

Защита диссертации состоится 2008 г в /'учас на заседании

диссертационного совета Д 212 238 03 'Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им В И Ульянова (Ленина) по адресу 197376, Санкт-Петербург, ул Проф Попова, 5

С диссертацией можно ознакомиться в библиотеке университета

Ученый секретарь диссертационного совета

Баруздин С А

Общая характеристика работы

Актуальность работы

Прикладные ТВ системы имеют чрезвычайно широкое и разнообразное применение В соответствии с характером решаемых задач следует выделить системы видеонаблюдения, измерительные, классификации и распознавания, сегментации и сопровождения объектов, охранные системы и др По целевому назначению рассматривают системы космического и воздушного мониторинга, медико—биологические, криминалистические, наблюдения за

высокотемпературными процессами, мониторинга газопроводов и нефтепроводов, транспортного и экологического мониторинга ит д

Научным проблемам синтеза прикладных телевизионных систем, их адаптации к внешним условиям, повышению качественных показателей, помехоустойчивости и точности измерения параметров объектов посвящены работы многих отечественных изарубежных ученых

Катаева С И, Зубарева Ю Б, Селиванова А С , Гуревича С Б, Рыфтина Я А, Гоголя А А, Быкова Р Е, Лысенко Н В, Тимофеева Б С , Пустынского И. Н, Цииулина А К, Хромова Л И, Ярославского Л П , Василенко Г И, Розенфельда А А, Горелика С Л, Ероша И Л, Сергеева М Б, ФисенкоВТ, КузьминаВП, ХорнаБ. К П, ПреттаУ К, Колера Д, Марагоса Г, ФорестиЛ , Виарани Л , Хао Tay идр

Разработкой современных прикладных ТВ систем занимаются научно -производственные коллективы ФГУП «НИИ телевидения» под руководством А А Умбигалиева, ФГУП НИИ ПТ «Растр» под руководством Кузьмина В П и Челпанова В И, компания «ЭВС» (Санкг - Петербург) под руководством Лебедева Н В , филиал ФГУП ЦНИИ «Комета» под руководством Фисенко В Т и др

Главными особенностями современного этапа развития прикладных ТВ систем являются

1 Стремительное развитие аппаратной базы и вычислительной техники Это обусловило появление видеокомпьютерных систем и, как следствие, существенно ослабило ограничения на сложность и емкость методов обработки видеоданных в них

2 Все большее распространение прикладных ТВ систем сопровождается значительным усложнением решаемых ими задач

Указанные особенности ужесточают требования к эффективности методов анализа и представления видеоданных прикладными ТВ системами

Для видеонаблюдения это предполагает построение систем, обеспечивающих максимальный уровень эргономичности Для получения наиболее полной информации об объекте интереса и окружающей обстановке необходимо увеличение угла зрения видеокамеры Обычно эту проблему решают путем применения широкоугольных и сверхширокоугольных объективов Их использование приводит к существенным пространственным искажениям и снижению разрешения на краях формируемого изображении Компенсация пространственных искажений цифровыми методами сопровождается дополнительными потерями разрешающей способности Необходимо разработать методы синтеза изображений объектов интереса, исключающие указанные проблемы

Существующие сегодня системы видеонаблюдения при работе в режиме реального времени предъявляют видеоматериал оператору со скоростью движения объекта интереса или камеры Например, при контроле железнодорожного состава его скорость определяет скорость просмотра видеоматериала Бели эта скорость достаточно высока, то нет возможности рассмотреть цглостность вагонов, пломб и сверить с натурным листом бортовые номера В этом случае оператор вынужден работать с видеоматериалом, помещенным в архив В результате контроль состава выполняют после его прохождения, что снижает оперативность наблюдения При наблюдении быстродвижущихся объектов должна быть обеспечена возможность регулирования скорости предъявления видеоданных непосредственно в режиме контроля, а не работы с архивом

Одновременно с наблюдением необходимо предоставить оператору дополнительную информацию об объекте интереса, полученную на основе анализа видеоданных Это могут быть данные о скорости движения объекта (поезда, автомобиля), информация о типе транспортного средства, его номерном знаке и др Должен быть сформирован информационный кадр, включающий в себя изображение объекта, оперативные данные и информацию из баз данных

Для систем видеонаблюдения актуальным является разрешение противоречия между качеством формируемых изображений и аппаратными возможностями существующих каналов связи, а также устройств хранения данных Несмотря на высокую емкость современных жестких дисков ее недостаточно для хранения больших объемов информации длительное время, как это необходимо согласно техническим условиям Традиционно это противоречие решают путем сжатия видеоданных с заметным понижением их качества и потерей информации Для повышения эффективности систем видеонаблюдения необходимо разработать методы сжатия видеоданных без потери информации об объекте интереса для обеспечения длительного хранения и передачи в реальном времени высококачественных изображений по каналам связи с ограниченной пропускной способностью

Помехоустойчивость пассивных телевизионных и тепловизионных систем сегментации и сопровождения обуславливает их высокую востребованность и широкое распространение при управлении воздушным и водным транспортом, при проведении антитеррористических мероприятий, анализе транспортных потоков и др Практика применения систем этого класса позволяет выделить следующие основные проблемы

При высокой динамике и большом числе объектов интереса затруднено их первоначальное выделение оператором Актуальным является обеспечение автоматической сегментации одновременно нескольких объектов интереса с присвоением им уникальных меток, которые не должны изменяться далее в процессе сопровождения даже при временном исчезновении объекта интереса

При работе одновременно с несколькими объектами интереса возникает проблема разрешения их взаимодействия друг с другом и фоном Необходимо корректно отрабатывать ситуации появления и исчезновения объектов в зоне наблюдения, слияние и разделение объектов интереса, перекрытия объектов друг другом или фоном (окклюзию) Наиболее часто используемое решение при возникновении ситуации окклюзии - это переход на сопровождение обоих объектов «по памяти» Это увеличивает вероятность потери объектов интереса и

требует идентификации объектов после их вторичной сегментации Необходимо определить какой из объектов находится на переднем плане, и использовать сопровождение «по памяти» только для полностью закрытого объекта интереса В этом случае вероятность срыва сопровождения возрастает только для одного (закрытого объектах при этом выделение и сопровождение его до полного закрытия позволяет увеличить объем информации об объекте до перехода в режим предсказания, а также минимизировать длительность ведения по памяти

В процессе сопровождения объекты меняют свои свойства ракурс, размеры, скорость движения вплоть до остановки, возможны существенные изменения фона и освещенности Например, при старте ракеты после запусков двигателя возникает яркая вспышка и облако пыли, резко меняющие свойства изображения объекта интереса Необходимо разработать многопризнаковую систему, позволяющую исключить срыв сопровождения при существенной динамике свойств объекта и окружающей обстановки

Сформулированные требования предполагают качественно новый аналю видеоинформации Необходимо выработать правильные решения для плохо формалюованных задач, требующих оригинальных методов и алгоритмов решения в зависимости от конкретной ситуации, характеризующейся неопределенностью и динамичностью исходных данных

Система должна извлекать знания из накопленного опыта и применять их для решения задач, а также иметь способность к развитию в соответствии с объективными изменениями условий функционирования

Перечисленные особенности являются признаками информационно-интеллектуальных систем

Указанные выше положения делают актуальной проблему повышения эффективности прикладных ТВ систем путем придания им интеллектуальных свойств. Ее решению посвящена данная диссертационная работа

Цель диссертационной работы: разработка методов представления и анализа видеоданных, позволяющих реализовать функциональные особенности интеллектуальных прикладных ТВ систем доя существенного повышения их эффективности

Основные задачи диссертационной работы

1 Определить функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения, сформулировать основные принципы представления и обработки видеоданных в них

2 Оценить возможности и эффективность использования существующих методов определения векторов движения в прикладных ТВ системах

3 Разработать новые методы оценивания векторов движения, учитывающие специфику видеоданных, получаемых в сложных условиях видеонаблюдения

4 Разработать методы субпиксельной оценки векторов движения, позволяющие анализировать изображения объектов интереса с медленным движением

5 Оценить эффективность применения методов цифровой коррекции пространственных искажений изображений, создаваемых сверхширокоугольными объективами

6 Разработать метод синтеза изображения протяженного объекта интереса, обеспечивающий высокую эргономичность видеонаблюдения, сжатие данных без потери информации, позволяющее разрешить противоречие между объемом записанных данных и их качеством, передачу высококачественных видеоизображений по каналам связи с низкой пропускной способностью

7 Построить обобщенную модель формы объекта интереса при отсутствии априорной информации о нем

8 Разработать способ оценки текстурного признака, адаптированный к сложным условиям наблюдения и специфике объектов интереса

9 Разработать принципы и методы обработки видеоданных на основе совокупности признаков сегментации с использованием математического аппарата нечеткой логики, позволяющие автоматически сегментировать и сопровождать одновременно несколько объектов интереса на сложном фоне при отсутствии априорной информации

Методы исследования

В работе использованы методы теории распознавания образов, теории вероятности и математической статистики, теории нечетких множеств и нечеткой логики, теории оптимизации, теории функционального анализа и высшей алгебры, теории регрессионного анализа и планирования эксперимента, методы цифровой обработки изображений, методы моделирования на ЭВМ и программирования, экспериментальные исследования

Основные научные положения, выносимые на защиту

1 Анализ и обработка видеоданных на основе признака движения реализуют функциональные особенности интеллектуальных прикладных ТВ систем, позволяющие повысить их эффективность для класса систем видеонаблюдения за протяженными объектами - замену исходных видеоданных синтезированным изображением, получение оперативной информации об объекте интереса и сжатие без потери полезной информации, для класса систем сегментации и сопровождения неточечных объектов — выделение изображений объектов на сложном фоне и разрешение ситуаций перекрытия изображений объектов фоном и друг другом

2 Трехкомпоненгные вектора движения, найденные с учетом их априорных оценок достоверности и значимости, обеспечивают взвешенную оценку признака движения, позволяют задать уровень достоверности поля векторов движения и снизить вычислительную емкость в 10 - 20 раз

3 Использование межкадровой разности, найденной по пакету кадров, позволяет получить субпиксельную оценку векторов движения и повышает уровень достоверности поля векторов движения на 20% по отношению к полю, найденному методом полного перебора

4 Для систем видеонаблюдения за протяженными объектами, синтез изображения объекта интереса на основе признака движения обеспечивает угол обзора до 180 градусов, минимизацию апертурных и пространственных искажений, а также сжатие видеоданных без потери информации об объекте интереса

5 Сегментацию изображений нескольких объектов интереса на сложном фоне и при отсутствии априорной информации о них обеспечивает применение совокупности признаков, и построение решающего правила на основе математического аппарата нечеткой логики

6 Описание гауссовой моделью формы объекта и учет признака движения позволяют сопровождать объекты при динамике их свойств и окружающей обстановки, а также разрешать ситуации перекрытия изображений объектов друг другом и фоном

Научная новю на

1 Выявлены функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения

2 Разработаны основные принципы представления и обработки видеоданных в системах видеонаблюдения за протяженными объектами

3 Разработаны принципы сегментации и сопровождения неточечных объектов с жестким движением при отсутствии априорной информации о них и при существенной динамике их свойств в процессе наблюдения

4 На основе анализа особенностей определения и применения векторов движения для видеоданных, полученных в сложных условиях наблюдения, введен критерий эффективности методов нахождения векторов в виде уровня достоверности

5 На основе экспериментальных данных аналитически описана функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от уровня детальности изображения в блоке

6 На основе экспериментальных данных аналитически описана функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от уровня абсолютной межкадровой разности в блоке

7 Предложен метод определения трехкомпоненгных векторов движения с учетом априорных оценок их достоверности и значимости, позволяющий реализовать взвешенную оценку признака движения, а также существенно уменьшить число аномальных векторов движения и вычислительную емкость задачи

8 Предложен метод субпиксельной оценки векторов движения на основе многомасшгабной межкадровой разности, обеспечивающий точность до 0 07 пикселя и повышение числа корректно найденных векторов по отношению к полному перебору на 20%

9 Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помошъю сверхширокоугольных объективов Изображения после коррекции имеют существенные потери разрешения на краях растра более 70% в центре до 40%

10 Предложен метод синтеза панорамного изображения протяженного объекта интереса, позволяющий компенсировать пространственные искажения, вносимые сверхширокоугольным объективом, обеспечить максимальную четкость изображения по площади кадра, реализовать комфортные условия видеонаблюдения, а также семантическое сжатие

11 Разработан алгоритм оценки видимой скорости протяженного объекта на основе анализа видеоданных

12 Введена обобщенная модель формы объекта на основе эллипсов рассеивания Гаусса

13 Предложен метод автоматической сегментации объектов в видеоданных на основе совокупности признаков и с использованием аппарата нечеткой логики, позволяющий одновременно сегментировать несколько объектов на сложном фоне при отсутствии априорной информации о них

14 Предложен метод автоматического сопровождения объектов при существенной динамике их свойств и окружающей обстановки, основанный на обобщенной модели формы объекта с обновляемыми параметрами и признаке движения

Пракгичес кая з начимость

1 Предложенный принцип и метод синтеза панорамного изображения обеспечивает резкое повышение эффективности систем видеонаблюдения за протяженными объектами

• Систем, ведущих наблюдение за крупными объектами с собственным движением, например, комплексов пограничного и коммерческого контроля железнодорожных составов

• Систем, использующих камеру, установленную на поворотном столе или подвижном носителе для наблюдения статичных объектов большой площади В частности, обзорных и мониторинговых систем ландшафтов местности или морского дна, водных акваторий, нефтяных разливов, нефтепроводов и газопроводов

Сформированное изображение объекта интереса имеет пространственные искажения в (20-25) раз ниже, чем в исходных кадрах, обеспечивает комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное Это создает качественно новые условия для работы оператора и обеспечивает возможность автоматического анализа видеоданных

Метод реализует семантическое сжатие без потери информации об объекте интереса коэффициент сжатия от 25 до 80 раз Это снимает противоречие между объемом записанных данных и их качеством и позволяет реализовать длительное хранение больших объемов информации. Для протяженных объектов обеспечена возможность передачи высококачественных изображений по каналам связи с низкой пропускной способностью в реальном масштабе времени

(Все приведенные выше количественные оценки получены при апробации метода синтеза панорамного изображения в контексте видеонаблюдения на желез ной дороге).

2 В системах сегментации и сопровождения объектов реализован автоматический захват и сопровождение одновременно до 50 объектов на сложном фоне при отсутствии априорной информации Автоматический захват имеет особую значимость в динамических сценах с несколькими быстродвижущимися объектами, где возможности оператора по наложению стробов на объекты интереса ограничены

При сопровождении обеспечено устойчивое разрешение ситуации окклюзии, слияния и разделения объектов, сопровождение объектов при существенной динамике их свойств и окружающей обстановки, идентификация объектов интереса при вторичной сегментации

3 Введение трехкомпоненгных субпиксельных векторов движения, а также метод их определения с использованием функций достоверности и значимости

одновременно обеспечивает необходимый уровень достоверности и резко снижает вычислительную нагрузку, что снимает ограничения по использованию этого инструмента в прикладных ТВ системах видеонаблюдения, сегментации и сопровождения объектов интереса, а также при сжатии видеоданных и в кинопроизводстве

4 Использование результатов теоретических исследований, доведенных в работе до уровня практических алгоритмов, структурных схем, программных решений, инженерных рекомендаций и методик синтеза сократит сроки и затраты на создание новых прикладных ТВ систем различного назначения

Реализация результатов работы

Полученные в диссертации результаты, сделанные обобщения и выводы позволили разработать ряд интеллектуальных прикладных телевизионных систем В рамках научно-исследовательских и опытно - конструкторских работ совместно ПК НПК «Автоматизация» разработан многоцелевой телевизионно-компыотерный комплекс видеомониторинга железнодорожных составов, совместно с филиалом ФГУП ЦНИИ «Комета» многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов, совместно с ФГУП НИИ промышленного телевидения «Растр» видеокомпьютерная система контроля запуска космических аппаратов, что подтверждено соответствующими актами

Результаты исследований внедрены в учебный процесс СПб ГУАП при подготовке инженеров по специальностям «Аудиовизуальная техника» и «Электронные системы» Они включены в разработанные автором учебно-методические комплексы по дисциплинам «Автоматизированные телевизионные системы», «Синтез видеоизображений на ЭВМ» и др

С использованием результатов, полученных в диссертации подготовлен электронный учебник по курсу «Автоматизированные телевизионные системы» (зарегистрирован в отраслевом фонде алгоритмов и программ № ВНИ'ПД 50200100503, 2001) и изданы 4 учебно - методических указания к выполнению лабораторных работ

Апробации работы

Основные положения работы докладывались и обсуждались на 49,50 Научно - технической конференции «НТОРЭС им А С Попова» 1994,1995, 10th International Conference on Control Systems and Computer Science Bucharest, 1995, I Научно -технической конференции «Новейшие достижения в области телевидения, аудио и видеотехники » СПб, 1999, Ш Международной конференции «Цифровая обработка сигналов и ее применение» Москва, ИВ ТА РАН,2000, I,II,III,IV,V Международных научно - технических конференциях «Телевидение передача и обработка изображений» СПб, 2000-2007, The International Conference «Radio - That Connects Time 110 Anniversary of Radio Invention» St Pe tore burg, 2005, III Международная научно-практическая конференция «Электронные средства и системы управления» Томск, 2005, The Tenth IEEE International Symposium on Consumer Electronics, St Peteisburg, 2006, 15 Всероссийской научно - технической конференции «Современное телевидение» Москва, 2007, Научно - технической конференции профессорско - преподавтельского состава, научных сотрудников и аспирантов СПб ГУТ2007

Диссертационная работа получила апробацию

- на расширенном научном семинаре кафедры «Телевизионных и электронных устройств» СПб ГУ АП, 2006,

- научно — техническом совете ФГУП НИИ Прикладного телевидения «Растр», Великий Новгород, 2007,

- на заседании кафедры «Телевидения и видеотехники», СПб [ЭТУ «ЛЭ'Ш» им В И Ульянова (Ленина), 2007

Публикации

По теме диссертации опубликовано 48 научных работ, из них - 21 статья, в том числе в ведущих рецензируемых журналах и изданиях, определенных ВАК России, 17 работ - в материалах и трудах всероссийских и международных научных и научно -технических конференций и симпозиумов, 10 свидетельств об официальной регистрации программ для ЭВМ в отраслевом фонде алгоритмов и программ

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 194 наименования, трех приложений Основная часть диссертации изложена на 297 страницах машинописного текста Диссертация содержит 116 рисунков и 38 таблиц

Содержаниеработы

Во введении обоснована актуальность рассматриваемой проблемы, сформулированы цель и задачи исследований Даны научные положения, выносимые на защиту, определены их научная новизна и практическая значимость, приведены сведения об апробации и внедрении результатов работы

В первой главе: выявлена основная тенденция развития современных прикладных ТВ систем, определены функциональные особенности и сформулирован перечень требований к методам анализа видеоданных в интеллектуальных системах видеонаблюдения, сегментации и сопровождения, приведен аналитический обзор методов обработки видеоданных в современных прикладных ТВ системах, показана необходимость и определены основные направления разработки методов представления и анализа видеоданных для интеллектуальных ТВ систем, постановлены задачи, подлежащие решению в данной работе

Прогресс технических средств определяет современную тенденцию развития прикладных ТВ систем — создание автоматических или автоматизированных с минимальным участием оператора многофункциональных видеокомпьютерных комплексов, обладающих интеллектом

К функциональным особенностям интеллектуальной системы видеонаблюдения следует отнести адаптацию к изменениям условий наблюдения установку режимов работы камеры на основе анализа изображения, синтез изображения объекта интереса, обеспечивающий коррекцию пространственных искажений, комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное, извлечение информации из видеоданных определение параметров движения объекта интереса, его геометрических характеристик и др, семантическое сжатие без потери

информации, позволяющее обеспечить длительное хранение больших объемов данных и их передачу по каналам связи с низкой пропускной способностью

Обзор современных прикладных 1В систем показывает, что решение перечисленных задач особенно актуально при видеонаблюдении протяженных объектов - объектов, проекция которых на плоскость кадра существенно превышает размер последнего

Системы ввдеонаблюдения за протяженными объектами следует разделить на две группы

Первая группа — системы, ведущие наблюдения за объектами с собственным движением Наиболее показательный пример, видеонаблюдение на железной дороге В этом случае объектом интереса является железнодорожный состав или железнодорожный вагон Минимальный размер вагона 12 метров в длину и 5 метров в высоту По тактическим соображениям видеокамеры бокового обзора должны быть установлены в промежутках между путями с тем, чтобы не допустить перекрытие сектора обзора встречным составом Расстояние сгт камеры до объекта 1,5-2 метра

Вторая группа - обзорные и мониторинговые системы ландшафтов местности или морского дна, водяных акваторий, нефтяных разливов, нефтепроводов и газопроводов В этом случае объект не имеет собственного движения, но наблюдается перемещающейся камерой Примерами являются система экологического мониторинга нефтяных разливов или система контроля целостности трубопроводов Контроль объекта интереса ведут с помощью видеокамеры на боргу летательного аппарата

Для повышения эффективности систем видеонаблюдения за протяженными объектами целесообразно заменить исходное изображение объекта интереса синтезированным, в котором должны быть устранены пространственные искажения и обеспечены комфортные условия анализа видеоданных оператором, сохранена информация только об объекте интереса (обеспечено семантическое сжатие)

Синтез изображения протяженного объекта интереса предполагает его сегментацию от фона и других объектов Протяженные объекты, как правило, имеют неоднородную яркость, и одновременно являются слабо текстурировнными. Это не позволяет использовать в полной мере яркостный и текстурный признаки Присутствие в кадре только части объекта затрудняет использование признака формы Наиболее информативным свойством протяженного объекта является движение Таким образом, для систем видеонаблюдения за протяженными объектами актуальной является разработка принципов и методов синтеза изображения протяженного объекта на основе признака движения

Функциональными особенностями интеллектуальной системы сегментации и сопровождения объектов интереса являются на этапе сегментации - выделение изображений объектов на сложном фоне с максимальным подобием их реальному изображению, на этапе сопровождения — разрешение ситуаций окклюзии (перекрытия изображений объектов интереса фоном или друг другом), слияния и разделения на несколько одного объекта интереса, устойчивое сопровожден!® объектов при существенной динамики их свойств и окружающей обстановки, идентификация объекта интереса при вторичной сегментации. Все перечисленные задачи должны быть решены в автоматическом режиме

В рамках диссертационной работы рассматривались объекты интереса размером от 8*8 элементов (пикселей) и обладающие жестким движением Внесенные ограничения не снижают общность задачи перечисленным характеристикам соответствуют наземные и водные транспортные средства, летательные аппараты

Проведенный анализ обработки видеоданных в системах сегментации и сопровождения позволяет сделать следующие выводы

Применение методов обработки на основе одного признака сегментации яркости, текстуры, формы, контура или движения не позволяет одновременно реализовать все перечисленные функциональные особенности интеллектуальной ТВ системы в полной мере при указанных свойствах объектах интереса и сложных условиях наблюдения

Учет только одного признака не обеспечивает устойчивую сегментацию и сопровождение при существенной динамике свойств объекта интереса При длительном сопровождении меняются свойства объекта (объект останавливается, маневрирует и меняет ракурс, частично заходит в тень и т д) и, соответственно, признак, по которому ранее успешно выполнялась сегментации теряет эффективность

Для реализации перечисленных требований необходим принципиально новый подход следует использовать не один признак, а совокупность признаков, отвечающих свойствам объекта интереса в разные моменты времени Таким образом, для систем сегментации и сопровождения необходимо разработать принципы и методы сегментации по совокупности признаков

Ключевой особенностью объектов интереса как при видеонаблюдении, так и при сегментации и сопровождении является движение Достоверная и точная оценка признака движения является основой для решения сформулированных выше задач Это требует разработки методов оценки признака движения, обеспечивающих его эффективное применение в прикладных ТВ системах.

Во второй главе: сформулирован критерий оценки эффективности методов определения векторов движения в прикладных ТВ системах, проведен анализ эффективности существующих методов определения векторов движения согласно предложенному критерию, на основе экспериментальных данных найдена функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от оценки уровня детальности изображения в блоке, на основе экспериментальных данных найдена функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от модифицированной оценки уровня абсолютной межкадровой разности, разработан метод определения векторов движения с учетом априорных оценок их достоверности и значимости, обоснована необходимость субпиксельной оценки векторов движения, разработаны и исследованы методы субпиксельной оценки векторов движения на основе несимметрии целевой функции в области точки минимума и на основе многомасшгабной межкадровой разности

Главным признаком, положенным в основу разрабатываемых методов видеонаблюдения, сегментации и сопровождения, является движение Его наиболее информативная оценка - вектора движения

Основой определения векторов движения является уравнение оптического потока

< VL, V > +It = 0, (1)

V7T ,SL dLS

где vL = (—,—) - яркостныи вектор-градиент по пространственным дх ду

. dL Л7 .дх ду.

координатам, I, =--производная яркости по времени, V = (■—) — вектор

dt at di

движения

Анализ уравнения оптического потока (1) показывает

1 Уравнение является плохо обусловленным

2 Однозначное определение вектора движения возможно только в случае,

если компоненты яркостного вектора - градиента VL = (—,—) отличны от нуля

дх ду

(имеют место изменения яркости по горизонтали и вертикали) В случае однородной, нетекстурированной поверхности или текстуры только в одном направлении достоверную оценку векторов найти нельзя

3 Уравнение (1) получено из предположения о постоянной яркости точки (пикселя) при ее движении Подсветка, тени, блики, прозрачные и зеркальные поверхности нарушают это утверждение и приводят к ошибкам при определении векторов движения

Вектора движения, методы и алгоритмы их определения были разработаны для стандартов видеокомпрессии MPEG 1,2,4 для обработки изображений студийного качества, где соблюдаются требования текстурированности и постоянства яркости

При работе в сложных условиях наблюдения с определенным в рамках решаемой задачи классом объектов требования существования пространственных яркостных производных и постоянства яркости при движении точки (пикселя) вдоль траектории нарушаются Изображение объектов интереса имеет низкую текстурированность При видеонаблюдении на открытом воздухе высока вероятность изменения уровня освещенности, появления солнечных бликов, теней и др Не соблюдение обоих требований порождает появление аномальных векторов — векторов, не отражающих реальное движение в кадре

Тяжесть последствий от аномальных векторов движения в прикладных ТВ системах значительна рассегменгация объектов интереса, снижение точности моделей движения, потеря объекта при сопровождении и др Это определяет критерий оценки эффективности методов и алгоритмов определения векторов движения в прикладных ТВ системах - уровень достоверности

a Q

где g - общее число найденных векторов, Qa„ - число аномальных векторов в общем числе найденных

Проведенные исследования показали, что даже при использовании корреляционных методов (наиболее робастных по данным литературы) с алгоритмом полного перебора для поиска лучшего соответствия уровень достоверности К^ = 0,6 Этот уровень недостаточен для эффективного применения векторов движения в прикладных ТВ системах. Необходима разработка новых методов определения векторов движения, учитывающих

особенности объектов интереса, и свойства видеоданных, получаемых в сложных условиях наблюдения.

В методе совмещения блоков задачу определения векторов движения решают путем минимизации целевой функции, характеризующей степень соответствия (совпадения) двух блоков, на множестве различных положений обрабатываемого блока в области поиска. Результаты решения этой задачи определены видом целевой функции, которая зависит от уровня детальности изображения в блоке (таблица 1).

Под уровнем детальности изображения в блоке будем понимать:

М .V

',>'/+/) , (2)

У = 1'=1

где Л(х, у) - яркость пикселя в препарате, полученном из исходного изображения Ь(х,у) в результате операции подчеркивания высокочастотной составляющей (пространственного дифференцирования, многомасшгабного морфологического

Таблица I

АЛО

Описание блока

Рельеф (ось х -

смещение блока по горизонтали ; ось У -

см ещен и е бло ка по вер тикали; ось 2. -

знавшие целевой функции)

Линии равного уровня (ось X - смещение бло капо горизонтали ; ось У - смещение бло капо вф тикали)

Характер функции

1546 7

Блок изображения объекта «самолет»

тестовая последовательность «Сам олеты»

„

(

Ун и мод ал ьная ц ел евая фу н щи я с яр ю выр аженным минимумом

137 I

Блок фона «море»

тестовая последовательность «Корабль - катер»

У|

"ж ¡р

II Шй

Унимодальная нет евая фун щия с су щесгвенно пло сгаш уч астю м в области минимума («о фаг»)

181

Блок фона «небо»

тестовая последовательность «Самолеты»

Су щественно мулыимодэтьная цеп евая фунщия с плохо выр аженн ьш тобш шым мини^мом

дифференцирования и др.); х^,У1~ координаты левого верхнего угла блока изображения; к,1- номер блока по горизонтали и вертикали; Ы,М-число пикселей

блока по горизонтали и вертикали.

На основе проведенных экспериментальных исследований и регрессионного анализа найдена функция достоверности, позволяющая определить априорную

вероятность корректного нахождения вектора движения Рс модифицированной оценке уровня детальности в блоке Р^(к,1): Рс _ „ (*, /) = 1 - ехр[- п * РАМ (к, /)],

ÁkJ)

Рис. 1. Вид аналитической кривой функции значимости Дх) и экспериментальных зависимостей вероятности существования значимого вектора от уровня модифицированной оценки абсолютной межкадровой разности, полученных для тестовых сюжетов «Большой корабль» (О) и «Катер (новый)» (О!).

(3)

где /7=0,1 - параметр модели, численное значение которого определено на основе

экспериментальных данных методом нелинейного

программирования. Модифицированная оценка

уровня детальности в блоке

Ом, Р{к,1)-Рп

м~ ъ

о„

^min

Du =- r

■'пап

где ¿'тш - минимальный уровень детальности в блоке, обусловленный шумами

Dmm = moda{D(A-,/)} k = \..KKJ = \..LL '

число блоков в

где КК*Ы шображении.

Определение векторов движения для всех блоков кадра или области поиска является избыточным: если в блоке кадра I нет значимых изменений относительно кадра ? -1, то с большой вероятностью вектор движения равен нулю. Искать векторы движения целесообразно только в тех блоках, где произошли какие-либо изменения.

На основе экспериментальных исследований и регрессионного анализа найдена функция значимости, позволяющая определить априорную вероятность существования значимого (ненулевого) вектора движения Р- на основе

модифицированной оценки абсолютной межкадровой разности в блоке МАОм\

Р. _„(,к,1) = 1 - ехр[- р * МАОгм (к, /)], (4)

где р = 4 - параметр модели, численное значение которого найдено на основе экспериментальных данных методом нелинейного программирования (рис.1). Модифицированная оценка уровня абсолютной межкадровой разности:

МАР(к,1)~ МАРт

МАРм{к,1)--

MAD„

собственно уровень абсолютной межкадровой разности

N М

MAD{kj) = X Zl L(xk+ J> У + ~ L(xк + U У/ + U-1)( У=1'=1

где L{ ) - яркости пикселя в текущем t и предыдущем <-1 кадрах; MADm\u~ оценка абсолютной межкадровой разности блока, обусловленная присутствием шумов:

MADmin = moda{MAD(k,l)} к = I..KKJ = 1 ..LL

На основе найденных функций предложен метод определения векторов движения с учетом их априорных оценок достоверности и значимости.

На множестве всех блоков изображения G сформировано два нечетких множества. Первое G¿>// ~~ множество блоков с «высокой детальностью». В качестве функции принадлежности к этому блоку использована функция достоверности (3) №gdh v Второе нечеткое множествой^ - блоки « с

высоким уровнем абсолютной межкадровой разности» с функцией значимости (4) в качестве функции принадлежности ¡ígaih = Р. v Интересующая совокупность

блоков - пересечение этих двух множеств - нечеткое множество GDMff.

Пересечение нечетких множеств выполняют в соответствии с / - нормой: «вероятностное пересечение» - норма задана перемножением функций принадлежности T{GDH, GMH) =

Вектора движения ищут для блоков, принадлежащих а-сечению нечеткого множества G^ff. В результате поиска им присваивают трехкомпонентный вектор

движения (у xkhv ykh Р klY' где значения рц — это вероятность верного определения вектора движения, определяемая функцией

достоверности (3). Блокам, принадлежащим а -сечению только одного нечеткого множества Gdh (это блоки с высоким уровнем детальности, но низкой абсолютной межкадровой разностью) без выполнения процедуры поиска присваивают нулевые векторы движения.

В типичных для прикладных ТВ систем сюжетах при установленном уровне достоверности вектора движения 0,95 для дальнейшего анализа оставляют в среднем 20% блоков изображения; собственно процедуру поиска вектора движения выполняют в среднем для 5%-10% блоков изображения (рис. 2). Найденная для каждого вектора вероятность верного определения (оценка достоверности) РЫ представляет самостоятельную ценность: ее учет на дальнейших этапах обработки позволяет реализовать взвешенную оценку признака движения.

Таким образом, предложенный метод позволяет находить трехкомпоненгные векгора движения с заданным уровнем достоверности, одновременно, снижая вычислительные затраты по определению поля векторов движения в 10-20 раз.

Сечение нечеткого множества

gdh

множества

gdmh

Рис. 2. Сечения нечетких множеств Gqh и по уровню 0.95

Необходимость обработки изображений объектов, обладающих медленным движением (видимая скорость движения в плоскости кадра менее 1 пикселя), движением со скоростью, не кратной целому числу пикселей, а также различение объектов с близкими скоростями движения требует субпиксельной оценки векторов движения

Для субпиксельной оценки векторов движения предложено два метода интерполяционный метод и метод, основанный на многомасшгабной межкадровой разности

Интерполяционный метод использует несимметрию в области точки оптимума целевой функции, минимизируемой в процессе нахождения векторов движения

Метод, основанный на многомасштабной межкадровой разности, предполагает использование для определения векторов движения N кадров Вектор движения находят в (N-1) паре кадров к-ая пара включает в себя кадр г и кадр /-£,

к= 1 Л Результатом является (ЛГ-1) оценка вектора движении = 1 N -1 Для

обеспечения соизмеримости полученных оценок выполняют пересчет

г° У! ** а ** а

где (Уьс^ку) ~ к-ыж приведенный вектор пакета, (К^, К^) - вектор, найденный

методом совмещения блоков по кадрам I и 1-к, с1 - расстояние между кадрами I и ¡-к Предложено два варианта получения субпиксельной оценки \р = (Урх,Уру)

на основе логической фильтрации полученного пакета векторов Минимально отличный от других вектор пакета

N

¿К, = НУкх -Уа\,Урх = ш^тт^ ), г=1 Уь

N

% = ТК - Г9\»Гру = )

или медиана пакета

,=1 ^

Урх = У(М/2)х при условии У1х <У2х< < ГМх, Уру = У(Ы12)у при условии У]у <У2у< < Уну Экспериментальное исследование предложенных методов выполнено по двум критериям уровень достоверности и точность При оценке уровня достоверности аномальным считают вектор, отличный от корректного на заданную величину ||У--УС0(.||>Д£. Учитывая субпиксельный характер оценки вектора движения, = ±0,1пикселя Точность - величина СКО в полученной выборке верных векторов движения

Согласно полученным данным установлено, наиболее эффективным методом является метод на основе многомасшгабной межкадровой разности с минимально отличным вектором в качестве субпиксельной оценки Его точность 0,07 пикселя Уровень достоверности =0,8 Полученный уровень достоверности поля векторов движения на 20% выше по отношению к полю, найденному методом полного перебора

Предложенные методы оценки векторов движения в значительной степени устраняют противоречие между жесткими требованиями основного уравнения оптического потока (1) и особенностями видеоматериала, полученного в сложных условиях наблюдения. Обеспеченный уровень достоверности и точность определения поля векторов движения снимают ограничения на их применение в прикладных ТВ системах.

Третья глава посвящена методам обработки видеоданных, обеспечивающим реализацию функциональных особенностей интеллектуальных систем видеонаблюдения за протяженными объектами; проведен анализ и показана низкая эффективность цифровых методов коррекции пространственных искажеиий, вносимых использованием сверхширокоугольных объективов; предложен метод синтеза панорамного изображения протяженного объекта интереса; выявлены особенности определения векторов движения для оценивания видимой скорости протяженных объектов; предложен алгоритм определения видимой скорости движения протяженного объекта на основе анализа видеоданных.

При видеонаблюдении протяженных объектов в силу целевого назначения прикладной ТВ системы используют широкоугольные объективы. Их применение

обуславливает появление

пространственных искажении, существенному геометрического сф орм ированных (геометрические

приводящих к нарушению подобия в изображениях искажения).

Рис. 3. Изображение, полученное сверхширокоугольным объективом

Внесенные искажения составляют: нелинейность кубическая до 120%, искажения типа «бочка/подушка» до 30% (рис.3). В этом случае цифровая коррекция пространственных

искажений является

малоэффективной. Изображения, полученные в результате цифровой коррекции, имеют значительные остаточные искажения и

существенную потерю разрешения. Потери разрешения на краях растра превышают 70% в центре 40%

Реализация функциональных особенностей интеллектуальной системы видеонаблюдения требует принципиально нового метода обработки видеоданных. Метод должен носить комплексный характер - одновременно обеспечивать решение целого ряда задач: коррекцию пространственных искажений; восстановление построчного растра из чересстрочного; возможность просмотра видеоданных с произвольной скоростью; семантическое сжатие; извлечение дополнительной информации об объекте интереса.

Учитывая ключевую особенность объекта интереса — движение, предложено синтезировать его панорамное изображение. Панораму составляют из фрагментов, вырезанных в центральной части кадра. Ширина фрагмента определена скоростью движения объекта. Принцип синтеза панорамного изображения позволяет одновременно решить все перечисленные выше задачи.

Изображение в центральной части кадра имеет наилучшее качество: высокую четкость, минимальные искажения по горизонтали и вертикали. Использование

фрагментов, вырезанных в центре кадра, обеспечивает формирование панорамного изображения, у которого искажения в направлении движения объекта соответствуют величине искажений вырезанного фрагмента, а искажения в перпендикулярном направлении могут быть скорректированы до низкого остаточного уровня

Четкость изображения по площади синтезированного кадра выше, чем у исходного в центральной части разрешающая способность короткофокусного объектива больше, чем на краях

При синтезе панорамного изображения постоянно определяют скорость движения протяженного объекта Эта информация позволяет корректно выполнить операцию совмещения четных и нечетных полей при использовании камер с чересстрочной разверткой Сформированная панорама имеет разрешение по вертикали равное разрешению полного кадра без эффекта «ступенек»

Предложенный принцип формирования изображения обеспечивает высокий коэффициент сжатия без потери информации об объекте интереса Коэффициент сжатия

к

сотрг ~ ^ ;

где Ж — ширина кадра (или высота Н в случае движения объекта интереса по вертикали), ы - ширина вырезаемого фрагмента по направлению движения

При практической реализации небольшой размер фрагментов кадров необходимых для построения панорамы позволяет разместить их в буферной памяти ОЗУ и регулировать скорость анимации синтезированного изображения на экране Это обеспечивает возможность установки удобной для анализа скорости просмотра материала в режиме реального времени

Найденные оценки скорости при построении панорамы позволяют извлечь дополнительную информацию об объекте зафиксировать моменты начала и завершения движения, оценить форму объекта на основе пространственного среза скоростей и др

Главной задачей при формировании панорамного изображения является определение видимой скорости движения объекта или камеры на основе анализа видеоданных Для получения оценки видимой скорости использованы вектора движения В этом случае их определение имеет следующие особенности

• наличие ярко выраженной функциональной зависимости видимой скорости движения различных частей объекта от расстояния между ними и камерой -пространственный срез скоростей,

• зависимость точности оценки скорости от местоположения блока на изображении, обусловленная значимыми пространственными искажениями,

• существенное число аномальных векторов вследствие низкой детальности исходного изображения

Даны следующие рекомендации по местоположению и размерам блоков при определении векторов движения

•Блоки изображения, в которых ищут вектора движения, располагают в центре растра при движении в горизонтальном направлении - вертикальной полосой, при движении по вертикали - горизонтальной полосой

• Максимальный размер блока в направлении, совпадающем с направлением движения, определяют в соответствии с уровнем пространственных искажений в кадре и допустимой ошибкой при оценке максимальной скорости

• Размер блока в направлении, перпендикулярном к направлению движения определен размером зон Ь пространственного среза скоростей

Величина зон Ь обусловлена конкурирующими показателями качеством построения панорамы к\ = /\{ь) и точностью оценки векторов движения ¿2= /г(£) Уменьшение размера зоны X повышает точность формируемого среза скоростей и улучшает качество панорамы Размер блока Ь = Ь*Ьопределяет интервал усреднения при определении векторов движения, его уменьшение снижает точность найденной оценки Дополнительно, для получения равноточных оценок вектора движения размер всех зон должен быть одинаков

Показатель к2 может быть переведен в ограничения размер зоны Ь должен обеспечивать потенциальную точность не ниже заданного уровня о < ар

'/](!) чшт

к = ¿2 => == ЬК

где К - число зон в пространственном срезе скоростей.

Нахождение Ь является задачей поиска минимума функции с ограничениями в виде равенств

Для снижения числа аномальных векторов предложено проводить временную фильтрацию на основе усреднения по мажоритарному принципу Согласно экспериментальным данным, в результате временной фильтрации число аномальных векторов падает в 2 раза, обесточиваемый уровень достоверности К^ составляет 0,8

Для повышения уровня достоверности и дополнительного сглаживания поступающей информации введена регрессионная предсказывающая полиномиальная модель

СЛ=2АЛ О). (5)

к=О

где у - номер зоны пространственного среза скоростейу=0 .Ы, и! - оценка вектора движения II для у -го блока, а^ - параметры (коэффициенты) регрессионной модели, ф4(х) - базисные функции к = 0 К, ортонормированные на системе из N точек с весами

И)

•'Т? -''--у--

Базисные функции получены из последовательности 1, х, х2, методом ортогонализации Грамма-Шмидта, согласно рекуррентным выражениям, которые при симметричной относительно начала координат области изменений аргумента имеют вид

N

Для расчета полагают ср_!(лг> = 0, ф0(х) = ^Гш, , а коэффициенты

\'=1 ;

определяют из условий нормировки

Коэффициенты ак определяют из условия минимизации взвешенной

квадратической ошибки ¡г1 ^^м^^х^-и^х^))1 = шш согласно выражению

а = Ф'\Уи, где Ф- матрица, составленная из отсчетов базисных функций W -диагональная матрица весовых коэффициентов

На основе регрессионной модели построен предсказывающий фильтр Для формирования панорамы используют оценки векторов движения и, рассчитанные по модели (5)

Алгоритм определения оценок векторов движения для каждого блока на основе предсказывающей регрессионной модели включает в себя три основных шага

Шаг 1 Масштабирование установленных априорно параметров модели а по

найденной средней скорости движения протяженного объекта интереса

Шаг 2 Идентификация методом наименьших квадратов параметров модели а Определение параметров выполняют по найденным векторам движения II При этом вычисляют разницу между измеренным вектором движения и его оцгнкой Чем меньшей погрешностью характеризуются измерения, тем больший вес

получают найденные вектора при идентификации параметров модели.

Шаг 3 Расчет по модели значений векторов скорости для каждого из блоков Масштабирование модели выполняют один раз после обнаружения начала движения объекта Обновления параметров модели и расчет по модели оценок векторов движения проводят в течение всего времени формирования панорамы, через заданное число кадров, определяемое средней скоростью движения объекта

На основе введенного пространственного среза скоростей, временной фильтрации и регрессионной предсказывающей модели разработана процедура определения скорости протяженного движущегося объекта Согласно экспериментальным данным средняя ошибка при оценке скорости 2,7 %, уровень достоверности Кд = 0,999985

Полученные показатели обеспечивают все заявленные выше характеристики формируемого панорамного изображения и позволяют реализовать основные функциональные особенности интеллектуальной системы видеонаблюдения

Четвертая глава посвящена разработке методов анализа видеоданных, обеспечивающих функциональные особенности интеллектуальных систем сегментации и сопровождения, предложена процедура предварительной классификации изображения на основе признака детальности, разработан метод сегментации объектов интереса по совокупности признаков на основе нечеткой

кластеризации при незаданном числе кластеров, введена обобщенная модель формы объекта в виде эллипсов рассеивания Гаусса, предложен метод сопровождения объектов интереса, основанный на введении гауссовой модели объекта с обновляемыми параметрами.

Функциональные особенности интеллектуальной ТВ системы сегментации и сопровождения определяют совокупность требований к применяемым в них методам обработки видеоданных необходимо обеспечить минимальную ошибку сегментации, сегментацию изображений объектов, находящихся в непосредственной близости друг к другу и на сложном фоне, на этапе сопровождения разрешить ситуации окклюзии, слияния и разделения объектов интереса

Для реализации перечисленных задач предложен метод сегментации и сопровождения неточечных объектов с жестким движением («подвижные объекты рассматриваются как частный случай движение с нулевой скоростью), основанный на совокупности признаков с использованием методов нечеткой логики

Использование математического аппарата нечеткой логики обусловлено отсутствием априорной информации об объектах интереса количество объектов, данные об их форме и размерах неизвестны

Как наиболее информативные выделены признаки детальность, движение и форма

Признаки детальности, движения и пространственной связности используют для первоначальной сегментации объектов интереса, на этапе сопровождения дополнительно применяют признак формы

На основании признака детальности, под которым понимают уровень высокочастотной энергии в фрагменте изображения заданного размера (2) выполняют предварительную классификацию

Процедура предварительной классификации включает предобработку изображения с целью подчеркивания высокочастотной составляющей, оценку уровня детальности блоков изображения, пороговую обработку

Для предобработки изображения применяют многомасштабный морфологический градиент

3

мащ = IX Ш ® ^)" 1 > (6)

1=1

где Фи©- морфологические операции наращивания и эрозии, - квадратная группа структурных элементов Размер равен (2г + 1)(2/+ 1) пикселей для 0<г<3 В соответствии с выражением (6) значения градиентов рассчитывают трижды с использованием структурных элементов различной размерности, а затем результаты складывают

Данные экспериментов показывают, что применение многомасшгабного морфологического градиента обеспечивает максимальную эффективность по сравнению с такими методами предобработки, как пространственное дифференцирование, оператор Превшта и вейвлет фильтр Добеши Критерии оценки эффективности Кх - степень выделения объектов интереса, Кг - степень выделения фона, К, - результативность анализа и - инвариантность к свойствам изображения

Распределение оценок детальности блоков изображения в кадре имеет зависимость Релея Бинарный характер проводимой классификации и известный закон распределения оценок детальности позволяет реализовать пороговое ограничение

В результате предварительной классификации выделяют множество блоков С^ с высоким уровнем детальности для дальнейшего анализа. Для каждого блока

этого множества определяют трехкомпонентный вектор движения , Уу^, рк )'г, где V , Уук — составляющие к-го вектора движения по направлениям х и у, р^ - оценка его достоверности

Вектор признаков qк -{х/сУк^кх^куРк)* сопоставленный каждому блоку

множества О^, позволяет выделить объекты интереса (принять решение к какому объекту принадлежит к-ый блок с вектором признаков я д.)

Предложено сегментировать объекты, объединяя блоки в группы на основе схожести признаков для блоков одной группы и отличий между группами Этот подход в аппарате нечеткой логики называется кластеризацией В терминах нечеткой логики блоки - это элементы, подлежащие кластеризации (объединению), объекты интереса - кластеры

Задачу сегментации объектов интереса при отсутствии априорной информации следует рассматривать как нечеткую кластеризацию при неизвестном числе кластеров

Исходной информацией для кластеризации является матрица наблюдений

ЯП Я\2 Ч\п

Чт\ Чт2 Чтп.

каждая строка которой представляет собой значения п признаков одного из М элементов кластеризации

Нечеткие кластеры описывают матрицей возможностного нечеткого разбиения

F = k = l М, /= 1 с

в которой к-ая строка содержит степени принадлежности элемента к к кластерам Oy, 02, ,Ос При нечетком разбиении степень принадлежности объекта к кластеру ц^принимаетзначения из интервала [0, 1]

Матрица возможностного нечеткого разбиения должна обладать следующими свойствами

3», >0, V/t к = \ М, М

°< <М, i = 1 с к—\

Для определения центров потенциальных кластеров применен алгоритм горной кластеризации

Потенциал центров кластеров определен выражением

М к=1

где гй=(г >2ий) ~ вектор признаков потенциального центра И-го

кластера, й = 1 с, а - положительная константа, - расстояние между

вектором признаков потенциального центра кластера Z^! и вектором признаков элемента кластеризации

Расстояние между вектором признаков потенциального центра и элемента кластеризации

¿г ~хс)2 +(Ук-Ус?, ¿V = РкРс^хк-1>хс?+Ьук-*усУ .

где - координаты левого верхнего угла, Уж^су и рс - найденный вектор

движения и его достоверность для блока, являющегося потенциальным центром кластера, — координаты левого верхнего угла, ^кх^ку и Рк ~ найденный

вектор движения и его достоверность для блока, являющегося элементом кластеризации

В качестве центров кластеров выбирают точки с максимальным потенциалом («горные вершины») Центром первого кластера назначают точку с наибольшим потенциалом При выборе следующего центра кластера исключают влияние найденного кластера. Для этого значения потенциала оставшихся возможных центров кластеров пересчитывают

ехр(-(3

где ?[( ) - потенциал на 1-й итерации, ) ~ потенциал на 2-й итерации, VI -вектор признаков первого найденного кластера

а^тах ),Р\ ), ,Р](2С)), Р - положительная константа

Центр второго кластера определяется по максимальному значению обновленного потенциала а^тах (/^(^ДРг^г). »-^(^с))

21>22> ¿х

После определения центров кластеров формируют матрицу нечеткого разбиения Значение элементов матрицы определены степенью

принадлежности элемента (блока) кластеру (объекту), которое задано расстоянием между вектором признаков блока и вектором признаков центра кластера

При сегментации объектов учитывают признак пространственной связности-блоки должны образовывать связную группу и иметь схожие вектора движения Первым признаком г^ принадлежности блока к к кластеру 0.с является минимальное расстояние ётт - тт(<з?до), где I -1 т, к = 1 т,1*к до одного из ранее включенных в кластер блоков (на первом шаге - к центру кластера)

Вторым признаком г^ является взвешенная норма разностного вектора

Рк\ук - ус| > гДе ус ~ наиболее вероятный вектор движения для данного кластера, а р^ — оценка достоверности вектора движения уд.

Для к -го блока формируют обобщенный признак в виде нормы вектора г^, составленного из взвешенных значений частных признаков

dkc Hkfelhi-i/wrfc, где матрица W переменных весовых коэффициентов учитывает динамику свойств объектов интереса и окружающей обстановки

Для определения степени принадлежности блока кластеру введена экспоненциальная функция на основании обобщенного признака d

p = exp(-d2/p2),

где Р - масштабный коэффициент

Сопровождение объектов интереса реализовано на основе обобщенной модели формы Гаусса и с использованием теории нечетких множеств Анализируют соответствие вектора признаков фрагмента изображения (блока) векторам признаков объектов, сегментированных на предыдущем шаге

Представление в виде эллипсов рассевания Гаусса является наиболее общим и несет информацию о центре тяжести объектар^Цу (центр эллипса), его

линейных размерах Lj, L> (длины полуосей эллипса), коэффициенте элонгации

elong =—, угле наклона ср, мере несимметрии объекта Е ¿2

Построение модели формы и движения для каждого сегментированного объекта позволяет использовать для решения задачи сопровождения математический аппарат нечетких множеств На множестве всех блоков кадра сформированы нечеткие множества объектов Og g = l G, где G - число

объектов, сегментированных в предыдущем кадре t Функция принадлежности нечеткого множества Og получена на основе /-нормы вероятностного пересечения

нечетких множеств Gfog и Gvog

r\0g(bkeOg) = r\Vogr]fog,

где г|jog - функция принадлежности нечеткого множества Gfog блоков, соответствующих модели формы объекта g, j\vog - функция принадлежности нечеткого множество Gvog блоков, соответствующих модели движения объекта g

ехр

2(1 -р)

<

(л-Я»)

-2 р

где Ь - блок с координатами (х/с,у/[), , Оу,^,~ значения дисперсии и ковариации, полученные в кадре I при определении параметров модели формы

объекта в виде эллипсов рассеивания Гаусса, - оценка координат центра

тяжести объекта в кадре (+1 на основе координат центра тяжести в кадре I

Чу^ФЬ ехр^- х^Цу* - У^Ц ' " " "

объекта м>£ - весовой коэффициент, учитывающий выраженность признака

движения и особенности окружающей обстановки

При сопровождении нескольких близко расположенных объектов функция принадлежности имеет вид

в

а=\

Сопровождение объектов выполняют выявлением принадлежности блоков кадра I + 1, сформированным нечетким множествам 0„ кадра / Для однозначного

определения объектов введены а-сечения каждого из множеств^

В случае длительного исчезновения объекта необходимо отождествить потерянный объект с одним из вновь захваченных объектов Операцию отождествления выполняют по критерию минимума расстояния между векторами взвешенных параметров потерянного объекта и одного из вновь захваченных объектов

где fg - вектор параметров потерянного объекта g-l О , О - число объектов,

сегментированных в кадре ^ ^е/ои^,^^), м^ - центр тяжести,

Ъд — линейные размеры, ф3 — угол поворота, е1ощг - коэффициент элонгации,

\ё и а^ - вектора скорости и ускорения объекта интереса, Ц- вектор

параметров найденного объекта, 6 = 1 К, К— число вновь захваченных объектов в кадре /+1, \У\¥ - весовая матрица, в общем случае отличная от диагональной

Как показали экспериментальные исследования, предложенный метод позволяет реализовать автоматический захват до 50 объектов интереса на сложном фоне и обеспечивает устойчивое сопровождение объектов интереса при существенной динамике их свойств и окружающей обстановки, а также при взаимодействии изображений объектов с фоном и друг с другом

В пятой главе приведены результаты экспериментального исследования предложенных методов представления и обработки видеоданных в контексте их практической реализации, рассмотрены — многоце леной телевизионно-компьютерный комплекс ввдеомонигоринга железнодорожных составов, - многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов, - видеокомпьютерная система контроля запуска космических аппаратов

Многоцелевой телевизионно-компьютерный комплекс

видеомониторинга железнодорожных составов предназначен для обеспечения осмотра и выявления негабаритных грузов движущегося товарного состава с последующим сбором, обработкой, хранением и документированием информации о коммерческом состоянии вагонов и грузов, а также передачей ее в автоматизированную систему

управления перевозками.

В состав системы входят сенсоры, электронная система ввода видеоизображений в компьютер, персональный компьютер,

программное обеспечение. Сенсорами системы являются три видеокамеры, дающие изображения левого и правого по ходу поезда бортов вагонов, а также вид сверху; габаритные электронные ворота для выявления негабаритного груза. Комплекс позволяет:

• На одном экране представить панорамные изображения всех трех изображений проходящих вагонов и дать дополнительную информацию о текущем времени, скорости движения состава и порядковом номере вагона (рис. 4).

• Предоставигь оператору возможность самому устанавливать комфортную скорость просмотра состава с помощью движка, останавливать движение (стоп-кадр) и возвращаться назад.

• Записать синтезированные изображения в архив с высоким коэффициентом сжатия без потери информации об объекте интереса.

Экспериментальное исследование и результаты, полученные в процессе апробации комплекса, показывают:

1. Синтезированное панорамное изображение обеспечивает эффективную коррекцию пространственных искажений (рис. 5):

нелинейные искажения третьего порядка:

исходный уровень 120%; уровень после коррекции менее 5%; искажения типа «бочка/подушка»:

исходный уровень 20%; уровень после коррекции менее 1 %

2. Полученный размер панорамы одного вагона позволяет разместить ее целиком на экране монитора.

3. При движении протяженного объекта со скоростью от 20 до 60 км/ час и стандаргной ширине кадра 768 пикселей по горизонтали достигаемый коэффициент сжатия от 80 до 25 раз, соответственно.

4. Средняя ошибка нарушения геометрического подобия (соответствия с определенным масштабным коэффициентом размеров объекта интереса на созданной панораме размерам реального объекта) составляет 2,7% Достигнутая точность обеспечивает восприятие оператором синтезированного изображения, как изображения без искажений. Искажения менее 5% не воспринимаются зрительным анализатором человека.

Рис. 4. Вид экрана монитора

5. Информация о скорости движения протяженного объекта при построении панорамного изображения, одновременно с синтезом изображения объекта интереса, позволяет зафиксировать момент начала и окончания движения железнодорожного состава, определить направление и скорость движения, реализовать счет вагонов и выполнить идентификацию типа вагона.

ФЗ Ф4

= 191).

Рис. 5. а) Исходное изображение.

Коэффициент нелинейных искажений 109%(6т;п =56 ;Ьп Ь) Синтезированное изображение.

Ширина фрагментов (пиксели) Ф1=67, Ф2 =68, Ф3=70, Ф4=67.

Коэффициент нелинейных искажений 4.3%(6т;п =67; ¿тах =70).

Полученные результаты показывают, что синтезированное панорамное изображение позволяет реализовать основные функциональные особенности интеллектуальной системы видеонаблюдения протяженных объектов.

В многофункциональном оптико-электронном комплексе решены задачи автоматизированного захвата и автоматического сопровождения неточечных объектов интереса. Размеры объектов от 4*4 до 100*100 пикселей. Скорость движения от 0 до 10 пикселей за кадр. Движение объектов произвольное, возможно исчезновение длительностью до 10 сек. Число главных объектов интереса от одного до четырех. Число второстепенных объектов неограниченно. Эффективное отношение сигнал/шум (отношение превышение сигнала цели над фоном к СКО шума) не менее 6 дБ. Автоматизированный захват выполняет оператор.

Система решает следующие задачи: 1. Один из главных объектов (по выбору оператора) всегда удерживают в цет-ре растра с ошибкой, не превышающей I пиксель по каждой координате.

2 Остальные объекты сопровождают стробом Реализуют непрерывную (с частотой кадров) подстройку стробов под изменяющиеся размеры и ракурсы для всех четырех объектов интереса

3 Выполняют разрешение ситуации окклюзии и временного (до 10 сек) исчезновения объектов интереса

Экспериментальное исследование показывает

1 Предложенный метод обеспечивает систематическую ошибку сегментации 16% от площади объекта интереса Указанное значение в 3 раза ниже средней ошибки при сегментации объекта прямоугольным стробом Случайная ошибка зависит от размеров объекта интереса для объектов размером до 5 блоков она составляет 15-20%, для объектов большего размера 3-5%

2 При сопровождении объектов статичной камерой ошибка при определении центра тяжести не превышает 1 пиксель

3 Разрешение ситуации окклюзии во всех экспериментах было выполнено корректно и не привело к ложному изменению размеров стробов объектов интереса

Видеокомпьютерная система контроля запуска космических аппаратов предназначена для дистанционного видеонаблюдения и сопровождения космических аппаратов во время их запуска, оценивания их экранных координат и архивирования видеоданных

В состав системы входят видеокамера, электронная система ввода видеоизображений в компьютер, поворотный стол, персональный компьютер, программное обеспечение

В автоматизированном режиме выполняют захват объекта интереса оператор формирует строб вокруг объекта, подлежащего дальнейшему сопровождению В автоматическом режиме система реализует удерживание в центре кадра объекта, выделенного оператором Скорость перемещения объекта интереса в экранной плоскости до 5 пикселей за кадр Возможно исчезновение объекта интереса длительностью до 3 секунд

Экспериментальные исследования показывают

1 Средняя ошибка слежения, определяемая предложенным методом (без влияния инерционности поворотного стола), составляет 1,5 пикселя

2 Момент начала движения объекта интереса был зафиксирован на всех тестовых сюжетах.

Полученные показатели и качественные характеристики показывают, что предложенные в диссертационной работе методы представления и обработки видеоданных, позволяют реализовать основные функциональные особенности интеллектуальной системы видеонаблюдения за протяженными объектами и систем сегментации и сопровождения неточечных объектов интереса с жестким движением

В заключении сформулированы основные результаты, полученные в диссертационной работе

1 Выявлены функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения, обеспечивающие существенное повышение их эффективности

2 Предложены принципы обработки и представления видеоданных, обеспечивающие реализацию функциональных особенностей интеллектуальных прикладных ТВ систем

3 Введен критерий оценки эффективности методов и алгоритмов определения векторов движения в интеллектуальных системах видеонаблюдения, сегментации и сопровождения - уровень достоверности Проведены экспериментальные исследования существующих методов и алгоритмов, и у них выявлен низкий уровень достоверности 0,58

4 Для оценки векторов движения в интеллектуальных прикладных системах разработаны специальные методы

• Метод оценки векторов движения с учетом их априорных оценок достоверности и значимости, который позволяет задавать необходимый уровень достоверности и снижает вычислительные затраты по определению поля векторов движения в 10-20 раз Метод дает возможность найти трехкомпоненгные вектора движения Третьей компонентой является вероятность правильного определения вектора движения (оценка достоверности), имеющая самостоятельную ценность при дальнейшей обработке

•Метод субпиксельной оценки векторов движения на основе многмасштабной межкадровой разности, позволяющий определить вектора движения с точностью до 0,07 пикселя и одновременно повышающий уровень достоверности на 20%

5 Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов Изображения после коррекции имеют существенные потери разрешения на краях растра до 70% в центре до 40%

6 Разработан метод синтеза изображения протяженного движущегося объекта интереса путем построения панорамы, позволяющий компенсировать пространственные искажения без потерь разрешения, присущих методам цифровой коррекции, и обеспечивающий комфортные условия анализа видеоданных, а также существенное сжатие без потери информации об объекте интереса

7 Предложен алгоритм оценки видимой скорости движения протяженного объекта на основе временной фильтрации и фильтрации по предсказывающей регрессионной модели Средняя ошибка при оценке скорости 2,7% уровень достоверности 0,999985

8 Построена обобщенная модель формы объекта на основе эллипсов рассеивания Гаусса

9 С учетом сложных условий видеонаблюдения и специфики объектов интереса предложено заменить текстурный признак признаком детальности Введена оценка детальности фрагмента изображения Разработана процедура предварительной классификации изображения на основе признака детальности, позволяющая исключить из дальнейшего анализа до 80% блоков изображения

10 Разработан метод сегментации объектов интереса по совокупности признаков с использованием математического аппарата нечеткой логики, позволяющий одновременно выделить изображения нескольких объектов на сложном фоне

И Разработан метод сопровождения объектов на основе гауссовой модели формы с обновляемыми параметрами, позволяющий разрешать ситуации окклюзии, слияния и разделения объектов интереса, а также сопровождать объекты при существенной динамике их свойств и окружающей обстановки

12 На основе разработанных методов реализованы многоцелевая видеокомпьютерная система коммерческого осмотра поездов и вагонов,

многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов, видеокомпьютерная система контроля запуска космических аппаратов

Совокупность проведенных исследований, полученных новых научных и практических результатов показывает, что поставленная в диссертационной работе проблема повышения эффективности прикладных ТВ систем, путем придания им интеллектуальных свойств решена

Опубликованные работы по теме диссертации:

1 Обухова, НА Система для автоматического оценивания и минимизации растровых искажений ТВ приемников и ВКУ/ НА Обухова // К Дню радио материалы 49-й науч -техн конф «НТОРЭС им А С Попова», г С -Петербург, 1994г -СПб, 1994 -С 47

2 Обухова, Н А Система автоматической настройки и контроля качества ТВ приемников /НА Обухова // К Дню радио материалы 50-й науч -техн конф «НТОРЭС им А С Попова»,г С -Петербург, 1995г - СПб, 1995 -С 34

3 Oboukhova, N Signal processing m TV-páramete is estimation [ Обработка сигналов при оценке показателей качества ТВ приемников] / N Oboukhova // Control Systems and Computer Science Proc of 10th bit Conf, Bucharest, Romania, 24 -26 may 1995 - Bucharest, 1995 -P 154-156

4 Обухова, НА Автоматическое оценивание растровых параметров ТВ приемников /НА Обухова // Телевидение Видеотехника Теория и практика Сб науч тр /СПб ГААП (ГУАП) - СПб , 1996 -С 86-91

5 Oboukhova, N Sisteme teleiformatice pentru controlul automat al traficului urban [Автоматическая телевизионная система контроля городских магистралей]/ N Oboukhova, В Timofeev, A Tertisco // Informática Economica (Румыния) - 1998- № 6 (vol П) -Р 63-67

6 Oboukhova, N Pieluciaiea videosemnalelor si etalonaiea sis te me lor informatice de control tv al traficului urban [Обработка видеосигналов для калибровки (привязки к местности) ТВ системы контроля городских магистралей] / N Oboukhova, А Tertisco // Revista Romana de Informática si Automática (Румыния) - 1998 - № 3 (vol 8) — P 47-53

7 Обухова, H А ТВ системы экологического мониторинга /НА Обухова, Б С Тимофеев // Новейшие достижения в области телевидения, аудио и видеотехники сборник докл I науч - техн. конф , г С -Петербург, 24-25 июня 1999 г - СПб, 1999 -С 15-16

8 Обухова, Н А Телевиз ионная система оперативного оценивания параметров загрязнения акватории/ НА Обухова // Телевидение передача и обработка изображений материалы I Междунар науч конф , г С -Петербург, 20-22 июня 2000г -СПб, 2000 -С 106-107

9 Обухова, НА Алгоритмы оценки параметров загрязнения акватории /НА Обухова//Радиотехнические и телевиз ионные системы Сб науч тр/СПб ГУАП -СПб, 2000 -С 28-34

10 Обухова, НА Оценка параметров модели искажающих сигналов ТВ приемника при неопределенности предиктора /НА Обухова // Радиотехнические и телевиз ионные системы Сб науч тр/СПб ГУАП-СПб, 2000 -С 82-88

11 Обухова, НА Цифровая обработка изображений в ТВ системах контроля водной поверхности /НА Обухова // Цифровая обработка сигналов и ее

применение материалы III Междунар науч конф , г Москва, 2000 г - М, 2000 -С 48-50

12 Астратов, О С Автоматический контроль транспортных потоков с помощью телевизионных систем /ОС Астратов, НА Обухова, Б С Тимофеев // Радиотехнические и телевизионные системы Сб науч тр / СПб ГУАП - СПб, 2000 -С 61-68

13 Обухова, НА Алгоритмы обнаружения и идентификации транспортных средств в телевизионных системах мониторинга городских магистралей / НА Обухова // Телевидение передача и обрабоака изображений материалы II Междунар науч конф, г С-Петербург, 21-22 мая 2002 г -СПб, 2002 -С 48-50

14 Обухова, Н А Особенности применения метода сопоставления блоков для обнаружения и сегментирования медленно движущихся объектов /НА Обухова //Телевидение передача и обработка изображений материалы Ш Междунар науч конф, г С-Петербург, 5-6 июня 2003 г -СПб, 2003 -С 25-27

15 Обухова, НА Особенности цифровой обработки изображений в задачах обнаружения и оценивания параметров нефтяных разливов на водной поверхности /НА Обухова, М-во науки и образования Рос Федерации СПб ГУАП - СПб, 2003 - 15с - Деп в ВИНИТИ 30 05 03, № 1064-В2003

16 Обухова, НА Цифровая обработка изображений для оценки характеристик транспортных потоков в ТВ системе экологического мониторинга воздушной среды города /НА Обухова, М-во науки и образования Рос Федерации СПб ГУАП - СПб, 2003 - 12с - Деп в ВИНИТИ 30 05 03, № 1065-В2003

17 Обухова, Н.А Метод видеонаблюдения за медленно движущимися малоразмерными объектами /НА Обухова // Известия высших учебных заведений России Сер Радиоэлектроника - 2003 - №4 -С 44-52

18 Обухова,НА Системывидеобнаруженияи сопровождения подвижных объектов /НА Обухова, Б С Тимофеев //Телекоммуникации - 2003- №12- С 36-44

19 Обухова, Н А Программа исследования на ЭВМ алгоритмов сегментации и сопровождения движущихся объектов методом сопоставления блоков свид-во об отраслевой регистрации разработки № 2805 /НА Обухова, СПб ГУАП - М ВНИТЦ, 2003 -№ 50200300802

20 Обухова, Н А Программа исследования на ЭВМ алгоритмов сегментации движущихся объектов на основе энергии движения свид-во об отраслевой регистрации разработки № 2806 / Н А Обухова, СПб ГУАП - М ВНИТЦ, 2003 -№ 50200300803

21 Обухова, Н А Программа сегментации нефтяного разлива и оценивания его параметров свид-во об отраслевой регистрации разработки № 2807 /НА Обухова, СПб ГУАП -М ВНИТЦ, 2003 - № 50200300804.

22 Обухова Н А Программа коррекции геометрических искажений в видеоданных полученных ТВ камерой с короткофокусным объективом свид-во об отраслевой регистрации разработки № 2808 /НА Обухова, СПб ГУАП - М ВНИТЦ, 2003 50200300805

23 Обухова Н А Программа исследования на ЭВМ алгоритмов сегментации и сопровождения медленно движущихся малоразмерных объектов свид-во об отраслевой регистрации разработки № 2809 /НА Обухова, СПб ГУАП - М ВНИТЦ, 2003 -№ 50200300806

24 Обухова, Н А Обнаружение и сопровождение объектов движущихся объектов методом сопоставления блоков/ НА Обухова // Информационно-управляющие системы -2004-№1 -С 30-37

25 Обухова, НА Процедура определения скорости движения протяженного объекта для построения его панорамного изображения свид-во об отраслевой регистрации разработки № 3894 / Н А Обухова, СПб ГУАП - М ВНИТЦ, 2004 -№ 50200401170

26 Oboukhova, N Features of optical flow defination and processing for moving object segmentation [Особенности определения и обработки оптического потока при сегментации движущихся объектов]/ N Oboukhova, В Timofeev // Radio — That Connects Time 110 Anniveisaiy of Radio Invention Proc oflnt Conf, St Peteisburg, Russia, May 18-21, 2005 - SPb, 2005 - P 64-68

27 Обухова, H А Сегментация и сопровождение объектов на основе анализа видеопоследовательности /НА Обухова, Б.С Тимофеев // Телевидение передача и обработка изображений материалы IV Междунар науч конф , г С -Петербург, 24-26мая2005г -СПб, 2005 -С 87-89

28 Обухова, НА, Тимофеев Б С Методы повышения эффективности систем видеонаблюдения/ НА Обухова, Б С Тимофеев // Телевидение передача и обработка изображений материалы IV Междунар науч конф , г С -Петербург, 2426 мая 2005 г -СПб, 2005 - С 85-86

29 Обухова, НА Анализ параметров движения в системе видеонаблюдения железнодорожных составов/ НА Обухова, Б С Тимофеев // Известия высших учебных заведений России Сер Радиоэлектроника -2005-№3-С 42-50

30 Обухова, НА Захват и сопровождение объектов в автоматизированной системе/ НА Обухова, Б С Тимофеев // Электронные средства и системы управления материалы IV Междунар науч - прак конф , г. Томск, 12-14 октябрь

2005 г - Томск, 2005 -С 277-280

31 Обухова, НА Предварительный анализ изображения при сегментации по совокупности признаков/ НА Обухова // Известия высших учебных заведений России Сер Радиоэлектроника -2006-№1 -С 35-41

32 Обухова, Н А Векторы оптического потока в задачах сегментации и сопровождения подвижных объектов/ Н А Обухова //Известия высших учебных заведений России Сер Радиоэлектроника -2006-№2-С 42-51

33 Обухова, НА Априорная оценка достоверности векторов оптического потока (векторов движения) /Н А Обухова // Известия высших учебных заведений России Сер Радиоэлектроника - 2006- №3 - С 30-36

34 Обухова, Н А Алгоритм сегментации объектов в последовательности видеокадров методами нечеткой логики / НА Обухова, Б С Тимофеев // Информационно-управляющие системы - 2006-№3 -С 12-18

35 Oboukhova, N Automatic segmentation and tracking of objects m Videocomputer systems [Автоматическая сегментация и сопровождение объектов в видеокомпьютерных системах]/ N Oboukhova// IEEE Consumer Electronics (ISCE 2006) Proc of 10th Int Symp, St Petersburg, Russia, June 28 - July 1, 2006 - SPb ,

2006 -P 111-114

36 Oboukhova, N Calculation and application optical flow vectors with the preliminary estimation of their reliability [ Вычисление и применение векторов оптического потока с учетом априорной оценки их достоверности] / N Oboukhova,

В Timofeev//IEEE Consumer Electronics (ISC E 2006) Proc of 10th Int Symp , St Pete is burg, Russia, June 28 - July 1, 2006 - SPb , 2006 - P 203-207

37 Обухова, H А Программа исследования на ЭВМ алгоритмов субпиксельной оценки векторов движения свид-во об отраслевой регистрации разработки № 7412 /НА Обухова, СПб ГУ АП-М ВНИТЦ, 2007 - № 50200700029

38 Обухова, Н А Программа исследования на ЭВМ метода сегментации и сопровождения объектов интереса по совокупности признаков свид-во об отраслевой регистрации разработки № 7413 / НА Обухова, СПб ГУАП - М ВНИТЦ, 2007 - № 50200700030

39 Обухова, Н А Программа исследования на ЭВМ метода предварительного анализа изображения на основе признака детальности свид-во об отраслевой регистрации разработки № 7414 /НА Обухова, СПб ГУАП - М ВНИТЦ, 2007 -№ 50200700031

40 Обухова, Н А Программа исследования на ЭВМ метода определения векторов движения с учетом априорной оценки их достоверности и значимости свид-во об отраслевой регистрации разработки № 7411 / НА Обухова, СПб ГУАП -М ВНИТЦ, 2007 -№ 50200700028

41 Обухова, НА Предварительная классификация изображения в задачах сегментации объектов /НА Обухова // Информационно- управляющие системы -2007-№ 2-С 22-28

42 Обухова, НА Сегментация объектов интереса на основе признака движения в видеокомпьютерных системах / НА Обухова // Инфокоммуникационные технологии - 2007-№1-С 77-85

43 Обухова, Н А Метод определения векторов движения с учетом априорной оценки их достоверности и значимости / НА Обухова // Современное телевидение труды 15-й Всеросс науч -техн. конф , г Москва, 20- 21 марта 2007 г -М.2007 -С 156-157

44 Амирханов, С Г Сегментация и сопровождение объектов по совокупности признаков в прикладных ТВ системах / С Г Амирханов, НА Обухова // Материалы 59-й науч - техн конф профессорско- преподавательского состава, научных сотрудников и аспирантов СПбГУТ им Бонч-Бруевича, г. С -Петербург, 22-26 января 2007г -СПб, 2007 -С 94

45 Обухова, НА Интеллектуальные видеосистемы/ НА Обухова, Б С Тимофеев // Телевидение передача и обработка изображений материалы V Междунар науч конф , г С -Петербург, 19-20 июня 2007 г -СПб , 2007 -С 3-4

46 Обухова, НА Субпиксельная оценка векторов движения / НА Обухова // Известия высших учебных заведений России Сер Радиоэлектроника - 2007- №1 -С 18-23

47 Обухова, Н А Метод автоматической сегментации и сопровождения объектов интереса на основе математического аппарата нечеткой логики/ Н А Обухова // Известия высших учебных заведений России Сер Радиоэлектроника - 2007-№3 -С 53-63.

48 Обухова, НА Интеллектуальные системы видеонаблюдения железнодорожных составов / НА Обухова, Б.С Тимофеев // Вопросы радиоэлектроники Сер Техника телевидения -2007- №1 -С 10-23

Формат 60x84 1\16 Бумага офсетная Печать офсетная Тираж 100 экз Заказ № 34

Редакционно-издательский центр ГУАП 190000, Санкт-Петербург, Б Морская ул , 67

Введение.

Глава 1. Обзор современного состояния прикладных ТВ систем.

1.1. Классификация прикладных ТВ систем.

1.2. Функциональные особенности интеллектуальных прикладных ТВ систем

1.2.1. Функциональные особенности интеллектуальных систем видеопаблюдения.

1.2.2. Функциональные особенности интеллектуальных систем сегментации и сопровождения объектов интереса.

1.3. Анализ основных методов обработки видеоданных в ТВ системах сегментации и сопровождения объектов интереса.

1.3.1. Сегментация на основе признака яркости.

1.3.2. Сегментация на основе признака текстуры.

1.3.3. Сегментация на основе признака формы.

1.3.4. Сегментация на основе признака движения

1.3.4.1. Оценка признака движения на основе энергии движения.

1.3.4.2. Оценка признака движения на основе векторов движения.

Выводы и постановка задачи.

Глава 2. Оценка признака движения в интеллектуальных системах видеонаблюдения, сегментации и сопровождения подвижных объектов.

2.1. Анализ эффективности методов и алгоритмов определения векторов движения.

2.2. Априорная оценка достоверности векторов движения.

2.3. Метод определения векторов движения с учетом априорных оценок их достоверности и значимости.

2.4. Субпиксельная оценка векторов движения.

2.4.1. Интерполяционный метод.

2.4.2. Метод, основанный на многомасштабной межкадровой разности.

2.4.3. Экспериментальное исследование методов субпиксельной оценки.

Выводы по главе 2.

Глава 3. Обработка видеоданных в интеллектуальных системах видеонаблюдения на основе признака движения.

3.1. Анализ эффективности коррекции пространственных искажений на основе цифровой обработки изображений.

3.1.1. Метод коррекции пространственных искажений на основе идентификации параметров искажающих сигналов.

3.1.2. Экспериментальное исследование эффективности метода коррекции пространственных искажений на основе идентификации параметров искажающих сигналов.

3.2. Синтез панорамного изображения протяженного движущегося объекта на основе оценки его видимой скорости.

3.3. Определение видимой скорости движения протяженного объекта для построения его панорамного изображения.

3.3.1. Особенности определения векторов движения при оценке видимой скорости протяженных объектов.

3.3.2. Временная фильтрация векторов движения при определении скорости протяженного объекта.

3.3.3. Регрессионная предсказывающая модель пространственного среза скоростей.

Выводы по главе 3.

Глава 4. Сегментация и сопровождение объектов интереса на основе совокупности признаков.

4.1. Основные принципы анализа видеоданных на основе совокупности признаков.

4.2. Предварительный анализ изображения на основе признака детальности.

4.3. Сегментация объектов интереса на основе признаков движения и пространственной связности.

4.4. Сопровождение объектов интереса на основе гауссовой модели формы.

Выводы по главе 4.

Глава 5. Реализация и экспериментальное исследование интеллектуальных систем видеонаблюдения, сегментации и сопровождения движущихся объектов.

5.1. Многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов.

5.1.1. Экспериментальное исследование качественных показателей синтезированного изображения.

5.1.2. Точность оценки видимой скорости движения протяженного объекта.

5.1.3. Получение дополнительной информации об объекте интереса.

5.2. Многофункциональный оптико-элекгронный комплекс сегментации и сопровождения неточечных объектов.

5.3. Видеокомпьютерная система контроля запуска космических аппаратов.

Выводы по главе 5.

Прикладные ТВ системы имеют чрезвычайно широкое и разнообразное применение. В соответствии с характером решаемых задач следует выделить системы: видеонаблюдения, измерительные, классификации и распознавания, сегментации и сопровождения объектов, охранные системы и др. По целевому назначению рассматривают системы: космического и воздушного мониторинга, медико-биологические, криминалистические, наблюдения за высокотемпературными процессами, мониторинга газопроводов и нефтепроводов, транспортного и экологического мониторинга и т.д.

Научным проблемам синтеза прикладных телевизионных систем, их адаптации к внешним условиям, повышению качественных показателей, помехоустойчивости и точности измерения параметров объектов посвящены работы многих отечественных [1-12] и зарубежных ученых [14,15,44,96,126]:

Катаева С. И., Зубарева Ю. Б., Селиванова А. С., Гуревича С. Б., Рыфти-на Я. А., Гоголя А.А., Быкова Р. Е., Лысенко Н.В, Тимофеева Б. С., Пустынско-го И. Н., Цыцулина А. К., Хромова J1. И., Ярославского J1. П., Василенко Г. И., Ро-зенфельда А.А,. Горелика С. Д., Ероша И. JL, Сергеева М.Б., Фисенко В.Т., Кузьмина В П , Хорна Б. К. П., Претта У. К., Колера Д., Марагоса Г., Форести Л., Виа-рани, Хао Тау и др.

Разработкой современных прикладных ТВ систем занимаются научно — производственные коллективы: ФГУП «НИИ телевидения» под руководством Умби-талиева А. А., ФГУП НИИ 11Т «Растр» под руководством Кузьмина В.П. и Челпа-нова В.И., научно-производственная компания «ЭВС» под руководством Лебедева Н.В., Филиал ФГУП ЦНИИ «Комета» под руководством Фисенко В.Т. и др.

Главными особенностями современного этапа развития прикладных ТВ систем являются:

1. Стремительное развитие аппаратной базы и вычислительной техники. Это обусловило появление видеокомпьютерных систем и, как следствие, существенно ослабило ограничения на сложность и емкость методов обработки видеоданных в них.

2. Все большее распространение прикладных ТВ систем сопровождается значительным усложнением решаемых ими задач.

Указанные особенности ужесточают требования к эффективности методов анализа и представления видеоданных прикладными ТВ системами.

Для видеонаблюдения это предполагает построение систем, обеспечивающих максимальный уровень эргономичности. Для получения наиболее полной информации об объекте интереса и окружающей обстановке необходимо увеличение угла зрения видеокамеры. Обычно эту проблему решают путем применения широкоугольных и сверх широкоугольных объективов. Их использование приводит к существенным пространственным искажениям и снижению разрешения на краях формируемого изображении. Компенсация пространственных искажений цифровыми методами сопровождается дополнительными потерями разрешающей способности. Необходимо разработать методы синтеза изображений объектов интереса, исключающие указанные проблемы.

Существующие сегодня системы видеонаблюдепия при работе в режиме реального времени предъявляют видеоматериал оператору со скоростью движения объекта интереса или камеры. Например, при контроле железнодорожного состава его скорость определяет скорость просмогра видеоматериала. Если эта скорость достаточно высока, то нет возможности рассмотреть целостность вагонов, пломб и сверить с натурным листом бортовые номера. В этом случае оператор вынужден работать с видеоматериалом, помещенным в архив. В результате контроль состава выполняют после его прохождения, что снижает оперативность наблюдения. При наблюдении быстродвижущихся объектов должна быть обеспечена возможность регулирования скорости предъявления видеоданных непосредственно в режиме контроля, а не работы с архивом.

Одновременно с наблюдением необходимо предоставить оператору дополнительную информацию об объекте интереса, полученную на основе анализа видеоданных. Это могут быть данные о скорости движения объекта (поезда, автомобиля), информация о типе транспортного средства, его номерном знаке и др. Должен быть сформирован информационный кадр, включающий в себя изображение объекта, оперативные данные и информацию из баз данных.

Для систем видеонаблюдения актуальным является разрешение противоречия между качеством формируемых изображений и аппаратными возможностями существующих каналов связи, а также устройств хранения данных. Несмотря на высокую емкость современных жестких дисков ее недостаточно для хранения больших объемов информации длительное время, как это необходимо согласно техническим условиям. Традиционно это противоречие решают путем сжатия видеоданных с заметным понижением их качества и потерей информации. Для повышения эффективности систем видеонаблюдения необходимо разработать методы сжатия видеоданных без потери информации об объекте интереса для обеспечения длительного хранения и передачи в реальном времени высококачественных изображений по каналам связи с ограниченной пропускной способностью.

Помехоустойчивость пассивных телевизионных и тепловизионных систем сегментации и сопровождения обуславливает их высокую востребованность и широкое распространение: при проведении антитеррористических мероприятий, анализе транспортных потоков, при управлении воздушным и водным транспортом и др. Практика применения систем этого класса позволяет выделить следующие основные проблемы.

При высокой динамике и большом числе объектов интереса затруднено их первоначальное выделение оператором. Актуальным является обеспечение автоматической сегментации одновременно нескольких объектов интереса с присвоением им уникальных меток, которые не должны изменяться далее в процессе сопровождения даже при временном исчезновении объекта интереса.

При работе одновременно с несколькими объектами интереса возникает проблема разрешения их взаимодействия друг с другом и фоном. Необходимо корректно отрабатывать ситуации появления и исчезновения объектов в зоне наблюдения, слияние и разделение объектов интереса, перекрытия объектов друг другом или фоном (окклюзию). Наиболее часто используемое решение при возникновении ситуации окклюзии — это переход на сопровождение обоих объектов «по памяти». Это увеличивает вероятность потери объектов интереса и требует идентификации объекта после его вторичного выделения. Необходимо определить какой из объектов находится на переднем плане, и использовать сопровождение «по памяти» только для полностью закрытого объекта интереса. В этом случае вероятность срыва сопровождения возрастает только для одного (закрытого объекта), при этом выделение и сопровождение его до полного закрытия позволяет увеличить объем информации об объекте до перехода в режим предсказания, а также минимизировать длительность ведения по памяти.

В процессе сопровождения объекты меняют свои свойства ракурс, размеры, скорость движения вплоть до остановки; возможны существенные изменения фона и освещенности. Например, при старте ракеты после запусков двигателя возникает яркая вспышка и облако пыли, резко меняющие свойства изображения объекта интереса. Необходимо разработать многопризнаковую систему, позволяющую исключить срыв сопровождения при существенной динамике свойств объекта и окружающей обстановки.

Сформулированные задачи предполагают качественно новый анализ видеоинформации. Необходимо выработать правильные решения для плохо формализованных задач, требующих оригинальных методов и алгоритмов решения в зависимости от конкретной ситуации, характеризующейся неопределенностью и динамичностью исходных данных.

Система должна извлекать знания из накопленного опыта и применять их для решения задач, а также иметь способность к развитию в соответствие с объективными изменениями условий функционирования.

Перечисленные особенности являются признаками информационно-интеллектуальных систем [ 36,37 ].

Указанные выше положения делают актуальной проблему повышения эффективности прикладных ТВ систем путем придания им интеллектуальных свойств. Ее решению посвящена данная диссертационная работа.

Для систем видеонаблюдения предложено предъявлять оператору не исходный видеоматериал, а синтезированное на его основе изображение, обладающее качественно новыми свойствами. Изменен временной масштаб: изображение может быть остановлено, замедлено, ускорено. Качество созданного изображения лучше, чем у исходного по таким важнейшим показателям, как разрешающая способность и геометрические искажения. При синтезе удалена избыточная информация, в результате чего реализовано семантическое сжатие видеоданных в десятки раз без потери информации об объекте. Это позволяет запоминать значительный объем видеоданных на носителе, обеспечить передачу высококачественных изображений в реальном времени по каналам связи с низкой пропускной способностью.

Для систем сегментации и сопровождения предложено использовать совокупность признаков, объединенных на основе математического аппарата нечеткой логики. Это позволило одновременно выделить несколько объектов на сложном фоне, разрешить ситуации перекрытия, разделения и слияния объектов интереса.

Важнейшим из признаков объекта интереса является движение, которое учитывают в виде «энергии движения» или «оптического потока» [98 - 100]. Векторы движения, составляющие оптический поток, используют в задачах сегментации и сопровождения объектов, а также при сжатии видеоданных. При разработке методов определения векторов движения общепринятым критерием является быстродействие. Разработано большое число алгоритмов, построенных на минимизации числа пробных точек и отсчетов сигналов целевой функции при поиске [101 - 126]. В них увеличение быстродействия, по сравнению с методом полного перебора, достигают ценой снижения достоверности оценок векторов движения. Низкая достоверность приводит к некоторому уменьшению коэффициента сжатия, по совершенно недопустима при сегментации и сопровождении объектов. В работе предложено априорно оценить достоверность и значимость векторов движения на основе оценок детальности и энергии движения во фрагментах (блоках) изображения. Векторы движения ищут путем полного перебора только в блоках со значимой детальностью и энергией движения. Для типичных в прикладных задачах сюжетов число таких блоков составляет (5-И0)%. Это позволяет одновременно снизить вычислительную нагрузку и обеспечить необходимый уровень достоверности.

Повысить точность оценки векторов движения, а также учесть медленное движение со скоростью ниже одного пикселя за кадр, позволяет субпиксельпая оценка. Предложен метод субпиксельной оценки на основе многомасштабной межкадровой разности, который обеспечивает точность до десятых долей пикселя и, одновременно, повышение уровня достоверности за счет временного накопления и логической фильтрации.

Разработанные методы определения векторов движения, являющихся наиболее информативной оценкой признака движения, снимают ограничения на их использование в прикладных ТВ системах.

Достигнутые в работе результаты позволяют существенно повысить эффективность прикладных телевизионных систем.

Цель работы: разработка методов представления и анализа видеоданных, позволяющих реализовать функциональные особенности интеллектуальных прикладных ТВ систем для существенного увеличения их эффективности.

Основные задачи диссертационной работы

1. Определить функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения; сформулировать основные принципы представления и обработки видеоданных в них.

2. Оценить возможности и эффективность использования существующих методов определения векторов движения в прикладных ТВ системах.

3. Разработать новые методы оценивания векторов движения, учитывающие специфику видеоданных, получаемых в сложных условиях видеопаблюдения.

4. Разработать методы субпиксельной оценки векторов движения, позволяющие анализировать изображения объектов интереса с медленным движением.

5. Оценить эффективность применения методов цифровой коррекции пространственных искажений изображений, создаваемых сверхширокоугольными объективами.

6. Разработать метод синтеза изображения протяженного объекта интереса, обеспечивающий: высокую эргономичность видеонаблюдения; сжатие данных без потери информации об объекте интереса, позволяющее разрешить противоречие между объемом записанных данных и их качеством; передачу высококачественных видеоизображений по каналам связи с низкой пропускной способностью.

7. Построить обобщенную модель формы объекта интереса при отсутствии априорной информации о нем.

8. Разработать способ оценки текстурного признака, адаптированный к сложным условиям наблюдения и специфике объектов интереса.

9. Разработать принципы и методы обработки видеоданных на основе совокупности признаков сегментации с использованием математического аппарата нечеткой логики, позволяющие автоматически сегментировать и сопровождать одновременно несколько объектов интереса на сложном фоне при отсутствии априорной информации.

Методы исследования

В работе использованы методы теории распознавания образов, теории вероятностей и математической статистики, теории нечетких множеств и нечеткой логики, теории оптимизации, теории функционального анализа и высшая алгебры, теории регрессионного анализа и планирования эксперимента, методы цифровой обработки изображений, методы моделирования на ЭВМ и программирования, экспериментальные исследования.

Научная новизна

1. Выявлены функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения.

2. Разработаны основные принципы представления и обработки видеоданных в системах видеонаблюдения за протяженными объектами.

3. Разработаны принципы сегментации и сопровождения неточечных объектов с жестким движением при отсутствии априорной информации о них и при существенной динамике их свойств в процессе наблюдения.

4. На основе анализа особенностей определения и применения векторов движения для видеоданных, полученных в сложных условиях наблюдения, введен критерий эффективности методов нахождения векторов в виде уровня достоверности.

5. На основе экспериментальных данных аналитически описана функция достоверности, позволяющая анриорно определить вероятность корректного нахождения вектора движения в зависимости от уровня детальности изображения в блоке.

6. На основе экспериментальных данных аналитически описана функция значимости, позволяющая априорно определить вероятность существования непулевого вектора движения в зависимости от уровня абсолютной межкадровой разности в блоке.

7. Предложен метод определения трехкомпонептпых векторов движения с учетом априорных оценок их достоверности и значимости, позволяющий реализовать взвешенную оценку признака движения, а также существенно уменьшить число аномальных векторов движения и вычислительную емкость задачи.

8. Предложен метод субпиксельной оценки векторов движения на основе многомасштабной межкадровой разности, обеспечивающий точность до 0.07 пикселя и повышение числа корректно найденных векторов по отношению к полному перебору на 20%.

9. Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов. Изображения после коррекции имеют существенные потери разрешения: на краях растра более 70%, в центре до 40%.

10. Предложен метод синтеза панорамного изображения протяженного объекта интереса, позволяющий компенсировать пространственные искажения, вносимые сверхширокоугольным объективом, обеспечить максимальную четкость изображения по площади кадра, реализовать комфортные условия видеонаблюдения, а также семантическое сжатие.

11. Разработан алгоритм оценки видимой скорости протяженного объекта на основе анализа видеоданных.

12. Введена обобщенная модель формы объекта на основе эллипса рассеивания Гаусса.

13. Предложен метод автоматической сегментации объектов в видеоданных на основе совокупности признаков и с использованием аппарата нечеткой логики, позволяющий одновременно сегментировать несколько объектов на сложном фоне при отсутствии априорной информации о них.

14. Предложен метод автоматического сопровождения объектов при существенной динамике их свойств и окружающей обстановки, основанный на обобщенной модели формы объекта с обновляемыми параметрами и признаке движения.

Практическая значимость

1. Предложенный принцип и метод синтеза панорамного изображения обеспечивает резкое повышение эффективности систем видеонаблюдения за протяженными объектами:

• Систем, ведущих наблюдение за крупными объектами с собственным движением, например, комплексов пограничного и коммерческого контроля железнодорожных составов.

• Систем, использующих камеру, установленную на поворотном столе или подвижном носителе для наблюдения статичных объектов большой площади. В частности, обзорных и мониторинговых систем ландшафтов местности или морского дна, водных акваторий, нефтяных разливов, нефтепроводов и газопроводов.

Сформированное изображение объекта интереса имеет пространственные искажения в (20^25) раз ниже, чем в исходных кадрах; обеспечивает комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное. Это создает качественно новые условия для работы оператора и обеспечивает возможность автоматического анализа видеоданных.

Метод реализует семантическое сжатие без потери информации: коэффициент сжатия от 25 до 80 раз. Это снимает противоречие между объемом записанных данных и их качеством, и позволяет реализовать длительное хранение больших объемов информации. Для протяженных объектов обеспечена возможность передачи высококачественных изображений по каналам связи с низкой пропускной способностью в реальном масштабе времени

Все приведенные выше количественные оценки получены при апробации метода синтеза панорамного изображения в контексте видеонаблюдения на железной дороге).

2. В системах сегментации и сопровождения объектов реализован автоматический захват и сопровождение одновременно до 50 объектов на сложном фоне при условии минимума априорной информации. Автоматический захват имеет особую значимость в динамических сценах с несколькими быстродвижущимися объектами, где возможности оператора по наложению стробов на объекты интереса ограничены.

При сопровождении обеспечено устойчивое разрешение ситуации окклюзии, слияния и разделения объектов; сопровождение объектов при условии существенной динамики их свойств и окружающей обстановки; идентификация объектов интереса при вторичной сегментации.

3. Введение трехкомпонентных субпиксельных векторов движения, а также метод их определения с использованием функций достоверности и значимости одновременно обеспечивает необходимый уровень достоверности и резко снижает вычислительную нагрузку, что снимает ограничения по использованию этого инструмента в прикладных ТВ системах видеонаблюдения, сегментации и сопровождения объектов интереса, а также при сжатии видеоданных и в кинопроизводстве.

4. Использование результатов теоретических исследований, доведенных в работе до уровня практических алгоритмов, структурных схем, программных решений, инженерных рекомендаций и методик синтеза сократит сроки и затраты на создание новых систем различного назначения.

Реализация результатов работы

Полученные в диссертации результаты, сделанные обобщения и выводы позволили разработать ряд интеллектуальных прикладных телевизионных систем. В рамках научно-исследовательских и опытно - конструкторских работ совместно ПК НПК «Автоматизация» разработан многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов; совместно с филиалом ФГУП ЦНИИ «Комета» многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов; совместно с ФГУП НИИ промышленного телевидения «Растр» видеокомпьютерная система контроля запуска космических аппаратов, что подтверждено соответствующими актами.

Результаты исследований внедрены в учебный процесс СПб ГУАП при подготовке инженеров по специальностям: «Аудиовизуальная техника» и «Электронные системы». Они включены в разработанные автором учебно-методические комплексы по дисциплинам: «Автоматизированные телевизионные системы», «Синтез видеоизображений на ЭВМ» и др.

С использованием результатов, полученных в диссертации подготовлен электронный учебник по курсу «Автоматизированные телевизионные системы» (зарегистрирован в отраслевом фонде алгоритмов и программ № ВНИТЦ 50200100503, 2001) и изданы 4 учебно- методических указания к выполнению лабораторных работ.

Апробации работы

Основные положения работы докладывались и обсуждались на: 49,50 Научно - технической конференции «НТОРЭС им. А. С. Попова» 1994,1995; 10th International Conference on Control Systems and Computer Science. Bucharest, 1995; I Научно —технической конференции «Новейшие достижения в области телевидения, аудио и видеотехники.» СПб, 1999; III Международной конференции «Цифровая обработка сигналов и ее применение» Москва, ИВТА РАН,2000; 1,11,111,IV,V Международных научно - технических конференциях «Телевидение: передача и обработка изображений» СПб, 2000-2007; The International Conference «Radio - That Connects Time. 110 Anniversary of Radio Invention» St Petersburg, 2005; III Международная научно-практическая конференция «Электронные средства и системы управления» Томск, 2005; The Tenth IEEE International Symposium on Consumer Electronics, St Petersburg, 2006; 15 Всероссийской научно - технической конференции «Современное телевидение» Москва, 2007; Научно — технической конференции профессорско - преподавтельского состава, научных сотрудников и аспиран тов СПб ГУТ,2007.

Диссертационная работа получила апробацию:

- на расширенном научном семинаре кафедры «Телевизионных и электронных устройств», СПб ГУАП, 2006;

- научно-техническом совете ФГУП НИИ Прикладного телевидения «Растр», Великий Новгород, 2007;

- на заседании кафедры «Телевидения и видеотехники», СПб ТЭТУ «ЛЭТИ» им. В .И. Ульянова (Ленина), 2007.

Публикации

По теме диссертации опубликовано 48 научных работ, из них — 21 статья, в том числе в ведущих рецензируемых журналах и изданиях, определенных ВАК России; 17 работ - в материалах и трудах всероссийских и международных научных и научно — технических конференций и симпозиумов; 10 свидетельств об официальной регистрации программ для ЭВМ в отраслевом фонде алгоритмов и программ.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 194 наименования, трех приложений. Основная часть диссертации изложена на 297 страницах машинописного текста. Диссертация содержит 116 рисунков и 38 таблиц.

Выводы по главе 5

Разработанный метод синтеза панорамного изображения протяженного движущегося объекта позволил реализовать многоцелевой телевизионно-компъютерный комплекс видеомониторинга железнодорожных составов.

Результаты, полученные в результате экспериментального исследования и апробации комплекса, показывают:

1. Синтезированное панорамное изображение обеспечивает эффективную коррекцию геометрических искажений:

• нелинейные искажения третьего порядка: исходный уровень 120%; уровень после коррекции менее 5%;

• искажения типа «бочка/подушка»: исходный уровень 20%; уровень после коррекции менее 1%.

2. При движении протяженного объекта со скоростью от 20 до 60 км/ час и стандартной ширине кадра 768 пикселей по горизонтали обеспечиваемый коэффициент сжатия без потери информации об объекте интереса от 25 до 80 раз, соответственно.

Проведенные экспериментальные исследования алгоритма оценки скорости протяженного объекта на основе анализа видеоданных позволяют сделать следующие выводы:

1. Гипотеза об адекватности полиномиальной модели четвертого порядка пространственному срезу скоростей объекта интереса экспериментальным данным не противоречит. Отношение дисперсии адекватности и воспроизводимости меньше значения квантиля с соответствующими степенями свободы при уровне значимости 0,01 ( параграф 3.3).

2. Средняя ошибка при определении скорости протяженного объекта 2,7%, уровень достоверности 0,999985.

Полученные показатели обеспечивают все заявленные выше характеристики формируемого панорамного изображения.

Общие принципы сегментации по совокупности признаков получили конкретную реализацию с учетом особенностей объекта интереса и специфики решаемых задач в многофункциональном оптико-элекгронном комплексе сегментации и сопровождения неточечных объектов и в видеокомпьютерной системе контроля запуска космических аппаратов.

В многофункциональном оптико-электронном комплексе на основе предложенных методов решены задачи секторного обзора: автоматизированный захват и автоматическое сопровождение неточечных целей. Размеры целей от 4*4 до 100*100 элементов разложения (пикселей). Скорость движения от нуля до 10 элементов за кадр. Движение целей произвольное, возможно исчезновение длительностью до 10 сек. Типы целей - надводные (корабли), воздушные (самолеты, вертолеты и т.д.) и неподвижные береговые объекты. Число главных целей от одной до четырех.

Экспериментальное исследование показывает, что метод обеспечивает систематическую ошибку сегментации 16% от площади объекта интереса на изображении. Среднее значение систематической ошибки при сегментации стробом составляет 46% от площади объекта интереса. Предлагаемый метод имеет систематическую ошибку в три раза меньше, чем при сегментации стробом и вносимая им избыточная сегментация может быть оценена как незначительная в рамках решаемой задачи.

Случайная ошибка зависит от размеров объекта интереса: для объектов размером до 5 блоков она составляет 15 - 20%, для объектов большого размера 35%.

При сопровождении объектов ошибка при определении центра тяжести не превышает 1 пиксель. На всех тестовых сюжетах отсутствовали срывы сопровождения.

Разрешение ситуации окклюзии во всех экспериментах было выполнено корректно и не привело к ложному изменению размеров стробов объектов интереса.

Видеокомпьютерная система контроля запуска космических аппаратов предназначена для дистанционного видеонаблюдения и сопровождения объектов интереса во время их запуска

В автоматическом режиме система реализует удерживание в центре кадра объекта, выделенного первоначально оператором. Скорость перемещения объекта интереса в экранной плоскости до 5 пикселей за кадр.

При сопровождении активной камерой величина средней ошибки слежения колеблется: от минимального значения 0,7 пикселя до максимального 14 пикселей (при резких маневрах объекта). Проведенные эксперименты показывают, что во всех случаях, включая движение с максимальной скоростью 6 пикселей/кадр по траектории с резкой сменой направления, величина ошибки слежения не превышает 20 пикселей, оговоренных в требованиях к системе. В случае необходимости эта величина может быть уменьшена использованием поворотного стола с более высокими скоростями наведения. Ошибка слежения, определяемая предложенным методом, составляет 1,5 пикселя.

Компьютерное моделирование алгоритма определения начала движения космического аппарата позволило зафиксировать момент начала движения на всех тестовых сюжетах

Полученные показатели и качественные характеристики показывают, что предложенные в диссертационной работе методы обработки видеоданных, позволяют реализовать основные функциональные особенности интеллектуальной системы видеонаблюдения за протяженными объектами и систем сегментации и сопровождения неточечных объектов интереса с жестким движением.

Заключение

Основными результатами, полученными в диссертационной работе, являются:

1. Сформулированы функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения, обеспечивающие существенное повышение их эффективности.

2. Предложены принципы обработки и представления видеоданных на основе признака движения, обеспечивающие реализацию функциональных особенностей интеллектуальных прикладных ТВ систем.

3. Введен критерий оценки эффективности методов и алгоритмов определения векторов движения в интеллектуальных системах видеонаблюдения, сегментации и сопровождения - уровень достоверности. Проведены экспериментальные исследования существующих методов и алгоритмов, и у них выявлен низкий уровень достоверности 0,58.

4. Для оценки векторов движения в интеллектуальных прикладных системах разработаны специальные методы:

• Метод оценки векторов движения с учетом их априорных оценок достоверности и значимости, который позволяет задавать необходимый уровень достоверности и снижает вычислительные затраты по определению поля векторов движения в 10-20 раз. Метод дает возможность найти трехкомпонентные вектора движения. Третьей компонентой является вероятность правильного определения вектора движения (оценка достоверности), имеющая самостоятельную ценность при дальнейшей обработке видеоданных.

• Метод субпиксельной оценки векторов движения на основе многмасштабной межкадровой разности, позволяющий определить вектора движения с точностью до 0,07 пикселя и, одновременно, повышающий уровень достоверности на 20% по отношению к полному перебору.

5. Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов. Изображения после коррекции имеют существенные потери разрешения: на краях растра до 70%, в центре до 40%.

6. Разработан метод синтеза панорамного изображения протяженного движущегося объекта интереса на основе оценок его видимой скорости, позволяющий: обеспечить широкий угол обзора до 180 градусов; компенсировать пространственные искажения без потерь разрешения, присущих методам цифровой коррекции; реализовать комфортные условия анализа видеоданных; существенно сжать видеоданныее без потери информации об объекте интереса.

7. Предложен алгоритм оценки видимой скорости движения протяженного объекта на основе временной фильтрации и фильтрации по предсказывающей регрессионной модели. Средняя ошибка при оценке скорости 2,7%, уровень достоверности 0,999985.

8. Построена обобщенная модель формы объекта на основе эллипсов рассеивания Гаусса.

9. С учетом сложных условий видеонаблюдения и специфики объектов интереса предложено заменить текстурный признак признаком детальности. Введена оценка детальности фрагмента изображения. Разработана процедура предварительной классификации изображения на основе признака детальности, позволяющая исключить из дальнейшего анализа до 80% блоков изображения.

10. Разработан метод сегментации объектов интереса по совокупности признаков с использованием математического аппарата нечеткой логики, позволяющий одновременно выделить изображения нескольких объектов на сложном фоне.

11.Разработан метод сопровождения объектов на основе гауссовой модели формы с обновляемыми параметрами, позволяющий разрешать ситуации окклюзии, слияния и разделения объектов интереса, а также сопровождать объекты при существенной динамике их свойств и окружающей обстановки.

12. На основе разработанных методов реализованы многоцелевой телевизионно -компьютерный комплекс видеомопиторинга железнодорожных составов, многофункциональный оптико-электронпый комплекс сегментации и сопровождения неточечных объектов, видеокомпьютерная система контроля запуска космических аппаратов.

Совокупность проведенных исследований, полученных новых научных и практических результатов показывает, что поставленная в диссертационной работе проблема повышения эффективности прикладных ТВ систем, путем придания им интеллектуальных свойств решена.

1.Цыцулин А.К. Телевидение и космос. СПб.: СПбГЭТУ «ЛЭТИ», 2003. 228 с.

2. Хромов JI. И., Цыцулин А. К., Куликов А. Н. Видеоинформатика. М.: Радио и связь, 1991. -192 с.

3. Хромов Л.И. Информационная теория связи на пороге XXI века. СПб.: НИИТ, 1996. 88 с.

4. Хромов Л.И. Информационная революция и виртуальное познание. СПб.: ЗАО «ЭВС», 2000. 122 с.

5. Быков Р.Е. Теоретические основы телевидения СПб.: Лань, 1998.-288 с.

6. Хромов Л. И., Лебедев Н. В., Цыцулин А. К., Куликов А. Н. Твердотельное телевидение. М.: Радио и связь, 1986. 184 с.

7. Лысенко Н.В. Видеотехника. СПб.: СПбГЭТУ «ЛЭТИ», 1994. 64 с. 8.3убарев Ю. Б., Дворкович В. П., Нечепаев В. В., Соколов А. Ю. Методы анализа и компенсации движения в динамических изображениях // Электросвязь. 1998. №11. С.

8. Горелик А.Л., Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания. М.: Радио и связь, 1985. 160 с.

9. Тимофеев Б. С. Видеокомпьютерные системы для наблюдения за движущимися объектами // Известия высших учебных заведений России. Радиоэлектроника. 2003. № 4. С. 32.

10. Ерош И.Л, Сергеев М.Б., Соловьев Н.В. Обработка и распознавание изображений в системах превентивной безопастности: Учеб. пособие/ СПбГУАП, СПб.,2005 154с.

11. Г.К. Казанцев, М.И. Курячий, И.Н. Пустыиский И. Н. Измерительное телевидение: Учеб. пособ. для вузов. М.:Высш. шк. 1994.-228 с.

12. Кривошеев М.И. Основы телевизионных измерений. 3-е изд., доп. и перераб. М.: Радио и связь, 1989.- 608 с.

13. Paragious N., Deriche R Geodesic active contours and level sets for the detection and tracking of moving objects// IEEE Transaction on pattern analysis and machine intelligence. 2000.Vol.22.,№ 3. p. 266-280

14. Hai Tao, Harpreet S. Sawhney, Rakesh Kumar Object Tracking with Bayesian Estimation of Dynamic Layer Representations// IEEE Transaction on pattern analysis and machine intelligence. 2002 .Vol.24.,№ 1. P. 75-88

15. Вилесов JIД Обнаружение и измерение параметров объектов на изображении // Информационно управляющие системы. 2004. № 1 С. 22 - 29

16. Астратов О.С., Обухова Н.А., Тимофеев Б.С. Автоматизированный контроль транспортных потоков с помощью телевизионных систем// Радиотехнические и телевизионные системы: Сб. научн. Тр./ под ред. Тимофеева Б. С. — Спб. Изд-во ГУАП,2000. сс 61- 68

17. Traffic Engineering Handbook: Institute of Transportation Engineers. Washington, D.C., 1992 -228p

18. O.C.Астратов . Телевизионные средства в системах управления движением транспорта. //Телевидение. Видеотехника (Теория и практика):Сб.науч.трудов /Под ред. Б.С.Тимофеева;СПбГААП.Спб., 1996.

19. N.A.Obuhova, B.S.Timofeev. Sisteme teleinformftic pentru controrul automat all traficultui urban.//Informatica, economica, vol.2, №6, Bucuresti, 1998, pp.63-67.

20. А.В.Бегаев, Б.С. Тимофеев Калибровка видеосистемы контроля дорожного движения СПбГУАП. СПб., 1999.-5с. ил.-З.Руопись деп. в ВИНИТИ 26.05.99 №1657-В99.

21. Коган Г. А., Филиппов А. В., Шилоносов А. С. Автоматизированная система кадастрового картографирования // Автоматизация проектирования, №1, 1998. С. 15-23.

22. Биненко В.И. и др. Возможности использования микроавиационной техники для задач экологического мониторинга окружающей среды // Безопасность и экология Санкт-Петербурга: Сб. тр. конф., 11-13 марта 1999 г., Санкт-Петербург. -СПб.: 1999. С. 96-97.

23. Андреев B.J1. и др. Некоторые результаты и перспективы использования беспилотных летательных аппаратов для задач экологического мониторинга //Экологическая химия, №10, 2001. С. 21-31.

24. Fingas M.F. and Brown С.Е. A review of oil spill remote sensors // Proc. of the third intern, airborne remote sensing conf. and exhib., Copenhagen, Denmark, №1, 1997. P. 707-714.

25. Хренов H. H., Егурцов С. А. Аэрокосмический мониторинг газопроводов Западной Сибири // Газовая промышленность, № 2, 1996. С. 62-64.

26. Ремизов В.В., Егурцов С.А.,Степаненко А.И. Аэрометоды в диагностике трубопроводных природно-технических систем Крайнего Севера //Диагностика оборудования и трубопроводы, №3, 1998. С. 9-14.

27. Быков Р. Е., Бочко В. А. Многоспектральная интерактивная система обнаружения и измерения параметров объектов // Извести вузов России. Радиоэлектроника, вып. 1, 1998. С. 50 54.

28. Тимофеев Б.С. Алгоритмы сегментации ТВ-изображений водной поверхности // Радиотехнические и телевизионные системы: Сб.науч. тр. СПбГУАП СПб.: 2000. С. 11-17.

29. Справочник по радиоэлектронным системам: в 2-х томах./Болошин И.А., Быков В.В., Васин В.В. и др ; под ред. Кривицкого Б. X,- М .Энергия, 1979. -368 с.

30. Передовая технология компании PIXIM // CCTV Фокус. 2003. № 4

31. Ракович Н. Н. CameraChips: полная видеосистема на одном кристалле// Компоненты и технологии. 2004.№ 1 С. 128 130.

32. Кривченко И. Системы на кристалле: общее представление и тенденции развития // Компоненты и технологии. 2001. №6. С. .

33. Березии В. В. Видеоситемы на кристалле новый этап интеграции в телевизионной технике // Известия вузов России. Радиоэлектроника. 2005. № 3

34. Искусственный интеллект: справочник. В 3-х кн. / под ред. Д.А. Поспелова. — М. Радио и связь, 1990.

35. Андрейчиков А. В. Андрейчикова О. Н. Интеллектуальные информационные системы : Учебник. М. Финансы и статистика, 2004. -424 с.

36. Люггер Д.Ф. Искусственный интеллект: стратегия и методы решения сложных проблем. М.: Вильяме, 2003. 864 с.

37. Ши Ю., Личман С., Интеллектуальные телекамеры: обзор.// CCTV Focus №3(21) май -июнь 2006. сс 46-60

38. European Standard EN 50132-2-1 Alarm systems CCTV surveillance system for use in security applications Part 2-1: Black and white cameras/ European Committee for Electrotechnical Standardization .CENELEC 1997

39. Тимофеев Б.С. Проблемы стандартизации и сертификации систем видеонаблюдения. «Телевидение: передача и обработка изображений», Материалы международной конференции. СПб. 20-22 июня 2000г.

40. Doyle W. Operations usefull for similary invariant pattern recognition, JACM, 9, 2, 259-267 (April 82)43. .Prewitt J. M. S., Mendelshohn M. L. The analysis of cell images, Ann. N Y Acad. Sci 128, 1035-1053

41. ПрэттУ. Цифровая обработка изображений: пер. с англ.-М. Мир, 1982 кн 2 -480 с

42. Wang D. Unsupervised Video Segmentation Based on Watersheds and Temporal Tracking// IEEE Transactions on circuits and system for video technology, vol. 8, no 5, September 1998.

43. Salembier P Morphological multiscale segmentation for image coding // Signal Processing no 3, 1994

44. Wang D A multiscale gradient algorithm for image segmentation using watersheds// Pattern Recognition 30(12), 1997

45. Kass M., Wilkin A. Tezopoulos D. Snakes: active contour models// Int. J. Computer Vision. 1988. Vol.1, P321-331.

46. Chan T. F., Vese L.A. Active contour without edges// IEEE Transactions on image processing.2001. Vol.10. № 2. P 266-277

47. Мартышевский Ю.В. Сегментация изображений на основе фрактальной размерности и логического связывания/ZPIERS 98. France, Nantes, 1998. P. 1185

48. Харалик P.M. Статистический и структурный подход к описанию текстур// ТИИЭР.1979.Т67.№5, с 38 -45

49. Гонсалес Р. Вудс Р. Цифровая обработка изображений М. Техносфера, 2005 -1072с

50. Shapiro L.G., Stockman G. С . Computer Vision , Prentice Hall, Upper Saddle River, 2001

51. Haralic R.M., Shapiro L.G. Computer and Robot Vision, vols. 1& 2, Addison -Wesley,Reading, MA, 1992

52. Ballard D. H., Brown С. M. Computer Vision , Prentice Hall, Upper Saddle River, 1982

53. Rosenfeld R., Как A. C. Digital Picture Processing, vols. 1& 2, Academic Press, NY, 1982

54. Катыс Г. П. Восприятие и анализ оптической информации автоматической системой. М.: Машиностроение, 1986. - 416 с.

55. Дуда Р., Харт П. Распознавание образов и анализ сцен. Пер. с англ. М.: Мир, 1976.-512 с.

56. Верхаген К. и др. Распознавание образов: состояние и перспективы. Пер. с англ. -М.: Радио и связь, 1985. 104 с.

57. Sims S. ,Richard F., Mahalonobis A. Perfomance evalution of quadratic correlation filters for target detection and description in infrared imagery// Optical Engineering, 2004, vol. 43, № 8.

58. Bal A. and Alam M.S., Automatic Target Tracking in FLIR Image Sequences.// Automatic Target Recognition XIV, Proceedings of SPIE. 2004. Vol. 5426 (SPIE, Bellingham, WA). P 30-35.

59. McBride J.C., Stevens M.R., Eaton R.S. and Snorrason M., Adaptive Infrared Target Detection//Proceedings of SPIE. 2004. Vol. 5426 (SPIE, Bellingham, WA). P. 305-315.

60. Mahalanobis A., Kumar B.V.K. Vijaya, Sims S.R.F., Distance-classifier correlation filters for multiclass target recognition// Applied Optics, 1996. Vol. 35,No.17, June. P. 3127-3133.

61. Topiwala P., Casasent D., Correlation-Based Target Detection for Navy's SHARP Sensor Suite // Automatic Target Recognition XIV, Proceedings of SPIE , 2004. Vol. 5426 (SPIE, Bellingham, WA). P 15-29.

62. Mahalanobis A., Kumar B.V.K. Vijaya: Optimality of the maximum average correlation height filter for detection of target in noise // Optical Engeneering, 1997. Vol. 36 No 10, October. P 2642-2648.

63. G. L. Foresti. C. S. Regazzoni. "Coding of noisy binary images by using statistical morphological skeleton." IEEE Workshop Nonlinear Signal Processing. Cyprus. Greece, 1995.pp. 354-359.

64. G. L. Foresti. "A change detection method for multiple object localization in real scenes." IEEE Conf. Indust. Electron. Bologna, Italy. 1994. pp.984-987.

65. J. Serra. Image analysise and Mathematical Morphology. New YorkrAcademic. 1983.

66. P. Maragos and R. W. Schafer. "Morphological skeleton representation and coding of binarv images." IEEE Trans. Acqustic. Speech Signal Proc. vol34. pp. 1228-1244. 1986.

67. G. L. Foresti and C. S. Regazzoni. "Properties of binary statistical morphology." I3lh Int. Conf. Pattern Recognition. Vienna, Austria. Aug.25-29. 1996. pp.631-635.

68. G. L. Foresti. C. S. Regazzoni. "A real time model based method for 3D object orientation estimation in outdoor scene"// IEEE Signal Proc. Lett. 1997. Vol 4 .pp240-351.

69. Батраков A.C., Иванов В.П. Трехмерная компьютерная графика. М.: Радио и связь, 1995. 224с.

70. Шикин Е.В., Боресков А.В. Компьютерная графика. М., Диалог МИФИ,1995, 288с.

71. Эгрон Ж. Синтез изображений. Базовые алгоритмы. М., Радио и связь, 1993I

72. Аммерал . Принципы программирования в машинной графике. М.1992.

73. Фоли Дж., вэн Дэм А. основы интерактивной машинной графики: В 2-х книгах. М., Мир, 1985,Т1-367с.,Т2-368с.

74. Koller D., Daniilidis К., Nagel Н.-Н. Model-based object tracking iri monocular image sequences of road traffic scenes// International Journal of Computer Vision, v. 10, №3, 1993. P. 257-281.

75. R. Y. Tsai "An effcient and accurate camera calibration technique for 3-D machine vision." in IEEE Comp Soc. Conf. CVPR. Maiami Beach. FL. 1986. pp. 234-238.

76. Рапаков Г. Г. Исследование телевизионного метода измерения параметров движения летательных аппаратов// Автореферат диссертации на соискание ученой степени к. т. н. СПб: ГУАП, 2000. 19 с.

77. Обухова Н.А. Алгоритмы оценки параметров загрязнения акватории Сб.науч.трудов. «Радиотехнические и телевизионные системы» /Под ред. Б.С.Тимофеева; СПбГУАП. Спб.,2000

78. Мелик-Шахназаров А. М., Маркатун М. Г. Цифровые измерительные системы корреляционного типа. -М.: Энергоатомиздат, 1985. 128 с.

79. Растригин JI. А. Системы экстремального управления. М.: Наука, 1974. 632 с.

80. Растригин JI. А. Современные принципы управления сложными объектами. М.: Сов. Радио, 1980. 232 с.

81. Кориков A.M. Корреляционные зрительные системы роботов. М.: Р.иС. 1990, 264с.

82. Вермишев Ю. X. Методы автоматического поиска решений при проектировании сложных технических систем. М.: Радио и связь, 1982. 152 с.

83. Путятин Е. П., Аверин С. И. Обработка изображений в робототехнике. М.: Машиностроение, 1990. - 320 с.

84. Thomas Meier and King N. Ngan. Automatic Segmentation of Moving Objects for Video Object Plane Generation// IEEE Transactions on circuits and system for video technology, vol. 8, No 5, September 1998.

85. K.W.Lee,S.W.Ryu. "Motion based object tracking with mobile camera." Electronic Lett. Vol.34.no3. pp.256-258. 1998.92. .M.Hoetter. "Differential estimation of the global motion parameters zoom and pan."Signal Proc.v.16. pp.249-265.1989.

86. Maragos P. Tutorial on advances in morphological image processing and analysis//Optical Engineering, vol. 26, No 7. July 1987. P. p. 623 632.

87. D.Murray, A.Basu. "Motin Tracking with an Active Camera." IEEE Trans. Pattern Anal. Machine Intel. Vol.16, no5. pp449-459.1994.

88. Вороновицкий И. Э., Лабунец В. Г., Мальцев А. П. Телевизионная система слежения за целями с плазменным факелом//Зарубежная радиоэлектроника, № 10, 1987. С. с. 69-80.

89. Bremond F., Thonnat М Tracking multiple nonrigid objects in video sequences// IEEE Trasnaction on circuits and systems for video technology. 1998. Vol 8,№ 5. P. 585591

90. Gilbert А.Д., Giles M.K A real-time video tracking systems// Optical Ingineering. 1979. Vol. 18.№ 1, P.25-3298. .S.S Beauchemin and J.L. Barron The computation of optical flow ACM Computing Surveys, Vol. 27, No. 3, pp. 433-467,1995

91. Fleet D J., Jepson A.D. Computation of component image velocity from local phase information IJCV,5(1),1990 pp 77-104

92. Heeger D.J. Optical flow using spatiotemporal filters. IJCV,1,1990 pp 95-117

93. Aisbett J. Optical flow with intensity-weighted smoothing. IEEE PAMI, 11 (5), 1989 pp 512-555

94. Bergen J.R., Burt P. J., Hingorany and Peleg S. Three frame algorithm for estimating two -component image motion. IEEE PAMI, 14(9), 1992 pp 886-896

95. Horn B.K.P., Schunck B.G. Determing optical flow. // Artificial Intelligence,! 7,1981 pp 185-204

96. Schnorr C. Computation of discontinuous optical flow by domain decomposition, IEEE PAMI, 8(2),1992 pp 153-165

97. JW McCandless . Detection of aircraft in video sequences using a predictive optical flow algorithm. Optical Engineering №3, 1999; PP 523-530

98. Lucas D. Generalized image matching by the method of differences. PhD thesis. Carnegie-Mellon Univ., 1984

99. Reichardt W., Shlogl W. , Egelhoaf M. Movement detectors of the correlation type provide sufficient information for local computation of 2d velocity fields. // Naturwissenschaften,75,1988 pp 313 -315

100. Nagel H. H. On the estimation optical flow: realations between different approaches and some new results// Artificial Intelligence^3,1987 pp 299-324

101. Jenkin M.R.M, Jepson A.D., Tsotsos J. K. Techniques for disparity measurement CVGIP 53(1),1991 pp 14-30

102. Kories R., Zimmeman G. A versatile method for the estimation of displacement vectors fields from image sequences. IEEE Proceedings of workshop on motion: representation and analysis , Charleston, South Carolin, May 1986 pp 101-106

103. Information Technology Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbit/s - Part 2: Video ,ISO/IEC 11172-2 (MPEG1 Video), 1993

104. Information Technology Coding of Moving Pictures and Associated Audio information : Video ,ISO/IEC 13818-2 (MPEG2Video) / ITU-T H.262, 1996

105. Video Codec for Audiovisual Services at p*64 kbit/s ITU-T recommendation H.261 Version 3,1993

106. Video Coding for Low Bitrate Communication, Draft ITU-T recommendation H.263, 1996

107. Chock-Kwan Cheung and Lai-Man Po. A hierarchical block motion estimation algorithm using partial distorsian measure.

108. C.D. Bei and R.M. Gray. An improvement of the minimum distorsion encording algorithm for vector quantization. IEEE Trans. Commun, vol.COM-33, pp. 1132-1133, Oct. 1985.

109. Chock-Kwan Cheung and Lai-Man Po. Normalized Partial Distorsion Search Algorithm for Block motion estimation/ЯЕЕЕ Transaction circuit and systems for video technology, vol. 10, no.3, April,2000, pp 417-422

110. Koga T, Linuma K, Hirano A., Lijima Y., Ishiguro T. Motion compensated interframe coding for video conferencing" //NTC81, Nov. 1981. P G5.3.1-G5.3.5

111. Jain J.R, Jain K.A. Displacement measurement and its application in interframe image coding// IEEE Trans. Commun.,Vol Com 29, 1981. P 1799-1806

112. Puri A, Hang H.M., Shilling D.L An efficient block matching algorithm for motion compensated coding // IEEE Int. Conf. Acoustic, Speach and Signal Processing, Vol.19, 1987. P 1063-1066

113. Jianhua Lu and Ming I. Liou " A Simple and Efficient Search Algorithm for Block -Matching Motion Estimation.» IEEE Transaction on circuits and systems for video technology, vol. 7, no. 2, April 1997

114. Lurng-Kuo Liu and Ephraim Feig " A Block -Based Gradient Descent Search Algorithm for Block Motion Estimation in Video Coding" IEEE Trans, Circuit Syst. Videotech., vol. 6,no 4 ,Aug 1996.

115. R.Li,B.Zeng, and M.L.Liou " A new three-step search algorithm for block motion estimation" IEEE Trans, Circuit Syst. Videotech., vol.4,no 1, Feb. 1994.

116. L.M. Po and W.C. Ma " A Novel four-step search algorithm for fast block estimation", IEEE Trans, Circuit Syst. Videotech., vol. 6,no 3 ,Jun 1996.

117. Xu J-B, Po L-M, Cheung С -К Adaptive Motion Tracking Block Matching Algorithms for Video coding // IEEE Transactions on circuits and system for video technology, vol. 10(3), 2000, P417-422

118. Shi Y.Q. and Xia X. A Thresholding Multiresolution Block Matching Algorithm// IEEE Transactions on circuits and systems for video technology, vol7(2), 1997,p437-440

119. Viarani Enrico, Di Stefano Luigi. Vehicle Detection and Tracking Using the Block Matching Algorithm. Department of Electronics, Computer Science and Systems (DEIS) University of Bologna// http://labvisione.deis.unibo.it/.

120. Lee M., Chen W., Bruce Lin C., Gu С., Markoc Т., Zabinskt S., Szeliski R A layerd video object coding system using sprite and affine motion model// IEEE Transactions circuit and systems for video technology vol. 7(1), 1997, pp 130-145.

121. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир, 1975. -383 с.

122. Сакин И.Л. Инженерная оптика. Л.: Машиностроение, 1976, - 255 с.

123. Горелик С.М., Кац Б.М. Электронно-лучевые трубки в системах обработки информации . М.: Энергия, 1977, - 112 с.

124. Липник Ю.В. Метод наименьших квадратов и основы теории обработки наблюдений.-М.: Физматгиз, 1962

125. Айвазян С.А., Енюков М.С., Мешалин А.Д. Прикладная статистика. Исследование зависимостей.- М. : Финансы и статистика , 1985, 487 с

126. Налимов В.В., Голикова Г.И . Логические основания планирования эксперимента. М.: Металлургия, 1976, - 128 с.

127. Налимов В.В Теория эксперимента. М.: Наука, 1971, - 208 с.

128. Соболь И. М., Статников РБ Выбор оптимальных параметров в задачах со многими критериями- М.: Наука, 1981, 110 с.

129. ISO/IEC 13818-2 Information Technology Coding of Moving Pictures an Associated Audio for Digital Storage Media up to about 1.5Mbit/s. Part 2: Video/Ed/1,JTS 1/SC 29,1994.

130. ISO/IEC JTCI/SC29/WG11 Coding of Moving Pictures an Audio. MPEG-4.Overview,1999

131. Цифровая обработка телевизионных и компьютерных изображений/ Под ред. Зубарева Ю.Б., Дворковича В,П, М.: Международный Центр научной и технической информации,1997.-212 с.

132. ISO/IEC DIS 10918-1 Information Technology Digital Compression and Coding of Continuous tone Still Images: Requirement and Guidelines/Ed/1,JTS 1/SC 9,1994.

133. Мартинес Ф. Синтез изображений: Принципы, аппаратное и программное обеспечение. М.: Радио и связь, 1993 - 392 с.

134. Достижения в области кодирования изображений/Х.Г.Мусман, П.Пирш, Х.Й. Граллерт// ТИИЭР:Пер. с англ. 1985. Том 73. №4.- С. 31-59.

135. Поляк Б.Т. Введение в оптимизацию.- М.: Наука, 1983. 384 с.

136. Банди Б. Методы оптимизации: Вводный курс. -М.: Радио и связь, 1988.- 128 с.

137. Васильев ФП Численные методы решения экстремальных задач.- М.: Наука, 1988.- 552 с.

138. Френке Л. Теория сигналов- М.: Сов. радио, 1974, 344 с.

139. Аоки М. Введение в методы оптимизации- М.: Наука, 1977, 343 с.

140. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия.- М. : Финансы и статистика, 1982, 302 с

141. Дрейпер Н. , Смит Г. Прикладной регрессионный анализ.- М. : Финансы и статистика, 1982, 302 с

142. Киселев А. Вейвлет своими pyKaMH.BaseGroup Labs,2003153. http://www.basegroup.ru/filtration/making.wavelet.htm

143. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии. Учебное пособие, М: «Триумф», 2003,-320с.

144. Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ Регулярная и хаотическая динамика, 2001,464 с.

145. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии. Учебное пособие, М: «Триумф», 2003,-320с.

146. Воробьев В.И., Грибунин В. Г. Теория и практика вейвлет — преобразования. — Спб. Изд-во ВУСД999. 204 с.

147. Цифровое преобразование изображений: Учебн. пособие для вузов / Р. Е. Быков, Р. Фрайер, К. В. Иванов, А. А. Манцветов; Под ред. профессора Р.Е. Быкова; Горячая линия — Телеком,. М., 2003. — 228 с.

148. Цифровая обработка телевизионных и компьютерных изображений/ Под ред. Ю.Б.Зубарева и В.П.Дворковича. 2-е изд., перераб. и доп. Москва. 1997 г.160. .Березовский Б.А., Гнедин А.В. Задача наилучшего выбора М.: Наука, 1984, -197 с.

149. Файн В. С. Опознавание изображений: основы непрерывно групповой теории и ее применение- М.: Наука, 1970, - 296 с.

150. Фукунага К. Введение в статистическую теорию распознавания образов- М.: Наука, 1989,

151. Левин Б.Р., Шварц В. Вероятностные модели и методы в системах управления и связи. М.: Радио и связь, 1985. — 312 с.

152. Левин Б.Р. Теоретические основы статистической радиотехники. М.: Сов. радио, 1976.-288 с.

153. Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 1991. 608 с.

154. Левин Б.Р. Статистическая радиотехника. М.: Сов.радио, 1973. Т.1.

155. Белоглазов И.Н., Тарасеико В.П. Корреляционно-экстремальные системы. М.: Сов.радио, 1974.

156. Bezdek J.C. Pattern Recognition with Fuzzy Objective Function. New York: Plenum Press. 1981.

157. Babuska R. Fuzzy Modeling for Control. Boston: Kluwer Academic Publishers. -1998.

158. Xei X.L., Beni G.A. Validity Measure for Fuzzy Clustering // IEEE Trans, on Pattern Anal, and Machine Intell. 3 (8). 1991. - P. 841 - 846.

159. Gustafson D.E., Kessel W.C. Fuzzy Clustering with a Fuzzy Covariance Matrix. Proc. of IEEE CDC, San-Diego, USA. P.761 - 766.

160. Yager R., Filev D. Essentials of Fuzzy Modeling and Control. USA: John Wiley & Sons. 1984. -387p.

161. Борисов A.H., Крумберг О.А., Федоров И.П. принятие решений на основе нечетких моделей: примеры использования. Рига: Зинатне. 1990. 184 С.

162. Саати T.JI. Взаимодействие в иерархических системах // Техническая кибернетика. 1979. №1. С. 68-84.

163. Rotshtein А.Р. Modification of Saaty Method for the Construction of Fuzzy Set Membership Functions. Proc. of the International Conference "Fuzzy Logic and its Applications", Zichron, Israel, 1997. P. 125-130.

164. Ротштейн А.П., Штовба С.Д. Нечеткий многокритериальный анализ вариантов с применением парных сравнений // Известия РАН. Теория и системы управления.-2001.-№3.- С.150-154.

165. Zimmerman H.-J. Fuzzy Set Theory and its Applications. Dordrecht: Kluwer Academic Publishers. 1996.315р.

166. Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткая логика, генетические алгоритмы, нейронные сети. Винница: УНИВЕРСУМ-Винница, 1999. - 320 с.

167. Yager R., Filev D. Essentials of Fuzzy Modeling and Control. USA: John Wiley & Sons. 1984. - 387p.

168. BellmanR.E., ZadehL.A. Decision-Making in Fuzzy Environment// Management Science, vol. 17. 1970. - №4. - P.141 - 160.

169. Беллман P., Заде JI. Принятие решений в расплывчатых условиях. В кн.: Вопросы анализа и процедуры принятия решений. М.: Мир 1976. - С.172-215.

170. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации. М.: Радио и связь, 1981. - 286 с.

171. Zimmermann H.-J. Fuzzy Set Theory and its Applications. 3rd ed.- Dordrecht: Kluwer Academic Publishers.- 1996. 315p.

172. Методы компьютерной обработки изображений/Под ред. В.А. Сойфера М.: ФИЗМАТЛИТ,2003 -784с

173. Венгеров А. А., Щаренский В.А. Прикладные вопросы оптимальной линейной фильтрации.- М. : Энергоиздат, 1982, 192 с

174. Вейс И. Дискретная фильтрация Калмана -Бьюси при неизвестных ковариациях шумов. —Вопросы военной техники, 1971, с 63-84.

175. Сейдж Э., Меле Дж. Теория оценивания и ее применение в связи и управление.- М. : Связь , 1976, 496 с

176. Телевидение: учебник для вузов/ В.Е. Джакония, А.А. Гоголь, Я.В. Друзин. М.: Горячая линия Телеком, 2007. - 616 с

177. Корнышев Н.П. Телевизионная визуализация и обработка люминесцирующих объектов в криминалистике, молекулярной биологии и медицине. Великий Новгород: НовГУ им. Ярослава Мудрого, 2004.-226 с.

178. Радионов С. О. Основы оптики (конспект лекций). СПб: ИТМО, 2001.- 170 с.

179. Слюсарев Г.Г. Расчет оптических систем. JI: Машиностроение, 1975.- 640 с.

180. Роджерс Д.Алгоритмические основы машинной графики. М: Мир, 1989.- 512 с.

181. Опубликованные работы по теме диссертации.

182. Обухова, Н.А. Система для автоматического оценивания и минимизации растровых искажений ТВ приемников и ВКУ./ Н.А Обухова // К Дню радио: материалы 49-й науч. -техн. конф. «НТОРЭС им. А. С. Попова», г. С.-Петербург, 1994 г. СПб., 1994. - С. 47.

183. Обухова, Н.А. Система автоматической настройки и контроля качества ТВ приемников./ Н.А Обухова // К Дню радио: материалы 50-й науч. -техн. конф. «НТОРЭС им. А. С. Попова», г. С.-Петербург, 1995 г. СПб., 1995. - С. 34.

184. Обухова, Н.А. Автоматическое оценивание растровых параметров ТВ приемников / Н.А. Обухова // Телевидение. Видеотехника. Теория и практика: Сб. науч. тр. / СПб ГААП (ГУАП) СПб., 1996. - С. 86-91.

185. Обухова, Н.А. ТВ системы экологического мониторинга / Н.А Обухова, Б.С. Тимофеев // Новейшие достижения в области телевидения, аудио и видеотехники: сборник докл. I науч. техн. конф., г. С.-Петербург, 24-25 июня 1999 г. - СПб., 1999.-С. 15-16.

186. Обухова, Н.А. Телевизионная система оперативного оценивания параметров загрязнения акватории/ Н.А. Обухова // Телевидение: передача и обработка изображений: материалы I Междунар. науч. конф., г. С.-Петербург, 20-22 июня 2000 г. СПб., 2000. - С. 106-107.

187. Обухова, Н.А. Алгоритмы оценки параметров загрязнения акватории / Н.А. Обухова // Радиотехнические и телевизионные системы: Сб. науч. тр / СПб ГУАП.-СПб, 2000. С. 28-34.

188. Обухова, Н.А. Оценка параметров модели искажающих сигналов ТВ приемника при неопределенности предиктора / IT.A. Обухова // Радиотехнические и телевизионные системы: Сб. науч. тр / СПб ГУАП.- СПб, 2000. С. 82-88.

189. П.Обухова, Н.А. Цифровая обработка изображений в ТВ системах контроля водной поверхности./ Н.А. Обухова // Цифровая обработка сигналов и ее применение материалы III Междунар. науч. конф., г. Москва, 2000 г. М., 2000. -С. 48-50.

190. Астратов, О.С. Автоматический контроль транспортных потоков с помощью телевизионных систем /О.С. Астратов, Н.А.Обухова, Б.С. Тимофеев // Радиотехнические и телевизионные системы: Сб. науч. тр / СПб ГУАП.- СПб., 2000.-С. 61-68.

191. Обухова, Н.А. Метод видеонаблюдения за медленно движущимися малоразмерными объектами / Н.А. Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2003 - №4. -С. 44-52.

192. Обухова, Н.А. Системы видеобнаружения и сопровождения подвижных объектов / Н.А. Обухова, Б.С. Тимофеев //Телекоммуникации,- 2003- №12- С.36-44.

193. Обухова, Н.А. Программа исследования на ЭВМ алгоритмов сегментации и сопровождения движущихся объектов методом сопоставления блоков: свид-во об отраслевой регистрации разработки № 2805 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 № 50200300802.

194. Обухова, Н.А. Программа исследования на ЭВМ алгоритмов сегментации движущихся объектов на основе энергии движения: свид-во об отраслевой регистрации разработки № 2806 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 -№ 50200300803.

195. Обухова, Н.А. Программа сегментации нефтяного разлива и оценивания его параметров: свид-во об отраслевой регистрации разработки № 2807 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 № 50200300804.

196. Обухова Н.А. Программа коррекции геометрических искажений в видеоданных полученных ТВ камерой с короткофокусным объективом: свид-во об отраслевой регистрации разработки № 2808 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 № 50200300805.

197. Обухова Н.А. Программа исследования на ЭВМ алгоритмов сегментации и сопровождения медленно движущихся малоразмерных объектов: свид-во об отраслевой регистрации разработки № 2809 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 № 50200300806.

198. Обухова, Н.А. Обнаружение и сопровождение объектов движущихся объектов методом сопоставления блоков/ Н.А. Обухова // Информационно-управляющие системы. 2004 - № 1. - С. 30-37.

199. Обухова, Н.А. Анализ параметров движения в системе видеонаблюдения железнодорожных составов/ Н.А.Обухова, Б.С. Тимофеев // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2005- №3.-С. 42-50.

200. Обухова, Н.А. Предварительный анализ изображения при сегментации по совокупности признаков/ Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2006- №1.-С. 35-41.

201. Обухова, Н.А. Векторы оптического потока в задачах сегментации и сопровождения подвижных объектов/ Н.А.Обухова //Известия высших учебных заведений России. Сер. Радиоэлектроника. — 2006- №2.- С. 42-51.

202. Обухова, Н.А. Априорная оценка достоверности векторов оптического потока (векторов движения) /Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2006- №3,- С. 30-36.

203. Обухова, H.A. Программа исследования на ЭВМ алгоритмов субпиксельной оценки векторов движения: свид-во об отраслевой регистрации разработки № 7412 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 № 50200700029.

204. Обухова, Н.А. Программа исследования на ЭВМ метода сегментации и сопровождения объектов интереса по совокупности признаков: свид-во об отраслевой регистрации разработки № 7413 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007-№ 50200700030.

205. Обухова, Н.А. Программа исследования па ЭВМ метода предварительного анализа изображения на основе признака детальности: свид-во об отраслевой регистрации разработки № 7414 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 -№ 50200700031.

206. Обухова, Н.А. Программа исследования на ЭВМ метода определения векторов движения с учетом априорной оценки их достоверности и значимости: свид-во об отраслевой регистрации разработки № 7411 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 № 50200700028.

207. Обухова, Н.А. Предварительная классификация изображения в задачах сегментации объектов / Н.А. Обухова // Информационно- управляющие системы. -2007 № 2,- С.22-28.

208. Обухова, Н.А. Сегментация объектов интереса на основе признака движения в видеокомпьютерных системах / Н.А.Обухова // Инфокоммуиикационные технологии. 2007 - №1 - С.77-85.тей

209. Обухова, Н.А. Метод определения векторов движения с учетом априорной оценки их достоверности и значимости. / Н.А Обухова. // Современное телевидение: труды 15-й Всеросс. науч. техн. конф., г. Москва, 20- 21 марта 2007 г.-М., 2007.-С.156-157.

210. Обухова, Н.А. Интеллектуальные видеосистемы/ Н.А. Обухова, Б.С. Тимофеев // Телевидение: передача и обработка изображений: материалы V Междунар. науч. конф., г. С.-Петербург, 19-20 июня 2007 г. СПб., 2007. - С. 3-4.

211. Обухова, Н.А. Субпиксельная оценка векторов движения / Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2007- №1. -С. 18-23.

212. Обухова, Н.А. Метод автоматической сегментации и сопровождения объектов интереса на основе математического аппарата нечеткой логики/ Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2007- №3. - С. 53-63.

213. Обухова, Н.А. Интеллектуальные системы видеонаблюдения железнодорожных составов / Н.А. Обухова, Б.С. Тимофеев // Вопросы радиоэлектроники. Сер. Техника телевидения.- 2007- №1. С 10-23.

214. ФЕДЕРАЛЬНОЕ АГЕНСТВО ПО ОБРАЗОВАНИЮ

215. Государственное образовательное учреждение высшего профессионального образования

216. САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ АЭРОКОСМИЧЕСКОГО ПРИБОРОСТРОЕНИЯ»1. На правах рукописи s

217. Обухова Наталия Александровна052.00 8 01572

218. МЕТОДЫ ВИДЕОНАБЛЮДЕНИЯ, СЕГМЕНТАЦИИ И СОПРОВОЖДЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ

219. Специальность: 05 Л 2.04 Радиотехника, в том числе системы и устройствателевидения

220. ДИССЕРТАЦИЯ на соискание ученой степени доктора технических наук5 to,,

221. Научный консультант: доктор технических наук, профессор Тимофеев Б.С.1. Санкт-Петербург 2008