автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Моделирование движения сцены по последовательности изображений на основе псевдоградиентной адаптации

На правах рукописи

Смирнов Павел Викторович

МОДЕЛИРОВАНИЕ ДВИЖЕНИЯ СЦЕНЫ ПО ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ПСЕВДОГРАДИЕНТНОЙ АДАПТАЦИИ

05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат

диссертации на соискание ученой степени кандидата технических наук

11 НОЯ 2015

005564755

Ульяновск-2015

005564755

Работа выполнена на кафедре «Радиотехника» федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Ульяновский государственный технический университет».

Научный руководитель:

Ташлинский Александр Григорьевич, доктор технических наук, профессор.

Официальные оппоненты:

Кузнецов Павел Константинович, доктор технических наук, профессор, федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Самарский государственный технический университет», кафедра «Электропривод и промышленная автоматика», профессор;

Мясников Евгений Валерьевич, кандидат технических наук, доцент, федеральное государственное автономное образовательное учреждение высшего образования «Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)», кафедра геоинформатики и информационной безопасности, доцент.

Ведущая организация:

Ульяновский филиал Федерального государственного бюджетного учреждения науки Института радиотехники и электроники им. В.А. Котельникова Российской академии наук, г. Ульяновск.

Защита состоится 28 декабря 2015 г. в 12:00 часов на заседании диссертационного совета Д 212.215.05, созданного на базе федерального государственного автономного образовательного учреждения высшего образования «Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)», по адресу: 443086, г. Самара, Московское шоссе, 34.

С диссертацией можно ознакомиться в библиотеке и на сайте федерального государственного автономного образовательного учреждения высшего образования «Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)», http://www.ssau.ru/resources/ с11з_рго1ес1юп/;>гшгпоу/.

Автореферат разослан 29 октября 2015 г.

Ученый секретарь

диссертационного совета Д 212.215.05, д.т.н., доцент

С. В. Востокин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы Одной из задач обработки видеоинформации является обнаружение и оценивание параметров траектории движущегося объекта. В некоторых случаях требуется обнаружить только факт наличия движения (Б.С. Тимофеев, A.C. Лукин, К. Ma (К. Ma) и др.), в других - область изображения, где обнаружено движение, или границы движущегося объекта. Наиболее сложным является определение параметров движения объекта по последовательности кадров изображений, например, скорости, направления, траектории и др. (Б.А. Алпатов, A.B. Шадрин, Г. Адив (G. Adiv), Б. Карасулу (В. Karasulu) и др.). Качество решения этой задачи во многом зависит от точности выделения области подвижного объекта на серии кадров, поскольку вся исходная информация для нахождения параметров движения извлекается из изображений. Обнаружение области движущегося объекта является базовым шагом в системах машинного зрения, т.к. позволяет выделить интересующие участки изображения и упростить последующий анализ. Таким образом, обнаружение и сопровождение движущихся объектов является одной из наиболее востребованных задач обработки видеоинформации. Ее решение требуется во многих приложениях машинного зрения: дистанционного зондирования, видеонаблюдения и контроля и др.

Известны различные подходы к выделению области подвижного объекта, основанные на нахождении межкадровой разности (М. Вэн (М. Weng), С. Лю (S. Liu), А. Тупарис (A. Touparis) и др.), вычитании фона (Ш. Элхабиан (Sh. Elhabian), А. Элгамал (A. Elgam-mal), X. Ван (H. Wang), M. Хотгер (M. Hotter) и др.), применении статистик (Р.В. Куцов, А. Кавалларо (A. Cavallaro), С. Нолан (S. Novvlan) и др.), блочном оценивании (C.B. Гришин, Д.С. Ватолин, П. Хосур (P. Hosur), К. Цзин (X. Jing) и др.), анализе оптического потока (А.П. Трифонов, Р.П. Богуш, М. Ирани (М. Irani), П. Хорн (P. Horn) и др.). При этом, как правило, используется межкадровая обработка смежных изображений видеопоследовательности, по сути, оценивание межкадровых пространственных изменений изображений, одно из которых условно можно считать опорным, а второе - деформированным.

Несмотря на свою значимость, задача обнаружения движущегося объекта в сложных условиях до сих пор не получила удовлетворительного решения. Сложность задачи обусловлена возможностью различных динамических изменений сцены (плавное, резкое, локальное изменение освещенности, перепады погоды, повторяющееся движение и др.). Усложняющими факторами могут быть похожие с фоном характеристики движущихся объектов и эффект смаза изображений в области движения. Поэтому актуальным является разработка подходов к анализу движения сцены по последовательности изображений, позволяющих в сложных условиях эффективно находить изображения подвижных объектов, их границы, строить траектории движения, что и определило цель и задачи диссертационной работы.

Цель и задачи исследований Целью диссертационной работы является повышение точности оценивания параметров движения сцены по последовательности изображений за счет математического моделирования движения сцены на базе безыдентификационной псевдоградиентной адаптации.

Для достижения цели необходимо решить следующие основные задачи.

1. Синтезировать быстродействующие реверсивные псевдоградиентные процедуры (ПГП) попиксельного формирования поля диспарантности смежных кадров видеопоследовательности.

2. На основе временных сечений поля диспарантности, соответствующих кадрам изображений, разработать методику моделирования движения сцены по последовательности изображений, направленную на обеспечение возможности выделения изображений подвижных объектов и построения траекторий их движения.

3. Компенсировать в условиях априорной неопределенности эффект смаза изображений подвижных объектов в видеопоследовательности, вызванный конечностью времени экспозиции.

4. Разработать алгоритмическое и программное обеспечение для реализации и оценки эффективности методики моделирования движения сцены, базирующееся на результатах проведенных исследований.

5. Для проверки адекватности полученных аналитических результатов провести их статистическое моделирование на различных классах имитированных и реальных изображений.

Методы исследований При решении поставленных задач в диссертационной работе использовались методы математического моделирования, теории вероятностей, математической статистики, численной безыдентификационной адаптации, теории случайных процессов и полей, статистических испытаний.

Научная новизна результатов

1. Впервые предложено использовать в качестве основы математической модели движения сцены последовательности изображений временные сечения поля диспарантно-сти, соответствующие упорядоченной последовательности кадров изображений, что дало возможность повысить эффективность оценивания динамики подвижных объектов.

2. Разработана новая методика моделирования движения сцены по последовательности изображений, позволяющая выделять изображения подвижных объектов, компенсировать в них эффект смаза, строить траекторию движения.

3. На базе численного аппарата безыдентификационной псевдоградиентной адаптации разработаны новые быстродействующие реверсивные процедуры попиксельного формирования поля диспарантности смежных кадров видеопоследовательности, позволившие повысить качество выделения области движения.

4. Для блочного метода выделения области изображения движущегося объекта предложен и реализован базирующейся на псевдоградиентной адаптации новый подход к нахождению параметров местоположения блоков на опорном изображении, направленный на уменьшение вычислительных затрат и позволяющий достичь субпиксельной точности оценивания.

Практическая ценность результатов работы

1. Полученные расчетные соотношения вычислительной сложности синтезированных ПГП попиксельного формирования поля диспарантности как функции числа итераций и времени выполнения элементарных операций дают возможность при проектировании реальных систем оценить вычислительные затраты на реализацию процедур для конкретных вычислительных средств.

2. Разработанное алгоритмическое и программное обеспечение может быть использовано в различных прикладных задачах обработки последовательностей динамических изображений: дистанционных исследованиях, навигационном отслеживании курса подвижного объекта, в робототехнике, медицине, обеспечении государственной безопасности и т.д.

Реализация результатов работы Результаты диссертационной работы использованы при выполнении грантов РФФИ 10-07-00271-а «Адаптивные алгоритмы привязки монохромных и многозональных изображений, заданных дискретными сетками отсчетов, в условиях априорной неопределенности», 12-01-97014-р_поволжье_а «Синтез и оптимизация безыдентификационных псевдоградиентных процедур автоматизированного совмещения (и распознавания фрагментов) монохромных и многозональных изображений в условиях априорной неопределенности»,

13-01-00555 «Оптимизация и оценка достоверности процедур привязки последовательности цифровых изображений в условиях интенсивных пространственно коррелированных помех»; гранта 14.740.11.1259 «Разработка быстродействующих адаптивных алгоритмов и программного обеспечения оценивания параметров межкадровых деформаций изображений в условиях априорной неопределенности» ФЦП «Научные и научно-педагогические кадры инновационной России»; гранта «Разработка алгоритмического обеспечения совмещения и восстановления последовательности цифровых изображений при неизвестном наборе параметров взаимных деформаций» программы УМНИК Фонда содействия развитию малых форм предприятий в научно-технической сфере, при разработке программного обеспечения для ОАО «Самара-Информспутник» и ОАО «КНИРТИ».

Достоверность результатов Полученные результаты не противоречат известным взглядам на вопросы моделирования фона и обнаружения области движения в последовательности изображений; их достоверность обеспечивается применением хорошо апробированного математического аппарата, полнотой учета влияющих факторов, высокой степенью детализации разработанной математической модели движения сцены, подтверждается экспериментальными результатами и практическим применением.

На защиту выносятся:

1. Использование в качестве основы математической модели движения сцены последовательности изображении временных сечений поля диспарантности, соответствующих последовательности кадров изображений.

2. Методика моделирования движения сцены последовательности изображений, основанная на формировании поля диспарантности.

3. Быстродействующие адаптивные ПГП попикселыюго формирования поля диспарантности смежных кадров видеопоследовательности.

4. Безыдентификационная ПГП оценивания параметров местоположения заданных блоков деформированного изображения на опорном изображении для блочного метода выделения изображения двткущегося объекта.

5. Комплекс исследовательских программ для реализации и оценки эффективности разработанных процедур.

Апробация работы

Основные положения диссертационной работы докладывались, обсуждались и получили положительную оценку на международных конференциях «Pattern Recognition and Image Analysis: New Information Technologies» (Санкт-Петербург, 2010, Самара, 2013), «International Siberian Conference on Control and Communications» (IEEE Conference № 35463, Омск, 2015), «Цифровая обработка сигналов и ее применение - DSPA-2015» (Москва, 2015), «Наука в современном информационном обществе» (North Charleston, USA, 2015), Научных сессиях, посвященных дню радио (Москва, 2012, 2013, 2014, 2015), на всероссийских конференциях «Современные проблемы создания и эксплуатации радиотехнических систем» (Ульяновск, 2010, 2012, 2013), «Современные проблемы радиоэлектроники» (Красноярск, 2010, 2013, 2014).

Публикации

По теме диссертации опубликовано 31 работа, в том числе 12 статей, 9 из которых в изданиях из списка ВАК, 17 работ в трудах и материалах международных и всероссийских конференций и сессий, 2 свидетельства на регистрацию программ для ЭВМ. Некоторые результаты отражены в отчетах по НИОКР.

Структура и объем работы Основное содержание диссертационной работы изложено на 158 страницах машинописного текста, содержит 50 рисунков, 5 таблиц и состоит из введения, четырех глав, заключения, списка литературы из 164 наименований и приложения.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цель и задачи исследований, научная новизна и практическая ценность полученных результатов, приведены сведения об использовании, реализации и апробации результатов работы, структуре диссертации.

В первой главе проведен сравнительный анализ известных методов и алгоритмов моделирования движения и выделения области движения в последовательности изображений, рассмотрены основные этапы и характеристики качества обнаружения движущегося объекта, проанализированы проблемы обнаружения движущегося объекта в сложных условиях и сформулированы основные задачи исследований диссертационной работы.

Проведенный анализ многочисленных методов и алгоритмов обнаружения движущихся объектов, показал, что большинство из них можно разделить на четыре основных этапа: предобработка, моделирование фона, обнаружение движения и постобработка. Предобработка необходима для исключения основных типов незначительных изменений перед основной обработкой, т.е. для упрощения реализации следующих этапов. На втором этапе определяется модель фона, с которой будет сравниваться текущий кадр. Моделированием фона можно назвать процесс создания и последующего поддержания модели, описывающей фон в поле зрения камеры. Обнаружение движения (выделение переднего плана) является основным этапом обнаружения и реализуется сравнением текущего кадра с моделью фона. Постобработка может быть направлена, например, на удаление пикселей, ошибочно отнесенных к переднему плану, выделение контуров объектов, разделение пересекающихся объектов.

Выделяют четыре основные характеристики качества алгоритма обнаружения движущегося объекта: пространственная точность выделения области движущегося объекта, временная когерентность (стабильность обнаружения во времени), чувствительность, т.е. способность обнаруживать изменения малой величины и робастность (стабильность обнаружения в различных условиях).

Известны различные подходы к выделению области подвижного объекта, основанные на нахождении межкадровой разности, вычитании фона, применении статистик, блочном оценивании, анализе оптического потока. Как правило, все методы основаны на межкадровой обработке смежных кадров видеопоследовательности Ъ! = {z't l}, где I - номер кадра; z'u - яркость узла кадра с координатами (i,j), по сути, оценивании межкадровых пространственных изменений (деформаций) изображений, одно из которых условно можно считать опорным Z" = {z"(}, а второе - деформированным Z'1 = {zfj}, где i = 1 ,N, / = 1,Л/, N у-M - размер исследуемой области изображений.

Во второй главе для блочного метода выделения области движения изображения разработан алгоритм нахождения параметров местоположения блоков на опорном изображении, предложен подход к попиксельному оцениванию поля диспарантности на основе реверсных ПГП, исследованы критерии формирования оценки движения узла сетки отсчетов, рассмотрены возможности повышения точности оценки за счет учета коррелированности смежных строк изображения, оценены вычислительные затраты.

Поле диспарантности H = \h. } — это поле векторов h: j межкадровых сдвигов относительно деформированного изображения всех точек (i,j) опорного изображения, соот-

ветствующих его узлам. Заметим, что сдвиг может быть представлен как через проекции векторов hl и А,., так и в полярной форме - через модуль вектора р,у и угол <р(/ относительно оси х. Учитывая очевидные соотношения: A,=pcosq>, Av=psin<p, наборы параметров (Aj,A„) и (р,ф) являются функционально эквивалентными. Однако при рекуррентном формировании оценок компонент поля Н использование параметров (A,,AV) уже не даст эквивалентных оценок Н по отношению к использованию (р,ф), поскольку изменение оценок инерционно, а наборы компонент имеют разный физический смысл. Ответ на вопрос, какой из этих наборов предпочтительнее при решении задачи выделения области подвижного объекта, потребовал исследования.

Предложена методика оценивания поля диспарантности Н, в соответствии с которой безыдентификационной ПГП последовательно оцениваются параметры векторов межкадровых сдвигов точек (/,_/) изображения Z":

= - Л sign P(3,j)> ' = 2,/V-l, / = 2,М-\, (1)

где Л - матрица усиления, определяющая скорость изменения оценок параметров сдвигов, которая, в свою очередь, зависит от максимальной скорости движущегося объекта; ß - псевдоградиент целевой функции качества оценивания. При этом использовано реверсивное оценивание: каждая /-я строка обрабатывается дважды: сначала «слева направо», формируя оценки ä\s, а потом «справа налево», формируя оценки Xi' t. Ввиду незначительного изменения яркости на смежных кадрах видеопоследовательности в качестве целевой функции в рассматриваемой задаче целесообразно использовать средний квадрат межкадровой разности. Тогда при представлении вектора сдвига через проекции ä = (hx,hv)7, получаем: ßl = Д.х (z/v-zjv), ßv = Д_„ (z/„-г°у), где z/„ - яркость непрерывного изображения Z", полученного из Z" с помощью некоторой интерполяции, Д*, = гДд, v ±зДд, v; = ±г ; Ах,Ду - шаг нахождения производных dz'Jdx и

сВЦу/ду через конечные разности. При представлении вектора сдвига через полярные параметры и = (р,ф)7:

ßP = (а*, -2z°.)cos Ф+Д"„ (Д*,. -2z°.)sin ф, Рф =р(Д"„ (д* -2zf,)cos ф-Д:, (Д*, -2z°;)sii^).

В каждом узле (i,j) оценки &'и и аги параметра а,у, полученные во встречных направлениях, являются границами, между которыми с некоторым шагом Да, определяемым требуемой точностью оценивания, ищется оптимальное значение. Если для параметра аи модуль разности оценок меньше Да, то уточненная оценка rä: ( принимается равной (. В противном случае набор возможных значений оценки <х,у находится как: й™, = &'и + т Дп, т = 0,£ + 1, к =|-сх^|/Д0 .

Для определения оптимального значения из полученного набора исследовано два критерия: минимум псевдоградиента: min ß„(ü[y+тД„Д и максимум коэффициента

m-OJrv]

корреляции (КК):

max СС {z/(mHp ,.(m)„, z? _,„}, р = -а,а, s = -b,b (2)

m=0,i+l

где (х(т), у(т)) - координаты точки (/,_/) изображения Z° на изображении Ъд при т-м значении оценки сх™ ; (2а + 1)х(26+1) - размер окна, по которому рассчитывается КК. Совместная обработка оценок позволяет компенсировать инерционность рекуррентного оценивания. Сравнительный анализ эффективности критериев показал, что большую точ-

ность оценивания (но и большие вычислительные затраты) обеспечивает максимум КК. Экспериментальные результаты, приведенные ниже, получены при а = Ь = 1.

Рассмотрены возможности повышения эффективности оценивания поля диспарант-ности Н за счет учета межстрочной корреляции изображений. При таком подходе для каждого узла (г,у) опорного изображения также формируются две оценки а,1; и а,2( параметров вектора сдвига. Для формирования а', узлы опорного изображения обрабатываются ПГП (1) по строкам «змейкой», например, нечетные строки проходятся «слева направо», формируя оценки а"., а четные строки - «справа налево», формируя оценки

. При обработке изображения «змейкой» текущая оценка а('+1>/ сдвига в узле сравнивается с оценкой а!,, полученной на предыдущей строке. Если а! 1 по некоторому критерию предпочтительнее, то она принимается текущей оценкой. В качестве критерия оптимальности можно выбрать, например, максимум КК (2), с тем отличием, что набор возможных значений здесь ограничен двумя оценками: а!,.,; и а! (. Аналогично формируется и оценка а,2у, с той разницей, что при обработке «змейкой» нечетные строки проходятся «справа налево», а четные - «слева направо». Совместная обработка оценок а' / и а:2; осуществляется, как описано выше. При этом отметим, что хотя при учете межстрочной корреляции требуется больший объем вычислений для формирования а), и а?., набор

возможных значений а, / при совместной обработке оценок оказывается существенно меньшим, что для этого этапа оценивания вычислительную сложность сокращает.

Исследования показали, что лучшие результаты обеспечивает использование критерия (2), при котором можно выделить четыре алгоритма оценивания поля диспарантности: алгоритм А - реверсная оценка при наборе компонент (кх,И1)); алгоритм Б - реверсная оценка при наборе компонент (р,ф); алгоритм В - оценка по смежным строкам при наборе компонент (йг,Ау); алгоритм Г - оценка по смежным строкам при наборе компонент (р.ф).

Рассмотрим пример экспериментальных результатов оценивания поля диспарантности для смежных кадров видеопоследовательности, приведенных на рисунке 1. Здесь автомобиль, расположенный по центру, движется, а автомобиль справа - неподвижен. При этом параметры межкадрового пространственного смещения движущегося автомобиля между кадрами а) и б) характеризуется только параллельным сдвигом: А, = 3, А,, =2.95. Параметры движения между кадрами б) и в) будут приведены ниже.

««ГЯ»" *

^СДЫЗ ЩВ

щ - Г Й ........:........ ^

а) б) в)

Рисунок 1 - Пример смежных кадров видеопоследовательности с подвижным объектом

Визуализация оценок поля диспарантности Н, полученных алгоритмами Б-Г, приведена на рисунке 2. Здесь показаны модули оцененных векторов сдвигов как функция координат узлов опорного изображения. Визуально результаты при использовании в качестве набора компонент (р,ср) лучше, а учет межстрочной корреляции позволяет значи-

тельно повысить качество оценок по сравнению с реверсным оцениванием, что подтверждает и численная оценка, приведенная в таблице 1, в которой для области движения и области без движения даны средние значения ть и оценки дисперсии 61 погрешности оценивания.

Алгоритм Б Алгоритм В Алгоритм Г

Рисунок 2 - Оценка поля векторов сдвигов

Сравнение разработанных алгоритмов формирования поля диспарантности с лучшим из известных блочных алгоритмом MVFAST (Motion Vector Field Adaptive Search Technique) показало, что в идентичных условиях последний проигрывает по точности выделения границ подвижного объекта. Он дает значительные погрешности на границах и в малоконтрастных областях внутри объекта. Среднее значение и оценка дисперсии погрешности оценивания алгоритмом MVFAST приведены в таблице 1. Кроме того алгоритм MVFAST принципиально не позволяет получить субпиксельную точность оценивания.

Наряду с точностью оценивания важным показателем является вычислительная сложность исследуемых алгоритмов. Требуемый объем вычислений складывается из двух составляющих: на реализацию реверсивной ПГП обработки строки и на совместную обработку оценок, полученных во встречных направлениях. Последняя составляющая зависит от многих факторов: сложности фона изображения, шума, количества и скорости подвижных объектов и др. Она корректно может быть оценена для заданных ограничений конкретной решаемой задачи. Поэтому в работе проанализирована первая составляющая вычислительных затрат при двух наборах оцениваемых параметров векторов сдвигов (hx,hr и р.ф). При этом детальный анализ требует не только

учета особенностей и структуры расчетного соотношения, но и большого числа других влияющих факторов (скорость и условия считывания отсчетов изображений, тип вычислительного устройства, время на операции обращения к памяти, пересылки и др.). Многие из этих факторов зависят от конкретных устройств регистрации изображений и вычислительных средств. Исследована вычислительная сложность расчетных соотношений разработанных алгоритмов через число операций сложения (+), вычитания (-), умножения (х), деления (н-), взятия корня ( ), тригонометрических функций (sin) и интерполяции яркости одного отсчета (?). В таблице 2 приведено число указанных операций, необходимых для обработки одного узла изображения алгоритмами А, С и D Отметим, что вычислительная сложность алгоритма MVFAST при наличии подвижных объектов также существенно выше сложности алгоритмов A-D. Очевидно, что суммарные вычислительные затраты определяются как:

Таблица 1 - Погрешность оценивания поля диспарантности

Алгоритм Область движения Область без движения

ть ст2 х Ю-2 '"ь &2х10"2

А 0.42 7.3 0.29 2.6

Б 0.34 1.47 0.15 1.35

В 0.07 1.24 0.09 0.28

Г 0.01 0.69 0.02 0.02

MVFAST 0.08 18.6 0.02 0.05

N = c±N± + c„Nx + c^N^ + c,Nr +csin/Vsill + c^N^-, где c( - коэффициенты, характеризующие время выполнения соответствующих операций;

N, - число операций. Приведенное выражение позволяет найти вычислительные затраты и быстродействие для конкретных вычислительных средств. Например, для процессора AMD Turion II Х2 М500 конкретизация коэффициентов дает: с± = 1.4 не, су = \Л не, с^=13.6нс, с7 =63 не, с^=135 не, cJin= 212 нс. Соответственно, для алгоритма В среднее время операций, необходимых на обработку одного узла изображения составляет -3.74 мке, для алгоритма Г - 4.62 мкс.

Третья глава посвящена описанию методики моделирования движения сцены, в том числе вопросам выделения области изображения, компенсации эффекта смаза подвижного объекта, совмещения и комплексирования восстановленных изображений, оценки параметров траектории движения объекта.

Задача моделирования движения сцены по кадрам видеопоследовательности рассмотрена в следующей постановке. Последовательность кадров Z' содержит аддитивно зашумленное и смазанное изображение движущегося объекта. При этом камера также может быть подвижной. Требуется по Z' обнаружить и выделить область движущегося объекта, компенсировать эффект смаза, отфильтровать шум, используя совмещение изображений движущегося объекта и найти параметры траектории движения. Соответственно методика моделирования движения сцены включает следующие этапы:

- формирование поля диспарантности и выделение на его основе областей движения сцены на последовательности кадров изображений;

- оценивание наличия и параметров смаза и восстановление изображения движущегося объекта на последовательности кадров;

- совмещение и комплексирование восстановленных изображений движущегося объекта (для увеличения отношения сигнал/шум);

- оценивание параметров траектории движения объекта.

Задача формирования поля диспарантности рассмотрена выше (во второй главе). Выделение области движения можно рассматривать как задачу проверки гипотезы о принадлежности узлов изображения движущему объекту. В результате проверки возможны ошибка первого рода - отнесение узла, относящегося к фону, к области движения, и ошибка второго рода - отнесение узла движения к фону. Возникает задача выбора порога, соответствующего компромиссу указанных вероятностей. Для примера на рисунке 3 приведены результаты обнаружения при формировании поля диспарантности алгоритмом Б при порогах: 0.1рп„х, 0.3рга, и 0.8pnm, где pmx - максимальное значение оценки ри. Видно как с ростом порога уменьшается вероятность ошибки первого рода и растет второго. Исследования показали, что лучшие результаты дает алгоритм Г.

Визуально результаты при использовании в качестве набора компонент (р,<р) лучше, а учет межстрочной корреляции позволяет значительно повысить качество оценок по сравнению с реверсным оцениванием, что подтверждает и численная оценка, приведенная в таблице 1, в которой для области движения и области без движения даны средние значения ть и оценки дисперсии 6J погрешности оценивания.

Таблица 2 - Число операций для одной итерации

Операция Алгоритм А Алгоритм С Алгоритм D

(А,А) (Р.ф) (А,А) (Р.ф) АА> (Р,ф)

12 16 24 32 156 160

х 6 20 10 38 114 128

* - - - - 4 4

? 8 8 16 16 44 44

Sin - 4 - 8 - 4

-Г - - - - 4 4

0.1рП1К 0.3р„„ 0.8р„га

Рисунок 3 - Результаты обнаружения области движения при алгоритме В

Алгоритм В Алгоритм Г Алгоритм МУРАЭТ

Рисунок 4 - Область движения и ее контур

Учет межстрочной корреляции позволяет значительно улучшить результаты по сравнению с реверсным оцениванием. Отметим, что для приведенного примера при использовании алгоритма Г в отличие от алгоритма МУРАЭТ практически отсутствуют ошибки второго рода.

Компенсация эффекта смаза движущихся объектов. Смаз изображения возникает при взаимном движении камеры и объекта во время экспозиции. Задачей восстановления является устранение или ослабление смаза с целью повышения резкости. В рассматриваемой задаче смаз можно считать равномерным. Тогда при длине / смаза пространственная частотная характеристика функции рассеяния точки определяется известным выражением. Если также известны параметры объектива, время экспозиции, расстояние до объекта съемки и его скорость, то легко найти функцию рассеяния точки, позволяющую восстановить изображение. Однако на практике указанные величины известны редко, поэтому направление и длину смаза приходится оценивать по самому искаженному изображению, при этом желательно, чтобы оно не содержало границ подвижного объекта.

Для нахождения параметров смаза выделенной искаженной области Ъ" изображения в работе использовано то обстоятельство, что при таком искажении кепстр смазанного изображения имеет отрицательный пик. Кепстр Су области г" - это обратное преобразование Фурье логарифма модуля спектра искаженной области. В силу линейности при свертке изображений их кепстры складываются. Частотная характеристика функции рассеяния точки имеет нули в целочисленных значениях, кратных (/ + 1)~\ следовательно, кепстр искаженного изображения и функции рассеяния точки будет иметь отрицательный пик на расстоянии I от начала координат, по положению которого и определяется длина и направление смаза. Для примера фрагмент кепстра смазанного изображения приведен на рисунке 5.

Если же время экспозиции 1Г и частота кадров V камеры, которой велась съемка, известны, то параметры смаза могут быть легко определены по найденному полю диспарантности. В частности, длина смаза:

/ = + > а его направление (угол отно-

сительно оси х) : ф = агс^ (ку/кх).

Рисунок 5 - Фрагмент кепстра «смазанного» изображения

Для восстановления изображений последовательности Z" использован известный итерационный алгоритм. Для увеличения быстродействия операция обратной свертки в пространственной области заменена на эквивалентное ей поэлементное умножение в частотной области. Итерационный алгоритм останавливается, если шум и осциллирующая помеха усиливаются. В качестве критерия остановки использован, минимум нормированной среднеквадратической погрешности.

Совмещение и комплексирование восстановленных изображений. Необходимость совмещения (привязки) изображений возникает во многих задачах цифровой обработки изображений: объединении информации с различных сенсоров, выявлении изменений в серии изображений, идентификации биометрических параметров и других. Задача совмещения заключается в установлении соответствия между сопряженными точками двух и более изображений. Из множества подходов при обработке изображений в условиях априорной неопределенности хорошо себя зарекомендовали ПГП, одна из которых использована для нахождения параметров а"-1 привязки фрагментов ZB и Z'BM, а в качестве модели привязки применена модель подобия, включающая коэффициент масштаба к, угол поворота ф и параллельный сдвиг h .

Координаты сопряженных точек, отличные от центра выделенного фрагмента Z'j, необходимо привести к системе координат 0-го кадра: (х, у)"'р = f[h''~\ к'7"1, ф1'"1),

/ = 1, р, где f(-) - функция, определяющая координаты заданной точки 0-го кадра на р -м кадре в соответствии с принятой моделью привязки. При этом масштабные коэффициенты накапливаются умножением, а углы поворота - сложением. Увеличение отношения сигнал/шум достигается накоплением яркости отсчетов сопряженных точек последовательности Х"в по найденным параметрам привязки.

Пример результатов приведен на рисунке 6, где а) - фрагмент исходного изображения (номер автомобиля) последовательности Z", б) - то же восстановленное изображение, в) - результат комплексирования яркостей по 6 кадрам. Там же приведены результаты

распознавания текста программой FineReader 7. Знаком «?» обозначены символы, которые не были распознаны или распознаны неверно. Видно, что если на невосстановленном изображении корректно распознаются лишь отдельные буквы, то на комплексированном изображении неверно был распознан только один символ. Заметим, что специализированные программы распознавания автомобильных номеров, которой FineReader не является, обеспечили бы лучший результат. Но целью примера не являлось решение конкретной задачи, а демонстрация возможностей разработанного алгоритма при решении задач, связанных с автоматизированным распознаванием образов.

Оценивание параметров траектории движения объекта. По оценкам a'•°=(h'-°, к''0, ф' 0)1', t = \,m можно найти параметры траектории движения наблюдаемого

подвижного объекта. При этом погрешность оценок а'0 накапливается с увеличением числа кадров. Для ее уменьшения предложено каждые п кадров уточнять координаты точки текущего кадра Z'/ относительно кадра Z'/~" дополнительным оцениванием, приняв в качестве начальных приближений параметров ПГП текущие значения оценок. При этом координаты сопряженных точек на предыдущих и/2-1 кадрах также можно уточнить относительно текущего кадра пересчетом.

К???У?

. умЩ£

К473УМ Р К473УМ Р

а) б) в)

Рисунок 6 - Пример результатов комплексирования

На рисунке 7 представлены аналитические графики зависимости среднеквадратического отклонения суммарной погрешности ст,, центров выделенных фрагментов от числа кадров с уточнением координат при п = 8 (кривая 1) и без уточнения (кривая 2). Там же приведены экспериментальные данные (точки соответствуют кривой 1, треугольники - кривой 2). Видно, что использованный прием значительно уменьшает среднюю суммарную погрешность. Некоторое превышение экспериментальных погрешностей над теоретическими вызвано коррелированностью оценок параметров а на соседних парах кадров, тогда как аналитические кривые получены в предположении их независимости.

Параметры траектории движения объекта можно определить и используя поле дис-парантности в области движения. В качестве промежуточных параметров траектории можно использовать, например, оценки межкадровых пространственных изменений, полученные по полю диспарантности. Получены выражения, позволяющие по области движения поля диспарантности получить оценки параметров модели подобия и аффинной модели. В качестве примера на рисунке 8 приведены оценки поля Н, полученные алгоритмами В (рисунок 8,а) и Г (рисунок 8,6) для ситуации, когда движение объекта (рисунок 8,в) соответствует параметрам: А=(2,3)7, <р = -4", к = 1. Для приведенного примера для алгоритма В получаем: И =(1.98,3.04)7, ф = -4.08°, к = 1.002, для алгоритма Г -А =(1.77, 2.61)7, ф = —3.3", к = 0.988. Отметим, что большую точность обеспечивает использование набора параметров (А1,/г1), что объясняется меньшей инерционностью измерения модуля их оценок. Но в то же время этот набор обеспечивает меньшую точность выделения области подвижного объекта. Таким образом, возникает задача выбора компромисса.

Для вычисления промежуточных параметров траектории достаточно использовать оценки только части узлов изображения, соответствующих движущемуся объекту. Так, например, используя лишь 1% случайно выбранных узлов, получаем:

А = (2.03,3.27)', ф = -3.9Г и к = 0.995 для алгоритма В и А =(1.81,2.46)7, ф = —3.41°, к = 0.992 - для алгоритма Г. При этом оценки практически не отличаются от приведенных выше.

Четвертая глава посвящена разработке алгоритмического обеспечения и комплекса программ для реализации и оценки эффективности разработанной методики моделирования движения сцены. Приведены примеры полученных с помощью разработанного программного обеспечения результатов.

Разработано алгоритмическое обеспечение, реализующее полученные аналитические результаты и, на его базе, соответствующие модули программ, объединенные в единый комплекс, включающий, в частности, модули вычисления компонент псевдоградиента, формирования поля диспарантности, совместной обработки, вычисления оценок парамет-

погрешность совмещения изображений объекта от числа кадров

ров пространственных изменений, интерполяции яркостей, учета межстрочной корреляции и другие (всего 20 модулей). Комплекс программ реализован в среде Microsoft Visual Studio на языке С++ с использованием объектно-ориентированного подхода. Часть программ зарегистрирована в государственном реестре программ для ЭВМ (свидетельства №№2014612324,2015616835).

Приведены примеры, иллюстрирующие возможность использования модулей программного комплекса для решения практических задач обработки видеопоследовательностей. В частности, пример построения траектории движущегося объекта по кадрам видеопоследовательности. На рисунке 9,а,б приведены два кадра из видеопоследовательности (самолет садится на авианосец), по которой требуется построить траекторию самолета. Осложняющим обстоятельством является то, что камера находится в движении («трясется» и поворачивается в сторону приземляющегося самолета). Кроме того, при решении поставленной задачи морские волны являются коррелированной помехой.

а) б) в)

Рисунок 9 - Пример кадров видеопоследовательности и оцененные параметры траектории подвижного объекта

С помощью разработанного программного обеспечения стабилизируется изображение сцены (компенсируется движение камеры), выполняется поиск и выделение области движущегося объекта, определение его местоположения на кадрах видеопоследовательности, приведенных к единой системе координат, что позволяет оценить положение движущегося объекта не относительно камеры, а относительно сцены. На рисунке 9,в показан результат обработки 34 выборочных кадров видеопоследовательности, представляющий собой трехмерную траекторию движения самолета в относительных координатах XYZ. За начало координат принято положение камеры в начальный момент съемки. При наличии априорной информации об объекте полученные оценки также могут быть использованы для нахождения таких параметров как скорость объекта, его расстояние до камеры и других.

В заключении приведены основные результаты и выводы, имеющие научную и практическую ценность.

Основными результатами являются следующие.

1. Разработана методика моделирования движения сцены по последовательности изображений, в основе которой лежит формирование временных сечений поля диспарант-ности, соответствующих кадрам изображений. Методика включает этапы: формирования поля диспарантности и выделения на его основе областей движения сцены, оценивания параметров смаза и восстановления изображения движущегося объекта, совмещения и комплексирования восстановленных изображений, оценивания параметров траектории движения объекта. Апробация методики на имитированных и реальных видеопоследовательностях показала ее высокую эффективность.

2. На базе численного аппарата безыдентификационной псевдоградиентной адаптации разработаны быстродействующие реверсивные процедуры попиксельного формиро-

вания поля дпспарантности смежных кадров видеопоследовательности, обеспечивающие высокую пространственную точность выделения области движения. Так, в исследованных примерах при межкадровом сдвиге изображения подвижного объекта на два пикселя вероятность ошибки первого рода обнаружения движения составила 0.5-1.5%, второго рода 0.2-1 %. Сравнение с лучшим из известных блочных алгоритмом MVFAST показало, что его использование дает в разы большее СКО погрешности на границах и в малоконтрастных областях внутри объекта. Кроме того алгоритм MVFAST принципиально не позволяет получить субпиксельную точность оценивания.

3. Получены расчетные соотношения вычислительной сложности разработанных ПГП попиксельного формирования поля днспарантности как функции числа итераций и времени выполнения элементарных операций, дающие возможность при проектировании реальных систем оценить временные затраты для конкретных вычислительных средств. Так, для процессора AMD Turion II Х2 М500 среднее время операций, необходимых на обработку одного узла изображения составило для предложенных вариантов реализации процедур от 0.53 до 4.62 мкс.

4. Показано, что для исследуемой задачи смаз можно принять равномерным. Для нахождения параметров смаза в условиях априорной неопределенности предложено использовать то обстоятельство, что кепстр смазанного изображения и функции рассеяния точки имеет отрицательный пик на расстоянии от начала координат, равном длине смаза, что дает возможность найти длину и направление смаза. Для восстановления изображений целесообразно использовать известный итерационный алгоритм в частотной области, а в качестве критерия его остановки - минимум нормированной среднеквадратической погрешности.

5. Для блочного метода выделения области изображения движущегося объекта предложен и реализован базирующейся на псевдоградиентной адаптации подход к нахождению параметров местоположения блоков на опорном изображении, позволивший по сравнению с методом направленного перебора значительно сократить вычислительные затраты и обеспечить субпиксельную точность оценивания.

6. Разработан комплекс прикладных программ для реализации и оценки эффективности разработанной методики моделирования движения сцены по последовательности изображений. Приведены примеры его использования. Разработанное алгоритмическое и программное обеспечение может быть непосредственно использовано в различных прикладных задачах обработки последовательностей динамических изображений: дистанционных исследованиях, навигационном отслеживании курса подвижного объекта, в робототехнике, медицине, обеспечении государственной безопасности и т.д.

Основные результаты диссертации изложены в следующих основных публикациях

Статьи в изданиях, входящих в Перечень ВАК РФ:

1. Smirnov, P.V. Methods of finding gradient estimates of target function for measurement of images parameters / A G. Tashlinskii, P.V. Smirnov, L.Sh. Biktimirov // Pattern recognition and image analysis. - 2011. - V. 21, No. 2. - P. 339-342.

2. Smirnov, P.V. Analysis of methods of estimating objective function gradient during recurrent measurements of image parameters / A.G. Tashlinskii, P.V. Smirnov, S.S. Zhukov // Pattern recognition and image analysis. - 2012. - V. 22, No. 3. - P. 399-405.

3. Смирнов, П.В. Выбор конечных разностей при нахождении псевдоградиента целевой функции в процедурах оценивания межкадровых деформаций изображений / А.Г. Ташлин-ский, A.M. Хорева, П.В. Смирнов // Радиотехника. - 2012. - №9. - С. 56-60.

4. Смирнов, П.В. Критерии остановки процесса псевдоградиентной привязки изображений на основе анализа сходимости оценок параметров привязки / А.Г. Ташлинский, Л.Ш. Биктимиров, П.В. Смирнов // Наукоемкие технологии. - 2013. - Т. 14, № 5. - С. 22-25.

5. Smirnov, P.V. A way to predict parameters of image registration by estimating inter-frame deformation of local fragments / A.G. Tashlinskii, S.V. Voronov, P.V. Smirnov // Pattern recognition and image analysis. - 2014. - V. 24, No. 1. - P. 179-184.

6. Смирнов, П.В. Алгоритм компенсации эффекта смаза изображения движущегося объекта по последовательности кадров / А.Г. Ташлинский, П.В. Смирнов // Радиотехника. -2014. -№ 7.-С. 81-87.

7. Смирнов, П.В. Выделение на последовательности изображений области движущегося объекта // Известия Самарского научного центра РАН. - 2014. - Т. 16, № 6. - С. 595-599.

8. Смирнов, П.В. Попиксельное оценивание межкадровых геометрических деформаций изображений при выделении области подвижного объекта / А.Г. Ташлинский, П.В. Смирнов // Автоматизация процессов управления. - 2015. - № 1 (39). - С. 41 -49.

9. Смирнов, П.В. Методика выделения области подвижного объекта на последовательности изображений / П.В. Смирнов, А.Г. Ташлинский // Радиотехника. - 2015. - № 6. -С.5-11.

Свидетельства на регистрацию программ для ЭВМ

10. Свидетельство об официальной регистрации программы для ЭВМ №2014612324 РФ. Программа моделирования поведения целевых функций при оценивании пространственных деформаций изображений в условиях помех / С В. Воронов, А.Г. Ташлинский, П.В. Смирнов, заявитель и правообладатель ФГБОУ ВПО «Ульяновский государственный технический университет. -Зарегистрировано в Реестре программ для ЭВМ 25.02.2014, заявка№2013662125.

11. Свидетельство об официальной регистрации программы для ЭВМ №2015616835 РФ. Программа выделения движущегося объекта / П.В. Смирнов, А.Г. Ташлинский, P.O. Коваленко, заявитель и правообладатель ФГБОУ ВПО «Ульяновский государственный технический университет. - Зарегистрировано в Реестре программ для ЭВМ 24.06.2015, заявка №2015613828.

В материалах конференций

12. Smirnov, P.V. Computing the gradient of the objective function in terms of finite differences in estimating the image parameters / A.G. Tashlinskii, P.V. Smirnov, L.Sh. Bektimirov // The 10th International Conference «Pattern Recognition and Image Analysis: New Information Technologies» (PRIA-10-2010). Conference Proceedings. -2010. - V. 1. - P. 351-354.

13. Smirnov, P.V. Moving object's image restoration algorithms using image sequence with deblurring / P.V. Smirnov, A.G. Tashlinskii // The 11th International Conference «Pattern Recognition and Image Analysis: New Information Technologies». Conference proceedings. - 2013. - V. 2. -P. 735-737.

14. Смирнов, П.В. Попиксельный алгоритм выделения области подвижного объекта по последовательности изображений / А.Г. Ташлинский, П.В. Смирнов, P.O. Коваленко // 17-я Международная конференция «Цифровая обработка сигналов и ее применение - DSPA-2015». - 2015. -С. 517-519.

15. Smirnov, P.V. Moving object area identification in image sequence / A.G. Tashlinskii, P.V. Smirnov // International Siberian Conference on Control and Communications (SIBCON), IEEE Conference № 35463.-2015. DOI: 10.1109/SIBCON.2015.7147239.

Смирнов Павел Викторович МОДЕЛИРОВАНИЕ ДВИЖЕНИЯ СЦЕНЫ ПО ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ПСЕВДОГРАДИЕНТНОЙ АДАПТАЦИИ

Автореф. дисс. на соискание учёной степени кандидата техн. наук Подписано в печать 26.10.2015. Заказ № 865 Формат 60x84/16. Усл. печ. л. 1. Тираж 100 экз. ИПК «Венец» УлГТУ, 432027, г. Ульяновск, Северный Венец, 32.