автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Методы обработки изображений в сканирующих информационно-измерительных системах обнаружения движения

На правах рукописи

СЕРГЕЕВ ЕВГЕНИЙ АЛЕКСАНДРОВИЧ

МЕТОДЫ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В СКАНИРУЮЩИХ ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫХ СИСТЕМАХ ОБНАРУЖЕНИЯ ДВИЖЕНИЯ

специальность 05.11.16 - Информационно-измерительные и управляющие системы (в промышленности)

Автореферат диссертации на соискание ученой степени кандидата технических наук

2 г МАП 2014

ООЬЬ^о«—

Тула, 2014

005548639

Работа выполнена ФГБОУ ВПО «Тульский государственный университет»

Научный руководитель: доктор технических наук, доцент

Котов Владислав Викторович

Официальные оппоненты: Привалов Александр Николаевич,

доктор технических наук, профессор, ФГБОУ ВПО " Тульский государственный педагогический университет им. Л.Н. Толстого", кафедра информатики и информационных технологий, профессор

Панарин Михаил Владимирович,

кандидат технических наук,

ООО «Сервис-софт», г. Тула, директор

Ведущее предприятие: ОАО «Научно-производственное

предприятие «Связь»»

Зашита состоится «^20_» июня 2014 г. в _14.00_ часов на заседании диссертационного совета Д 212.271.07 при ФГБОУ ВПО «Тульский государственный университет» (300012, г. Тула, пр. Ленина, 92, 1-117).

С диссертацией можно ознакомиться в библиотеке Тульского государственного университета (300012, г. Тула, пр. Ленина, 92).

Автореферат разослан « 25 » апреля 2014 г.

Учёный секретарь диссертационного совета

Данилкин Федор Алексеевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время системы видеонаблюдения находят все более широкое применение в различных сферах человеческой жизни. Помимо очевидного использования в сфере охраны разного рода мобильных и стационарных объектов такие системы также применяются в научных исследованиях и в промышленности, например, в задачах оценки визуальной обстановки, складывающейся при функционировании производственно-технологических комплексов различных типов.

Учитывая, что значительная зрительная нагрузка оператора системы вызывает его утомление и снижает эффективность наблюдения с течением времени, перечисленные выше факторы обуславливают актуальность и целесообразность разработки средств и методов автоматизации отдельных функций оператора или всей его деятельности в целом. В частности, одним из элементов автоматической оценки визуальной обстановки системами видеонаблюдения является обнаружение движения тех или иных объектов на контролируемых сценах.

Задача обнаружения движущихся объектов в силу своей специфики до сих пор полностью не решена. В большинстве существующих методов нет четких критериев по настройке детектора движения под конкретные условия эксплуатации. В результате разработчикам приходится опытным путём подбирать параметры системы, что увеличивает время её проектировании и наладки, а также снижает эффективность функционирования.

Технические характеристики основных элементов, используемых при построении подобных информационно-измерительных систем, постоянно совершенствуются: увеличивается число элементов дискретизации, а также чувствительность фотоэлектронных преобразователей, формирующих информационный сигнал; увеличивается ёмкость оперативной и внешней памяти, быстродействие интерфейсов цифровой передачи данных; постоянно возрастает производительность сигнальных процессоров. При этом стоимость элементной базы сокращается.

Исходя из вышеизложенного, очевидно, что уровень развития аппаратной части информационно-измерительной системы опережает уровень развития программной. Поэтому повышение эффективности работы всей системы можно существенно повысить за счёт совершенствования алгоритмов и программного обеспечения обработки видеоинформации.

Перечисленные обстоятельства обуславливают актуальность задачи создания усовершенствованных методов обработки изображений в информационно-измерительных системах панорамного наблюдения, обеспечивающих обнаружение подвижных объектов.

Объектом исследования является сканирующий аппаратно-программный комплекс панорамного видеонаблюдения повышенного пространственного разрешения с функцией обнаружения движения, который включает оптико-электронные средства формирования и обработки панорам-

ного изображения, а также математическое и программное обеспечение анализа и обнаружения движения в сформированном потоке кадров.

Предметом исследования диссертационной работы являются математические методы и программные средства, обеспечивающие в процессе функционирования систем видеонаблюдения рассматриваемого класса требуемую надёжность обнаружения подвижного объекта.

Методы исследования. В работе используются методы теории вероятностей и математической статистики, теории цифровой обработки сигналов. Разработка алгоритмов и программ осуществлялась с использованием объектно-ориентированного подхода к организации данных и алгоритмов.

Вопросами цифровой обработки изображений и синтеза систем формирования изображения занимались отечественные учёные: М.Б. Руцков, Г.П. Катыс, В.В. Яншин, В.А. Сойфер; зарубежные учёные: Б. Яне, Р. Гонсалес, Р. Вудс, Д. Форсайт. В известных работах предложены варианты решения частных задач обнаружения движения.

Целью диссертационной работы является повышение эффективности функционирования информационно-измерительной системы панорамного наблюдения, обеспечивающей обнаружение подвижных объектов в потоке кадров повышенного разрешения, путем совершенствования методов обработки измерительной информации.

В соответствии с поставленной целью в диссертационной работе решены следующие задачи.

1. Произведен анализ существующих подходов обнаружения подвижных объектов. Показано, что сканирующие системы, основанные на обработке видеоизображения, являются наиболее перспективными средствами обнаружения движения.

2. Исследована обобщённая структура сканирующей информационно-измерительной системы обнаружения движения, выявлены основные параметры, определяющие эффективность работы системы.

3. Показано, что конструкция и параметры оптико-механического узла и фотоэлектронного преобразователя в рассматриваемых сканирующих системах существенным образом влияют на параметры формируемых изображений, являющихся входными данными для проектируемых методов и алгоритмов обработки и обнаружения движения. Для панорамных систем со стационарной камерой и поворотным оптико-механическим узлом разработаны формальные процедуры обоснования выбора параметров этих элементов.

4. Выполнен анализ существующих методов обнаружения подвижных объектов, показана невозможность непосредственного их применения в сканирующих информационно-измерительных системах панорамного типа.

5. Предложено рассматривать задачу обнаружения на изображении областей с подвижными объектами как двухэтапную процедуру. На первом этапе предложено выполнять поэлементную обработку изображения во временной последовательности кадров, на втором этапе — групповую обработку предварительно отобранных элементов внутри отдельного кадра.

-56. Показано влияние технических характеристик используемого оборудования (в частности, шума видеосенсора) на параметры предлагаемых фильтров. Разработан метод рационального выбора параметров пространственно-временных фильтров.

7. Разработан метод определения координат подвижного объекта, основанный на межкадровой фильтрации изображений.

8. Предложенные методы реализованы в экспериментальном программно-аппаратном сканирующем комплексе и выполнена экспериментальная проверка их эффективности.

Научная новизна работы заключается в следующем:

1. Для сканирующих информационно-измерительных систем панорамного видеонаблюдения предложены расчётные процедуры, отличающиеся от известных применением к системам со стационарной камерой и поворотным оптико-механическим узлом, и включающие процедуру проверки соответствия частных параметров оптико-электронного узла общим требованиям, предъявляемым к формируемому панорамному изображению и процедуру оценки геометрических искажений, вносимых оптико-электронным узлом и их последующей компенсации на этапе предварительной обработки панорамного изображения.

2. Разработан метод определения области изображения, содержащей подвижный объект, основанный на пространственно-временной фильтрации последовательности кадров и отличающийся от известных двухэтапным характером обработки — поэлементной обработкой во временной последовательности кадров и последующей групповой обработкой внутри отдельного кадра, что обеспечивает при сохранении высокого быстродействия меньшую вероятность ложных срабатываний при обнаружении подвижного объекта.

3. Предложен метод рационального выбора параметров пространственно-временных фильтров, используемых в решении задачи обнаружения подвижного объекта, отличающийся от известных учётом информации об уровне шума, вносимого фотоэлектронным преобразователем в формируемое

панорамное изображение.

4. Разработан метод определения координат подвижного объекта, основанный на межкадровой фильтрации изображений, отличающийся от известных использованием априорной информации о размерах обнаруживаемых

подвижных объектов.

Практическая ценность работы заключается в создании набора методов, реализованных в виде библиотеки программных функций, что позволяет осуществлять проектирование сканирующих информационно-измерительных систем рассматриваемого класса без проведения дополнительных исследований.

Положения, выносимые на защиту:

1. Расчётные процедуры проверки корректности выбора параметров оптико-электронного узла и оценки и компенсации геометрических искажений формируемого панорамного изображения.

2. Метод определения области изображения, содержащей подвижный объект.

3. Метод рационального выбора параметров пространственно-временной фильтрации для обнаружения подвижных объектов.

4. Метод определения координат подвижного объекта, основанный на межкадровой фильтрации изображений.

Реализация результатов диссертационной работы. Прикладные результаты диссертационной работы были внедрены в ООО «Конус» в 2010 году в рамках х/д работы.

Теоретические результаты работы внедрены в учебные курсы «Информационные и измерительные устройства в мехатронике и робототехнике» и «Системы технического зрения и обработки информации» на кафедре робототехники и автоматизации производства Тульского государственного университета.

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на конференциях: Международной научной конференции «Математические методы в технике и технологиях» (Псков, ПГПИ, 2009 г.); 16-й Всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика» (Москва, 2009 г.); IV магистерской научно-технической конференции (Тула, ТулГУ, 2009 г.); VI молодёжная научно-практическая конференция Тульского государственного университета «Молодёжные инновации» (Тула, ТулГУ, 2012 г.), а также на научно-технических конференциях профессорско-преподавательского состава ТулГУ (2010-12 гг.) и научных семинарах кафедры РТиАП ТулГУ.

Публикации. По результатам исследований опубликовано 11 печатных работ, в том числе 5 статей и 6 докладов в сборниках трудов конференций, включая: 3 статьи в сборниках, рекомендованных ВАК для публикации материалов кандидатских диссертаций, 1 тезис доклада на международной конференции, 1 тезис доклада на всероссийской конференции.

Структура и объём работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных информационных источников из 100 наименований и приложений. Работа содержит 132 страницу машинописного текста, включает 63 рисунка, 3 таблицы и приложение на 13 страницах.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении содержится обоснование актуальности темы исследования, сформулированы цели и задачи диссертационной работы, дано краткое изложение результатов по основным разделам.

В первом разделе исследованы общие принципы организации сканирующих информационно-измерительных систем с функцией обнаружения движения.

Произведен анализ устройств обнаружения движения и показаны преимущества видеодетекторов сравнению с другими средствами обнаруения движения. Отмечено, что при использовании подобных систем не требуется установка дополнительного оборудования, обеспечивается возможность

непосредственного измерения параметров объекта (скорость, линейные размер, направление движения) и относительная простота настройки системы. Определена общая структура технического средства формирования и обработки видеоизображения и рассмотрены его основные компоненты.

Выполнен обзор и дана краткая классификация систем формирования панорамного изображения.

Описана система формирования панорамного изображения (СФГТИ) со стационарной камерой и с поворотным оптико-механическим узлом. Панорамное изображение в такой системе собирается из отдельных кадров, формируемых матричным фотоэлектронным преобразователем при различных положениях поворотного зеркала.

Разработана процедура обоснованного выбора элементов сканирующей информационно-измерительной системы. Сенсор и объектив выбраны корректно, если реальное время формирования панорамного изображения 1рг меньше заданого Iр, где

2л

<Р-г

г/,

N'-Dh-a0

где а0 — угол перекрытия кадров, град; Гу — время формирования отдельного полного кадра, в сек.; N' — ширина изображения (в пикселях), формируемого видеосенсором; Dp¡ — количество градусов, приходящееся на один

пиксель по горизонтали.

Произведена оценка и корректировка геометрических искажений в

СФПИ. Скорректированные координаты (m*ci,nci) узловых точек рассчитываются соответственно:

nci = п* cos (р + т* sin <p + Rh', тс* = ~ni sin Р + mi cos <P + Rv>

где n*, m* - нормированная координата узловой <-ой точки; ср - угол поворота, град; Я/, ,RV- сдвиг по горизонтали и по вертикати сетки тест-

объекта на изображении.

Произведен анализ методов обнаружения движения в последовательности кадров, выявлены их достоинства и недостатки. В результате сделан вывод о том, что метод должен быть аппаратно- и программно-ориентированным и не допускать ложных срабатываний, которые могут возникать из-за изменения освещения, динамического заднего плана, теней от движущих объектов, шума от аппаратуры.

Показано, что в существующих на данный момент видеодетекторах движения нет четкой методики по настройки системы по конкретные условия. Таким образом, возникает задача выбора рациональных значений параметров для системы обнаружения подвижных объектов.

Во втором разделе описан предлагаемый новый метод определения в потоке кадров области, содержащей изображение подвижного объекта.

Определена структура обрабатываемого изображения. Изображение представляет собой последовательность кадров формируемых в

моменты времени t0,tb...,tk,.... В реальных условиях камера системы в основном наблюдает неподвижную сцену-фон {Рв[/я,и]}. Периодически в кадре появляются контрастные подвижные объекты. С их появлением изменяется уровень яркости отдельных пикселей. Выявлена зависимость между движением объекта в трехмерном пространстве и движении на изображении.

Разработан метод определения области изображения, содержащей подвижный объект. Особенностью данного метода является двухэтапный характер обработки: на первом этапе предложено осуществлять поэлементную обработку изображения во временной последовательности кадров, на втором этапе — дополнительную групповую обработку пикселей внутри получившегося на первом этапе кадра-результата.

На первом этапе для межкадровой поэлементной обработки предложено использовать рекурсивные и нерекурсивные фильтры.

Способ 1. Обнаружение области, содержащей подвижный объект, с помощью рекурсивной фильтрации. Способ сводится к построению множества рекурсивных фильтров, с помощью которых осуществляется межкадровая поэлементная обработка видеоизображения с целью формирования массива оценок яркости фона {Р/щь [/",«]} для каждого пикселя.

Исходными данными для рекурсивного фильтра являются значения коэффициентов а и с, начальные значения фона Рй^т,п\ и порога РПорд[?я'и]>

порядок выбора которых приведён ниже.

1. Для второго и каждого из последующих кадров изображения {Рк[т,п§ повторить шаги 2-4.

2. Вычислить элементы логической матрицы признаков движения (ЛМПД) &[«.„]} путём сравнения отклонения яркости соответствующего пикселя Pk[tи,л] с ранее найденной оценкой фона Рв(к-1)[т>п]:

= Î1' еСЛи РВ(к-\)1т>п\ > Рпорк[™,"]

[О, иначе

3. Рекурсивно скорректировать оценку фона для тех пикселей которые на шаге 2 были отнесены к неподвижным областям изображения:

Р \т п]=\а РВ{к-\)[тА + ^-а)рк\тА ecMuQ*k[m,n] = 0; иначе

Здесь а— коэффициент обновления, имеющий порядок единицы.

4. Рекурсивно скорректировать величину порога Рпор/( [т,п\ для тех

пикселей Рк[т,п\, которые на шаге 2 были отнесены к неподвижным областям изображения:

г 1 kРПОр(*PB(k-1)кесли Q*k[m,n] = 0;

П°Р (Рлор(Ы)к>4 «"««е.

Здесь с - весовой коэффициент, больше единицы.

Выходом фильтра является ЛМПД \&[т,п% формируемая для каждого очередного кадра {Рк[т,п§. По ненулевым элементам этой матрицы на втором этапе обработки делается вывод о наличии изображения подвижного

объекта в данном кадре.

Способ 2. Обнаружение области, содержащей подвижный объект, с помощью нерекурсивной фильтрации. В данном способе формирование матрицы оценки яркости фона {РВк[™А осуществляется с помощью вычисления средней яркости по последовательности к„ кадров, что можно интерпретировать как линейную усредняющую фильтрацию в пределах окна размером ку, отсчётов.

В качестве критерия, определяющего факт движения, предложно использовать текущую оценку дисперсии яркостей а2к[т,п] по выборке соответствующих пикселей Рк[т,п\ из ку последовательно расположенных кадров начиная с к -го.

Исходными данными являются размер окна обработки значения

фона Рд[т,п] и порога Рпор, пороговое значение дисперсии апор.

1. Для каждого из последующих кадров изображения {Рк[т,п} повторить шаги 2-4.

2. Для каждого анализируемого элемента изображения вычислить текущую оценку средней яркости Рк[т,п\ по выборке соответствующих элементов из к,, последних кадров, попадающих в окно обработки:

- г т 1 „ г т

Рк\т'п\- у Е Рк-ЛтА-ку ,=о

3. Для этой же выборки элементов вычислить оценку дисперсии шума а1[т,п]:

4. Вычислить элементы ЛМПД ^¿к«]) пУтём сравнения текущего значение средней яркости Рк[т,п\ со значением фона Рв[т,п] и текущего значение дисперсии а1[т,п] с пороговым значением апор:

<2У\[т п]=I1' есми |^к"]-/,вки]>рпорк"]"аАк"]>стпор;

[О, иначе.

Выходом нерекурсивного фильтра также является

ЛМПД

формируемая для каждого очередного кадра {Рк[т,п§.

На втором этапе обработки предложено выполнять дополнительную фильтрацию ЛМПД )&к4> позволяющую снизить вероятность ложных срабатываний детектора движения. Очевидно, что в зоне обнаружения изображение подвижного объекта должно иметь размеры, существенно превышающие размеры отдельного пикселя. Это позволяет предположить, что

ненулевые элементы ЛМПД формирование которых обусловлено

движением объекта, должны располагаться достаточно большими группами. Для обнаружения групп ненулевых элементов ЛМПД использованы фильтры, основанные на порядковой статистике.

Исходными данными для процедуры второго этапа обработки является

матрица ^ [/",«]}.

1. Для каждой пары координат \т,и], 0<т<{М — \), 0<п<{Ы—\) выполнить шаги 2-4.

2. Сформировать выборку элементов ЛМПД 01 из окрестности элемента 0>*к[т,п}, —+ +

3. Упорядочение выборки по величинам входящих элементов в порядке возрастания < ?(/.у)+1 V/ е (0... У -1), V; е (0... / -1).

4. Сформировать элемент отфильтрованной ЛМПД <2^ \т, п\ по правилу: при нечетном количестве элементов в выборке, элемент ЛМПД Q|<■\m,n\ равен значению элемента который занимает центральное положение

рк(

в упорядоченной выборке, при четном количестве элементов в выборке:

Ок[™,п]=- 2

Для упрощения рассуждений, а также учитывая выполненные экспериментальные оценки характера случайных искажений, в работе принято допущение о том, что шум является аддитивным, некоррелированным белым гауссовым.

Разработан метод рационального выбора параметров пространственно-временной фильтрации для обнаружения подвижных объектов.

Исходными данными являются характерные линейные размеры объекта Ьх, Ьу, скорость У, типовое значение перепада яркости при появлении подвижного объекта {РВ1<\т,п\- Р\т,п\), технические характеристики камеры.

1. Определить уровень шума в изображении в типовых условиях функционирования системы. Для этого осуществляют съёмку тест-объекта, представляющего изображение плашек различной оптической плотности, по которым осуществляется оценка математического ожидания уровня яркости

Рагт и среднеквадратического отклонения шума аапп.

2. Выполнить оценку яркости фона{/^[т,и]}. Достаточно продолжительный период, включающий первые ^насгр кадров, камера наблюдает неподвижную сцену, содержащую только статические элементы фона. Это позволяет достаточно точно выполнить оценку истинной яркости фона Рво[т>п\= ЛтстрК"]:

__1 ^ к астр ^ г

Р« аярЫ = 7- Л

лнастр к—О

3. Выполнить оценку дисперсии шума Онастр^."]'-

ggacrp1 Лл W^l-^pM)2 =

Л-настп-1 «=0

4. Оценить параметры для рекурсивного фильтра.

4.1 Оценить первоначальную величину порога ^поро!/"'"]- Согласно правилу «трех сигм» ^пор()[от,/1] вычисляется как: РпОр0[т>и] = 3 ■ Стнастрки].

4.2 Вычислить значение параметра а.

Построена зависимость для вычисления значения коэффициента а по заданному времени реакции системы и выбранной частотой обновления кадров:

где Тг- время реакции, с; /к- частота кадров, кадр/с; (Рв - Рк)- типовая величина перепада яркости при появлении подвижного объекта; степень приближения величины оценки фона к реальному значению яркости элемента сцены.

4.3 Вычислить значение параметра с:

4аапп

где р _ верхняя граница порога; оапп— среднеквадратическое откло-

пиР max нение яркости пикселей.

5. Оценка параметров для нерекурсивного фильтра.

5.1 Вычислить минимальное значение порога Рпор:

- _ ^нас-трЬ'"]

где , _ коэффициент Стьюдента, величина, зависящая от количества кадров К участвующих в вычислениях и заданного уровня доверительной вероятности р, определяется по таблице, приводимой в справочниках.

2

5.2 Вычислить пороговое значение дисперсии а пор-

2 (KHacmp-\)alacmp[m,n] О пор — 2 '

X

гдех2 _ величина, распределенная по закону Х2с числом степеней свобод

1 + Р

К-1 и вероятностью события —— •

5.3 Выбрать размер окна

К cosa

В результате при применении данного метода существенно сокращается время настройки системы под конкретные условия.

В третьем разделе описан метод определения координат подвижного объекта, основанный на фильтрации изображений межкадровой разности.

Построена математическая модель изображения межкадровой разности. Объект представлен на изображении группой пикселей, яркости (цветовые оттенки) которых, при движении подвижного объекта, будут изменяться согласованно.

Показаны характерные случаи изменения в изображении межкадровой разности.

При малой скорости движения объекта в изображении межкадровой разности форма и размер объекта изменяются из-за наложения изображения объекта от предыдущего кадра. Когда перемещение объекта между кадрами больше его линейных размеров, форма и размер объекта на разностном изображении сохраняется. Это позволяет выявлять подвижные объекты в кадре, как группу пикселей с заданной формой и размерами.

Разработан метод определения координат подвижных объектов с помощью фильтров с ограниченной апертурой.

В качестве базовой функции использована функция Гаусса, функции «мексиканская шляпа», треугольная функция, прямоугольная функция, ко-синусоидная функция.

Исходными данными является характерные размеры объектов Rh х Rv.

1. Вычислить межкадровую разность рЦ\т,п\ соседних кадров.

2. Построчно, для каждого элемента [т,п] вычислить коэффициент

P[m,n,s\ вдиапазоне s0-^As<j<ío

Коэффициенты фильтрации находятся по формуле:

М-1 » 1

Pk[m,n,s] = I Pk[m,n + i]-~ф /=0

dt;

где 5 — масштаб; <р

— масштабированная базовая функция.

Показано, что наиболее точные координаты объекта дает обработка с использованием функций Гаусса, имеющая вид:

^VimC^-VJ) = —ехР

[ а ;2 ^

' J

2sx2 25,,2

масштаб по вертикальным и горизонтальным осям соответственно.

Для определения области пространственной локализации выбранного ядра фильтрации предложено считать, что функция существенно отлична от нуля в случае, если её величина составляет не менее 5% от максимального

значения при выбранных параметрах ях и зу. Максимум функции <?gauss достигается при 1 = 0, у = 0 и равен тахФвави = —. Таким образом, задавшись характерными размерами объекта, Як х Я* область масштабов опреде-

ляется из условия:

г ( »V

I я» I 2 . ^ I . д

г * > 2 ( »\

Ч,)

2 Лу ^ 2

ч \

1Т2 1п20.

Значение Д* Л можно оценить как:

«н

^'«-¡Ь+ЫЬ-где Щг — изменение линейного размера объекта (в пикселях).

3. Результатом фильтрации является двухмерный массив значений коэффициента Р[т, п, 5].

4. Вычислить локальный максимум тахР[т,п,з] для каждого анализируемого масштаба Максимальное значения коэффициента Р[т,п,з] будет тогда, когда ширина фильтра будет соизмерима с размером изображения подвижного объекта.

В полосе анализируемого масштаба определяется в локальных максимумов.

5. Координаты подвижного объекта по горизонтали вычислить, как среднеарифметическое индексов расположения максимумов, определенных для различных масштабов.

6. Аналогично определить вертикальные координаты подвижного объекта. ♦

В четвертом разделе проведены экспериментальные исследования методов обнаружения подвижных объектов. Разработано программное обеспечение обнаружения подвижных объектов для сканирующей информационно-измерительной системы панорамного наблюдения.

Для оценки качества работы методов был проведены экспериментальные исследования. Для этой цели были промоделированы значения пикселей Р^/с[т,п] в последовательность К кадров.

Зависимость вероятности ложного срабатывания и пропуска цели от величины коэффициентов а и с показано на рисунке 1. Очевидно, что качество нахождения подвижных объектов тем выше, чем ближе кривые к нулю. Экспериментально было подтверждено правильность выбора коэффициентов фильтрации.

На рисунке 2 показан график влияния шума на уровень ложных срабатываний при обнаружении подвижных объектов с помощью стандартной системы наблюдения и при помощи разработанного двухэтапного метода определения подвижных областей. Как видено из графика вероятность ложных срабатываний при использовании данного метода значительно меньше, бла-

годаря этому достигается большая надежность обнаружения подвижных объектов.

1

Рисунок 1. График зависимости уровня ложных срабатываний и пропуск целей от величины коэффициента а (а) и коэффициента с (б).

о. о СО

0.084 0.072 0.06 0.( 0.036

0.024 0.012'

V

Л

/ стандартная система

предложенный метод

0 0.05 1.7 2.55 3.4 4.25 5.1

Шум

Рисунок 2. График влияния величины шума на уровень ложных срабатываний

Приведены результаты экспериментального исследования предложенных методов обнаружения подвижных объектов.

В заключении сделан вывод в целом по диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ По диссертационной работе можно сформулировать следующие основные выводы и результаты:

1. На основе анализа научно-технической литературы произведён анализ существующих подходов к решению задачи обнаружения подвижных объектов и разработана классификация детекторов движения. Показано, что для большинства практических приложений наиболее эффективными являются видеодетекторы.

2. В результате исследования обобщённой структуры сканирующей информационно-измерительной системы обнаружения движения выявлены основные параметры, определяющие эффективность её работы. Для существующих систем отсутствует формально обоснованная методика настройки под конкретные условия эксплуатации.

3. Для сканирующих систем со стационарной камерой и поворотным оптико-механическим узлом разработаны процедура проверки соответствия частных параметров оптико-электронного узла общим требованиям, предъявляемым к формируемому панорамному изображению, а также процедура оценки геометрических искажений, вносимых оптико-электронным узлом и их последующей компенсации на этапе предварительной обработки панорамного изображения.

4. Выполнен анализ существующих методов обнаружения подвижных объектов, определены их достоинства и недостатки, показана невозможность непосредственного применения данных методов в сканирующих информационно-измерительных системах панорамного типа.

5. Для формального описания предлагаемых методов определена математическая модель обрабатываемого панорамного изображения, найдены зависимости, связывающие изменения в последовательности кадров панорамного изображения с движением объекта в трехмерном пространстве.

6. Разработан метод определения области изображения, содержащей подвижный объект, основанный на пространственно-временной фильтрации последовательности кадров. Метод включает два этапа: поэлементную обработку во временной последовательности кадров и последующую групповую обработку внутри отдельного кадра. Благодаря этому достигается меньшая вероятность ложных срабатываний при обнаружении подвижных объектов, и сохраняется высокое быстродействие системы.

7. Разработан метод рационального выбора параметров пространственно-временной фильтрации на основе анализа технических характеристик элементов системы формирования изображения, который позволяет сократить время настройки системы на условия работы и обеспечить повышение качества её функционирования.

8. Разработан метод определения координат подвижного объекта, основанный на межкадровой фильтрации изображений и априорных сведениях о

размерах подвижных объектов.

9. Приведены результаты экспериментального исследования предложенных методов обнаружения подвижных объектов. В частности при сравнении со стандартной системой обнаружения движения было установлено снижение вероятности ложного срабатывания с 0,081 до 0,010 при постоянной вероятности пропуска цели 0,010, что подтверждает повышение эффективности функционирования информационно-измерительной системы панорамного наблюдения.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ 1 Сергеев Е.А. Выбор рациональных параметров фильтрации в задаче обнаружения движения / Е.А. Сергеев, В.В. Котов // Сборник трудов

Il

Международной научной конференции «Математические методы в технике и технологиях» ММТТ-22. Секция 9. - 2009. - Т. 8 - С. 26 - 28.

2. Сергеев Е.А. Выделение движущихся объектов по серии изображения / Е.А. Сергеев // Приборы и управление: Сборник статей молодых ученых.-2009-№7.-С. 117-121.

3. Сергеев Е.А. Методы обнаружения движения в последовательности кадров / Е. А. Сергеев // Вестник Тульского государственного университета. Системы управления. — 2009. — №1. —С. 154—158.

4. Сергеев Е.А. Построение адаптивного алгоритма обнаружения движения в последовательности кадров / Е.А. Сергеев // Микроэлектроника и информатика-2009. 16-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Тезисы докладов. — 2009. — С. 138.

5. Сергеев Е.А. Построения кадра фона в задаче обнаружения движения / Е.А. Сергеев // IV-я магистерская научно-техническая конференция Тульского государственного университета: Сборник. - 2009. - С. 173 - 174.

6. Сергеев Е.А. Проектирование системы формирования панорамного изображения повышенного разрешения / Е.А. Сергеев, В.В. Котов // Вестник Тульского государственного университета. Системы управления. -2009. -№ 1.- С. 110- 114.

7. Сергеев Е.А. Методика оценки геометрических искажений в системах формирования панорамного изображения / Е.А. Сергеев, В.В. Котов // Известия ТулГУ. Технические науки. - 2010. - № 4. - 4.1. -С. 271-277.

8. Сергеев Е.А. Обнаружение подвижных объектов в системе видеонаблюдения / Е.А. Сергеев // VI молодёжная научно-практическая конференция Тульского государственного университета «Молодёжные инновацию): сборник докладов. - 2012. - Ч. 1. - С. 247 - 248.

9. Сергеев Е.А. Обнаружение подвижных объектов методом пространственно-временной фильтрации / Е.А. Сергеев, В.В. Котов // Известия ТулГУ. Технические науки. 2012. - № 2. - С. 424 - 427.

10. Сергеев Е.А. Метод компенсации геометрических искажений для бесшовной сшивки изображений / Е.А. Сергеев // VI молодёжная научно-практическая конференция Тульского государственного университета «Молодёжные инновации»: сборник докладов.-2012. - Ч. 1.-С. 249-250.

11. Сергеев Е.А. Модель формирования изображения подвижного объекта в системе обнаружения движения / Е.А. Сергеев // Известия ТулГУ. Технические науки. - 2012. - № 2. - С. 428 - 431.

Изд.лиц.ЛР № 020300 от 12.02.97. Подписано в печать 18.04.2014 Формат бумаги 60x84 !/16. Бумага офсетная.

Усл.печ. л. 0,9 Уч.изд. л. 0,8 Тираж 100 экз. Заказ 108 Тульский государственный университет.

300012, г. Тула, просп.Ленина, 92.

Отпечатано в Издательстве ТулГУ.

300012, г. Тула, просп.Ленина, 95.

ГБОУ ВПО «ТУЛЬСКИЙ ГОСУДАРСТВЕНЫЙ УНИВЕРСИТЕТ»

На правах рукописи

УДК 681.5(075.8)

СЕРГЕЕВ ЕВГЕНИЙ АЛЕКСАНДРОВИЧ

04201458658

МЕТОДЫ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В СКАНИРУЮЩИХ ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫХ СИСТЕМАХ ОБНАРУЖЕНИЯ ДВИЖЕНИЯ

специальность 05.11.16 - Информационно-измерительные и управляющие

системы (в промышленности)

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук,

доцент Котов В.В.

Тула, 2014

СОДЕРЖАНИЕ

ВВЕДЕНИЕ..............................................................................................................5

1. ТЕХНИЧЕСКИЕ СРЕДСТВА ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ И МЕТОДЫ ОБРАБОТКИ С ЦЕЛЬЮ ОБНАРУЖЕНИЯ ДВИЖЕНИЯ....................................................................................................13

1.1. Задача обнаружения подвижных объектов.................................................13

1.1.1. Инфракрасные детекторы движения...............................................13

1.1.2. Радиоволновые детекторы движения..............................................15

1.1.3. Ультразвуковые детекторы..............................................................16

1.1.4. Видеодетекторы движения...............................................................17

1.2. Общая структура сканирующей информационно-измерительной системы формирования панорамного изображения..................................18

1.2.1. Общая структура системы................................................................18

1.2.2. Классификация систем формирования панорамного изображения.......................................................................................22

1.2.3. Система формирования панорамного изображения......................25

1.2.4. Процедура проверки соответствия параметров оптико-электронного узла требованиям, предъявляемым к панорамному изображению.............................................................26

1.2.5. Процедура оценки геометрических искажений и их компенсации......................................................................................31

1.3. Основные технические параметры сканирующих информационно-измерительных систем..................................................................................38

1.4. Сравнительный анализ методов обнаружения движения в последовательности кадров..........................................................................40

1.4.1. Метод межкадровой разности..........................................................41

1.4.2. Метод усредненного фона................................................................42

1.4.3. Метод, основанный на вероятностной модели..............................42

1.4.4. Зональные методы обнаружения движения...................................43

1.4.5. Частотный метод обнаружения движения......................................47

1.5. Выводы по разделу и задачи исследования................................................49

2. ОБНАРУЖЕНИЕ ПОДВИЖНОЙ ОБЛАСТИ ПУТЕМ ПОЭЛЕМЕНТОГО АНАЛИЗА ИЗОБРАЖЕНИЯ.......................................51

2.1. Структура обрабатываемых изображений..................................................51

2.2. Оценка уровня шума используемого видеосенсора..................................56

2.3. Связь изменений в кадрах изображения с движением объекта в трехмерном пространстве.............................................................................61

2.4. Метод определения области изображения, содержащей подвижный объект..............................................................................................................64

2.4.1. Основа метода....................................................................................64

2.4.2. Обнаружение области, содержащей подвижный объект, с помощью рекурсивной фильтрации................................................65

2.4.3. Обнаружение подвижного объекта с помощью нерекурсивной фильтрации............................................................69

2.4.4. Обнаружение подвижного объекта по группе пикселей...............74

2.5. Рациональный выбор параметров рекурсивной фильтрации для обнаружения подвижных объектов.............................................................76

2.6. Метод рационального выбора параметров пространственно-временной фильтрации для обнаружения подвижных объектов.............81

2.7. Выводы по разделу........................................................................................82

3. ОЦЕНКА КООРДИНАТ ПОДВИЖНОГО ОБЪЕКТА В ИЗОБРАЖЕНИИ.............................................................................................83

3.1. Формирование изображения межкадровой разности................................83

3.2. Метод определения координат подвижного объекта, основанный на фильтрации изображений межкадровой разности.....................................89

3.3. Выводы по разделу......................................................................................103

4. ЭКСПЕРЕМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ СКАНИРУЮЩЕЙ ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНОЙ СИСТЕМЫ ОБНАРУЖЕНИЯ ПОДВИЖНЫХ ОБЪЕКТОВ........................................104

4.1. Алгоритмы и программное обеспечение для системы обнаружения движения......................................................................................................104

4.2. Синтез изображений для эксперимента....................................................108

4.3. Проверка влияния параметров фильтров на свойства системы.............112

4.4. Исследования влияния параметров фильтров на вероятности ложного срабатывания и пропуска объекта.............................................115

4.5. Экспериментальные исследования предлагаемых методов при использовании нерекурсивной фильтрации.............................................116

4.6. Сравнительные исследования стандартной системы с предлагаемыми методами при использовании рекурсивной фильтрации...................................................................................................119

4.7. Выводы по разделу......................................................................................120

5. ЗАКЛЮЧЕНИЕ.............................................................................................121

6. СПИСОК ИСПОЛЬЗОВАННЫХ ИНФОРМАЦИОННЫХ ИСТОЧНИКОВ..............................................................................................123

ПРИЛОЖЕНИЕ 1. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ОБНАРУЖЕНИЯ ПОДВИЖНЫХ ОБЪЕКТОВ........................................................................133

ПРИЛОЖЕНИЕ 2. ТЕХНИКО-ЭКОНОМИЧЕСКАЯ

ЭФФЕКТИВНОСТЬ ВНЕДРЕНИЯ РЕЗУЛЬТАТОВ РАБОТЫ............142

ВВЕДЕНИЕ

Актуальность темы. В настоящее время системы видеонаблюдения находят все более широкое применение в различных сферах человеческой жизни. Помимо очевидного использования в сфере охраны разного рода мобильных и стационарных объектов [1, 2, 41, 49, 68] такие системы также применяются в научных исследованиях [23, 32] и в промышленности [74, 89], например, в задачах оценки визуальной обстановки, складывающейся при функционировании производственно-технологических комплексов различных типов [79, 83, 87].

Учитывая, что значительная зрительная нагрузка оператора системы вызывает его утомление и снижает эффективность наблюдения с течением времени [41], перечисленные выше факторы обуславливают актуальность и целесообразность разработки средств и методов автоматизации отдельных функций оператора или всей его деятельности в целом. В частности, одним из элементов автоматической оценки визуальной обстановки системами видеонаблюдения является обнаружение движения тех или иных объектов на контролируемых сценах.

Задача обнаружения движущихся объектов в силу своей специфики до сих пор полностью не решена. В большинстве существующих методов нет четких критериев по настройке детектора движения под конкретные условия эксплуатации. В результате разработчикам приходится опытным путём подбирать параметры системы, что увеличивает время её проектировании и наладки, а также снижает эффективность функционирования.

Технические характеристики основных элементов, используемых при построении подобных информационно-измерительных систем, постоянно совершенствуются: увеличивается число элементов дискретизации, а также чувствительность фотоэлектронных преобразователей, формирующих информационный сигнал; увеличивается ёмкость оперативной и внешней памяти, быстродействие интерфейсов цифровой передачи данных; постоянно

возрастает производительность сигнальных процессоров. При этом стоимость элементной базы сокращается.

Исходя из вышеизложенного, очевидно, что уровень развития аппаратной части информационно-измерительной системы опережает уровень развития программной. Поэтому эффективности работы всей системы можно существенно повысить за счёт совершенствования алгоритмов и программного обеспечения обработки видеоинформации.

Перечисленные обстоятельства обуславливают актуальность задачи создания усовершенствованных методов обработки изображений в информационно-измерительных системах панорамного наблюдения, обеспечивающих обнаружение подвижных объектов.

Объектом исследования является сканирующий аппаратно-программный комплекс панорамного видеонаблюдения повышенного пространственного разрешения с функцией обнаружения движения, который включает оптико-электронные средства формирования и обработки панорамного изображения, а также математическое и программное обеспечение анализа и обнаружения движения в сформированном потоке кадров.

Предметом исследования диссертационной работы являются математические методы и программные средства, обеспечивающие в процессе функционирования систем видеонаблюдения рассматриваемого класса требуемую надёжность обнаружения подвижного объекта.

Методы исследования. В работе используются методы теории вероятностей и математической статистики, теории цифровой обработки сигналов. Разработка алгоритмов и программ осуществлялась с использованием объектно-ориентированного подхода к организации данных и алгоритмов.

Вопросами цифровой обработки изображений и синтеза систем формирования изображения занимались отечественные учёные: М.Б. Руцков [49], Г.П. Катыс [30], В.В. Яншин [79], В.А. Сойфер [63]; зарубежные учёные: Б. Яне [78], Р. Гонсалес [16], Р. Вудс [16], Д. Форсайт [72]. В известных работах предложены варианты решения частных задач обнаружения движения.

Целью диссертационной работы является повышение эффективности функционирования информационно-измерительной системы панорамного наблюдения, обеспечивающей обнаружение подвижных объектов в потоке кадров повышенного разрешения, путем совершенствования методов обработки измерительной информации.

В соответствии с поставленной целью в диссертационной работе решены следующие задачи.

1. Произведен анализ существующих подходов обнаружения подвижных объектов. Показано, что сканирующие системы, основанные на обработке видеоизображения, являются наиболее перспективными средствами обнаружения движения.

2. Исследована обобщённая структура сканирующей информационно-измерительной системы обнаружения движения, выявлены основные параметры, определяющие эффективность работы системы.

3. Показано, что конструкция и параметры оптико-механического узла и фотоэлектронного преобразователя в рассматриваемых сканирующих системах существенным образом влияют на параметры формируемых изображений, являющихся входными данными для проектируемых методов и алгоритмов обработки и обнаружения движения. Для панорамных систем со стационарной камерой и поворотным оптико-механическим узлом разработаны формальные процедуры обоснования выбора параметров этих элементов.

4. Выполнен анализ существующих методов обнаружения подвижных объектов, показана невозможность непосредственного их применения в сканирующих информационно-измерительных системах панорамного типа.

5. Предложено рассматривать задачу обнаружения на изображении областей с подвижными объектами как двухэтапную процедуру. На первом этапе предложено выполнять поэлементную обработку изображения во временной последовательности кадров, на втором этапе — групповую обработку предварительно отобранных элементов внутри отдельного кадра.

6. Показано влияние технических характеристик используемого оборудования (в частности, шума видеосенсора) на параметры предлагаемых

I

фильтров. Разработан метод рационального выбора параметров пространственно-временных фильтров.

7. Разработан метод определения координат подвижного объекта, основанный на межкадровой фильтрации изображений.

8. Предложенные методы реализованы в экспериментальном программно-аппаратном сканирующем комплексе и выполнена экспериментальная проверка их эффективности.

Научная новизна работы заключается в следующем:

1. Для сканирующих информационно-измерительных систем панорамного видеонаблюдения предложены расчётные процедуры, отличающиеся от известных применением к системам со стационарной камерой и поворотным оптико-механическим узлом, и включающие процедуру проверки соответствия частных параметров оптико-электронного узла общим требованиям, предъявляемым к формируемому панорамному изображению и процедуру оценки геометрических искажений, вносимых оптико-электронным узлом и их последующей компенсации на этапе предварительной обработки панорамного изображения.

2. Разработан метод определения области изображения, содержащей подвижный объект, основанный на пространственно-временной фильтрации последовательности кадров и отличающийся от известных двухэтапным характером обработки — поэлементной обработкой во временной последовательности кадров и последующей групповой обработкой внутри отдельного кадра, что обеспечивает при сохранении высокого быстродействия меньшую вероятность ложных срабатываний при обнаружении подвижного объекта.

3. Предложен метод рационального выбора параметров пространственно-временных фильтров, используемых в решении задачи обнаружения подвижного объекта, отличающийся от известных учётом информации об

уровне шума, вносимого фотоэлектронным преобразователем в формируемое панорамное изображение.

4. Разработан метод определения координат подвижного объекта, основанный на межкадровой фильтрации изображений, отличающийся от известных использованием априорной информации о размерах обнаруживаемых подвижных объектов.

Практическая ценность работы заключается в создании набора методов, реализованных в виде библиотеки программных функций, что позволяет осуществлять проектирование сканирующих информационно-измерительных систем рассматриваемого класса без проведения дополнительных исследований.

Положения, выносимые на защиту:

1. Расчётные процедуры проверки корректности выбора параметров оптико-электронного узла и оценки и компенсации геометрических искажений формируемого панорамного изображения.

2. Метод определения области изображения, содержащей подвижный объект.

3. Метод рационального выбора параметров пространственно-временной фильтрации для обнаружения подвижных объектов.

4. Метод определения координат подвижного объекта, основанный на межкадровой фильтрации изображений.

Реализация результатов диссертационной работы. Прикладные результаты диссертационной работы были внедрены в ООО «Конус» в 2010 году в рамках х/д работы.

Теоретические результаты работы внедрены в учебные курсы «Информационно-измерительные устройства в мехатронике и робототехнике» и «Системы технического зрения и обработки информации» на кафедре робототехники и автоматизации производства Тульского государственного университета.

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на конференциях: Международной научной конференции «Математические методы в технике и технологиях» (Псков, 111'ПИ, 2009 г.); 16-й Всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика» (Москва, 2009 г.); IV магистерской научно-технической конференции (Тула, ТулГУ, 2009 г.); VI молодёжная научно-практическая конференция Тульского государственного университета «Молодёжные инновации» (Тула, ТулГУ, 2012 г.), а также на научно-технических конференциях профессорско-преподавательского состава ТулГУ (2010-12 гг.) и научных семинарах кафедры РТиАП ТулГУ.

Публикации. По результатам исследований опубликовано 11 печатных работ, в том числе 5 статей и 6 докладов в сборниках трудов конференций, включая: 3 статьи в сборниках, рекомендованных ВАК для публикации материалов кандидатских диссертаций, 1 тезис доклада на международной конференции, 1 тезис доклада на всероссийской конференции.

Структура и объём работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных информационных источников из 100 наименований и приложений. Работа содержит 132 страницу машинописного текста, включает 63 рисунка, 3 таблицы и приложение на 13 страницах.

Во введении содержится обоснование актуальности темы исследования, сформулированы цели и задачи диссертационной работы, дано краткое изложение результатов по основным разделам.

В первом разделе исследованы общие принципы организации сканирующих информационно-измерительных систем с функцией обнаружения движения.

Произведен анализ устройств обнаружения движения и выполнена их классификация. Определена обобщённая структура систем формирования и

обработки видеоизображения. Выполнен обзор и дана краткая классификация систем формирования панорамного изображения.

Описана система формирования панорамного изображения (СФПИ) со стационарной камерой и с поворотным оптико-механическим узлом. Предложена процедура обоснованного выбора элементов сканирующей информационно-измерительной системы. Произведена оценка геометрических искажений в СФПИ. Произведен анализ методов обнаружения в последовательности кадров, выявлены их достоинства и