автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка алгоритмов для решения задачи устойчивого видеослежения в больших помещениях

На правах рукописи

003469121

Стрельников Константин Николаевич

Исследование и разработка алгоритмов для решения задачи устойчивого

видеослежения в больших помещениях

05.13.11 - Специальность - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

1 А '.Ш 2303

Москва - 2009

003469121

Работа выполнена в Учреждении Российской академии наук Институте прикладной математики имени М.В. Келдыша РАН.

Научный руководитель:

доктор физико-математических наук Галактионов Владимир Александрович

Официальные оппоненты: доктор физико-математических паук,

профессор

Соколов Сергей Михайлович

кандидат технических наук Визилътер Юрий Валентинович

Ведущая организация:

Учреждение Российской академии наук Научно-исследовательский институт системных исследований РАН

Защита состоится «09» июня 2009 г. в 11 часов на заседании диссертационного совета Д 002.024.01 при Учреждении Российской академии наук Институте прикладной математики имени М.В. Келдыша РАН, расположенном по адресу: 125047. Москва, Миусская пл., 4

С диссертацией можно ознакомиться в библиотеке института. Автореферат разослан «2Н » апреля 2009 г.

Ученый секретарь диссертационного совета,

Г

доктор физико-математических наук^ —Т.А. Полилова

Общая характеристика работы

Объект исследования и актуальность работы

Видеоиаблюдснпе применяется в современном мире повсеместно: для охраны объектов, борьбы с терроризмом, мониторинга дорожного движения, в научных исследованиях. Эти задачи затрагивают многие аспекты социальной жизни и являются чрезвычайно актуальными.

С появление цифровых видеорсгистраторов появилась возможность обработки видеоданных при помощи персонального компьютера или специализированных чипов, что привело к появлению нового круга задач в цифровой обработке сигналов. Увеличение быстродействия процессоров позволило обрабатывать цифровые видеоданные в реальном времени, благодаря чему круг задач вндеонаблюдения, решаемых при помощи компьютеров, расширяется с каждым годом. Например, к ним относятся: распознавание номеров автомобилей, обнаружение и распознавание лиц, изучение поведения животных, обнаружение движущихся объектов.

В данной работе исследуется проблема надёжного видеонаблюдения в больших помещениях. Созданные методы и программная система представляют интерес для организаций занимающихся обеспечением безопасности на складах, вокзалах, стоянках, в выставочных залах и на других обширных территориях. Для ведения вндеонаблюдения в таких помещениях требуется большое количество видеокамер. Благодаря их удешевлению, это уже не является проблемой. Однако, оператору системы видеонаблюдения приходится отслеживать огромный поток данных. Что сложно даже при наличии автоматического обнаружения движущихся объектов. Для уменьшения нагрузки на оператора сделан следующий шаг в видеонаблюдении — системы видеослежения.

Задача видеослежения заключается в определении положения объекта на плане наблюдаемой территории по видеоданным, полученным от одной пли нескольких камер. Задача видеослежения не может эффективно решаться без использования поворотных (PTZ) камер. Данная работа ориентирована главным образом на решение проблем, возникающих при работе с такими камерами.

Задача видеослежения разделяется на три подзадачи:

• калибровка плана — определение соответствия между точками в трёхмерном пространстве охраняемой территории и точками на двухмерном плане;

• ка.либровка видеокамер — определение положения и ориентации видеокамер в пространстве;

• обнаружение областей интереса — определение областей кадра, соответствующих движущимся, ранее отсутствовавшим или пропавшим объектам.

Калибровка плана выполняется путём задания мировых координат для двух точек плана и не вызывает трудностей. В работе исследуются задачи калибровки видеокамер и обнаружения областей интереса.

Цель диссертационной работы

Целью работы является исследование и разработка методов и алгоритмов для определения положения и ориентации поворотных камер в больших помещениях и устойчивого автоматического обнаружения областей интереса по видеоданным от поворотных камер, а также создание программной системы видеослежения на основе разработанных алгоритмов.

Основные задачи работы:

• Исследование существующих алгоритмов калибровки видеокамер. Разработка метода совместной калибровки поворотных видеокамер для больших помещений.

• Разработка метода автоматического обнаружения объектов при помощи поворотных видеокамер устойчивого к изменению освещения.

• Разработка программной системы видеослежения с применением предложенных методов.

Научная новизна работы

Предложен новый метод определения положения и ориентации поворотных камер для больших помещений. В отличие от существующих решений разработанный метод позволяет определять положение и ориентацию группы поворотных видеокамер в больших помещениях за короткий промежуток времени при малом участии человека.

Предложенный метод устойчивого автоматического обнаружения областей интереса при помощи поворотных видеокамер также является новым. Он объединяет два подхода к обнаружению областей интереса: моделирование окружения и анализ движения в кадре. В отличие от существующих решений разработанный метод объединяет ряд достоинств: обеспечивает высокую скорость обработки, устойчив к значительным изменениям условий освещения и позволяет обнаруживать как движущиеся, так и неподвижные объекты. Высокая скорость работы позволяет одновременно обрабатывать большое количество видеоданных на одной вычислительной машине.

Практическая значимость

Предложенный метод определения положения и ориентации поворотных камер в пространстве позволяет значительно снизить время затрачиваемое на настройку систем видеонаблюдения. Процесс настройки может быть выполнен одним человеком и не требует высокой квалификации.

Разработанный метод обнаружения объектов обладает высокой устойчивостью к изменению условий освещения. Благодаря чему метод может применяться как в помещениях, так и на улице.

На основе разработанных методов построена система видеослежения, позволяющая значительно облегчить работу оператора. Применение системы позволяет сократить количество сотрудников, осуществляющих видеоконтроль, а также повысить надёжность видеоконтроля.

Имеются два внедрения разработанной системы:

• система установлена в лаборатории компьютерной графики МГУ им. М.В. Ломоносова;

• система приобретена предприятием-заказчиком Aware Digital для ведения видеонаблюдения в складских ангарах.

Результаты и положения, выносимые на защиту

На защиту выносятся следующие основные результаты и положения:

1. На основе проведенного исследования алгоритмов калибровки видеокамер разработан и реализован метод совместной калибровки поворотных видеокамер для больших помещений, который позволяет значительно сократить время, затрачиваемое на калибровку.

2. Разработан и реализован метод обнаружения объектов с помощью поворотных видеокамер, обладающий устойчивостью к изменению освещения и позволяющий обнаруживать неподвижные объекты.

3. На основе предложенных алгоритмов разработана программная система видеослежения, используемая в реальных практических приложениях.

Апробация работы

Результаты работы докладывались и обсуждались на:

• 9-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2006;

• 16-й международной конференции по компьютерной графике и машинному зрению «СгарЫсоп-2006», Россия, Новосибирск, 2006;

• 10-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2007;

• 17-й международной конференции по компьютерной графике и машинному зрению «СгарЫсоп-2007», Россия, Москва, 2007;

• 18-й международной конференции по компьютерной графике и машинному зрению «СгарЫсоп-2008», Россия, Москва, 2008;

• семинаре по компьютерной графике и мультимедиа под руководством Ю.М. Баяковского (ф-т ВМиК МГУ), Россия, Москва, 2008;

• объединенном семинаре по робототехническим системам ИПМ им. М.В. Келдыша РАН, МГУ им. М.В. Ломоносова, МГТУ им. Н.Э. Баумана, ИНОТиИ РГГУ и отделения «Программирование» ИПМ им. М.В. Келдыша РАН, Россия, Москва, 2008;

• 12-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2009;

• семинаре "Проблемы проектирования и реализации базового аппаратно-программного обеспечения" НИИ системных исследований РАН, Россия, Москва, 2009.

Публикации

По результатам работы имеется 8 публикаций, включая 1 статью в рецензируемом научном журнале из списка ВАК [1], 1 статью в тематическом сборнике [2], 3 статьи в сборниках трудов международных научных конференций [3-5], 3 статьи в сборниках трудов научно-практических семинаров [6-8].

Структура и объем диссертации

Диссертация состоит из введения, трёх глав, заключения, приложения и списка литературы. Содержание работы изложено на 114 страницах. Объём приложения составляет 11 страниц. Список литературы включает 93 наименования. В работе содержится 50 рисунков и 3 таблицы.

Содержание работы

Во введении обоснована актуальность диссертационной работы, сформулированы цели и задачи, аргументирована научная новизна исследований, показана практическая значимость полученных результатов. Описана структура диссертации.

В первой главе описываются математические модели фиксированной и поворотной камер, даётся обзор существующих методов внутренней и внешней калибровки камер и предлагается собственный алгоритм совместной калибровки управляемых камер.

В первом разделе главы описываются математические модели фиксированной и поворотной камер и излагается задача калибровки.

Калибровка видеокамер — одна из центральных задач в области машинного зрения (Computer Vision). Задача заключается в определении параметров математической модели, описывающей реально используемое устройство видеорегистрации. Как правило, задачи калибровки разделяются на два класса: внешняя калибровка и внутренняя калибровка.

Цель внешней калибровки заключается в определении положения и ориентации видеокамеры в пространстве. Решение данной задачи требуется в различных областях: видеонаблюдении, трёхмерной реконструкции, картографии, системах распознавания объектов, системах взаимодействия с компьютером посредством определения положения рук или направления взгляда, системах управления роботами.

Внутренняя калибровка ориентирована на определение таких характеристик камеры как: фокусное расстояние, размер пикселя, величина дисторсии. Данные параметры описывают искажения, вызванные оптикой видеокамеры, и их необходимо учитывать при решении большинства задач компьютерного зрения.

Для математического представления фиксированной камеры используется модель, описываемая формулой (1), или сокращённо (2). Эта модель довольно точно соответствует процессу построения изображения в большинстве современных фото- и видеокамер.

G)-(:i?) (:!::)<•-"">(?)

(X, У, Z) — координаты точки в трёхмерном пространстве, а (х, у) — проекция этой точки на картинную плоскость.

Внутренние параметры модели камеры: / — фокусное расстояние, (сх, су)

- положение принципиальной точки (точки пересечения оптической оси с картинной плоскостью).

Внешние параметры модели камеры: Д 6 Д3х3 — матрица поворота, задающая направление объектива камеры, С £ И,л положение камеры.

Здесь К - матрица внутренней калибровки, [R\C] — матрица внешней калибровки, Р матрица проецирования.

Однако, из-за ограничений современной оптики реальный процесс несколько отличается от представленной модели. Одно из наиболее распространённых искажений дисторсия. Дисторсия (от лат. distorsio, distortio — искривление) - аберрация оптических систем, при которой линейное увеличение изменяется по полю зрения. При этом нарушается подобие между объектом и его изображением. Наиболее частый случай дисторсии радиальная дисторсия. Эта модель используется в данной работе.

Зачастую параметры дисторсии определяются совместно с параметрами внутренней калибровки камеры.

Поворотные видеокамеры (PTZ cameras) с возможностью удаленного управления, благодаря удешевлению, находят всё больше распространение. При работе с такими камерами (рис. 1) при помощи команд с пульта управления, можно изменять направление объектива по азимуту (<ф) на 360°, углу места (ф) на 90° и изменять фокусное расстояние (/). Такие камеры позволяют эффективнее решать задачи видеонаблюдения. Исследования, проведённые в диссертационной работе, главным образом ориентированы на поворотные камеры.

Рис. 1. Поворотная видеокамера

Модель поворотной камеры является расширением модели фиксированной камеры (2) и описывается формулой (3).

х

у =КУ)-Р-Ф{ф)-Ъ{ф)-[11\С]-

1

)

/х\

Y Z

(3)

V 1 /

Где К (/) — матрица внутренней калибровки с переменным фокусным расстоянием, Ф (ф) — поворот по азимуту на известный угол ф, Ф {ф) — поворот по углу места на известный угол ф, \R\C\ — матрица внешней калибровки, Р — матрица проецирования.

Во втором разделе приводится краткий обзор методов определения внутренних параметров модели камеры. Часто эти методы называют методами внутренней калибровки.

Существуют четыре основных подхода к определению параметров внутренней калибровки:

• фотограмметрический подход;

• калибровка по точкам схода;

• самокалибровка но смещению камеры;

• самокалибровка по повороту камеры.

Все они также позволяют определить параметры дисторсии.

Проведённый анализ различных способов калибровки внутренних параметров камеры и дисторсии показали, что нет необходимости разрабатывать новый способ калибровки, и вполне можно воспользоваться методом предложенным в работе Захана 1.

При дальнейшем изложении будем считать, что параметры внутренней калибровки камеры известны, а дисторсия отсутствует. Если это не так, то дисторсия может быть компенсирована по известным параметрам.

В третьем разделе приводится обзор методов определения внешних параметров модели камеры (положения и ориентации в пространстве). Часто эти методы называют методами внешней калибровки. Необходимость определения внешних параметров модели камеры возникает при решении разных задач. Это и фотограмметрия, и трёхмерная реконструкция по изображениям, и видеонаблюдение. Если положение камеры в пространстве может быть непосредственно измерено, то для определения ориентации необходимо сопоставить изображение, полученное от камеры, и координаты, изображённых на

!Z. Zhang. A flexible new technique for camera calibration // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22, no. 11. - Pp. 1330-1334

нём объектов, в трёхмерном пространстве. Однако, измерение положения камеры не всегда является простым решением. Зачастую камеры расположены в труднодоступных местах (например, под крышей ангара), либо положение камеры часто изменяется (например, в иследовательских лабораториях), тогда процедура измерения отнимает много времени. Поэтому возникла необходимость в разработке алгоритмов внешней калибровки камер, позволяющих быстро определять положение и ориентацию камер даже при затруднённом доступе к ней.

Методы внешней калибровки можно разделить на две группы: методы калибровки одной камеры и методы совместной калибровки группы камер.

Для определения положения и ориентации камеры используется набор известных соответствий X, <-> ж* (г = 1..ЛГ) между точками в трехмерном пространстве Х^ и их изображениями на кадре х¿. В общем случае данный подход позволяет определить обобщенную матрицу калибровки Н = К ■ Р • [Я|С]. Из соотношения х^ х НХ( = 0 получаем

0Т -ХГ \(н1\

X? 0Т -х*Х? Я2 = 0 (4)

-х»Х? -х*Х? 0Т ) \ 1Р )

Из (4), в силу линейной зависимости рядов, получаем систему из 2Ы линейных уравнений с 12-ю неизвестными. Обобщённая матрица калибровки может быть определена по 6 известным соответствиям. Для повышения точности определения параметров калибровки используется большее количество соответствий и применяется метод наименьших квадратов. Матрица Н может быть факторизована в произведение матриц К, Р и [Д|С].

Соответствия между точками трёхмерного пространства и их изображениями на кадре устанавливаются вручную, либо при помощи калибровочных маркеров. Описанный подход к внешней калибровке видеокамеры позволяет определять положение и ориентацию камеры с высокой точностью, но требует много времени на проведение качественных измерений.

Для проведения исследований в области трёхмерной реконструкции по изображениям в разных университетах стали создаваться специальные лаборатории с большим количеством камер. Процедура калибровки в таких лабораториях требует значительного времени. Кроме того, калибровку приходится повторять каждый раз при изменении положения камер. Поэтому возникла необходимость в разработке новых алгоритмов внешней калибровки камер, позволяющих быстро и с минимальным участием человека определять положения и ориентации камер. Для решения этой задачи используются различные алгоритмы совместной калибровки группы камер.

Проведённое исследование показало, что большинство методов калибровки группы камер разработаны для неподвижных камер. Они могут быть ис-

пользованы для работы с поворотными камерами, по дня этого камеры должны быть предварительно настроены таким образом, чтобы перекрывались их области видимости. Данное требование, как правило, невозможно удовлетворить при калибровке в больших помещениях со сложной топологией. Алгоритмы для внешней калибровки новоротных камер требуют использования камер определённого вида, либо ориентированы на калибровку в небольших помещениях. Поэтому, для решения поставленных в работе задач, потребовалось разработать алгоритм, позволяющий определять положение и ориентацию поворотных камер в больших помещениях с незначительным участием человека.

В четвёртом разделе описывается разработанный метод совместной калибровки группы камер в больших помещениях.

Для калибровки поворотных камер в больших помещениях предлагается использовать стационарные графические маркеры. Маркеры должны быть небольшого размера, для того чтобы их было легко размещать, поскольку основная цель разработки заключается в упрощении работы человека. Также встаёт проблема отождествления изображений одного маркера, полученных от разных камер, поскольку это важнейший момент любого алгоритма калибровки. Следовательно, каждый маркер должен быть уникален.

Для обеспечения указанных условий наилучшим образом подходят маркеры с двухмерным баркодом. Баркод это образец, кодирующий цифровую информацию графическим способом. Существует две разновидности барко-дов: линейные и двухмерные, в дальнейшем под баркодом будем подразумевать двухмерный баркод.

(a). Maxieode маркер

(б). Data Matrix маркер

ИййИ

¡¡t^q

(я). Quick Responce маркер

ARTag маркеры

Рис. 2. Примеры баркодов

Большинство способов построения баркодов хорошо подходит для передачи информации, но не устойчивы к перспективным искажениям: Maxieode, Data Matrix, Quick Responce. Система кодировки ARToolKit лишена этого недостатка, но надёжность распознавания маркера данной системой существенно зависит от условий освещения из-за выделения маркера по порогу. В системе ARTag устойчивость выделения значительно повышена за счёт выде-

лсния маркеров по границам. Примеры баркодов приведены па рис. 2.

Для выделения и распознавания маркеров в разработанном алгоритме используется метод АШа£, поскольку он лучше всего подходит для задачи калибровки. При калибровке не требуется большого количества маркеров, поэтому исходный алгоритм АР!Та§ используется в модифицированном виде:

• маркер состоит из 4 х 4 клеток, что позволяет повысить надёжность распознавания на большом расстоянии от камеры при том же размере маркера;

• номер маркера кодируется с избыточностью в 8 бит. Алгоритм калибровки группы камер состоит из четырёх этапов.

1. Размещение калибровочных маркеров.

Маркеры распечатываются на принтере на листах формата А4. Человек закрепляет их на стенах и полу помещения.

2. Обнаружение и идентификация маркеров.

Для обнаружения маркеров поворотные камеры сканируют окружение по азимуту и углу места таким образом, чтобы соседние области видимости перекрывались. В каждом положении выполняется поиск и распознавание маркеров.

В результате формируется набор калибровочных данных: ф^, — углы смещения объектива камеры по азимуту и углу места; х}р х?-, Хф х^ — однородные координаты вершин маркера на изображении (г — номер камеры; 3 — номер маркера). Камеры могут обнаружить не все маркеры. Ьг — количество маркеров обнаруженных г-й камерой.

3. Начальная оценка.

На этом этапе производится начальная оценка взаимного расположения и ориентации камер и маркеров. В процессе выполнения оценки решаются две задачи:

• определение положения и ориентации камеры при известном положении наблюдаемого маркера;

• определение положения наблюдаемого маркера при известных положении и ориентации камеры.

Определение положения и ориентации камеры.

Известны: Х1,Х2,Х$,Х\ — однородные координаты вершин маркера па изображении; Х\,Хг,Х$,Х± — однородные координаты вершин маркера в пространстве. Из (3) получим

Ки)-Р-Щ)-Ч>(ф)ЩС]-{Хх Х2 Хз Х4) = (.Т! ,т2 х3 14 ) (5)

Матричное уравнение (5) сводится к системе из двенадцати линейных уравнений с двенадцатью неизвестными. Решая систему, получаем значения элементов матрицы [Д|С].

Определение положения маркера.

Известны: х\,х2)х^хц — однородные координаты вершин маркера на изображении; С, Я — положение и ориентация камеры; IV — ширина маркера в единицах измерения мировой системы координат. Пусть единичные векторы У1(К), У2(К), '»-¿(Я,), — задают прямые, проходящие через центр камеры и точки соответствующих вершин маркера на изображении; единичный вектор у{Е) — задаёт прямую, проходящую через центр маркера на изображении. Тогда координаты вершин маркера в пространстве определяются по формуле

IV

X,- = С + --, г = 1..4 (6)

ч/2зт(агссоэ^Л) х г^(7?)))

Начальная оценка взаимного расположения и ориентация камер и маркеров выполняется по следующему алгоритму:

1. выбирается маркер, видимый наибольшим количеством камер;

2. задаются координаты вершин маркера, с учётом его формы и размера;

3. вычисляются положения и ориентации камер, видящих выбранный маркер;

4. выбирается маркер с неизвестным положением, видимый наибольшим количеством неизвестных камер и хотя бы одной известной;

5. вычисляется положение выбранного маркера;

6. если есть камера с неизвестным положением и ориентацией, — к пункту 3;

7. если есть маркеры с неизвестным положением, — к пункту 4. Калибровка камер.

Задача калибровки заключается в том, чтобы по собранным калибровочным данным определить положение и ориентацию камер в единой

системе координат. Решение полумаем, минимизируя цеповую функцию Р{В,1,6"г, А/у), построенную на основе математической модели поворотной камеры (3), где Л,; матрица поворота г-й камеры; С/ положенно г-й камеры в пространстве; = (Х^, К,-, - положение ]-го маркера в пространстве; (./',;..(/./).........координаты центра маркера на кадре.

//, | -к^-р-т-ътлщсл

(х> \

У.1

\ 1 )

Для минимизации ценовой функции используется итерационный алгоритм нелинейной оптимизации на основе доверительных областей. В качестве начального приближения параметров используются значения, полученные на этапе начальной оценки. В результате получаем положение (С,) и ориентацию (7?;) всех камер и положение всех маркеров (М,) в единой системе координат.

Для корректной работы предложенного алгоритма калибровочные данные должны удовлетворять двум условиям:

• каждый калибровочный маркер должны обнаружить не менее чем две камеры;

• если разделить все камеры произвольным образом на две непустые группы, то количество маркеров, обнаруживаемых камерами из обеих групп, должно быть пе менее трёх.

В противном случае определение параметров невозможно, что следует из иро-стых геометрических соображений.

Точность предложенного метода совместной калибровки группы камер оценивалась на синтетических данных. Для этого был разработан модуль в системе математических расчётов МАТЪАВ. На рис. 3 и рис. 4 приведены графики, отражающие зависимость точности калибровки от количества используемых калибровочных маркеров для систем из 10, 20 и 30 камер. При условии, что каждая камера обнаруживает половину маркеров.

Исследование показало, что при использовании для калибровки более 15 маркеров ошибка репроскщш составляет 0.15 пикселей. Эти показатели подтверждаются экспериментальными данными.

Предложенный метод совместной калибровки камер не уступает по точности определения положения и ориентации камер методам совместной калибровки для лабораторий. Процесс калибровки не занимает много времени

\1 положение камер

— 10 камер

——20 камер

ТЛ\ 30 камер

"""

количество маркеров

е-07

0 о.б

1 0 5

&»2 |„

ориентация камер

^—10 камер

— 20 камер

—30 камер

\

ксивгчесхво маркеров

Рис. 3. Погрешность определения положе- Рис. 4. Погрешность определения ориента-

ция камер

ции камер

и не требует специальных знаний и навыков. Также описана модификация, позволяющая выполнять калибровку гибридных систем, состоящих из фиксированных и поворотных камер.

Предложенный метод реализован на языке С в виде динамически подключаемой библиотеки gml_ calibration, dll. Библиотека включает функции распознавания маркеров на изображении и калибровки поворотных и фиксированных камер. В разделе приводится описание библиотеки.

Результаты первой главы опубликованы в работах [1, 8].

Во второй главе даётся обзор существующих методов обнаружения областей интереса по видео и предлагается собственный метод, объединяющий достоинства существующих подходов.

В первом разделе главы коротко описывается задача обнаружения областей интереса по видео. К областям интереса относятся области кадра, которые соответствую: движущимся объектам, оставленным объектам, пропавшим объектам.

Во втором разделе приводится обзор и анализ методов обнаружения объектов по видеоданным.

Существует два подхода к обнаружению объектов в видеопотоке.

1. Выделение фона.

Бывает с моделью фона и без. В первом случае строится модель фона и анализируется отличие кадра от модели. Во втором модель фона не строится, а оценивается отличие от одного или нескольких предыдущих кадров.

Данный подход позволяет обнаруживать оставленные и пропавшие объекты, но при изменении условий освещения работает неустойчиво.

2. Анализ движения. Для каждого пикселя определяется вектор смещения относительно положения в предыдущем кадре. Затем анализирует-

ся полученное поле векторов.

Анализ движения устойчиво работает даже при значительном изменении условий освещения, но имеет высокую вычислительную сложность. Подход не позволяет обнаруживать оставленные и пропавшие объекты.

В третьем разделе описывается разработанный метод обнаружения областей интереса на видео. Метод объединяет достоинства описанных выше подходов: устойчивость к изменению освещения и обнаружение неподвижных объектов.

• При неизменных условиях освещения используется обнаружение по модели фона, что позволяет обнаруживать как движущиеся так и неподвижные объекты.

• В случае изменения освещения обнаружение осуществляется при помощи анализа движения, до тех пор пока модель фона не обновится полностью.

Для поворотных камер применяется моделирование окружения в виде сферической панорамы. Для минимизации объема используемой памяти модель накапливает только среднюю яркость пикселей для фокусного расстояния, соответствующего углу зрения камеры в 15°. Для хранения такой модели требуется 38 мегабайт памяти. Модель позволяет обнаруживать объекты на расстоянии до 50 метров.

Для повышения надёжности выделения областей интереса необходимо учитывать уровень шума. Согласно исследованиям, уровень шума зависит от яркости пикселя. Поэтому для оценки уровня шума используется подход, предложенный автором в статье [4]. Шкала яркости разбивается на несколько непересекающихся интервалов. Из панорамы выбирается несколько пикселей с яркостью, лежащей в центре одного из интервалов. Для выбранных пикселей отслеживается флуктуация яркости и определяется уровень шума. Уровень шума для всех значений яркости из интервала вычисляется путём бикубической интерполяции.

Выделение областей интереса осуществляется по следующему алгоритму:

1. помечаются пиксели кадра, отличие которых от соответствующих им пикселей модели превышает уровень шума;

2. помеченные пиксели объединяются в связные области;

3. область помечается как объект, если её размер превышает 600 пикселей.

Описанный алгоритм позволяет на расстоянии 50 метров и угле зрения камеры в 15° обнаружить объект, площадь которого превышает 1 м2.

Алгоритмы анализа движения по оптическому потоку имеют высокую вычислительную сложность, поэтому не подходят для систем видеонаблюдения в больших помещениях, где используется большое количество камер. Поэтому в предлагаемом методе обнаружения объектов анализ движения выполняется на основе векторов движения для блоков, что позволяет существенно повысить скорость работы.

Рис. 5 иллюстрирует основную идею поиска векторов движения для блоков. Текущий кадр разбивается сеткой на блоки фиксированного размера. Для каждого блока из текущего кадра находится блок в предыдущем кадре, на котором достигается минимум функция соответствия. Вектор движения определяется из взаимного расположения этих блоков. В результате работы алгоритма получаем поле векторов движения для блоков (рис. 6). Краткий обзор алгоритмов поиска векторов движения для блоков приведён в Приложении А. В статье [2] можно найти более полный обзор.

Рис. 5. Поиск векторы движения для блока Рис. 0. Поле векторов движения

Найденный при помощи минимизации вектор движения для блока может не соответствовать реальному движению этого блока. Назовём такой вектор ошибочным. Использование ошибочных векторов негативно сказывается на качестве анализа движения. Чаще всего такие векторы соответствуют блокам изображения без деталей. Есть два основных признака ошибочности вектора:

1. большое значение функции соответствия блоков для этого вектора;

2. значительное отличие этого вектора от соседних векторов.

Для выявления ошибочных векторов предлагается использовать функцию доверия, описанную автором в работе [6]. При построении функции учитывались соображения, приведённые в предыдущем абзаце. Функция доверия имеет следующий вид

Ф =

= аг ■ /2, 1 + а2 ■ С(уг.3, {I/})'1 + а3 ■ Я(/ь Д.,) (8)

Здесь 11,I2 — текущий и предыдущий кадры; By, Vij — блок и вектор движения для него; а\, а2, аз ~ весовые коэффициенты; F(Ii, I2, Bij,Vi j) — функция соответствия блоков; G(vtj, {V}) — функция, характеризующая близость вектора v к соседним векторам {У}; Н{1\,Вц) — Функция, оценивающая наличие деталей в блоке изображения.

Вектор уХ]У считается ошибочным, если значение функции доверия

Вх у, vx>y) превышает порог Т. Значения весовых коэффициентов и порога определяются эмпирически.

Для обнаружения областей интереса при помощи поворотных камер путём анализа движения требуется исключить смещение блоков изображения, связанное с движением камеры или зуммированием. Для этого применяется собственный алгоритм компенсации глобального движения [3, 7].

1. Выполнить фильтрацию поля векторов по значению функции доверия.

2. Повторить N раз:

а. выбрать случайным образом три вектора из поля векторов движения;

б. вычислить параметры аффинного преобразования по тройке векторов;

в. обновить гистограмму по каждому параметру аффинной модели глобального движения.

3. При помощи алгоритма водораздела выделить пики гистограмм, лежащие выше порога t\.

4. Из значений параметров, соответствующих пикам, построить набор параметров-кандидатов.

5. Выбрать параметры, на которых достигается минимум межкадровой разницы.

С помощью найденных параметров глобального движения вычисляются векторы глобального движения для блоков. По векторам вычисляется ошибка соответствия блоков. Блоки, для которых ошибка соответствия превышает порог ¿2, помечаются как принадлежащие объекту.

Анализ движения выполняется со скоростью 200 кадров (320x240 пикселей) в секунду на Pentium 4 ( 2.8 ГГц), что позволяет в реальном времени обрабатывать информацию от 40 камер на одной машине.

Для обнаружения областей интереса при помощи фиксированных камер используются моделирование фона в виде смеси гауссианов и анализ движения по отличию векторов для блоков от нулевых. Общая схема метода обнаружения областей интереса при помощи камер представлена на рис. 7. Метод

Проверка на изменение ^Рц освещения

Обнуление модели окружения

Ф

Вычисление векторов движения для блоков

1оворотная н«т камера? у*

Определение глобального движения

Компенсация глобального движения

Определение положения кадра на модели окружения

(f>

Обнаружение движущихся объектов

Построение маски объектов

Обновление модели окружения

конец

Маска объектов

<5>

Рис. 7. Схема предложенного метода обнаружения объектов при помощи поворотных камер

позволяет обнаруживать движущиеся и неподвижные объекты, и сохраняет работоспособность даже при сильных изменениях условий освещения.

Разработанный метод обнаружения областей интереса при помощи камер обладает устойчивостью к изменению освещения и позволяет обнаруживать неподвижные объекты. Метод позволяет обнаруживать объекты при помощи поворотных камер во время сканирования и зуммирования. Высокая скорость работы позволяет обрабатывать на одной машине данные, полученные от большого количества камер.

Предложенный метод реализован на языке С в виде динамически подключаемой библиотеки gml_detection.dll. В разделе дастся описание библиотеки.

Результаты второй главы опубликованы в работах [2-7].

В третьей главе описывается система видеослежения GML Security, построенная на базе разработанных алгоритмов совместной калибровки камер и выделения областей интереса.

В первом разделе главы обосновывается востребованность систем видеослежения и описываются существующие разработки (TRASSIR. ActiveDome™+ компании «DSSL» и Orwell 2k-City компании «ЭЛВИИС»),

в SUM240R

Ф Caewal ЭД Came«?

(¿)C«*,a5 (¿1 C*nera7 фСатгла CameiaS

nd ftl Col ар« AS

ш Иы ТШвйт

■ ■• ED с h - -......Q

шл ЦЦ

1 - - • • • • I?7] е

Рис. 9. Окно с видеопотоками

Рис. 8. Главное окно системы GML Security

Оператор

Инженер

Администратор

Рис. 10. Диаграмма вариантов использования системы GML Security

20

Во втором и третьем разделах описывается интерфейс и функциональность разработанной системы.

Система GML Security позволяет не только контролировать обстановку по видеоряду (рис. 9), но и отслеживать все изменения на двухмерном плане охраняемого пространства (рис. 8). На плане отображаются области видимости камер и обнаруженные объекты, что облегчает восприятие общей обстановки. Так, например, на плане легко заметить области контролируемого пространства не видимые ни одной видеокамерой. Кроме того система GML Security предоставляет пользовательский интерфейс для управления камерами при помощи кликов мыши на компоненте главного окна, с изображением плана.

Основные возможности предоставляемые системой GML Security приведены на диаграмме вариантов использования (рис. 10).

Во четвёртом разделе описывается программная реализация разработанной системы.

Система видсослежсния GML Security имеет развитый графический интерфейс и существенную вычислительную часть. Поэтому при разработке использовались два языка программирования: Сff и С. Использование языка С# позволило ускорить разработку графического интерфейса с пользователем. На языке С, для обеспечения более высокой производительности, программировались вычислительно сложные алгоритмы, такие как калибровка камер и обнаружение областей интереса. Код, разработанный на языке С, использовался в виде динамически подключаемых библиотек (Dynamic Link Library).

Программная реализация состоит из 183 классов, написанных на языке Си двух динамически подключаемых библиотек, написанных на языке С.

Система обладает более богатой функциональностью чем существующие коммерческие разработки «TRASSIR. ActiveDome™ I » и «Orwell 2k-City». Использование поворотных камер, разнообразие возможностей по управлению камерами и наблюдению за обстановкой позволяет эффективнее решать задачу видеонаблюдеиия, чем при использовании традиционных систем вн-деонаблюдсния с неподвижными камерами. Таких возможностей удалось достичь благодаря использованию разработанных методов калибровки камер и обнаружения областей интереса.

В заключении сформулированы основные результаты работы.

В приложении А даётся краткое описание и обзор алгоритмов определения векторов движения для блоков, которые используются для определения глобального движения в алгоритме, предложенном во второй главе.

Список публикаций

[1] К,H. Стрельников, Д.Л. Куликов. Система моделирования окружения управляемой камеры на основе анализа и обработки видеоданных // Международный журнал «Программные продукты и системы». — 2008. — № 3(83). - С. 66-69.

[2] C.B. Гришин, Д.С. Ватолин, К.Н. Стрельников и др. Обзор блочных методов оценки движения в цифровых видео сигналах // Тематический сборник «Программные системы и инструменты». — 2008.— № 9.— С. 50-62.

[3] К. Стрельников, Д. Ватолин, С. Солдатов. Быстрое и надежное определение глобального движения в видеопоследовательностях // Труды конференции Графикон-2006. — Новосибирск, Академгородок, Россия: Июль 2006,- С. 430-437.

[4] К. Стрельников, Д. Куликов, А. Лукин. Построение и применение модели зерна пленки на основе спектральных образцов // Труды конференции Графикон-2007. - Москва, Россия: Июнь 2007. - С. 248-252.

[5] A. Obukhov, К. Strelnikov, D. Vatolin. Fully Automatic Multiple PTZ Cameras Calibration Method // Proceedings of Graphicon-2008. — Moskow, Russia: June 2008. - Pp. 122-127.

[6] К. Стрельников, Д. Ватолин, С. Солдатов. Качественное определение глобального движения кадра с использованием векторов движения // Материалы девятого научно-практического семинара «Новые информационные технологии в автоматизированных системах». — Москва, Россия: Март 2006. - С. 47-55.

[7] К. Стрельников, Д. Ватолин, С. Солдатов. Новый метод подавления эффекта дрожания кадра в видео // Материалы десятого научно-практического семинара «Новые информационные технологии в автоматизированных системах», — Москва, Россия: Май 2007.— С. 3-10.

[8] К. Стрельников. Система видеослежения для больших помещений // Материалы двенадцатого научно-практического семинара «Новые информационные технологии в автоматизированных системах». — Москва, Россия: Март 2009. - С. 9-18.

Заказ № 126/04/09 Подписано в печать 22.04.2009 Тираж 70 экз. Усл. п.л. 1,25

ООО "Цифровичок", тел. (495) 797-75-76; (495) 649-83-30 'ч V \vwvi. с/г. ги; е-таИ: т/о@с/г. ги

Список иллюстраций

Список таблиц

Введение

Цель диссертационной работы.13

Научная новизна работы .13

Практическая ценность.14

Апробация работы.15

Публикации .16

Структура и объем диссертации.16

Основные результаты работы состоят в следующем:

1. На основе проведённого исследования алгоритмов калибровки видеокамер разработан и реализован метод совместной калибровки поворотных видеокамер для больших помещений, который позволяет значительно сократить время, затрачиваемое на калибровку.

2. Разработан и реализован метод обнаружения объектов с помощью поворотных видеокамер, обладающий устойчивостью к изменению освещения и позволяющий обнаруживать неподвижные объекты.

3. На основе предложенных алгоритмов разработана программная система видеослежения, используемая в реальных практических приложениях.

Благодарности

Автор выражает благодарность научному руководителю В.А. Галак-тионову и научному консультантам А.Г. Волобою и Д.С. Ватолину за содействие и помощь в работе, а также всему коллективу лаборатории компьютерной графики и мультимедиа Московского государственного университета им М.В. Ломоносова за плодотворные совместные обсуждения, способствовавшие реализации идей диссертации.

Заключение

1. К. H. Стрельников, Д. Л. Куликов. Система моделирования окружения управляемой камеры на основе анализа и обработки видеоданных // Международный журнал «Программные продукты и системы». - 2008. - № 3(83). - С. 66-69.

2. C.B. Гришин, Д. С. Ватолин, К.Н. Стрельников и др. Обзор блочных методов оценки движения в цифровых видео сигналах // Тематический сборник «Программные системы и инструменты».— 2008. № 9. - С. 50-62.

3. К. Стрельников, Д. Ватолин, С. Солдатов. Быстрое и надежное определение глобального движения в видеопоследовательностях // Труды конференции Графикон-2006. — Новосибирск, Академгородок, Россия: Июль 2006. — С. 430-437.

4. К. Стрельников, Д. Куликов, А. Лукин. Построение и применение модели зерна пленки на основе спектральных образцов // Труды конференции Графикон-2007. — Москва, Россия: Июнь 2007. — С. 248-252.

5. A. Obukhov, К. Strelnikov, D. Vatolin. Fully Automatic Multiple PTZ Cameras Calibration Method // Proceedings of Graphicon-2008.— Moscow, Russia: June 2008. — Pp. 122-127.

6. К. Стрельников, Д. Ватолин, С. Солдатов. Новый метод подавления эффекта дрожания кадра в видео // Материалы десятого научно-практического семинара «Новые информационные технологии в автоматизированных системах». — Москва, Россия: Май 2007. — С. 3-10.

7. К. Стрельников. Система видеослежения для больших помещений // Материалы двенадцатого научно-практического семинара «Новые информационные технологии в автоматизированных системах». — Москва, Россия: Март 2009. — С. 9-18.

8. O.D. Faugeras, G. Toscani. The calibration problem for stereo 11 Proceedings of IEEE Computer Vision and Pattern Recognition. — 1986. — P. 15-20.

9. J. Salvi. A robust-coded pattern projection for dynamic 3D scene measurement // Pattern Recognition Letters. — 1998.— September. — Vol. 19, no. 11.— Pp. 1055-1065.

10. R. Y. Tsai. A versatile camera calibration technique for high-accuracy 3D machine visionmetrology using of-the-shelf TV cameras and lenses // IEEE Int. Journalon Robotics and Automation. — 1987. — Vol. RA-3. — Pp. 323-344.

11. D. C. Brown. The simultaneous determination of the orientation and lens distortion of a photogrammetric camera // Air Force Missile Test Center Report No. 56-20. 1956.

12. D.C. Brown. Close-range camera calibration // Photogrammetric Engineering. — 1971. — Vol. 37(8). P. 855-866.

13. R. Cipolla, T. Drummond, D. Robertson. Camera calibration from vanishing points in in images of architectural scenes // Proc. British Machine Vision Conference. — 1999. — Vol. 2. — Pp. 382-391.

14. B. Caprile, V. Torre. Using vanishing points for camera calibration // International Journal of Computer Vision. — 1990.— March. — Vol. 4, no. 2. Pp. 127-139.

15. L. Grammatikopoulos, G. Karras, E. Petsa. Camera calibration combining images with two vanishing points // XX-th Congress of International Society for Photogrammetry and Remote Sensing. — 2004. — Pp. 99-104.

16. D. Liebowitz, A. Zisserman. Metric rectification for perspective images of planes //In Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition. — 1998. — P. 482-488.

17. L. Grammatikopoulos, G. Karras. An automatic approach for camera calibration from vanishing points // ISPRS Journal of Photogrammetry and Remote Sensing. — 2007. — Vol. 62. — Pp. 64-78.

18. Stephen J. Maybank, Olivier D. Faugeras. A theory of self-calibration of a moving camera // Int. J. Comput. Vision. — 1992. — August. — Vol. 8, no. 2. Pp. 123-151.

19. R. I. Hartley. An algorithm for self calibration from several views // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1994.- Pp. 908-912.

20. Q. T. Luong, 0. D. Faugeras. Self-Calibration of a Moving Camera from Point Correspondences and Fundamental Matrices // International Journal of Computer Vision. — 1997. — March. — Vol. 22, no. 3. — Pp. 261-289.

21. S. Bougnoux. From projective to Euclidean space under any practical situation, a criticism of self-calibration // Sixth International Conference on Computer Vision. — 1998. — Pp. 790-796.

22. R. I. Hartley. Self-calibration from multiple views with a rotating camera // Proceedings of the third European Conference on Computer Vision (vol. 1).— Secaucus, NJ, USA: Springer-Verlag New York, Inc., 1994. Pp. 471-478.

23. Z. Zhang. A flexible new technique for camera calibration // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2000. — Vol. 22, no. 11.-Pp. 1330-1334.

24. Donald W. Marquardt. An Algorithm for Least-Squares Estimation of Nonlinear Parameters // SIAM Journal on Applied Mathematics.— 1963. Vol. 11, no. 2. - Pp. 431-441.

25. Z. Zhang. Camera Calibration Toolbox for Matlab. http://www. vision.caltech.edu/bouguetj/calibdoc/.

26. R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision, Ed. by Second. — Cambridge University Press, ISBN: 0521540518, 2004.

27. D. Forsyth, J. Ponce. Computer Vision: A modern approach // Prentice Hall. Prentice Hall, 2003.

28. Keck Laboratory, http: //cvl. umiacs. umd. edu/pro j ects/keck/.

29. P. Baker, Y. Aloimonos. Complete calibration of a multi-camera network // Omnidirectional Vision, 2000. Proceedings. IEEE Workshop on. 2000. - Pp. 134-141.

30. Richard I. Hartley. Estimation of Relative Camera Positions for Uncali-brated Cameras // ECCV '92: Proceedings of the Second European Conference on Computer Vision. — London, UK: Springer-Verlag, 1992. — Pp. 579-587.

31. R. Hartley. Extraction of Focal Lengths from the Fundamental Matrix // G.E. CRD.- 1993.

32. I.O. Sebe, G.Q. Chen. Multi-camera Calibration // STMicroelectronics Technical Report. — 2002.

33. C. Harris, M. Stephens. A Combined Corner and Edge Detection // Proceedings of The Fourth Alvey Vision Conference. — 1988. — Pp. 147-151.

34. Rachid Deriche, Gerard Giraudon. A computational approach for corner and vertex detection // Int. J. Comput. Vision. — 1993.— April.— Vol. 10, no. 2. Pp. 101-124.

35. R. Deriche, T. Blaszka. Recovering and characterizing image features using an efficient model based approach // Computer Vision and Pattern Recognition, 1993. Proceedings CVPR '93., 1993 IEEE Computer Society Conference on. — 1993. — Pp. 530-535.

36. Xilin Chen, Jie Yang, A. Waibel. Calibration of a hybrid camera network // Computer Vision, 2003. Proceedings. Ninth IEEE International Conference on. — 2003. — Pp. 150-155 vol.1.

37. S. K. Nayar. Catadioptric omnidirectional camera // Computer Vision and Pattern Recognition, 1997. Proceedings., 1997 IEEE Computer Society Conference on. — 1997. — Pp. 482-488.

38. C. Geyer, K. Daniilidis. Catadioptric camera calibration // Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on. Vol. 1. — 1999. — Pp. 398-404 vol.1.

39. J. Mitchelson, A. Hilton. Wand-based multiple camera studio calibration // CVSSP Technical Report. — 2003.

40. Tomas Svoboda, Daniel Martinec, Tomas Pajdla. A convenient multi-camera self-calibration for virtual environments // PRESENCE: Tele-operators and Virtual Environments. — 2005. — August. — Vol. 14(4). — Pp. 407-422.

41. Daniel Martinec, Tomas Pajdla. Structure from Many Perspective Images with Occlusions // ECCV '02: Proceedings of the 7th European Conference on Computer Vision-Part II. — London, UK: Springer-Verlag, 2002. Pp. 355-369.

42. Peter F. Sturm, Bill Triggs. A Factorization Based Algorithm for Multi-Image Projective Structure and Motion // ECCV '96: Proceedings of the 4th European Conference on Computer Vision-Volume II. — London, UK: Springer-Verlag, 1996. Pp. 709-720.

43. D. Jacobs. Linear fitting with missing data: applications to struc-ture-from-motion and to characterizing intensity images // Computer

44. Vision and Pattern Recognition, 1997. Proceedings., 1997 IEEE Computer Society Conference on. — 1997. — Pp. 206-212.

45. Vivek Kwatra. Motion Characterization Using Gradient Histograms, http: / / www. cc. gatech. edu/~kwatra/computervision/proj ect/ report .html.

46. I-Hsien Chen, Sheng-Jyh Wang. Efficient Vision-Based Calibration for Visual Surveillance Systems with Multiple PTZ Cameras // Computer Vision Systems, 2006 ICVS '06. IEEE International Conference on.— 2006. Pp. 24-32. ■

47. Jun Rekimoto, Yuji Ayatsuka. CyberCode: designing augmented reality environments with visual tags // DARE '00: Proceedings of DARE 2000 on Designing augmented reality environments. — New York, NY, USA: ACM Press, 2000. Pp. 1-10.

48. I. Poupyrev, H. Kato, M. Billinghurst. — ARToolkit user manual.— Human Interface Technology Lab, University of Washington, 2000.

49. M. Fiala. ARTag, a fiducial marker system using digital techniques // Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. — Vol. 2. — 2005. — Pp. 590-596 vol. 2.

50. Thomas F. Coleman, Yuying Li. An Interior Trust Region Approach for Nonlinear Minimization Subject to Bounds // SIAM Journal on Optimization. — 1996. — Vol. 6. — Pp. 418-445.

51. MATLAB The Language of Technical Computing, http://www. mathworks.com/products/matlab/.

52. Martin Fowler, Kendall Scott. UML Distilled: A Brief Guide to the Standard Object Modeling Language. — Addison-Wesley Longman Publishing Co., Inc., 2000.

53. Гради Буч. Объектно-ориентированный анализ и проектирование с примерами приложений на С++, Ed. by .-.-.-. ISBN: 5-7989-0067-3.— М., "Бином"., СПб., "Невский диалект2001.

54. В. Гаганов, А. Конушин. Сегментация движущихся объектов в видео потоке. — 2004. http: //cgm. graphicon. ru.

55. A. Prati, I. Mikic, C. Grana, M. M. Trivedi. Shadow detection algorithms for traffic flow analysis: a comparative study // Intelligent Transportation Systems, 2001. Proceedings. 2001 IEEE.— 2001.— Pp. 340-345.

56. Ismail Haritaoglu, David Harwood, Larry S. Davis. W4s: A real time system for detecting and tracking people in 2.5 d // In Eurepean Conference on Computer Vision. — 1998. — Pp. 877-892.

57. Y. Ivanov, A. Bobick, J. Liu. Fast lighting independent background subtraction // Visual Surveillance, 1998. Proceedings., 1998 IEEE Workshop on. 1998. — Pp. 49-55.

58. N. M. Oliver, B. Rosario, A. P. Pentland. A Bayesian computer vision system for modeling human interactions // Pattern Analysis and Machine Intelligence, IEEE Transactions on. — 2000. — Vol. 22, no. 8. — Pp. 831-843.

59. Christof Ridder, Olaf Munkelt, Harald Kirchner. Adaptive background estimation and foreground detection using kalman-filtering // Proc.1.t'l Conf. Recent Advances in Mechatronics, ICRAM '95. — 1995. — Pp. 193-199.

60. C. R. Wren, A. Azarbayejani, T. Darrell, A. P. Pentland. Pfinder: realtime tracking of the human body // Pattern Analysis and Machine Intelligence, IEEE Transactions on. 1997. — Vol. 19, no. 7. — Pp. 780-785.

61. N. Friedman. Image segmentation in video sequences: A probabilistic approach // Proc. 13th Conf. Uncertainty in Artificial Intelligence (UAI). 1997. - Pp. 175-181.

62. H.H. Пешков. Математическое моделирование и разработка алгоритмов обнаружения и измерения параметров сторонних объектов в системах наблюдения: Ph.D. thesis / Ставропольский государственный университет. — 2004.

63. С. Stauffer, W.E.L Grimson. Learning Patterns of Activity Using RealTime Tracking // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. — Vol. 22, no. 8. — Pp. 747-757.

64. J. Goldberger, H. Greenspan. Context-based segmentation of image sequences // Pattern Analysis and Machine Intelligence, IEEE Transactions on.— 2006. — Vol. 28, no. 3.— Pp. 463-468.

65. A. Biswas, P. Guha, A. Mukerjee, K. S. Venkatesh. Intrusion Detection and Tracking with Pan-Tilt Cameras // Visual Information Engi110neering, 2006. VIE 2006. IET International Conference on. — 2006. — Pp. 565-571.

66. L. J. Latecki, R. Miezianko, D. Pokrajac. Evaluating Reliability of Motion Features in Surveillance Videos // NIST Workshop on Performance Metrics for Intelligent Systems. — Gaithersburg, MD, USA: 2004.

67. M. Hotter, R. Thoma. Image segmentation based on object oriented mapping parameter estimation // Signal Process.— 1988.— Vol. 15, no. 3.— Pp. 315-334. http://dx.doi.org/10.1016/0165-1684C88) 90021-7.

68. J.R. Bergen, P. J. Burt, K. Hanna et al. Dynamic Multiple-Motion Computation // Artificial Intelligence and Computer Vision: Proceedings of the Israeli Conference. — Elsevier, Israeli: 1991.— Pp. 147-156.

69. Michal Irani, Shmuel Peleg. Motion analysis for image enhancement: Resolution, occlusion, and transparency // Journal of Visual Communication and Image Representation. — 1993. — Vol. 4. — Pp. 324-335.

70. J. Y. A. Wang, E. H. Adelson. Representing moving images with layers // Image Processing, IEEE Transactions on. — 1994. — Vol. 3, no. 5. Pp. 625-638.

71. G. D. Borshukov, G. Bozdagi, Y. Altunbasak, A. M. Tekalp. Motion segmentation by multistage affine classification // Image Processing, IEEE Transactions on. — 1997. — Vol. 6, no. 11. — Pp. 1591-1594. http : //dx.doi.org/10.1109/83.641420.

72. Yucel Altunbasak, P. Erhan Eren, A. Murat Tekalp. Region-based parametric motion segmentation using color information // Graphical Models and Image Processing. — 1998. — Pp. 13-23.

73. I. Ahmad, Weiguo Zheng, Jiancong Luo, Ming Liou. A fast adaptive motion estimation algorithm // Circuits and Systems for Video Technology, IEEE Transactions on. — 2006. Vol. 16, no. 3. — Pp. 420-438.

74. Ce Liu, W. T. Freeman, R. Szeliski, Sing B. Kang. Noise Estimation from a Single Image 11 Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. — Vol. 1. — 2006. — Pp. 901-908.

75. Craig Donald. How many monitors should a CCTV operator view? — 2004. http: //securitysa. com/article. aspx?pklArticleid= 3313&pklCategoryID=3.

76. MActiveDome™+ Система интеллектуального видеонаблюдения нового поколения, http://www.dssl.ru/products/technologies/ activedome+.php.

77. Система цифрового видеонаблюдения с компьютерным зрением для городских условий Orwell 2k-City. http://elvees.ru/index.php? id=239&L=0.

78. J. Postel, J. Reynolds. — TELNET PROTOCOL SPECIFICATION.-IETF, RFC 854, 1983.-May.

79. Shan Zhu, Kai-Kuang Ma. A new diamond search algorithm for fast block matching motion estimation // Information, Communications and112

80. Signal Processing, 1997. ICICS., Proceedings of 1997 International Conference on. Vol. 1. — 1997. — Pp. 292-296 vol.1.

81. Xuan Jing, Lap-Pui Chau. An efficient three-step search algorithm for block motion estimation // Multimedia, IEEE Transactions on.— 2004. Vol. 6, no. 3. - Pp. 435-438.

82. F. Lopes, M. Ghanbari. Hierarchical motion estimation with spatial transforms // Image Processing, 2000. Proceedings. 2000 International Conference on. — Vol. 2. — 2000. — Pp. 558-561 vol.2.

83. Tae G. Aim, Yong H. Moon, Jae H. Kim. Fast full-search motion estimation based on multilevel successive elimination algorithm // Circuits and Systems for Video Technology, IEEE Transactions on. — 2004. — Vol. 14, no. 11.— Pp. 1265-1269.

84. G. de Haan, P. W. A. C. Biezen, H. Huijgen, O. A. Ojo. True-motion estimation with 3-D recursive search block matching // Circuits and Systems for Video Technology, IEEE Transactions on. — 1993. — Vol. 3, no. 5. Pp. 368-379, 388.

85. S. Olivieri, L. Albani, G. de Haan. A low-complexity motion estimation algorithm for H.263 video coding // Proc. Philips Conf. on Digital Signal Processing, paper 17.3. — 1999.

86. P.I. Hosur, K. K. Ma. Motion vector field adaptive fast motion estimation // Second International Conference on Information, Communications and Signal Processing. — 1999.

87. Alexis M. Tourapis, Oscar C. Au, Ming L. Liou. Predictive Motion Vector Field Adaptive Search Technique (PMVFAST) Enhancing Block Based Motion Estimation // ISO/IEC JTC1/SC29/WG11 MPEG2000. 2001. — Pp. 883-892.

88. Yongfang Liang, I. Ahmad, Jiancong Luo et al. On using hierarchical motion history for motion estimation in H.264/AVC // Circuits and Systems for Video Technology, IEEE Transactions on. — 2005.— Vol. 15, no. 12.—Pp. 1594-1603.

89. С. Путилин. Быстрый алгоритм нахождения движения в видеопоследовательностях / / Труды конференции Graph-icon-2006. — Россия, Новосибирск, Академгородок: 2006. —Июль.— Pp. 407-410.