автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.07, диссертация на тему:Исследование и разработка панорамных систем видеонаблюдения

УДК 681.772.7 На правах рукописи

Колобов Кирилл Викторович

ИССЛЕДОВАНИЕ И РАЗРАБОТКА ПАНОРАМНЫХ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ

05.11.07 - Оптические и оптико-электронные приборы и комплексы

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 2 [;;ДР Ш

Москва-2012

005011909

Работа выполнена на кафедре лазерных и оптико-электронных систем Московского государственного технического университета имени Н.Э. Баумана

Научный руководитель: доктор технических наук, доцент

Колючкин Василий Яковлевич

Официальные оппоненты: Якушенков Юрий Григорьевич,

доктор технических наук, профессор, МИИГАиК.

Мачихин Александр Сергеевич, кандидат физико-математических наук, НТЦ уникального приборостроения РАН.

Ведущая организация:

ОАО «НПО Геофизика-НВ», г. Москва

Защита диссертации состоится 28 марта 2012 года в 10:00 часов на заседании диссертациоиного совета Д 212.141.19 в Московском государственном техническом университете имени Н.Э. Баумана по адресу: 105005, Москва, 2-ая Бауманская ул., д. 5.

С диссертацией можно ознакомиться в библиотеке МГТУ им. Н.Э. Баумана.

Отзыв на автореферат в одном экземпляре, заверенный печатью организации, просим направить по адресу: 105005, Москва, 2-ая Бауманская ул., д. 5, МГТУ им. Н.Э. Баумана, ученому секретарю диссертационного совета Д 212.141.19.

Автореферат разослан

Ученый секретарь диссертационного совета,

доктор технических наук

Бурый Е.В.

1. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации

Системы видеонаблюдения (СВН) находят широкое применение в системах обеспечения безопасности объектов транспортной инфраструктуры, промышленных предприятий, жилых помещений и других объектов. Для контроля крупных объектов, в основном, используют многокамерные СВН, позволяющие оператору наблюдать отдельные зоны охраняемого объекта. Отсутствие единого изображения зоны контроля, и, как следствие, пропуск или повторение фрагментов объектов в изображениях этих зон существенно затрудняет для человека-оператора анализ ситуаций на объекте. Альтернативой многокамерным СВН являются панорамные системы видеонаблюдения (ПСВН), формирующие единое видеоизображение пространства. Использование ПСВН, формирующих единое изображение окружающего пространства, упрощает анализ сцен и может существенно повысить эффективность работы операторов. Особый интерес представляют ПСВН со сверхширокоугольными оптическими системами (ОС), например, объективами типа «рыбий глаз».

Развитие систем охранного видеонаблюдения характеризуется постоянным совершенствованием элементной базы, но вопросам проектирования СВН, связанных с оптимизацией схем регистрации видеоизображений и параметров устройств, используемых в СВН, в литературе уделено мало внимания. В частности, в работах зарубежных авторов В. Дамьяновски, М. Гарсия, Г. Кругль содержатся полезные практические рекомендации по проектированию СВН, но отсутствует теоретическое обоснование принципов построения СВН. В публикациях отечественных авторов В.А. Ворона, В.А.Тихонова, Р.Г. Магауенова, В.Г. Синилова даны только общие рекомендации по проектированию СВН и содержится в основном справочная информация, при этом системному подходу к проектированию СВН уделено мало внимания. Также отметим, что не учтены особенности восприятия изображений, формируемых СВН, человеком-оператором.

Вопросы проектирования сверхширокоугольных ОС опубликованы в работах Русинова М.М., Якушенковой Т.И., Урусовой М.В. и др. В работах Яку-шенковой и Урусовой сделан акцент на зеркально-линзовые панорамные ОС, при этом отсутствуют рекомендации по исправлению (или компенсации) характерных для таких ОС геометрических искажений, что очень важно для проектирования ПСВН.

В связи с этим тема диссертации, посвященной разработке методики проектирования ПСВН и, в частности, ПСВН со сверхширокоугольными ОС, является актуальной.

Цель исследований

Целью диссертационной работы является создание на основе теоретических и экспериментальных исследований научно обоснованной методики проектирования ПСВН.

Задачи исследований

Для достижения поставленной цели в диссертации решены следующие задачи:

- разработаны математические модели ПСВН и на основе этих моделей определены целевые функции проектирования ПСВН;

- разработаны элементы теории оценивания геометрических искажений в ПСВН со сверхширокоугольными объективами;

- разработана методика синтеза оптических схем и сформулированы рекомендации для расчета сверхширокоугольных объективов;

- обоснованы рациональные варианты коррекции геометрических искажений в панорамных изображениях для обеспечения наилучшего восприятия человеком-оператором;

- разработаны и апробированы методы оценки качества систем регистрации изображений в ПСВН с сверхширокоугольными ОС.

Методы исследований. При решении теоретических и прикладных задач использован математический аппарат теории вероятностей и математической статистики, теория обнаружения и распознавания образов, теория линейных систем, теория оптических систем.

Научная новизна исследований

В процессе проведения исследований получены следующие новые научные результаты:

- определена целевая функция проектирования математической модели ПСВН на системотехническом уровне;

- введен коэффициент искажений изображений для оценки степени геометрических искажений изображений, сформированных СШОС;

- выработаны рекомендации для расчета сверхширокоугольных ОС с заданными значениями геометрических искажений;

- предложены алгоритмы преобразования изображений, корректирующие характерные для таких изображений проективные искажения (пятиточечную);

- разработаны методика проектирования ПСВН и принципы построения аппаратуры для контроля качества изображения, формируемого в ПСВН с СШОС.

Научные положения, выносимые на защиту

1. Методика проектирования ПСВН, основанная на многоканальной модели зрительного восприятия изображений человеком-оператором.

2. Методика оценки степени геометрических искажений сверхширокоугольных объективов ПСВН.

3. Методика определения фокусного расстояния фотографического объектива и углового увеличения афокальной ОС, как составляющих СШОС.

4. Методы преобразования изображений в ПСВН, позволяющие скорректировать геометрические и проективные искажения.

Достоверность выводов и рекомендаций, сформулированных в диссертации, подтверждается соответствием результатов теоретических исследований, основанных на предложенных математических моделях процессов форми-

рования изображений в ПСВН со сверхширокоугольными ОС, результатам испытаний макетных образцов ПСВН.

Практическая ценность работы

Разработанная методика проектирования ПСВН, алгоритмы цифровой обработки изображений и функциональные схемы аппаратуры контроля ПСВН могут быть использованы при создании перспективных комплексов обеспечения безопасности.

Апробация работы. Основные положения диссертации докладывались на 5 научно-технических конференциях:

- V международной конференции молодых ученых и специалистов «Оп-тика-2007»;

- VIII Международная конференция «Прикладная оптика», 2008г.

- научно-технические конференции «Студенческая научная весна-2005, 2006».

Результаты диссертации обсуждены на научном семинаре кафедры лазерных и оптико-электронных систем МГТУ им. Н.Э. Баумана.

Структура и объем диссертационной работы

Диссертация состоит из введения, пяти глав и заключения и изложена на 153 листах.

2. СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность проблемы, решаемой в диссертационной работе, сформулированы цели и задачи исследований.

В первой главе на основе анализа литературных источников в области систем видеонаблюдения и, в частности, ПСВН, предложена классификация ПСВН, основанная на принципах регистрации панорамных изображений. Предложено ПСВН разделить на 3 типа:

- мультикамерные ПСВН;

- ПСВН сканирующего типа;

- ПСВН со сверхширокоугольными ОС.

Мультикамерным ПСВН присущи недостатки, такие, как: переналожения и изломы при стыковке изображений соседних видеокамер. Основным недостатком сканирующих систем является низкая частота кадров панорамного изображения, что может привести к пропуску события, а достоинством - отсутствие артефактов при стыковке соседних видеокадров в панораму.

ПСВН с сверхширокоугольными ОС позволяют производить регистрацию изображения одной камерой в пределах углового поля размером до 180°х180°. Сверхширокоугольные объективы делят на 2 типа: «Fish eye» («Рыбий глаз») и зеркально-линзовые с круговым полем регистрации.

Особенностью изображений, регистрируемых ПСВН со сверхширокоугольными объективами, является наличие геометрических искажений, обусловленных дисторсией и проективными искажениями.

Устройства отображения панорамных изображений для наблюдения их оператором можно разделить на следующие типы:

- устройства с непосредственным отображением панорамного изображения без исправления проективных искажений;

- устройства с последовательным представлением фрагментов панорамного изображения;

- устройства, работающие по методу циркорамы, в которых производится отображение панорамного изображения на сферический экран.

Выбор того или иного метода представления панорамного изображения зависит от особенностей регистрации изображений в ПСВН, а также задач, решаемых оператором.

На основе проведённого в главе анализа сделан вывод о том, что наиболее перспективными являются ПСВН со сверхширокоугольными оптическими системами (ОС) и сформулированы задачи, решение которых позволит разработать методику проектирования таких систем.

Во второй главе проведен анализ процесса формирования изображений в ПСВН со сверхширокоугольными объективами. Определены требования к подобным объективам и даны рекомендации для их расчета.

Определяющей особенностью сверхширокоугольных объективов является большое угловое поле размером 180x180° и более. В связи с этим пространство предметов для таких объективов следует представлять не предметной плоскостью, а сферой. При таком подходе исключаются вариации масштаба в зависимости от угла визирования на точки пространства предметов, т.к. расстояния от центра входного зрачка до предметных точек, спроецированных на сферу, фиксированы во всем угловом поле.

Для описания метода проецирования предметной сферы в плоскость регистрации, где располагается матричный приёмник излучения (МПИ), используется, так называемая, отображающая функция, имеющая вид г' = F(a;f). В этой формуле а - угол между направлением визирования на точку объекта и оптической осью, а /'-фокусное расстояние ОС. В частности, для узкополь-ных объективов отображающая функция, определяемая как г' = f'-tga, известна как гномоническая отображающая функция. Для сверхширокоугольных объективов наибольшее применение имеет эквидистантная проекция, которая описывается отображающей функцией вида

r' = f-a, (1)

известной, как FTheta.

На начальном этапе синтеза оптической схемы предложено сверхширокоугольный объектив рассматривать в виде композиции двух ОС (см. рис. 1): фотографического объектива 1, формирующего изображение на МПИ, и афо-кальной системы 2 с угловым увеличением у, меньшим 1, позволяющий увеличить угловое поле до значений 180° и более.

Для афокальных систем сверхширокоугольных объективов угловое увеличение следует определять по формуле

у(а) = ссЧсс. (2)

Рисунок 1. Функциональная схема сверхширокоугольного объектива

В работе показано, что в общем случае при у< 1 нарушается подобие размеров предметов и их изображений. В работе предложено оценивать возникающие искажения коэффициентом искажений, который описывает нарушение подобия в изображении предметов на краю поля по отношению к аналогичному предмету в центре поля:

сіг'Ла)

К„{а) =

_ Т

(3)

drfi 0)

При рассмотрении пространства предметов в виде плоскости коэффици ентом искажений определяется по формуле:

у{а) cos2 (а)

К „(а)-.

(4)

/(О) cos2 (а ■ у(а))

При представлении пространства предметов в виде сферы искажения оцениваются коэффициентом сферических искажений, который определяется как:

к ,а)=тj—. (5)

у{0) cos (а-у(а))

Коэффициент искажений Киск оценивает искажения, обусловленные воздействием 3-х факторов, а именно:

® непостоянством углового увеличения у(а) в пределах углового поля;

® проективными искажениями в пространстве предметов - проективными искажениями 1-го рода Кпг>х(а); в проективными искажениями в пространстве изображений - проективными искажениями 2-го рода Кпр2(а).

Поэтому коэффициент искажений можно представить в виде

K„(a) = ria)-Kvi(a)-Kvi{a) . (6)

Основной вклад в искажения вносят проективные искажения 1-го рода, что иллюстрируют графики, представленные на рисунке 2.

К„р,(а) 15

кпрг(«) 1

15 30 45 60 75 90

Рисунок 2. Графики зависимости коэффициентов проективных искажений 1-го и 2-го рода и результирующего коэффициента искажений от угла визирования при постоянном по полю угловом увеличении у(а) = 0,3

В работе показано, что коэффициент относительной дисторсии связан с коэффициентами искажений следующими соотношениями 3 1 а К (¿) 1 а

-1=-

иск _сф

(7)

Очевидно, что коэффициенты искажений дают более универсальную оценку геометрических искажений, чем дисторсия, т.к. при а=90° значение Т)(а) определено только в предельном случае: при а—>90°, О(а)—> -1. В связи с этим коэффициент относительной дисторсии позволяет оценить геометрические искажения изображений, формируемых узкопольными ОС, для которых осуществляется метод проекции в соответствии с гномонической отображающей функцией.

Если в ОС реализуется не гномоническая отображающая функция, то геометрические искажения следует оценивать, как отклонение изображения от некоторого идеального, которое может быть получено при выбранном способе проекции, характеризуемом заданной отображающей функцией

кр.,М)

К(а) =

К"д (а)

(8)

Коэффициент сферических искажений и коэффициент дисторсии для ОС с БТЬе1а отображающей функцией вида можно определить по формулам:

Оид(а)--

(Иг'Ла)

Кид (а) = —-= 1;

"ск-сф ¿¿г!(0)

а

Ыа)

-1.

(9)

(10)

о *§(«)

Геометрические искажения ОС влияют на разрешающую способность ПСВН. Например, сжатие изображения приводит к расширению пространственно-частотного спектра изображения (рисунок 3) и, как следствие, уменьшению пространственного разрешения.

При постановке задачи разработки сверхширокоугольной ОС исходными данными являются: размеры кристалла МПИ, угловое поле и вид отображающей функции. Т.к. в качестве исходной оптической схемы сверхширокоугольного объектива используется композиция узкопольного объектива, работающего на бесконечность, и афокальной системы типа Галилея,

Рисунок 3. Пространственные спектры сигнала для различных значений коэффициента сферических искажений Киск сф

то задача предварительного габаритного расчёта сверхширокоугольного объектива заключается в определении фокусного расстояния fo узкопольного объектива и углового увеличения у(а) афокальной системы при заданной отображающей функции.

При заданном угловом поле СШОС 2агаах = п и эквидистантной отображающей функции, а также при максимальном размере кристалла МПИ 2у тах и начальном приближении углового увеличения у(0) фокусное расстояние f0 узкопольного объектива определяется формулами

г_ /' 2g„ _ 2у'тах (п)

0 ко) ко) т-л'

При а=0 угловое увеличение у(0) для эквидистантной отображающей функции имеет вид

m=tg«J = jg«J _ (12)

а яг/2

max

Угловое поле фотографического объектива la'w и угловое увеличение афокальной насадки у(а) являются параметрами, нахождение компромисса между которыми способствует минимизации отличия полученной отображающей функции от отображающей функции заданной при проектировании ОС. Несоответствие отображающих функций, приводит к возникновению геометрических искажений, которые можно оценивать путём сравнения коэффициентов искажений.

Нахождение закона изменения углового увеличения у(а), при котором отображающая функция проектируемой ОС соответствует идеальной, т.е. К = К"д +, является ключевой задачей синтеза сверхширокоугольной ОС.

иск _сф иск _сф 7

В работе рассмотрены 2 варианта сверхширокоугольной ОС: с гномонической и эквидистантной отображающими функциями.

В случае гномонической отображающей функции предметная плоскость проецируется в плоскость изображений, и коэффициент искажений должен быть равен

cos» =1(D=0), (i3)

7(0) cos2(а-/(ее))

Решая численными методами уравнение

cos2(a-y(a)) _ cos2 (а)

у(а) у{ 0)

при различных значениях у(0) получим табулированную функцию Уь(а). Графи ки уб(а) при различных значениях у(0) представлены на рисунке 4.

Рисунок 4. Графики углового увеличения и углового поля в пространстве изображений для ортоскопической ОС при различных значениях у(0)

Графики на рисунке 4 показывают, что ортоскопическая сверхширокоугольная ОС с угловым полем 180° не реализуема, тле. угловые поля в пространстве изображений, близкие к 180° не достижимы.

В пространстве изображений с учетом энергетических параметров оперируют малыми угловыми полями 2а,гаах=40-60°. Таким образом, для получения наибольшего углового поля в пространстве предметов необходимо использовать ортоскопический объектив с меньшим угловым увеличением около оптической оси у(0), например у(0)=0,2.

В случае эквидистантной отображающей функции предметная сферическая поверхность проецируется в плоскость изображений, и коэффициент сферических искажений должен быть равен

К-= --1 =1 . (15)

/(0) cos (а-да))

Идеальная ОС с эквидистантной отображающей функцией синтезируется, исходя из условия:

2

у(а) = ДО)-cos (а-Дог)). (16)

Либо иначе можно записать

у(а') = /(0)- соб (а'). Соответственно, угловое поле СШОС равно 2 а(а') = 2

(18)

Чтобы уменьшить угловое поле в пространстве изображений и минимизировать вариации углового увеличения в пределах углового поля, необходимо уменьшать угловое увеличение у(0) для области около оптической оси (рисунок 5).

у(0)=0.5

у(0)=0.3

у(0)=0.2

0 10 20 30 40

О 6.25 12.5 18.75 25

15 20

Рисунок 5. Графики углового увеличения для СШОС с отображающей функцией вида РТЬе1а

На основе полученных результатов разработана методика проектирования ПСВН со сверхширокоугольными ОС. Исходными данными для проектирования СШОС являются: ® угловое поле 2ашх; ® вид отображающей функции г' = /'); ® размеры кристалла МПИ а х Ъ;

® размеры чувствительных элементов МПИ, или количество чувствительных элементов N х м; « уровень освещённости в плоскости изображения, характеризуется относительным отверстием В/Р. Алгоритм расчета фокусного расстояния фотографического объектива и углового увеличения афокальной ОС, образующих сверхширокоугольный объектив, представлен в таблице 1.

При фиксированном угловом поле 2атах = % и фиксированном числе ЧЭ МПИ ЫхМ угловая разрешающая способность ПСВН определяется как:

2 а,„...

Да = -

М

(19)

Максимальная пространственная частота оптического сигнала в плоскости МПИ, которую возможно восстановить, равна

У„ (20)

шах 2[)

Таблица 1. Алгоритм расчета фокусного расстояния фотографического объектива и углового увеличения афокальной ОС____

Угловое поле в пространстве предметов 2агаах <180° (на практике не более 120°) 2amax>180°

Отображающая функция Гномоническая r' = f'-tg(a) FTheta r' = f'a

Угловое поле в пространстве изображений 2a'max (как правило, не более 60°)

Фокусное расстояние фотографического объектива, Г о - а,г tg(a'mx)

Угловое увеличение на краю углового поля 2 а r(««) = :pHL 1 ПС тах

Угловое увеличение в центре углового ПОЛЯ cos2(а )

7(0) =-2-^-rt"™«) cos (am„-r(«mJ) cos (а«,-КО)

Закон изменения углового увеличения 9 cos (<а • у{сс)) _ y(a) _cos2(ar) cos2(amm-/(amJ) XKJ cos2(amJ Ke> К«-) . cos («max -r(amaJ) •cos2(«')

Представленные выше рекомендации были апробированы при разработке сверхширокоугольного объектива - «Fish Eye BMSTU». Изображение, формируемое этим объективом, представлено на рисунке 6.

Требования к качеству изображения, формируемого сверхширокоугольным объективом, должны определяться на основе анализа эффективности ПСВН в целом.

Рисунок 6. Изображение полупространства, сформированное ОС «FishEye BMSTU»

В третьей главе изложена методика проектирования ПСВН, основанная на блочно-иерархическом подходе (БИП). В соответствии с общими положениями проектирования оптико-электронных приборов (ОЭП) на основе БИП рассматриваются функционально-логический, системотехнический и схемотехнический уровни проектирования ПСВН. Для получения оптимального проектного решения на каждом из иерархических уровней определены показатели качества и целевые функции проектирования ПСВН, которая является составной частью комплекса обеспечения безопасности (КОБ).

В диссертации обосновано использование вероятности идентификации несанкционированного события оператором Р(НС) = Рнс как показателя качества ПСВН при проектировании на системотехническом уровне:

Рнс = Р{С)Р(НС\С), (21)

где Р(С) -Рс- вероятность обнаружения оператором любого из возможных событий в зоне контроля;

Р(НС\С) -вероятность правильной идентификации событий оператором, т.е. отнесения события к типу несанкционированных событий при условии обнаружения любого из событий в зоне контроля.

Показатели качества ПСВН, вероятности обнаружения и правильной идентификации событий, определяются с учетом заданного показателя качества КОБ, а также с использованием методик, разработанных в работах Колюч-кина В.Я. и Мосягина Г.М. На основе принятых в работе математической модели СВН в линейном приближении и многоканальной модели зрительной системы человека-оператора сформулирована целевая функция проектирования на системотехническом уровне, которая определяет зависимость вероятности правильной идентификации от переменных проектирования - параметров систем регистрации и систем отображения информации для наблюдения оператором СВН.

Из проведённого анализа целевой функции следует, что при фиксированной частоте кадров вероятность Рнс возрастает при увеличении времени накопления сигнала в матричном приемнике излучения (МПИ). Но при времени накопления более 5-10 мс может возникать «смаз» регистрируемого изображения, который приводит к снижению вероятности распознавания движущихся объектов. Чтобы исключить пропуск таких объектов на видеоизображении, частоту кадров рекомендуется использовать не менее 13-15 Гц.

Определена зависимость вероятности обнаружения событий человеком-оператором от величины отношения сигнала к шуму, размера пятна рассеяния ОС, а также от размера изображений регистрируемых объектов. Проведён анализ влияния на вероятность распознавания наблюдателем частоты кадров, размеров объектов, а также линейных искажений, которые вносит объектив и чувствительные элементы МПИ. Показано, что даже при отношении сигнала к шуму (ОСШ), равном 1, частоте кадров 15 Гц, объект, имеющий изображение размером 10 пикселей может быть обнаружен с вероятностью более 0,9. Для распознавания изображения лица человека при тех же условиях с вероятностью, превышающей 0,95 достаточно 15 пикселей. При допущении о пространствен-

ной инвариантности ОС для распознавания человека с вероятностью большей 0,95 требуется обеспечить радиус пятна рассеяния ОС не более 1,25 мкм. (при размере пикселя ах=3 мкм)

Таким образом, сформулированная на основе модельного описания целевая функция проектирования ПСВН на системотехническом уровне позволяет определить оптимальное сочетание параметров системы регистрации, в том числе: размеров и количества чувствительных элементов МПИ, частоты кадров, а также фокусного расстояния, относительного отверстия и размера пятна рассеяния ОС.

Отметим, что приведённые выше результаты справедливы при допущении о пространственной инвариантности ОС. Для сверхширокоугольных ОС это допущение выполняется в пределах относительно малых угловых полей.

В четвертой главе на основе анализа особенностей зрительного восприятия изображений, имеющих геометрические искажения, предложены алгоритмы цифровой обработки изображений, позволяющие компенсировать эти искажения.

Методы проекции изображений в сверхширокоугольных и узкопольных ОС, привычных для человека-оператора, различны вследствие различия отображающих функций: гномонической для узкопольных ОС, эквидистантной для СШОС. В соответствии с этим предлагаются алгоритмы исправления искажений изображений, которые условно названы двухмерными и трёхмерными.

Эти алгоритмы реализованы в разработанном при непосредственном участии автора программном комплексе «8рЬегеБе\уагр».

Двухмерные алгоритмы делятся на два типа: первый основан на модели гномонической проекции, а второй - на модели, описывающей частные свойства изображения.

В алгоритмах первого типа используется преобразование зарегистрированного изображения в соответствии с выражением

(22)

где г^ - радиус-вектор точки зарегистрированного изображения в плоскости МПИ, а г \ - радиус-вектор точки пространства предметов при гномонической проекции.

В программном комплексе «8рЬегеБе\уагр» этот алгоритм называется РегересЦуеМосЫ. Результат работы алгоритма представлен на рисунке 7.

Алгоритмы второго типа основаны на частных свойствах получаемого изображения или некоторых допущениях относительно этих свойств. Все эти алгоритмы реализованы только для отображающей функции вида БП^а. К ним относятся алгоритмы, получившие названия: РЕТМос1е1, РОУМос1е1, "ПкесЮа-тега. Каждый из алгоритмов обеспечивает различную степень исправления искажений в изображении для различных угловых полей.

Трехмерные методы основаны на проекции зарегистрированного изображения на сфере, дальнейшей проекции сферы на плоскость и коррекции

остаточных геометрических искажений в полученной развертке двухмерными алгоритмами. Пример такого преобразования представлен на рисунке 8.

Рисунок 7. Изображение, преобразованное по алгоритму РегзресіїуеМосіеІ

Рисунок 8. Изображение, преобразованное трехмерным методом с последующей коррекцией

На основании практического исследования приведенных методов с помощью тестовой программы сформулированы следующие рекомендации по выбору методов в зависимости от расстояния до объектов в наблюдаемом пространстве.

Рекомендации выбора алгоритмов для отображения открытого пространства большой глубины (более Зм):

® для панорамы широкого открытого пространства рекомендуется использовать алгоритм исправления через разворот сферы (ЗрЬегеБелуагрМоёе!);

» для выравнивания центральной части панорамы следует использовать алгоритм ИкесЮатегаАззитрйоп. (или РЕТМо<1е1);

о для отображения узких пространств рекомендуется использовать один из алгоритмов перспективной коррекции: выбор конкретного алгоритма из этого семейства зависит от отображающей функции объектива.

Для отображения замкнутого пространства малой глубины (менее Зм) рекомендуется использовать алгоритм РОУМос1е], обеспечивающий наибольший обзор за счёт внесения искажений в изображение «глубины» сцены (кажется глубже, чем есть на самом деле).

В этой же главе приведено описание предложенного алгоритма обработки изображения в панорамной системе видеонаблюдения АН\Че\у. Алгоритм позволяет реализовать виртуальную сканирующую панорамную систему, причём

в пределах узкого углового поля устранены геометрические искажения и обеспечена «сшивка» изображений на границе полусфер.

В пятой главе изложены методы контроля качества панорамных изображений в ПСВН. На основе проведенного анализа, предложена методика измерения оптической передаточной функции (ОПФ) и коэффициентов искажений сверхширокоугольных ОС и системы регистрации (СР) ПСВН, разработаны принципы построения аппаратуры контроля качества ПСВН.

Основными характеристиками систем регистрации ПСВН являются:

- ОПФ объектива;

- коэффициент искажений объектива Киа_сф;

- передаточная функция (ПФ) СР ПСВН.

В главе приведено обоснование принципа действия аппаратуры для измерения ОПФ ОС и ПФ СР. В аппаратуре используется метод, основанный на измерении пограничной кривой. Схема аппаратуры представлена на рисунке 9. На основе этого метода создан макетный образец прибора, который использован при проведении экспериментальных исследований по измерению ОПФ сверхширокоугольных объективов.

1 - осветитель; 2 - ножевая диафрагма; 3 - коллиматор; 4 - контролируемый объектив; 5 — многоэлементный приёмник излучения; 6 - устройство видеозахвата; 7 - ЭВМ.

Рисунок 9. Принципиальная схема для измерения ОПФ ОС и ПФ СР

Предложен алгоритм измерения коэффициента геометрических искажений ОС для угловых полей от 0 до 180°. Методика измерения основана на измерении абсолютного значения расстояния между изображениями штрихов тестовой миры, расположенной на краю поля ОС, и сравнения его с эталонным расстоянием между изображением штрихов, расположенных в центре поля (ри- [ сунок 10).

В качестве эталонного расстояния между изображениями штрихов принимается расстояние между изображениями штрихов для центра углового поля. В качестве измеряемого принимается расстояние между изображениями штрихов на краю поля. Измеренные данные используются для вычисления значения коэффициента сферических искажений по формуле

К„с,сф(а) = ^-, (23)

яо

где а'о - расстояние между изображениями штрихов для центра, а' - расстояние между изображениями штрихов для края.

На основе разработанных алгоритмов при непосредственном участии автора разработаны макетные образцы двух приборов, один из которых предназначен для контроля качества сверхширокоугольных ОС, а второй - системы регистрации ПСВН. Приведены результаты экспериментальных исследований, подтвердивших эффективность технических решений, использованных в макетных образцах приборов.

I

В заключении приведены основные результаты диссертационной работы, которые заключаются в следующем:

1) На основе БИП к проектированию определены технические требования к ПСВН, в том числе, вероятности обнаружения и правильной идентификации событий оператором, при этом задан показатель качества комплекса обеспечения безопасности - вероятность предотвращения несанкционированного события.

2) Разработана методика проектирования ПСВН, которая основана на анализе целевой функции, определяющей зависимость вероятности распознавания человеком-оператором образов объектов от параметров системы регистрации панорамного изображения, и позволяет определить оптимальное сочетание параметров системы регистрации, в том числе, частоты кадров, радиуса пятна рассеяния ОС при заданном размере чувствительного элемента МПИ, отношения сигнала к шуму.

3) На основе анализа особенностей формирования изображения в сверхширокоугольных ОС предложено для количественной оценки их геометрических искажений использовать коэффициент искажений, коэффициент относительной дисторсии имеет вспомогательное значение.

4) Предложена исходная оптическая схема для синтеза сверхширокоугольных ОС, включающая две группы компонент в виде фотографического объектива и афокальной системы; разработана методика определения фокусного расстояния и углового увеличения при гномонической и эквидистантной отображающих функциях.

5) Определены функциональные зависимости между коэффициентом искажений и пространственным разрешением, позволяющие для заданных условий использования ПСВН определить вид отображающей функции сверхширокоугольной ОС.

6) Разработаны алгоритмы и программное обеспечение для преобразования изображений в ПСВН, позволяющие скорректировать геометрические искажения зарегистрированного панорамного изображения.

Рисунок 10. Образец тестовой миры для измерения геометрических искажений

8) Обоснованы методы контроля качества изображения, формируемого в ПСВН, и разработаны макетные образцы аппаратуры контроля, позволяющей оценивать линейные и геометрические искажения ПСВН.

9) Разработанные в диссертации теоретические положения использованы при создании в НИИ PJI МГТУ им. Н.Э. Баумана макетного образца объектива типа «Рыбий глаз» и макетных образцов аппаратуры контроля ПСВН, испытания которых подтвердили основные теоретические положения диссертации.

Основные результаты диссертации отражены в следующих работах:

1. Колобов К.В., Колючкин В.Я. Анализ формирования изображения в системах видеонаблюдения со сверхширокоугольными оптическими системами// Электромагнитные волны и электронные системы. - 2011. - №7. - С.47-51.

2. Патент № 2347251 РФ. Объектив «Рыбий глаз» для видеокамеры / В.Я. Колючкин, H.H. Тимашова, К.В. Колобов, A.A. Князев; заявл. 21.09.2006 //Б.И. -2009. —№5.

3. Колобов К.В., Костылев Н.М. Устранение искажений в изображениях, получаемых в панорамных системах видеонаблюдения// 0птика-2007: Сборник тезисов докладов V международной конференции молодых ученых и специалистов. - М, 2005. - С.226-227.

4. Колобов К.В. Видеокамера сферического видеонаблюдения// Прикладная оптика. Компьютерные технологии в оптике: Сборник трудов VIII Международной конференции. - СПб., 2008. - С.82-86.

5. Колобов К.В. Преобразование изображения в системе с круговым обзором пространства // Студенческая научная весна-2005: Сборник трудов студенческой научно-технической конференции. - М., 2005. - С. 33-34.

6. Колобов К.В. Панорамные системы видеонаблюдения// Студенческая научная весна-2006: Сборник трудов студенческой научно-технической конференции. - М., - С.46-47.

7. Колобов К.В., Курышев В.А. Тотальные системы панорамного видеонаблюдения для транспортных объектов// Метро и тоннели. - 2009. - №1. - С.18-20.

8. Патент № 2335003 РФ. Панорамная зеркально-линзовая система с видеокамерой / В.Я. Колючкин, Л.Н. Тимашова, К.В. Колобов, A.A. Князев; заявл. 21.09.2006 //Б.И. - 2008. -№27.

Подписано к печати 21.02.12. Заказ №93 Объем 1,0 печ.л. Тираж 100 экз. Типография МГТУ им. Н.Э. Баумана 105005, Москва, 2-я Бауманская ул., д.5 (499) 263-62-01

61 12-5/4157

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

ИМ. Н.Э. БАУМАНА

На правах рукописи

Колобов Кирилл Викторович

ИССЛЕДОВАНИЕ И РАЗРАБОТКА ПАНОРАМНЫХ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ

05.11.07 - Оптические и оптико-электронные приборы и

комплексы

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель доктор технических наук, доцент

Колючкин Василий Яковлевич

Москва - 2012

СОДЕРЖАНИЕ

Список сокращений......................................................................................................................6

ВВЕДЕНИЕ........................................................................... 8

ГЛАВА 1. ОБЗОР УСТРОЙСТВ ДЛЯ РЕГИСТРАЦИИ И ОТОБРАЖЕНИЯ ПАНОРАМНЫХ ВИДЕОИЗОБРАЖЕНИЙ............... 11

1.1. Постановка задачи исследований.......................................... \ 1

1.2. Краткая историческая справка.............................................. ¡2

1.3. Обзор систем регистрации панорамных изображений................. 15

1.3.1. Мультикамерные системы регистрации панорамного изображения средств................................................................

1.3.2. Сканирующие системы регистрации панорамного

изображения.................................................................... 19

1.3.3. Система регистрации панорамного изображения со

сверхширокоугольными объективами.......................................... 21

1.3.4..Анализ систем регистрации панорамного

изображения........................................................................ 28

1.4. Обзор методов и устройств отображения панорамных изображений........................................................................ 30

1.4.1. Непосредственное отображение панорамного

изображения............................................................................................ 30

1.4.2. Фрагментарное (последовательное) отображение

панорамного изображения...................................................... 31

1.4.3. Метод циркарамы........................................................... 33

1.5. Анализ эффективности работы ПСВН.................................... 33

ГЛАВА 2. АНАЛИЗ ОСОБЕННОСТЕЙ

СВЕРХШИРОКОУГОЛЬНЫХ ОПТИЧЕСКИХ СИСТЕМ.................. 36

2.1. Принципы построения сверхширокоугольных ОС...................... 36

2.1.1. Технические требования к сверхширокоугольным ОС............................36

2.1.2. Анализ формирования изображения

сверхширокоугольными оптическими системами......................................................41

2.2. Дисторсия сверхширокоугольных ОС..............................................................................47

2.2.1. Определение дисторсии............................................................................................................4g

2.2.2. Связь относительной дисторсии и коэффициента искажений............49

2.2.3. Оценка искажений изображений в СШОС............................................................53

2.2.4. Влияние геометрических искажений на разрешение ПСВН..................56

2.3. Синтез сверхширокоугольных ОС......................................................................................59

2.3.1. Постановка задачи синтеза сверхширокоугольных ОС..............................59

2.3.2. Синтез сверхширокоугольных ОС с гномонической отображающей функцией......................................................................................................................62

2.3.3. Синтез сверхширокоугольных ОС с эквидистантной отображающей функцией......................................................................................................................66

2.4. Методика проектирования сверхширокоугольных ОС..................................68

2.5. Апробация методики проектирования

сверхширокоугольных ОС..............................................................................................................72

ГЛАВА 3. МЕТОДИКА ПРОЕКТИРОВАНИЯ ПАНОРАМНЫХ

СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ..............................................................................................75

3.1. Блочно-иерархический подход к проектированию

панорамных систем видеонаблюдения..............................................................................75

3.2. Методика проектирования комплекса обеспечения

безопасности на функционально-логическом уровне..........................................79

3.3. Методика проектирования комплекса обеспечения

безопасности на функционально-логическом уровне................................................84

3.3.1. Постановка задачи формулирования целевой функции

проектирования системы видеонаблюдения......................................................................84

3.3.2. Анализ зависимости вероятности обнаружения событий от параметров СВН....................................................................................................................................g5

3.3.2.1. Оценка вероятности обнаружения события

при возможном его пропуске в процессе регистрации........................................86

3.3.2.2. Оценка вероятности обнаружения события

с учётом свойств зрительной системы человека-оператора........................87

3.3.3. Анализ зависимости вероятности распознавания

образов объектов от параметров СВН........................................................................................91

ГЛАВА 4. АЛГОРИТМЫ ЦИФРОВОЙ ОБРАБОТКИ

ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ..........................................................................................96

4.1. Постановка задачи цифровой обработки

панорамных изображений................................................................................................................96

4.1.1. Анализ методов отображения перспективы

в панорамных изображениях......................................................................................................9g

4.1.2. Методы коррекции искажений панорамных

изображениях................................................................................................................................................Ю1

4.2. Классификация цифровых методов коррекции

геометрических искажений панорамных изображений......................................102

4.2.1. Двухмерные методы коррекции панорамных

изображений....................................................................................................................................................j Q3

4.2.1.1. Методы, основанные на модели

перспективной коррекции..................................................................................................................Ю5

4.2.1.2. Метод FishEye Transform Model..............................................................................108

4.2.1.3. Метод FOVModel......................................................................................................................ио

4.2.1.4. Метод «наклоненной» камеры....................................................................................113

4.2.2. Трехмерные методы, основанные на развороте сферы..............................115

4.3. Рекомендации по выбору методов....................................................................................120

4.4. Обработка изображений в Панорамной Системе

Видеонаблюдения АПУ1ел¥......................................................... 120

ГЛАВА 5. МЕТОДИКА КОНТРОЛЯ СИСТЕМ РЕГИСТРАЦИИ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ............................................. 125

5.1. Обоснование перечня характеристик и параметров

панорамных систем регистрации, подлежащих контролю................. 125

5.2. Методы контроля объективов панорамных

систем регистрации изображений............................................... 126

5.2.1. Обоснование принципа действия аппаратуры

для измерения ОПФ объективов и ПФ панорамных систем

регистрации изображений.......................................................... 126

5.2.2. Обоснование принципа действия аппаратуры

для измерения геометрических искажений объективов.................. 132

5.3. Результаты экспериментальных исследований......................... 134

5.3.1. Измерение МПФСШОС.................................................... 134

5.3.2. Измерение геометрических искажений в изображениях,

формируемых СШОС............................................................... 137

ВЫВОДЫ И ЗАКЛЮЧЕНИЕ..................................................... 142

ЛИТЕРАТУРА..................................................................... 144

СПИСОК СОКРАЩЕНИЙ

1) FE - Fish Eye - объектив «Рыбий глаз»

2) FET Model - FishEye Transform Model

3) Fish Eye - объектив «Рыбий глаз»

4) БИЛ - блочно-иерархический подход

5) БПФ - быстрое преобразование Фурье

6) ВДНХ - Выставка достижений народного хозяйства

7) ВП - виртуальный прибор

8) ГШ - генератор аддитивного шума

9) ИС - источник сигнала

10) КМОП - комплементарная логика на транзисторах металл-оксид-полупроводник

11) КОБ - комплекс обеспечения безопасности

12) КПП - контрольно-пропускной пункт

13) М - модулятор

14) МПИ - матричный приемник излучения

15) МПСВН - мультикамерная панорамная система видеонаблюдения

16) МПФ - модуляционная передаточная функция

17) НС - несанкционированное событие

18) ОПБ - оптические панорамные блоки

19) ОПФ - оптическая передаточная функция

20) ОС - оптическая система

21) ОСШ - отношение сигнал-шум

22) ОЭС - оптико-электронная система

23) ПАУ - подсистема алгоритмов управления

24) ПЗС - прибор с зарядовой связью

25) ПИ - приемник излучения

26) ПСВН - панорамные системы видеонаблюдения

27) ПФ - пространственный фильтр

28) ПЧС - пространственно-частотный спектр

29) СВ - система видеонаблюдения

30) СКУД - система контроля управления доступом

31) СОП - система охраны периметра

32) СРПИ - система регистрации панорамного изображения

33) СЦОИ - система цифровой обработки изображения

34) СШОС - сверхширокоугольная оптическая система

35) ТЗ - техническое задание

36) УОП - устройство отображения панорамы

3 7) УСВН - узкопольная система видеонаблюдения

3 8) ЧЭ - чувствительный элемент

39) ЭВМ - электронно-вычислительная машин

ВВЕДЕНИЕ

Системы видеонаблюдения (СВН) находят широкое применение в системах обеспечения безопасности объектов транспортной инфраструктуры, промышленных предприятий, жилых помещений и других объектов. Для контроля крупных объектов в основном используют многокамерные СВН, позволяющие оператору наблюдать отдельные зоны охраняемого объекта. Отсутствие единого изображения зоны контроля, и, как следствие, пропуск или повторение фрагментов объектов в изображениях этих зон, существенно затрудняет для человека-оператора анализ ситуаций на объекте. Альтернативой многокамерным являются панорамные системы видеонаблюдения (ПСВН), формирующие единое панорамное видеоизображение окружающего систему пространства. Использование ПСВН, формирующих единое изображение окружающего пространства, упрощает анализ сцен и может существенно повысить эффективность работы операторов.

При этом у ПСВН есть ряд недостатков, сдерживающих их всеобщее превалирование на рынке охранного видеонаблюдения (каждый недостаток зависит от типа ПСВН): большие габариты(СРПИ, искажения в изображениях, низкое разрешение,"цена. Устранение этих недостатков - актуальная задача, решение которой позволит существенно поднять эффективность применения охранных систем видеонаблюдения.

Особый интерес представляют ПСВН со сверхширокоугольными оптическими системами (ОС), объективами типа «рыбий глаз».

Уровень развития систем охранного видеонаблюдения характеризуется постоянным совершенствованием элементной базы, но вопросам проектирования СВН, связанных с оптимизацией схем регистрации видеоизображений и параметров устройств, используемых в СВН, в литературе уделено мало внимания. В частности, в работах зарубежных авторов В. Дамьяновски, М. Гарсия, Г. Кругль содержатся полезные практические

рекомендации по проектированию СВН, но отсутствует теоретическое обоснование принципов построения СВН. В публикациях отечественных авторов В.А. Ворона, В.А. Тихонова, Р.Г. Магауенова, В.Г. Синилова даны только общие рекомендации по проектированию СВН и содержится в основном справочная информация. В указанных литературных источниках отсутствует системный подход к проектированию СВН, а также не учтены особенности восприятия изображений, формируемых СВН, человеком-оператором.

Вопросы проектирования сверхширокоугольных оптических систем (ОС) опубликованы в работах Русинова М.М., Якушенковой Т.Н., Урусовой М.В. и др. В работах Якушенковой и Урусовой сделан акцент на зеркально-линзовые панорамные ОС, но отсутствуют рекомендации по исправлению или компенсации характерных для таких ОС геометрических искажений, что очень г важно для проектирования ПСВН.

В связи с этим тема диссертации, посвященная разработке методики проектирования ПСВН и в частности ПСВН со сверхширокоугольными ОС, является актуальной.

Целью диссертационной работы является создание на основе теоретических и экспериментальных исследований научно обоснованной методики проектирования ПСВН.

Для достижения поставленной цели в диссертации необходимо решить следующие задачи:

- разработать математические модели ПСВН и определить на основе этих моделей целевые функции проектирования ПСВН;

- разработать элементы теории оценки геометрических искажений в ПСВН со сверхширокоугольными объективами;

- разработать методику синтеза оптических схем и сформулировать рекомендации для расчета сверхширокоугольных объективов;

- обосновать рациональные варианты геометрической коррекции панорамных изображений для обеспечения наилучшего восприятия человеком-оператором;

- разработать и апробировать методы оценки качества систем регистрации изображений в ПСВН.

ГЛАВА 1. ОБЗОР УСТРОЙСТВ ДЛЯ РЕГИСТРАЦИИ И ОТОБРАЖЕНИЯ ПАНОРАМНЫХ ВИДЕОИЗОБРАЖЕНИЙ

1Л. Постановка задачи исследований

Панорамные . системы видеонаблюдения (ПСВН) - это подкласс оптико-электронных систем наблюдения, отличительной особенностью которых является возможность наблюдения оператором изображений объектов в пределах углового поля, достигающего размера 180x360°.

В зависимости от области пространства, изображение которого создает такая система, ПСВН можно разделить на 2 типа, а именно:

1) круговая (цилиндрическая) ПСВН, обеспечивающая регистрацию объ- '9 ектов в пределах углового поля, составляющего 360° и ограниченного в пределах углов, меньших ±90°, по азимуту.

2) сферическая ПСВН, обеспечивающая регистрацию объектов в пределах углового поля, составляющего 360° по азимуту и 180° по углу места; частный случай сферической ПСВН, полусферическая ПСВН, обеспечивающая регистрацию объектов в пределах углового поля, составляющего 180° по азимуту и 180° по углу места.

Обобщённая структурная схема ПСВН представлена на рисунке 1.1. В состав ПСВН входят: система регистрации панорамного изображения (СРПИ), система цифровой обработки изображений (СЦОИ), устройство отображения панорамы (УОП).

Системы регистрации панорамного изображения (СРПИ) в большинстве случаев представляют собой ОЭП телевизионного типа.

Система цифровой обработки изображений (СЦОИ) представляет собой аппаратно-программный комплекс для обработки и преобразования панорамного изображения к виду, удобному для наблюдения человеком-оператором на экране устройства отображения панорамы (УОП).

Рисунок 1.1. Обобщённая структурная схема ПСВН

Область применения панорамных систем видеонаблюдения определяет требования к показателям качества системы. В данной работе рассматриваются только панорамные видеосистемы, применяемые в охранных системах. Соответственно, требования к показателям качества системы должны определяться задачами обнаружения и распознавания, идентификации образов наблюдаемых объектов. Формирование перечня и значений показателей качества ПСНВ является одной из задач данной работы.

Целью диссертационной работы является разработка методики проектирования ПСВН. В связи с этим требуется сформулировать задачи, решение которых позволит достичь поставленной цели. Поэтому в первой главе диссертации приведены сведения, полученные в процессе анализа отечественных и зарубежных источников информации в области ПСВН. На основе этих результатов предложена классификация ПСВН, основанная на отличиях в методах регистрации панорамных изображений и представлении их для наблюдения человеку-оператору, а также выявлены нерешённые к настоящему времени задачи.

1.2. Краткая историческая справка

История видео (кино) панорам началась 25 ноября 1897 году, когда Раулем Гримуэном-Сансоном (Raoul Grimoin-Sanson) была запатентована первая

круговая кинопанорама «Синеорама» или «Синекосморама» (Стеога-та/СтёсоБтогата). «Павильон Синеорамы» (Стеогата) был открыт на Всемирной выставке в Париже в 1900 году (рисунок 1.2).

Внутренний вид "Швитлиа Синеорамы" (Стеогата) Раупм Гркмуэиа.Сзисома (йаои! Сптош-Згмоп)

Рисунок 1.2. Первая круговая кинопанорама - «Синеорама»

Десять проекционных аппаратов располагались в киноаппаратной под гондолой. Каждый аппарат проецировал изображение в пределах углового поля 36°. Синхронизация кинопроекторов осуществлялась с помощью механических связей.

Для съемки и проекции круговой кинопанорамы использовались десять 75мм пленок с размером кадра 57x64 мм каждая. Съемка производилась специально разработанной киносъемочной аппаратурой. Качество проекции первой круговой кинопанорамы из-за невысоких светотехнических возможностей оп-

тики и проекционной аппаратуры было низким.

В 50-х годах XX века Уолт Дисней на основе самых современных на тот период технологий создал круговую панораму - «Циркарама» (Слгсагата). Для съемки и проекции использовалась 16-мм цветная кинопленка "Кодахром". Съемка производилась в пределах полного кругового поля в 360° одиннадцатью синхронно работающими 16-мм кинокамерами «Кодак», смонтированными на круговой опоре. Фокусное расстояние объектива каждой камеры 15 мм, угол 32,7° (32,7°: 11 =360°). Вид «циркарамы» и камеры Уолта Диснея представлены ' ' на рисунках 1.3 и 1.4 соответственно.

Уотзансвк-д из 16 мм кинокамер «АгггРУх» Ьпя съемки хругорамноэо фшъма тю камерной сиапе.ке «Ицрхарама»

Рисунок 1.4. Камера Уолта Диснея

В 50-60 гг XIX века кинопанорамы пользовались колоссальной популярностью. Потом популярность кинопанорам сошла на нет, и они уступили место обычному кино со спецэффектами. Впрочем, панорамный кинотеатр и ныне проводит киносеансы на ВДНХ.

Интерес к панорамным видеоизображениям возобновился в 80-90-х годах XX века, когда получили развитие системы видеонаблюден