автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математическое моделирование поверхности зеркала, исправляющего перспективные искажения

На правах рукописи

484Ь/о> /(/¡/

с/

Михайлов Павел Иванович

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ПОВЕРХНОСТИ ЗЕРКАЛА, ИСПРАВЛЯЮЩЕГО ПЕРСПЕКТИВНЫЕ ИСКАЖЕНИЯ

Специальность 05.13.18 Математическое моделирование, численные методы и

комплексы программ

Автореферат

диссертации на соискание ученой степени кандидата физико-математических наук

1 9 МАЙ 2011

Тюмень-2011

4846731

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Омский государственный технический университет» на кафедре комплексной защиты информации

доктор технических наук Файзуллин Рашит Тагирович

доктор технических наук Захаров Александр Анатольевич (Тюменский государственный университет)

доктор технических наук Волков Владимир Яковлевич (Сибирская автомобильно-дорожная академия, г. Омск)

Ведущая организация: Институт систем обработки изображений, г. Самара

Защита планируется «27» мая 2011 г. в 16 часов на заседании диссертационного совета Д212.274.14, созданном при Тюменском государственном университете, по адресу: г. Тюмень, ул. Перекопская 15а, ауд. 410

С диссертацией можно ознакомиться в библиотеке Тюменского государственного университета по адресу г. Тюмень, ул. Семакова, 18

Автореферат разослан « » апреля 2011 г.

Научный руководитель

Официальные оппоненты:

Ученый секретарь Диссертационного совета

Ступников А. А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Введение

Диссертационная работа посвящена разработке и экспериментальному исследованию метода исправления перспективных искажений на изображениях с помощью зеркала особой формы и применению разработанного метода к задаче выявления координированного движения в местах массового скопления людей.

В последнее время все более широкое распространение получают системы видеонаблюдения и охранного телевидения. Электронные системы наблюдения позволяют выполнять многие важные и сложные задачи обеспечения безопасности. Например, для обеспечения безопасности в системах «безопасный город», движением транспортных потоков на оживленных городских магистралях. Существует множество применений систем телевизионного наблюдения в научных исследованиях и в промышленности, например, для контроля над технологическими процессами и управления ими. В некоторых наблюдение может производиться в условиях низкой освещенности или в средах, где присутствие людей не допускается. Успешно эти системы используются в местах массового скопления людей, в супермаркетах, в банках. Таким образом, задача получения высококачественного изображения для последующей обработки и анализа является актуальной. Одной из проблем, сильно снижающей качество изображения (Eskicioglu A.M., Fisher Р.) являются перспективные искажения.

Перспективные искажения обычно возникают в случае, если плоскость изображения и плоскость предмета не параллельны между собой. Например, при фотографировании высоких объектов с уровня земли (архитектурных сооружений) линии, вертикальные на фотографируемом объекте, на изображении получаются наклонными. На рис.1 (слева) представлено расположение камеры над серединой фотографируемого объекта (в случае фотографирования архитектурных сооружений - посередине высоты здания). В этом случае перспективные искажения отсутствуют, черно-белые полосы на изображении одинаковы по ширине.

Актуальность темы

шш ии

Рис. 1. Взаимное расположение предмета и камеры

Но, как правило, не удается расположить камеру точно над объектом наблюдения. Здания приходится фотографировать с земли, камера наблюдения располагается не над улицей, а, например, на стене одного из зданий (рис. 1, по центру). В этом случае, если плоскости изображения и предмета параллельны, перспективных искажений нет, но не весь предмет помещается в кадре. Поэтому камеру приходится наклонять, чтобы в кадр попал весь предмет (рис. 1, справа). В этом случае черные и белые полосы имеют разную ширину, проявляются перспективные искажения. Чем дальше область предмета расположена от плоскости изображения, тем меньше ее ширина на изображении.

Исправление перспективных искажений позволяет добиться ситуации, когда и ближние, и удаленные области наблюдаемого объекта видны одинаково хорошо, хотя камера будет располагаться так, как на рисунке 1 справа. Существует два способа коррекции перспективных искажений — программные (работы следующих авторов: С. Rother, P. Clark, М. Mirniehdi, G.K. Myers, R.C. Bolles, Q. Т. Luong, J.A. Herson) и коррекция при съемке (шифт-объективы, разработка компании Nikon)

Анализ существующих способов исправления перспективных искажений показал, что эти способы позволяют исправлять перспективные искажения лишь для небольших углов наклона, и не всегда могут быть применены к системам видеонаблюдения. Рассмотрим цифровую систему телевизионного наблюдения, установленную в месте массового скопления людей - например, городские площади, многолюдные улицы, вокзалы и т.д. Несколько камер установлены на некоторой высоте над площадью. Люди двигаются по площади в разных направлениях, иногда меняя его, уступая дорогу другим, если их маршруты пересекаются и т.д. Ситуация чем-то напоминает броуновское движение. Оператор системы наблюдает всю площадь в целом. Требуется создать модуль предварительной обработки изображения с камеры наблюдения, который выявлял бы «подозрительные» места. Например, если вдруг одновременно несколько человек, находящихся далеко друг от друга, вдруг стали двигаться в одном направлении, сходится к какой-либо точке площади или, напротив, расходиться от нее. Требуется распознать такие ситуации и выдать оператору системы соответствующее предупреждение. Исправление перспективных искажений значительно облегчает процедуру распознавания.

Задачи днссертацнонной работы

1. Провести анализ существующих способов исправления перспективных искажений

2. Получить уравнение для зеркала, обладающего свойством исправлять перспективные искажения

3. Решить уравнение и получить выражение для поверхности зеркала

4. Подтвердить свойство зеркала исправлять перспективные искажения

5. Получить и исследовать интегральное уравнение, связывающее предмет и его отражение в неплоском зеркале

6. Экспериментально исследовать оптическую систему, состоящую из камеры и корректирующего зеркала

7. Разработать пакет программ, предназначенный для получения изображений методом прямой трассировки лучей, реализующий необходимые численные методы и алгоритмы для проведения численных экспериментов

8. Разработать программный комплекс, предназначенный для моделирования поведения людей в местах массового скопления, получения потока видео с камер наблюдения (в модели), выделения следа от перемещения объектов и выявления прямолинейных участков следа, который может использоваться в комплексной системе видеонаблюдения

Методы исследования

В диссертационной работе используются методы: математического анализа, интегрального и дифференциального исчисления, математического моделирования, вычислительной математики.

Научная новизна

В диссертационной работе получены следующие новые научные результаты:

1. Предложен новый способ исправления перспективных искажений с помощью зеркала, получено уравнение на поверхность зеркала, способ проверен экспериментально путем численных и натурных экспериментов

2. Получено и исследовано интегральное уравнение, связывающее предмет и его отражение в неплоском зеркале

3. Исследованы свойства оптической системы, состоящей из камеры и зеркала путем численных и натурных экспериментов

4. Разработан программный комплекс, предназначенный для моделирования поведения людей в местах массового скопления, обработки потока видеоданных, выделения следа от перемещения объектов и выявления прямолинейных участков следа, который может использоваться в комплексной системе видеонаблюдения

Практическая значимость работы

Применение на практике полученных в работе результатов позволит создать, например, системы телевизионного видеонаблюдения, с помощью которых можно одинаково эффективно фиксировать события на охраняемом объекте как в областях, близких к камере, так и удаленных. Кроме этого, практическую значимость представляет разработанная библиотека классов для моделирования оптических систем методом прямой трассировки лучей. Также полученный метод исправления перспективных искажений позволяет облегчить решение задачи выявления координированного движения в местах массового скопления людей.

Апробация работы

Основные результаты диссертации докладывались на 5 всероссийских и региональных научных конференциях, в частности:

• «Технологии Microsoft в теории и практике программирования», г. Новосибирск, 2006 (II место)

• Шестой Всероссийский конкурс студентов и аспирантов по информационной безопасности "SEBINFO-2006", г. Томск, 2006 (I место)

• V Сибирская научная школа-семинар с международным участием «Компьютерная безопасность и криптография» SIBECRYPT06, Шушенское, 2006

• «Технологии Microsoft в теории и практике программирования», г. Новосибирск, 2007

• Графикон 2009, г. Москва

На защиту выносятся следующие результаты:

1. Способ исправления перспективных искажений в изображениях с помощью зеркала особой формы, получено его уравнение

2. Вывод и исследование интегрального уравнения, связывающее предмет и его отражение в неплоском зеркале

3. Решение уравнения поверхности зеркала

4. Результаты численного экспериментального исследования полученной оптической системы из корректирующего зеркала и камеры

5. Пакет программ для получения изображений методом прямой трассировки лучей, реализующий необходимые численные методы и алгоритмы для проведения численных экспериментов

6. Алгоритм выделения прямолинейных участков изображения, более приспособленный к выделению линий с разрывами, чем преобразование Радона.

Структура и объем работы

Диссертационная работа, содержащая 158 стр., состоит из введения, четырех глав, заключения, списка использованной литературы, составляющего 75 наименований

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулированы ее цели и задачи, научная новизна и практическая значимость.

В первой главе приводится определение перспективы и перспективных искажений. Сделан обзор существующих методов коррекции перспективных

искажений и обработки изображений. Выявлено, что существующие методы коррекции перспективных искажений при съемке не позволяют исправлять искажения, которые возникают при больших (больше 20°) углах между оптической осью камеры и перпендикуляром к плоскости предмета. Показано, что цифровые методы коррекции перспективных искажений с помощью обработки изображения не приводят к повышению детализации изображения (определение детализации будет приведено ниже) в областях предмета, удаленных от камеры. Предлагаемый в работе комбинированный метод исправления перспективных искажений (коррекция при съемке с использованием зеркала особой формы, совмещенная с цифровой коррекцией -решения интегрального уравнения) лишен описанных выше недостатков. Также приводится обзор задач восстановления смазанных и дефокусированных изображений как родственных задач восстановления отражения в неплоском зеркале.

Вторая глава посвящена получению функциональной зависимости, которая связывает предмет и изображение при перспективных искажениях. Пусть предмет АВ расположен под углом Д к плоскости изображения DC, угол изображения камеры равен Г (рис. 2, слева).

Ка)

а, г;

Рисунок 2 - перспективные искажения Тогда зависимость положения точки изображения ^гот точки предмета ~

выражается следующим образом:

DO DC

<7 eos]

= />(*) = -

--Icosí,

2) Л

+ <7sm(ü)sin(r)

АР

(i)

График зависимости (1) приведен на рисунке 2, справа. Далее во второй главе показано, как используя зависимость (1) получить уравнение на отражающую поверхность, способную исправлять перспективные искажения. Рассматривается случай, когда между предметом и камерой расположено зеркало (рис. 3).

Рисунок 3 - взаимное расположение предмета, зеркала и камеры

Эта поверхность является решением дифференциального уравнения:

г'(я>) _ 1

г(<р) ч(г(<р))

Здесь щ{у{<р)) - угол наклона между касательной к зеркалу в точке, задаваемой направлением <р, и самим направлением <р. (Фихтенгольц Г.М.Курс дифференциального и интегрального исчисления. М.: ФИЗМАТЛИТ, 2001.). г(<р) - поверхность зеркала в полярных координатах. Показано, что для различных способов взаимного расположение предмета и камеры, а также ориентации изображения, возможно четыре варианта уравнения (2). Решением уравнения (2) является следующее выражение (Э. Камке. Справочник по обыкновенным дифференциальным уравнениям. М.: Наука, 1976.):

-Г——<1<р-г(Щ

г(р) = е*«(г) . = е~1{*™

Здесь 1(<р) равно:

СО 3(<Р)

:ни

У +■ х3(-2т - 21) + х2(4п -2) + х(2т + 21) + 1_ 2А _ (4)

Преобразуя выражение (3) и выполняя замену tg^ - *, получаем:

7(*И 7П----—,

1 х\12 +\) + х\4т-АЫ)+ 1 + х

+ х2(4и2 + 4т2 - 2!2 - 2) + + jt(4n/-4m) + /2 + 1

х (х2 + l)- x'l + Is(2л - 2) + хг(2 - 2п) -1

С помощью пакета Maple удается получить первообразную для интеграла (4). Она очень громоздка и здесь не приводится. Первообразная для (4) не выражается через элементарные функции (содержит эллиптические интегралы). Таким образом, верно следующее

Утверждение.

Поверхность зеркала, обладающего свойством исправлять перспективные искажения, описывается следующим выражением:

г(<р)=е

+{(^)2(4пг+4/п2-2/2-2)+

ВЧ2-2«Н

Также во второй главе приводятся графики поверхности зеркала для

Рисунок 4 - графики поверхности корректирующего зеркала

Третья глава посвящена разработке программного обеспечения для проверки свойства полученной поверхности зеркала исправлять перспективные искажения. Проверка проводится методом прямой трассировки лучей. Приводится обзор алгоритмов трассировки лучей. Делается вывод, что широко распространенные программные пакеты, реализующие обратную трассировку лучей, не подходят для проверки свойств зеркала, так как они не позволяют получить физически корректное отражение предмета в неплоском зеркале. В главе также приводится иерархия классов, составляющих библиотеку для проверки свойств зеркала, их краткое описание. Библиотека состоит из линз, зеркал различной формы и назначения, объективов, а также камер для получения изображения.

В четвертой главе приводятся результаты моделирования оптической системы, состоящей из камеры и корректирующего зеркала. Приведены примеры изображений, полученных с помощью рассматриваемой оптической системы и методы устранения вносимых неплоским зеркалом искажений. Использовалось следующее тестовое изображение (рис. 5)

шнмпмнпшин ш\ш\

Рисунок 5 - тестовое изображение

На рисунке 6 приведено изображение тестового предмета, полученное с

о 71

помощью оптическои системы на рисунке 3, для случая плоского зеркала, А = —:

■ЯШМ ГУ' 1' тш-шя Гп! М . № л ЛИ ~п

1 г.. • ] .п/Ц- : т I ТТТГ'. нГЛ|"11 Ш

1п; ll.il ГШ |'1||: I' 1 \ 1Л1 Ш г. , ' ,'Ь .1

Рисунок 6 - изображение наклоненного предмета, А = ^

Это исходная ситуация для коррекции перспективных изображений. На изображении полосы слева видны «лучше», чем если бы наклона вообще не было, справа - полосы видно «хуже», происходит потеря информации. Цель исправления перспективных искажений - добиться того, чтобы полосы одного размера на предмете тоже получались на изображении имеющие одинаковый размер, хотя камера расположена под наклоном к плоскости предмета.

На рисунке 7 приведено изображение, полученное оптической системой на рисунке 3 с применением зеркала, поверхность которого была получена во второй главе.

' 1л М Г , , "V- ^ 1

I Ч ГП^Л^.

Рисунок 7 - изображение, полученное с помощью корректирующего зеркала

На рисунке заметно, что цветные полосы теперь имеют одинаковую ширину, но на изображении появились искажения, имеющие характер размытия. Эти искажения возникают из-за того, что лучи света, исходящие из одной точки предмета, зеркало собирает не в одну точку. Светящейся точке предмета в этом случае соответствует на изображении освещенный отрезок (отрезок рассеяния). В работе показано, что чем больше относительный размер зеркала по отношению к размеру камеры (точнее, к размеру диафрагмы), тем слабее проявляются описанные искажения.

Кроме этого, возможно подобрать такой размер зеркала, при котором ширина максимального отрезка рассеяния будет больше размера ячейки «светочувствительной» матрицы камеры, и эти искажения проявляться не будут.

Выше приведен один способ устранение искажений, вносимых зеркалом в изображение. Существует и другой способ найти функцию, задающую предмет, по функции изображения. Пусть 50е)е ¿2[0,1] и /(х)е 12[0,1]- функции, задающие соответственно предмет, рассматриваемый с помощью оптической системы, состоящей из камеры и зеркала, и изображение, формируемое на «светочувствительной матрице» камеры. Тогда эти функции связаны следующим уравнением:

I{x) = \P(t,x)S(t)dt (5)

о

Задача решения уравнения (5) является некорректной. Это уравнение Фредгольма первого рода. Нарушен пункт 3 определения корректности задачи -решение неустойчиво, т.к. обратный к (5) оператор не является непрерывным. В результате малым ошибкам в ядре или в функции изображения соответствуют большие ошибки в получаемой функции, задающей предмет. Интегральный оператор на отрезке является вполне непрерывным оператором. Это значит, что если обратный оператор ограничен, то функциональное пространство необходимо конечномерно. Значит, в данном случае обратный к (5) оператор неограничен.

Методы решения таких некорректных задач хорошо разработаны. В данной работе уравнение (5) заменяется плохо обусловленной системой линейных алгебраических уравнений, которая решается методом регуляризации Тихонова.

На рисунке 8 сверху показано изображение с искажениями, полученное с помощью рассматриваемой оптической системы, и результат восстановления изображения с помощью решения интегрального уравнения. Для решения используется регуляризация.

111Ш :

вшиавддш. Ш

кж^жгд шШтштшшттш.

Рисунок 8 - восстановление изображения решением интегрального уравнения

Демонстрация свойств зеркала (для случая Д = —, Г = —, R = 150) исправлять

4 4

перспективные искажения проводилась в два этапа. На первом этапе схема на рисунке 3 была создана в трехмерном редакторе TrueSpace с плоским зеркалом (рис. 9, слева) и с корректирующим зеркалом (рис. 10 слева). Зеркала предназначались для коррекции перспективы только вдоль одной оси, т.е. образующей зеркала была прямая.

Рисунок 9 - схема для проверки свойств зеркала исправлять перспективные

искажения

На рис. 9 справа приведено изображение, полученное с помощью камеры, расположенной как показано на рисунке 9 слева. Для случая с плоским зеркалом заметно уменьшение ширины клеток предмета (проявляются перспективные искажения). На рисунке 10 слева показана сцена для проверки свойств зеркала исправлять перспективные искажения с корректирующим зеркалом, справа -изображение, полученное с помощью камеры, расположенной так, как показано на рисунке 10 слева. Заметно, что клетки имеют одинаковую ширину -происходит исправление перспективных искажений.

Рисунок 10 - схема для проверки свойств зеркала исправлять перспективные

искажения

Стоит отметить, что в рассматриваемом трехмерном редакторе изображения получаются с помощью обратной трассировки лучей. Обратная трассировка лучей дает физически корректное изображение отражения в неплоском зеркале только для случая, когда камера очень мала по сравнению с предметами, составляющими схему (именно в таких предположениях было получено уравнение на поверхность зеркала).

На втором этапе проверка проводилась с помощью фотографирования камерой отражения в зеркале, расположенного так, как показано на рисунке 3, имеющего необходимую форму. Зеркало было распечатано на трехмерном принтере фирмы Ъ Согрогайоп, покрыто акриловым грунтом, отшлифовано и покрашено краской «под хром». Зеркала предназначались для коррекции перспективы только вдоль одной оси, т.е. образующей зеркала была прямая. Отражающая поверхность получилась хуже, чем для зеркала, полученного с помощью амальгамы. Для проверки свойств зеркала полученной отражающей поверхности было вполне достаточно. При получении изображения использовалась веб-камера (со слабым разрешением), предмет состоял из нескольких листов бумаги. Изображение, полученное с помощью камеры и плоского зеркала, приведено на рисунке 11. Полосы имеют разную ширину -проявляются перспективные искажения.

■ М...Ш Ш

Рисунок 11 - изображение в плоском зеркале 12

На рисунке 12 представлено изображение, полученное с помощью корректирующего зеркала. Границы полос выделены серым.

Рисунок 12 - изображение в корректирующем зеркале

Отметим, что полосы имеют одинаковую ширину. Отсюда следует вывод что, зеркало требуемой формы обладает свойством исправления перспективных искажений.

Рассматриваемая оптическая система может найти применение в системах охранного телевизионного наблюдения. При выборе конфигурации таких систем наблюдения решающим является не качество получаемого системой изображения, а возможность идентификации происходящих на охраняемом объекте событий. Если камера расположена на некоторой высоте, например на стене здания или на некотором возвышении, то часто объекты, расположенные вблизи камеры, видно «лучше», чем это необходимо для выполнения поставленных перед системой задач, а удаленные объекты - «хуже», чем необходимо. То есть наблюдается неравномерность детализации на получаемом изображении - проявляются перспективные искажения. Целью исправления перспективных искажений является как раз получение одинаковой детализации на всем пространстве изображения.

Рассматриваемая оптическая система может найти применение в решении задачи выявления координированного наблюдения в местах массового скопления людей. Для решения этой задачи необходимо выделить след перемещения людей по плоскости. В этом случае можно применить операцию ХОЯ к нескольким кадрам изображения, идущим подряд. Последовательность изображений (движущиеся по плоскости в различных направлениях объекты) генерировалась с помощью современных средств трехмерной графики. В работе рассматривались два этапа детализации модели - движущиеся разноцветные сферы (первый этап, рис. 13) и движущиеся фигуры людей разных цветов (второй этап, рис. 14)

Рисунок 13 — первый этап детализации модели

Рисунок 14 - второй этап детализации модели

На рисунках 13 и 14 справа показан результат накопления следа перемещения объектов для разных этапов детализации модели.

К накопленному таким образом следу перемещения далее применяется разработанный автором алгоритм выделения прямолинейных элементов изображения.

Показано, что для задачи выявления координированного движения разработанный алгоритм подходит лучше, чем преобразование Радона. Для работы этих алгоритмов необходимо, чтобы след перемещения объекта был бы линией одной толщины, что возможно только в случае, если на всей последовательности анализируемых кадров отслеживаемый объект имеет одинаковый размер. Если объект удаляется от камеры, то без процедуры устранения перспективных искажений он будет уменьшаться в размере на изображении, а при приближении - увеличиваться. Постоянный размер объекта достигается, только если камера расположена непосредственно над наблюдаемой площадкой, или исправлением перспективных искажений каким-либо способом. С помощью программной коррекции перспективы можно добиться хорошего результата приведения всех следов к одной толщине, но программная коррекция не приводит к улучшению детализации удаленных от камеры объектах. С помощью описываемой комбинированной процедуры исправления перспективных искажений можно достичь обеих целей - одинаковой ширины следов и одинаковой детализации по всему изображению.

Заключение

1. Проведен анализ существующих способов исправления перспективных искажений

2. Получено и разрешено аналитически дифференциальное уравнение для зеркала, обладающего свойством исправлять перспективные искажения

3. Проведены численные эксперименты, подтверждающие свойство зеркала исправлять перспективные искажения.

4. Получено и исследовано интегральное уравнение Фредгольма первого рода, связывающее предмет и его отражение в неплоском зеркале

5. Полученная оптическая система из камеры и корректирующего зеркала была исследована путем численных и натурных экспериментов

6. Разработан программный комплекс, предназначенный для получения и обработки потока видеоданных, моделирующего поведение людей в местах массового скопления, выделения следа от перемещения объектов и выявления прямолинейных участков следа

Список опубликованных работ

По тематике связанной с содержанием диссертации опубликовано 2 работы в рецензируемых научных изданиях, рекомендованных ВАК для опубликования результатов диссертационных работ:

1. П.И. Михайлов, Р. Т. Файзуллин Проверка устойчивости угловых коэффициентов, образованных линейными элементами подписи (предположение Локара) // Компьютерная оптика - Т. 31, №3. -2007. - с.70-72

2. Михайлов П.И. Исправление перспективных искажений с помощью зеркала// Компьютерная оптика. - Т. 33, №4. -2009. - с. 436-440

В других изданиях:

3. Михайлов П. И., Файзуллин Р. Т. Анализ подписи, основанный на выделении линейных элементов (метод Локара) // Информационные технологии моделирования и управления. / Международный сборник научных трудов. / Под. ред. д.т.н. проф. О Л. Кравца - Воронеж: Издательство «Научная книга», 2004. -Выпуск 17.-е. 145-150

4. Михайлов П. И., Файзуллин Р. Т. Анализ подписи, основанный на выделении линейных элементов (метод Локара) Военная техника, вооружение и технологии двойного применения: Материалы Ш международного технологического конгресса—Омск: ОмГУ, 2005.-е. 89-90

5. Михайлов П.И. Метод Локара и система моделирования и выявления координированного движения в местах массового скопления. Материалы конференции-конкурса работ студентов, аспирантов и молодых ученых "Технологии Microsoft в теории и практике программирования": Тез. докл. - Новосибирск,2006.-с. 115-117

6. Михайлов П.И., Файзуллин Р.Т. Метод Локара и система моделирования и выявления координированного движения в местах массового скопления людей // Вестник ТГУ. Приложение - 2006. - №17. - с. 168-170

7. Михайлов П.И., Файзуллин Р.Т Система моделирования и выявления координированного движения в местах массового скопления людей. // Искусственный интеллект. - 2006. - №2: Институт проблем искусственного интеллекта. Национальная Академия Украины. - с. 412-416

8. Михайлов П.И. Программно-аппаратный комплекс, предназначенный для выделения признаков подписи и проверки их пригодности для использования в системах идентификации. Материалы конференции-конкурса работ студентов, аспирантов и молодых ученых "Технологии Microsoft в теории и практике программирования": Тез. докл. -Новосибирск, 2007. с. 65-66

Подписано в печать 19.04.2011 г. Формат 60/84 1/16. Гарнитура «Тайме». Печать оперативная. Печ. л. 1,0. Тираж 100 экз.

Отпечатано в типографии ИП Макшеевой Е.А. тел.: 351-445

1/С

Введение.

Глава 1. Перспективные искажения и обработка изображений.

1. Перспектива.

2. Перспективная проекция.

3. Перспективные искажения.

4. Коррекция перспективных искажений при съемке.

5. Обработка изображений.

6. Обработка изображений, полученных с помощью камер.

7. Коррекция перспективных искажений с помощью обработки изображения.

8. Восстановление смазанных и дефокусированных изображений.

9. Задачи исследований.

Глава 2. Зеркало для коррекции перспективных искажений.

1. Характер перспективных искажений.

2. Вывод уравнения зеркала.

3. Графики поверхности зеркала для устранения перспективных искажений.

4. Выводы.

Глава 3. Программное обеспечение для проверки свойств зеркала для коррекции перспективных искажений.

1. Требования к программному обеспечению для проверки свойств зеркала.

2. Трассировка лучей.

3. Иерархия классов, составляющих библиотеку.

4. Классы С

§теп1 и CRefractionSegment.

5. Преломляющие и отражающие поверхности.

6. Источники света.

7. Объективы и камеры.

8. Выводы.

Глава 4. Результаты моделирования оптической системы, состоящей из корректирующего зеркала и камеры.

1. Тестовое изображение для проверки свойств зеркала исправлять перспективные искажения.

2. Изображения предметов, наклоненных под различными углами, зеркало плоское.

3. Влияние размеров диафрагмы и размеров зеркала на свойства рассматриваемой оптической системы.

4. Примеры исправления перспективных искажений с помощью рассматриваемой оптической системы.

5. Устранение вносимых зеркалом искажений с помощью выбора размера зеркала.

6. Устранение вносимых зеркалом искажений с помощью решения интегрального уравнения.

7. Детализация изображений, полученных с помощью оптической системы, состоящей из корректирующего зеркала и камеры :.

8. Экспериментальная проверка свойств зеркала исправлять перспективные искажения.

9. Возможные применения оптической системы, состоящей из камеры и корректирующего зеркала.

10. Выводы.

Диссертационная работа посвящена разработке и экспериментальному исследованию метода исправления перспективных искажений на изображениях с помощью зеркала особой формы и применению разработанного метода к задаче выявления координированного движения в местах массового скопления людей.

Актуальность темы

В последнее время все более широкое распространение получают системы видеонаблюдения и охранного телевидения. Электронные системы наблюдения позволяют выполнять многие важные и сложные задачи обеспечения безопасности. Например, наблюдение за несколькими больными в госпитале одновременно, движением транспортных потоков на оживленных городских магистралях. Существует множество применений систем телевизионного наблюдения в научных исследованиях и в промышленности, например, для контроля над технологическими процессами и управления ими. В данном случае наблюдение может производиться в условиях низкой освещенности или в средах, где присутствие людей не допускается. Успешно эти системы используются в казино, в магазинах, в банках.

Перспективные искажения обычно возникают в случае, если плоскость изображения и плоскость предмета не параллельны между собой. Например, при фотографировании высоких объектов с уровня земли (архитектурных сооружений) линии, вертикальные на фотографируемом объекте, на изображении получаются наклонными. На рис.1 (слева) представлено расположение камеры над серединой фотографируемого объекта (в случае фотографирования архитектурных сооружений посередине высоты здания). В этом случае перспективные искажения отсутствуют, черно-белые полосы на изображении одинаковы по ширине.

Рис. 1. Взаимное расположение предмета и камеры

Но, как правило, не удается расположить камеру точно над объектом наблюдения. Здания приходится фотографировать с земли, камера наблюдения располагается не над улицей, а, например, на стене одного из зданий (рис. 1, по центру). В этом случае, если плоскости изображения и предмета параллельны, перспективных искажений нет, но не весь предмет помещается в кадре. Поэтому камеру приходится наклонять, чтобы в кадр попал весь предмет (рис. 1, справа). В этом случае черные и белые полосы имеют разную ширину, проявляются перспективные искажения. Чем дальше область предмета расположена от плоскости изображения, тем меньше ее ширина на изображении.

Исправление перспективных искажений позволяет добиться ситуации, когда и ближние, и удаленные области наблюдаемого объекта видны одинаково хорошо, хотя камера будет располагаться так, как на рисунке 1 справа.

Анализ существующих способов исправления перспективных искажений показал, что эти способы позволяют исправлять перспективные искажения лишь для небольших углов наклона, и не всегда могут быть применены к системам видеонаблюдения.

Рассмотрим цифровую систему телевизионного наблюдения, установленную в месте массового скопления людей - например, городские площади, многолюдные улицы, вокзалы и т.д. Несколько камер установлены на некоторой высоте над площадью. Люди двигаются по площади в разных направлениях, иногда меняя его, уступая дорогу другим, если их маршруты пересекаются и т.д. Ситуация чем-то напоминает броуновское движение. Оператор системы наблюдает всю площадь в целом. Требуется создать модуль предварительной обработки изображения с камеры наблюдения, который выявлял бы «подозрительные» места. Например, если вдруг одновременно несколько человек, находящихся далеко друг от друга вдруг стали двигаться в одном направлении, сходится к какой-либо точке площади или, напротив, расходится от нее. Требуется распознать такие ситуации и выдать оператору системы соответствующее предупреждение.

Исправление перспективных искажений сильно облегчает процедуру распознавания.

Задачи диссертационной работы

1. Провести анализ существующих способов исправления перспективных искажений

2. Получить уравнение для зеркала, обладающего свойством исправлять перспективные искажения

3. Решить уравнение и получить выражение для поверхности зеркала

4. Подтвердить свойство зеркала исправлять перспективные искажения

5. Получить и исследовать интегральное уравнение, связывающее предмет и его отражение в неплоском зеркале

6. Экспериментально исследовать оптическую систему, состоящую из камеры и корректирующего зеркала

7. Разработать программный комплекс, предназначенный для моделирования поведения людей в местах массового скопления, получения и обработки потока видеоданных, выделения следа от перемещения объектов и выявления прямолинейных участков следа

Методы исследования

В диссертационной работе используются методы: математического анализа, интегрального и дифференциального исчисления, математического моделирования, вычислительной математики.

Научная новизна

В диссертационной работе получены следующие новые научные результаты:

1. Предложен новый способ исправления перспективных искажений с помощью зеркала, получено уравнение на поверхность зеркала, способ проверен экспериментально

2. Получено и исследовано интегральное уравнение, связывающее предмет и его отражение в неплоском зеркале

3. Исследованы свойства оптической системы, состоящей из камеры и зеркала путем численных и натурных экспериментов

4. Разработан программный комплекс, предназначенный для моделирования поведения людей в местах массового скопления, получения и обработки потока видеоданных, выделения следа от перемещения объектов и выявления прямолинейных участков следа

Практическая значимость работы

Применение на практике полученных в работе результатов позволит создать, например, системы телевизионного видеонаблюдения, с помощью которых можно одинаково эффективно фиксировать события на охраняемом объекте как в областях, близких к камере, так и удаленных.

Кроме этого, практическую значимость представляет разработанная библиотека классов для моделирования оптических систем методом прямой трассировки лучей. Также полученный метод исправления перспективных искажений позволяет облегчить решение задачи выявления координированного движения в местах массового скопления людей

Апробация работы

Основные результаты диссертации докладывались на 5 всероссийских и региональных научных конференциях, в частности:

• «Технологии Microsoft в теории и практике программирования», г. Новосибирск, 2006

• Шестой Всероссийский конкурс студентов и аспирантов по информационной безопасности "SIBINFO-2006", г. Томск, 2006

• V Сибирская научная школа-семинар с международным участием «Компьютерная безопасность и криптография» SIBECRYPT'06, Шушенское, 2006

• «Технологии Microsoft в теории и практике программирования», г. Новосибирск, 2007

• Графикон 2009, г. Москва

На защиту выносятся следующие результаты:

1. Способ исправления перспективных искажений в изображениях с помощью зеркала особой формы, получено его уравнение

2. Вывод и исследование интегрального уравнения, связывающее предмет и его отражение в неплоском зеркале

3. Решение уравнения поверхности зеркала

4. Результаты численного экспериментального исследования полученной оптической системы из корректирующего зеркала и камеры

5. Алгоритм выделения прямолинейных участков изображения, более приспособленный к выделению линий с разрывами, чем преобразование Радона.

Структура и объем работы

Диссертационная работа, содержащая 158 стр., состоит из введения, четырех глав, заключения, списка использованной литературы, составляющего 75 наименований.

10.Выводы

• Зеркало, описанное в главе 2, обладает свойством исправлять перспективные искажения

• Использование корректирующего зеркала приводит к появлению новых искажений, уменьшающихся с увеличением относительного размера зеркала.

• Искажения, вносимые зеркалом, можно устранить, применив процедуру восстановления изображения с регуляризацией

• Описанный способ исправления перспективных искажений может найти применение в задаче выявления координированного движения в местах массового скопления людей

• Разработан алгоритм выделения линейных элементов на изображении

• Разработанный способ исправления перспективных искажений позволяет облегчить решение задачи выявления координированного движения в местах массового скопления людей

Заключение

1. Проведен анализ существующих способов исправления перспективных искажений

2. Получено и разрешено аналитически дифференциальное уравнение для зеркала, обладающего свойством исправлять перспективные искажения

3. Проведены численные эксперименты, подтверждающие свойство зеркала исправлять перспективные искажения.

4. Получено и исследовано интегральное уравнение Фредгольма первого рода, связывающее предмет и его отражение в неплоском зеркале

5. Полученная оптическая система из камеры и корректирующего зеркала была исследована путем численных и натурных экспериментов

6. Разработан программный комплекс, предназначенный для обработки потока видеоданных, выделения следа от перемещения объектов и выявления прямолинейных участков следа

1. Б. В. Раушенбах Системы перспективы в изобразительном искусстве. Общая теория перспективы. М.,Наука, 1986

2. Б.В. Раушенбах. Пространственные построения в живописи. Очерк основных методов. Приложения 1-9 М.: Наука, 1980.

3. В.Н.Чуриловский Теория оптических приборов М., Л.: Машиностроение, 1960.

4. Ньюмен У., Спрулл Р. Основы интерактивной машинной графики М.: Мир, 1976.

5. А. М. Ковалев Виртуальная реальность в сферической перспективе//Тр. 8-й Между- нар. конф.«Графикон-98». М: МГУ, 1998

6. By Мейсон, Нейдер Джеки, Девис Том, Шрайнер Дейв OpenGL.Официальное руководство программиста: Пер. с англ. / Мейсон By, Джеки Нейдер, Том Девис, Дейв Шрайнер. СПб: ООО «ДиаСофтЮП»,2005 - 592с.

7. S. Nauro. Looking for the Skill on a Large Format Camera Tale 17 : PC-Nikkor 28mm f/4 Электронный ресурс. URL :http://imaging.nikon.com/products/imaging/technology/nikkor/nl7 e.htm (дата обращения 29.08.2010)

8. Perspective control lens Электронный ресурс. URL: http://en.wikipedia.org/wiki/Perspectivecorrectionlens (дата обращения 29.08.2010)

9. Теоретические основы цифровой обработки изображений: Учебное пособие/ В.А. Сойфер, В.В. Сергеев, С.Б. Попов, В.В. Мясников. Самарский государственный аэрокосмический университет имени академика С.П. Королева. Самара, 2000, 256с.

10. Власенко B.A., Лаппа Ю.М., Ярославский Л.П. Методы синтеза быстрых алгоритмов свертки и спектрального анализа. М.: Наука, 1990.- 180 с.

11. Боде Г., Шеннон К. Упрощенное изложение линейной минимально-квадратичной теории сглаживания и предсказания / Теория информации и ее применение. М.: Физматиз, 1959. - С.113-137.

12. М.Виткус Р.Ю., Ярославский Л.П. Адаптивные линейные фильтры для обработки изображений / Адаптивные методы обработки изображений под ред. В.И.Сифорова и Л.П.Ярославского.- М.: Наука, 1988. С.6-35.

13. Andrews Н. С. Monochrome digital image enhancement. Applied Optics, 1976. Vol.15, N 2. - P. 495-503.

14. Стокхэм Т. мл., Кэннон T.M., Ингебретсен Б.Б. Цифровое восстановление сигналов посредством неопределенной инверсной свертки // ТИИЭР. 1975. - Т.63, N 4. - С. 160-177.

15. Pratt W.K. Generalized Wiener Filter Computation Techniques. IEEE Trans. Computers. 1972. - V.C-21, N 7. - P. 636-641.

16. Бьемон Ж., Лагендейк Р.Л., Mapcepo P.M. Итерационные методы улучшения изображений // ТИИЭР. 1990. - Т.78, № 5. - С. 58-84.

17. Бертеро М., Поджо Т.А., Торре В. Некорректные задачи в предварительной обработке визуальной информации // ТИИЭР. 1988. - Т.76, № 8. - С. 17-40.

18. Бейтс Р., Мак-Донелл М. Восстановление и реконструкция изображений. М.: Мир, 1989. - 333 с.

19. Pratt W.K. Digital Image Processing. New York: J. Wiley, 1978. - 750 p.

20. Журавель, И.М. Краткий курс теории обработки изображений / И.М. Журавель. М., 1999.

21. Физика визуализации изображений в медицине: в 2-х томах. Т. 2: Пер. С англ. / Под ред. С. Уэбба. М.: Мир, 1991. - 408 е., ил.

22. D. Doermann. The Indexing and Retrieval of Document Images: A Survey." CVIU, Vol. 70 No. 3, pp. 287-298, 1998 .

23. Михайлов П. И., Файзуллин Р. Т. Анализ подписи, основанный на выделении линейных элементов (метод Локара) // Информационные технологии моделирования и управления. Выпуск 17 — Воронеж: Научная книга, 2004. с.

24. W. Newman, С. Dance, A. Taylor, S. Taylor, M. Taylor, T. Aldhous,

25. Cam Works: A Video-based Tool for Efficient Capture from Paper Source Documents, Proc. in the ICMCS, pp. 647-653, Jun. 1999.

26. F. Fisher, Digital Camera for Document Acquisition, SDIUT, pp. 75-83, 2001.

27. David S. Doermann, Jian Liang, Huiping Li: Progress in Camera-Based Document Image Analysis.// ICDAR 2003: 606-616.

28. G.K. Myers, R.C. Bolles, Q. T. Luong, and J.A. Herson, Recognition of Text in 3-D Scenes //SDIUT 01, pp.85-100, 2001.

29. C. Rother, A new Approach for Vanishing Point Detection in Architectural Environments //Proc. 11th BMVC, pp. 382-391, 2000.

30. P. Clark, M. Mirmehdi, On the Recovery of Oriented Documents from Single Images // Technical Report CSTR-01-004, Dept. of CS, Univ. of Bristol, Nov. 2001.

31. P. Clark, M. Mirmehdi, Location and Recovery of Text on Oriented Surfaces // SPIE CDRR VII, pp. 267-277, 2000.

32. P. Clark, M. Mirmehdi, Estimating the Orientation and Recovery of Text Planes in a Single Image // Proc. of the 12th BMVC, pp. 421-430, Sept. 2001.

33. P. Clark, M. Mirmehdi, Recognizing Text in Real Scenes // IJDAR, Vol. 4, No. 4, pp. 243-257, 2002.

34. R. Hartley, A Zisserman, Multiple View Geometry in Computer Vision. Cambridge Univercity Press, 2000

35. Deans, Stanley R. The Radon Transform and Some of Its Applications. New York: John Wiley & Sons, 1983. 314 c.

36. Тихонов A.H., Гончарский A.B., Степанов B.B. Обратные задачи обработки фотоизображений / Некорректные задачи естествознания под. Ред. А.Н. Тихонова, А.В. Гончарского, — М.: Изд-во МГУ, 1987, с. 185-195.

37. Гончарский А.В., Ягола А.Г.Леонов А.С. О решении двумерных интегральных уравнений Фредгольма первого рода с ядром, зависящим от разности аргументов // ЖВМ и МФ. Т. 11, №5. С. 1296-1301.

38. Петров Ю.П., Сизиков B.C. Корректные, некорректные и промежуточные задачи с приложениями: Учебное пособие для вузов -СПб: Политехника, 2003.

39. Манжиров А.В. Полянин А.Д. Методы решения интегральных уравнений: Справочник. -М.: «Факториал», 1999.

40. Бегунов, Б.Н. Геометрическая оптика / Б.Н. Бегунов, М:.196б

41. Э. Камке. Справочник по обыкновенным дифференциальным уравнениям. М.: Наука, 1976.

42. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. М.: ФИЗМАТЛИТ, 2001.

43. Родионов С.А. Основы оптики. Конспект лекций.— / С.А. Родионов -СПб: СПб ГИТМО (ТУ), 2000.

44. Turner Whitted An improved illumination model for shaded display // Communications of the ACM ,Volume 23 , Issue 6, ACM, 1980

45. Andrew S. Glassner, An introduction to ray tracing, Academic Press Ltd., London, UK, 1989

46. Bruce Walter, George Drettakis, Steven Parker, Interactive Rendering Using the Render Cache, in Rendering Techniques '99, G. Larson, D.1.chinski (eds), Springer-Verlag, // Proc. 10th Eurographics workshop on Rendering, Granada, Spain.

47. Bruce Walter, George Drettakis, Donald P. Greenberg, Enhancing and Optimizing the Render Cache, in Rendering Techniques //13th Eurographics Workshop on Rendering. Pisa, Italy, Springer-Verlag, pp. 3742, 2002.

48. E. Haines and D. Greenberg, The Light Buffer: A Shadow-Testing Accelerator, IEEE CG&A, Vol. 6, No. 9, Sept. 1986, pp. 6-16.

49. L.Szirmay-Kalos, V.Havran, B.Balazs, L.Szecsi On the Efficiency of Ray-shooting Acceleration Schemes, Proceedings of SCCG'02 conference, Budmerice, Slovakia, Published by ACM SIGGRAPH, PDF, pp. 89-98, April 2002.

50. Ingo Wald Realtime Ray Tracing and Interactive Global Illumination -PhD thesis, Computer Graphics Group, Saarland University, 2004.

51. Appel A. Some techniques for machine rendering of solids. AFIPS Conference Proc. 32 pp.37-45, 1968

52. Christensen N. J., Jensen H.W. A Practical Guide to Global illumination and Photon Maps. //Siggraph 2000 Cource

53. Kato, T. and Saito, J. 2002. Kilauea: parallel global illumination renderer. In Proceedings of the Fourth Eurographics Workshop on Parallel Graphics and Visualization // Eurographics Symposium on Parallel Graphics and Visualization, vol. 29

54. Eric P. Lafortune, Yves D. Willems Bi-Directional Path Tracing. Proceedings of Compugraphics '93: 1993, 145—153.

55. Dornbach Péter: Implementation of bidirectional ray tracing algorithm,1. Proceedings of CESCG "98•

56. Greg Ward, A Ray Tracing Solution for Diffuse Interreflection.Computer Graphics, 22(4): 85-92 // ACM Siggraph '88 Conference Proceedings.

57. Henrik Wann Jensen,, Realistic Image Synthesis Using Photon Mapping, A K Peters, Ltd., Massachusetts, 2001.

58. James Arvo BackwardRay Tracing.Developments in Ray Tracing. //ACMSiggraph Course Notes 12, pp. 259-263, 1986.

59. Henrik Wann Jensen, Global illumination using photon maps, //Proceedings of the eurographics workshop on Rendering techniques '96, p.21-30, December 1996, Porto, Portugal

60. Декарт, P. Рассуждение о методе с приложениями: диоптрика, метеоры, геометрия / Р.Декарт, М:.1953

61. Родионов С.А. Основы оптики. Конспект лекций. / С.А. Родионов -СПб: СПб ГИТМО (ТУ), 2000.

62. Яковлев А.Ф. Каталог "Объективы" / А.Ф. Яковлев Л., ГОИ, 1970 г.

63. Колмогоров А.Н., Фомин C.B. Элементы теории функций и функционального анализа — 7-е изд. М.:ФИЗМАТЛИТ, 2004

64. Морозов В. А. Линейные и нелинейные некорректные задачи. — В кн.: Математический анализ. Т.11М., 1973

65. Тихонов А. Н. О некорректно поставленных задачах. // Вычислит, методы и программирование, 1967, вып. 8

66. Березанский Ю.М., УС Г.Ф., Шефтель З.Г. Функциональный анализ. Курс лекций. Киев, «Высшая школа», 1990

67. Антоневич А.Б., Радыно Я.В. Функциональный анализ и интегральные уравнения. Минск: «Университетское», 1984

68. Гласко В. Б., Заикин П. Н. О программе регуляризирующего алгоритма для уравнения Фредгольма первого рода. // Вычислительные методы и программирование, 1966, вып. 5

69. Верлань А. Ф., Сизиков B.C. Методы решения интегральных уравнений с программами для ЭВМ, Киев, «Наук, думка», 1987

70. Бакушинский А. Б., Гончарский A.B. Некорректные задачи. Численные методы и приложения М.: Изд-во Моск. ун-та, 1989

71. Михайлов П.И. Исправление перспективных искажений с помощью зеркала// Компьютерная оптика Т. 33, №4, Самара ИСОИ РАН, 2009

72. Akira Ishii, Ryu Okada. Perfect Perspective Projection using a Varifocal Mirror and Its Application to Three-Dimensional Close-Up Imaging. Proceedings of the Pattern Recognition, 17th International Conference on (ICPR'04) Volume 3 Volume 03, 2004У