автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.18, диссертация на тему:Разработка методов контроля и цифровой коррекции параметров изображений стереопары

На правах рукописи

Чафонова Виктория Германовна

РАЗРАБОТКА МЕТОДОВ КОНТРОЛЯ И ЦИФРОВОЙ КОРРЕКЦИИ ПАРАМЕТРОВ ИЗОБРАЖЕНИЙ СТЕРЕОПАРЫ

Специальность 05.11.18 — Приборы и методы преобразования изображений и звука

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 о ;:< 2014

005556*»*

Санкт-Петербург - 2014

005556912

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего образования «Санкт-Петербургский государственный университет кино и телевидения» на кафедре киновидеоаппаратуры

Научный руководитель кандидат технических наук, доцент

Газеева Ирина Варисовна

Официальные оппоненты:

Лысенко Николай Владимирович - доктор технических наук, профессор, федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)», заведующий кафедрой телевидения и видеотехники

Раев Олег Николаевич — кандидат технических наук, доцент, федеральное государственное образовательное учреждение высшего и послевузовского профессионального образования «Всероссийский государственный университет кинематографии имени С.А. Герасимова», заведующий кафедрой аудиовизуальных технологий и технических средств

Ведущая организация ОАО «Научно-исследовательский ордена Трудового Красного Знамени кинофотоинститут» (ОАО «НИКФИ»), г. Москва

Защита состоится «29» декабря 2014 года в 12:00 часов на заседании диссертационного совета Д 210.021.01 при ФГБОУ ВО «Санкт-Петербургский государственный университет кино и телевидения» по адресу: 191119, г. Санкт-Петербург, ул. Правды, д. 13.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВО «Санкт-Петербургский государственный университет кино и телевидения» и на сайте http://www.gukit.ru/adv/2014/10/dissertaciya-predstavlermaya-chafonovoy-viktoriey-germanovnoy-na-soiskanie-uchenoy. Автореферат разослан « ноября 2014 г.

Ученый секретарь диссертационного совета

Гласман К.Ф.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования и степень ее разработанности

В настоящее время технологии стереокино активно развиваются. Основное преимущество стереофильмов заключается в том, что они создают большую реалистичность и зрелищность, кроме того, при их просмотре появляется особый «эффект присутствия» — зритель может почувствовать себя не просто сторонним наблюдателем, но как бы участником демонстрируемой картины.

Изображение в стереокино воспринимается объемным благодаря тому, что каждый глаз зрителя видит одно из изображений стереопары, полученных съемкой с двух ракурсов, а мозг человека объединяет их в единый стереообраз. При этом рассогласование изображений стереопары может привести к разрушению стереоскопического эффекта и стать причиной утомления зрителей.

Одним из главных условий формирования стереоизображения, комфортного для восприятия, является выполнение требований к параллаксам, которые определяют взаимное смещение сопряженных точек в изображениях стереопары. Так, изображения стереопары должны быть выравнены по высоте, т.е. не иметь вертикальных параллаксов, а горизонтальные параллаксы объектов, воспринимаемых в предэкранном и заэкранном пространствах, не должны превышать своих предельных значений. При этом важную роль играет точность совмещения кадров стереопары, так как неточное совмещение может привести к наличию нежелательных параллаксов, значения которых будут возрастать с увеличением размеров экрана, на который полученное изображение будет проецироваться.

Вопросы теории и практики формирования комфортного для восприятия стереоизображения применительно к пленочному стереокинематографу были исследованы Болтянским А.Г., Валюсом H.A., Ивановым Б.Т., Овсянниковой H.A., Шацкой А.Н. и др. В работах Ватолина Д.С., Елхова В.А., Мелкумова A.C., Овеч-киса Ю.Н., Раева О.Н., Рожкова С.Н., Рожковой Г.И., Mendiburu В. и др. исследования в данной области продолжились, но уже и для цифрового стереокино.

Пленочные технологии не позволяли обеспечить оперативный контроль параметров изображений стереопары и определить, соответствуют ли они необходимым требованиям. С приходом цифровых технологий появилась возможность автоматизировать данный процесс и, кроме того, стало возможным осуществить

коррекцию ошибок, допущенных при формировании стереопары.

На сегодняшний день существует определенное количество методов и программ, предназначенных для контроля и коррекции параметров изображений стереопары. Однако с их помощью не всегда удается выполнить контроль и автоматическую коррекцию таких важных параметров, как рассогласование масштабов и взаимный поворот изображений стереопары, а также осуществить необходимую коррекцию значений параллаксов стереопары.

Ввиду вышесказанного разработка методов контроля и цифровой коррекции параметров изображений стереопары является актуальной задачей.

Цель диссертационной работы состоит в разработке методов контроля и цифровой коррекции параметров изображений стереопары, применение которых позволит обеспечить условия комфортного восприятия стереоизображения зрителями.

Для достижения указанной цели в диссертационной работе необходимо было решить следующие задачи:

1. Проанализировать требования, предъявляемые к параметрам изображений стереопары.

2. Разработать методы и алгоритмы совмещения изображений стереопары с заданным значением параллакса.

3. Исследовать возможность применения цифровой обработки для контроля параметров изображений стереопары.

4. Разработать методы и алгоритмы цифровой коррекции геометрических параметров изображений стереопары.

5. Провести исследование эффективности разработанных методов и алгоритмов.

Научная новизна диссертационной работы состоит в следующем:

1. Разработан метод и алгоритм совмещения стереопары, основанный на корреляции изображений и позволяющий с высокой точностью задать выбранному объекту на изображении требуемое значение параллакса.

2. Разработан метод и алгоритм совмещения стереопары с использованием детекторов точечных особенностей изображений, позволяющий автоматически формировать стереопару с требуемыми значениями параллаксов.

3. Предложен метод автоматического контроля распределения параллаксов

в изображениях стереопары, основанный на применении детекторов точечных особенностей изображений и позволяющий определить, на экране какого размера можно демонстрировать ту или иную стереопару с целью выполнения условий комфортного восприятия стереоизображения зрителями.

4. Предложены методики расчетов коэффициента рассогласования масштабов и угла поворота одного изображения стереопары относительно другого.

5. Разработаны методы и алгоритмы автоматического контроля и цифровой коррекции геометрического рассогласования изображений стереопары по параметрам масштаб и поворот.

Теоретическая н практическая значимость работы

1. Методы и алгоритмы совмещения изображений стереопары, предложенные в диссертационной работе, позволяют повысить точность выставления значений параллаксов, исключив субъективную погрешность оператора.

2. Разработанная методика и алгоритм контроля распределения параллаксов в изображениях стереопары позволяют автоматически определить максимальный размер экрана, на который можно проецировать данные изображения.

3. Предложенные алгоритмы и методики расчетов коэффициента рассогласования масштабов и необходимого угла поворота одного изображения стереопары относительно другого позволяют автоматически осуществить цифровую коррекцию таких параметров изображений стереопары, как параллакс, масштаб и поворот.

4. Предложенный метод контроля параметров изображений стереопары позволяет автоматизировать процесс подбора параметров стереосъемки.

5. Разработанные методы и алгоритмы контроля и коррекции параметров изображений стереопары могут быть внедрены в состав автоматизированных измерительно-вычислительных комплексов, предназначенных для выявления ошибок, допущенных при стереосъемке, а также стать частью программ по обработке и монтажу изображений стереопары.

Реализация и внедрение результатов исследования

Методы и алгоритмы, разработанные в диссертации, используются в цифровой кинолаборатории НЕВАФИЛЬМ DIGITAL ЗАО «Компания «Невафильм» при производстве цифровых копий кинофильмов в формате 3D. Также результаты и материалы диссертации были использованы при выполнении научно-

исследовательской работы, проводимой в СПбГУКиТ по теме: «Цифровая коррекция изображений стереопары» в 2014 г., № 02-14 ФБ, и внедрены в учебный процесс на кафедре киновидеоаппаратуры СПбГУКиТ по дисциплинам «Системы записи и воспроизведения объемных изображений» и «Цифровая обработка изображений».

Методология и методы исследования

Методологическую основу диссертационной работы составили научные труды отечественных и зарубежных специалистов в области пленочного и цифрового стереокинематографа, цифровой обработки информации. Теоретические и экспериментальные исследования базируются на положениях теории записи и воспроизведения информации, основах стереоскопии, методах цифровой обработки изображений и компьютерного зрения, математического анализа и статистики.

Положения, выносимые на защиту

1. Методы и алгоритмы совмещения изображений стереопары с заданным значением параллакса, основанные на цифровой обработке изображений.

2. Метод автоматического контроля и коррекции распределения параллаксов в изображениях стереопары, основанный на применении детекторов точечных особенностей изображений.

3. Метод и алгоритм автоматического определения максимального размера экрана, на который может проецироваться стереопара с соблюдением условий комфортного восприятия стереоизображения зрителями.

4. Методика автоматизированного подбора параметров стереосъемки, основанная на цифровом контроле параллаксов в изображениях стереопары.

5. Методы и алгоритмы автоматического контроля и цифровой коррекции рассогласования масштабов изображений стереопары и поворота одного изображения стереопары относительно другого.

Степень достоверности результатов

Все разработанные методы и алгоритмы, представленные в диссертации, были реализованы в программной среде МАТЬАВ. Достоверность полученных результатов подтверждена значительным объемом цифровых изображений, обработанных предложенными алгоритмами.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на одиннадцати конференциях, среди которых:

- семь научно-технических конференций, проводимых СПбГУКиТ в 20112014 гг.

- 11-ая Всероссийская межвузовская конференция молодых ученых, проводимая СПбНИУ ИТМО в рамках 3-го Всероссийского конгресса молодых ученых, 8-11 апреля 2014 г.

- 6-ая Международная научно-техническая конференция «Запись и воспроизведение объемных изображений в кинематографе и других областях», г. Москва, 17-18 апреля 2014 г.

- 11-ая Международная научно-техническая конференция «Телевидение: передача и обработка изображений», проводимая СПбГЭТУ «ЛЭТИ» 2526 июня 2014 г.

- Международная конференция и выставка, проводимые в рамках Международного съезда вещателей 1ВС2014, Г.Амстердам, Нидерланды, 11-16 сентября 2014 г.

Публикации

По материалам диссертации опубликовано десять печатных работ, среди которых три статьи в изданиях, рекомендованных ВАК. Структура и объем работы

Диссертационная работа содержит введение, четыре главы, заключение, список использованной литературы, включающий 85 наименований, и приложения. Диссертация изложена на 171 странице, содержит 125 рисунков, из них 15 рисунков — в Приложении. Личный вклад

Все основные результаты, изложенные в диссертационной работе, получены автором лично. Обсуждение результатов и их подготовка к публикации проходили при активном участии автора, под редакцией и при общем научном руководстве соавторов.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цель и задачи исследования, изложены положения, выносимые на защиту, дана оценка научной новизны и практической значимости полученных результатов.

В первой главе представлен обзор работ, в которых рассматриваются особенности формирования стереоизображения и требования, предъявляемые к параметрам изображений стереопары для комфортного восприятия зрителями.

На основе анализа литературных источников сформулированы выводы:

- значения горизонтальных параллаксов, а также положение зрителя в зале влияют на воспринимаемое пространственное расположение объектов в стереоизображении;

- для формирования стереоизображения, восприятие которого будет комфортным для зрителей, необходимо соблюдать ряд требований, предъявляемых к параметрам стереосъемки, параметрам сформированной стереопары и проекции изображений;

- одним из главных условий комфортного восприятия стереоизображений является выполнение требований к параллаксам стереопары: вертикальные параллаксы должны быть равны нулю, а горизонтальные параллаксы не должны превышать своих максимально допустимых значений;

- важно иметь возможность определять, какие значения будут принимать параллаксы стереопары на экране при проекции, и на экране какого размера ее можно демонстрировать, чтобы соблюдались условия комфортного восприятия стереоизображения зрителями;

- установить съемочные камеры так, чтобы обеспечить выполнение требований к значениям параллаксов, достаточно сложно. И если при стереосъемке были допущены ошибки, их возможно исправить последующей обработкой изображений.

Во второй главе исследована возможность совмещения изображений стереопары с использованием современных компьютерных программ, разработаны методы совмещения стереопары: один - основанный на корреляции изображений, другой - на применении детекторов точечных особенностей изображений. Пред-

ложены алгоритмы указанных методов совмещения изображений стереопары, реализованные в программной среде МАТЬАВ, и исследована их эффективность.

Обязательным этапом формирования стереопары является совмещение отдельно снятых кадров стереопары. Если при съемке две камеры расположены параллельно, то все полученное стереоизображение будет восприниматься в предэк-ранном пространстве (изображение будет иметь только отрицательный горизонтальный параллакс). Для того чтобы часть объектов изображалась за экраном (присутствовал также положительный горизонтальный параллакс), применяют стереосъемку на конвергированных оптических осях. Однако в этом случае возникают проективные искажения. Выставить в пространственной композиции плоскость нулевых параллаксов и, таким образом, получить некий эффект съемки на конвергированных осях без возникновения проективных искажений возможно и при стереосъемке на параллельных осях, но либо путем децентрирования сте-реооптики съемочных камер (мнимая конвергенция), либо на этапе последующей обработки изображений стереопары путем их цифровой конвергенции. Для этого необходимо совместить изображения стереопары таким образом, чтобы обеспечить нулевые горизонтальный и вертикальный параллаксы объекту, который по замыслу должен располагаться в плоскости рампы (или экрана).

Тестирование современных компьютерных программ по обработке изображений стереопары показало, что в большинстве из них совмещение кадров стереопары осуществляется только в так называемом «ручном режиме», и при этом точность совмещения изображений невелика, поскольку во многом зависит от субъективного восприятия человека, формирующего стереопару.

Разработанные в диссертационной работе методы и алгоритмы совмещения стереопары позволяют выделить на изображении интересующий объект и с высокой точностью выставить для него нулевой вертикальный параллакс, а также необходимое значение горизонтального параллакса, и таким образом, совместить стереопару, задав изображаемым объектам определенное пространственное расположение в воспринимаемом стереоизображении.

Алгоритм совмещения стереопары на основе корреляции включает следующие шаги. В анаглифном изображении стереопары при помощи курсора выделяется объект (рисунок 1), и для него задается требуемый горизонтальный параллакс (положительный, отрицательный или нулевой) и коэффициент уменьшения

разрешения. Для изображений выделенного объекта на левом и правом кадрах стереопары (рисунок 2) находятся их градиенты согласно формуле:

с=\с*+о^2=[(д//дх)2+(д//дуу-]'2 (1)

где х, у — пространственные координаты;

/—уровень яркости изображения в точке с координатами (х, у).

Рисунок 1 - Выделение объекта, для которого в дальнейшем будет выставлено заданное значение горизонтального параллакса и его фрагмент

А Б

— Изображения выделенного объекта и их градиенты: А - левого кадра; Б — правого кадра

Рисунок 2

Далее на основании выражения корреляции (2) находятся координаты точки максимального совпадения градиентов правого и левого изображения выделенного объекта.

I Г-1 IV-1

вп{х,у) <8> Ол= °П(у>(X + *>У + , (2)

' " Д»=0 №=0

где Оп(х,у), Сл(х,у) - градиенты правого и левого изображений выделенного объекта, соответственно, размером К* IV.

Координаты точки максимума в результирующей матрице корреляции (рисунок 3) несут информацию о вертикальном Р" и горизонтальном Р([ параллаксах

объекта градиентных изображений, и с их помощью определяется в пикселах значение сдвига одного изображения стереопары относительно другого по горизонтали £д- и вертикали Б у по следующим формулам:

5х=Р^К-Рг=(Х~)К-Р', (3)

ш

БУ = Р»К= {У-—Ж, (4)

где К— коэффициент уменьшения разрешения;

г - заданный горизонтальный параллакс, выражен в пикселах;

X и V — координаты точки максимума в результирующей матрице корреляции, выраженные в пикселах;

К и IV — размер изображения матрицы корреляции по горизонтали и вертикали, соответственно, выраженные в пикселах.

На основании полученных значений сдвига формируется конечный размер итоговых кадров стереопары (рисунок 4). На представленном рисунке можно заметить, насколько точно выполнено совмещение левого и правого кадров стереопары. Вертикальный и горизонтальный параллаксы выбранного объекта (ваза), измеренные в пикселах, равны нулю.

Рисунок 3 - Изображение матрицы, полученной в результате корреляции

Рисунок 4 - Анаглифное изображение, сформированное разработанным методом совмещения стереопары по выбранному объекту, и его фрагмент

Все операции предложенного метода, за исключением первых шагов, выполняются автоматически. Оператору достаточно только задать координаты двух точек, выделяя объект, для которого требуется выставить определенное значение горизонтального параллакса и, если необходимо, ввести коэффициент уменьшения разрешения изображений для ускорения совмещения стереопары данным методом.

Второй, разработанный в диссертации, метод совмещения стереопары основан на применения детекторов точечных особенностей изображений. В алгоритме данного метода, как и в предыдущем, выделяется объект, для которого требуется выставить определенное значение горизонтального параллакса. Левый и правый исходные кадры преобразуются в полутоновые изображения. Матрица левого полутонового изображения и бинарная маска объекта, выделенного на левом исходном кадре, перемножаются поэлементно. Далее при помощи детектора точечных особенностей на полученном полутоновом изображении выделенного объекта и на правом полутоновом изображении определяются соответствующие друг другу ключевые точки (рисунок 5).

Рисунок 5 - Сопряженные точки полутоновых изображений левого и правого кадров стереопары, обнаруженные детектором FAST для выделенного объекта

По значениям координат сопряженных точек, обнаруженных детектором, определяются их горизонтальные и вертикальные параллаксы, и вычисляются их медианные значения.

Ргм = med[Xn(n) -Хл(п)], (5)

P° = med[Yn(n)-Yjj(n)], (6)

где Р^ и Р^ - медианные значения горизонтальных и вертикальных параллаксов выделенного объекта стереопары, выраженные в пикселах;

Хц, У/7 и Хд, Уд - координаты ключевых точек выделенного объекта на правом и левом изображении стереопары, соответственно, выраженные в пикселах;

п — номер ключевой точки выделенного объекта на правом и левом изображении стереопары.

С учетом заданного вначале горизонтального параллакса Р и найденного медианного значения горизонтальных параллаксов для выделенного объекта Р'м, вычисляется сдвиг одного изображения стереопары относительно другого по горизонтали пикселах:

Бх=рГ-рГ. (7)

Сдвиг одного изображения стереопары относительно другого по вертикали 5у равен медианному значению вертикальных параллаксов Р"г.

На основании полученных значений сдвига формируется конечный размер итоговых кадров стереопары. Данный метод, как и предыдущий, позволяет сформировать стереопару с заданным значением горизонтального параллакса и нулевым значением вертикального параллакса для выделенного объекта.

В диссертации выполнено экспериментальное исследование эффективности разработанных методов совмещения изображений стереопары, которое показало, что предложенные методы и алгоритмы являются достаточно быстродейственны-ми и позволяют обрабатывать стереопары вне зависимости от размера исходных кадров, разрешения, степени сжатия изображений и эффективны даже в том случае, когда кадры стереопары сняты при различном освещении, и при наличии шума в изображениях.

Диаграммы зависимости длительности совмещения стереопары предложенными методами от разрешения исходных изображений представлены на рисунке 6, из которых видно, что процесс совмещения стереопары методом корреляции требует наибольших затрат времени, и длительность его выполнения во многом зависит от размера исходных изображений. Однако данный метод эффективнее при совмещении кадров стереопары, на которых изображено множество повторяющихся объектов. Совмещение стереопары методом, основанным на применении детекторов точечных особенностей изображений, выполняется достаточно быстро, что особенно проявляется для кадров стереопары с высоким разрешением. В отличие от корреляционного метода, данный метод не требует уменьшения раз-

решения исходных изображений, а значит, полученный результат будет более точным. Совмещение стереопары методом на основе детектора точечных особенностей изображений FAST выполняется быстрее, чем с использованием детектора SURF. Однако в некоторых случаях, например, для зашумленных или неразделенных анаглифных изображений, детектор FAST может не обнаружить достаточное количество ключевых точек, и тогда следует применять детектор SURF.

А — методом, основанным на корреляции;

Б — методом с использованием детектора FAST;

В — методом с использованием детектора SURF.

Рисунок 6 - Диаграммы зависимости длительности выполнения совмещения стереопары (tg) от размеров исходных изображений (R)

В третьей главе предложены методы и алгоритмы автоматического контроля и коррекции распределения параллаксов в изображениях стереопары, позволяющие автоматически определить максимальный размер экрана, на который может проецироваться стереопара с соблюдением условий комфортного восприятия стереоизображения зрителями, и автоматизировать процесс подбора параметров стереосъемки.

Метод контроля распределения параллаксов по полю стереопары основан на применении детектора точечных особенностей изображений. На основании координат, обнаруженных сопряженных ключевых точек, начиная с левого верхнего угла изображения до правого нижнего угла, определяются значения их горизонтальных и вертикальных параллаксов:

^(п) = Хп(п)-Хл(п), (8)

Гв(„) = УП(П)-Ул (и), (9)

где Р^ Р3 — горизонтальные и вертикальные параллаксы ключевых точек стереопары, соответственно, выраженные в пикселах и/или в субпикселах;

Хп, К/7 и Хл, Ул - координаты ключевых точек на правом и левом изображении стереопары, выраженные в пикселах и/или в субпикселах;

и — номер ключевой точки на правом и левом изображениях стереопары.

Среди ключевых точек, найденных детектором, могут быть ложные, и для того, чтобы их исключить, производится проверка по частоте встречаемости округленных значений параллаксов стереопары.

На основании полученных значений параллаксов стереопары, согласно выражениям (10) и (11) автоматически определяется максимально допустимая ширина изображения на экране:

ВЭш=Ъс-£-, (Ю)

'мах

ВЭГМ=ЬС^, (11)

где Вэии- максимально допустимый размер изображения на экране по ширине, мм;

Ьс — размер изображений стереопары по ширине, предназначенных для проекции на экран, выражен в пикселах;

Взр— базис зрения, мм (принимается равным среднему значению, 65 мм);

Рмах и Р.шх ~ максимальные значения положительного и отрицательного горизонтальных параллаксов стереопары, выраженные в пикселах;

э - максимально допустимый отрицательный горизонтальный параллакс на экране, мм, подробный расчет которого приведен в работах Рожкова С.Н.

Если проецировать изображение на экран, ширина которого не превышает Вчм , то горизонтальные параллаксы в стереопаре будут соответствовать требованиям комфортного восприятия. В противном случае требуется коррекция параллаксов. Один из способов коррекции значений параллаксов осуществляется уменьшением масштаба изображений стереопары с последующим наращиванием их по краям пикселами, имеющими нулевое значение яркости, до исходного размера изображений стереопары, который был у них до уменьшения масштаба. При этом увеличение изображений при проекции не меняется.

Необходимое значение коэффициента уменьшения масштаба М, применяемое при коррекции, рассчитывается по формуле:

где -максимальный положительный или отрицательный горизон-

тальный параллакс на экране, превышающий свое предельное значение, мм;

Р'Ш1 э - максимально допустимое значение положительного или отрицательного горизонтального параллакса, мм.

Причем значения параллаксов стереопары при ее проекции на экран определяются по формуле:

где Рэ - параллакс ключевой точки стереопары на экране, мм; Р— параллакс ключевой точки стереопары, предназначенной для проекции на экран, выражен в пикселах;

п - номер ключевой точки на правом и левом изображении стереопары; Вэ - ширина изображения на экране, мм;

Ьс - размер изображений стереопары по ширине, предназначенных для проекции на экран шириной Вэ, выражен в пикселах.

Другой предложенный способ коррекции параллаксов реализуется совмещением изображений стереопары. Значения необходимых для этого сдвигов по горизонтали и вертикали определяются в пикселах по формулам:

им э

(12)

Рэ(И) = Р(И)-2.,

В.

(13)

Р" Ъ , _1мопэис

'г -->

М01)Э ис

(15)

где Р,'ш.э —максимальный положительный или отрицательный горизонтальный параллакс на экране, превышающий свое предельное значение, мм;

Рмпвэ - мода вертикальных параллаксов на экране среди вертикальных параллаксов центральной области изображений, превышающих свои предельные значения, мм;

Р,ГЛ1Э - максимально допустимое значение положительного или отрицательного горизонтального параллакса, мм.

Основным достоинством первого метода коррекции значений параллаксов, в отличие от второго, является то, что плоскость нулевых параллаксов остается неизменной (не смещается), однако вследствие уменьшения масштаба изображений разрешение стереопары снижается относительно исходного.

При коррекции параллаксов вторым предложенным методом масштаб изображения остается прежним, однако данный способ коррекции пригоден только тогда, когда свое допустимое значение превышает лишь один из параллаксов -положительный или отрицательный.

Благодаря разработанному методу контроля распределения параллаксов можно осуществить автоматическое совмещение стереопары по дальнему объекту (имеющему максимальное значение горизонтального параллакса ), по ближнему объекту (минимальное значение отрицательного горизонтального параллакса Ру2х) и по объекту, расположенному в середине пространственной композиции (медианное значение горизонтального параллакса Р[,). Если изображения стереопары уже конвергированы, но ни один из объектов изображения не имеет нулевой горизонтальный параллакс, он автоматически может быть задан объекту с минимальным значением модуля горизонтального параллакса.

Разработанный метод контроля распределения параллаксов позволяет также определить, имеется ли в изображениях стереопары геометрическое рассогласование. Так, наличие вертикального параллакса с противоположными знаками

вблизи боковых границ стереопары свидетельствует о присутствии взаимного поворота одного изображения стереопары относительно другого (рисунок 7). Поворот изображения может возникнуть, например, при съемке с использованием стереорига, когда камеры разнесены в пространстве, и существует большая вероятность поворота одной камеры относительно другой.

Отсутствие вертикального параллакса в центре стереопары, но при этом наличие его у верхней и нижней границ изображения также с противоположными знаками, означает, что левый и правый кадры стереопары имеют рассогласованный масштаб. На практике рассогласование масштабов изображений стереопары может произойти в случаях, если при стереосъемке одна их камер расположена дальше другой от снимаемого объекта, или если у камер не согласованы фокусные расстояния объективов. Особенно это становится актуальным при стереосъемке двумя камерами с неоткалиброванными объективами и при синхронном изменении фокусных расстояний (зумировании).

Рисунок 7 — Сопряженные точки кадров стереопары, имеющих взаимный поворот, и средние значения ее вертикальных параллаксов с левой (А) и правой (Б) сторон изображения, выраженные в пикселах

Метод контроля распределения параллаксов может быть особенно востребован при настройке камер для стереосъемки, а при наличии приводов в стере-ориге он позволит сделать этот процесс полностью автоматическим.

Предложенная методика автоматизации подбора параметров стереосъемки заключается в использовании разработанных методов контроля и цифровой коррекции значений параллаксов стереопары. За основу расчета необходимых параметров взяты теории Болтянского А.Г. и Мелкумова A.C.

Классический метод подбора параметров стереосъемки сводится к следующим пунктам:

а) выбор крупности (масштаба) объекта, находящегося в плоскости рампы;

б) выбор необходимого фокусного расстояния съемочных объективов;

в) расчет базиса съемки;

г) определение местоположения рампы и расчет дистанции до нее;

д) определение границ глубины комфортно воспринимаемого пространства (расчет конечной и ближней дистанций).

Классическая методика подбора параметров стереосъемки требует значительных вычислений, и выставить данные параметры достаточно сложно, зачастую на деле они могут не соответствовать своим рассчитанным значениям. Кроме того, по рассчитанным значениям параметров съемки невозможно точно определить, будут ли параллаксы полученной стереопары превышать свои максимально допустимые значения при ее проекции на экран. Предлагаемая в работе методика автоматизации подбора параметров стереосъемки упрощает расчет параметров, проводимый по классической методике, и позволяет не только количественно оценить значения параллаксов изображений стереопары, но и оперативно проверить правильность выставления параметров стереосъемки.

Осуществив предварительную съемку стереопары с определенным базисом съемки и фокусным расстоянием, достаточно совместить ее по объекту в изображении, который при проекции должен восприниматься в плоскости экрана (наиболее удобным совмещение изображений стереопары представляется при помощи сенсорного монитора, однако, для этой цели может подойти и обычный компьютер). По координатам сопряженных точек изображений стереопары, обнаруженных при помощи детекторов точечных особенностей, по формулам (8) и (9) автоматически определяются значения горизонтальных и вертикальных параллаксов по всему полю совмещенной стереопары. Задав максимальную ширину экрана, на который, предположительно, будет проецироваться итоговая стереопара, автоматически (по формуле 13) вычисляется, превысят ли параллаксы свои допустимые значения.

Если максимальный положительный или отрицательный горизонтальные параллаксы превышают свои допустимые пределы, будут предложены варианты коррекции, например, автоматическое совмещение изображений стереопары; из-

менение базиса съемки; перемещение плоскости рампы или объектов съемки относительно данной плоскости с одновременным контролем распределения параллаксов. При возникновении вертикального параллакса в изображениях стереопары следует выполнить юстировку положения съемочных камер.

В четвертой главе разработаны методы и алгоритмы автоматического контроля и цифровой коррекции геометрических параметров изображений, позволяющие с высокой точностью исправить рассогласование изображений стереопары по параметрам масштаб и взаимный поворот. Данное рассогласование приводит к появлению вертикальных параллаксов по полю кадра, и как следствие при просмотре такого изображения у зрителя может разрушаться стереоэффект и возникать утомление.

При разработке метода контроля и цифровой коррекции рассогласования масштабов изображений стереопары учитывалось, что изображенные объекты в зависимости от их расположения по глубине сцены имеют различный горизонтальный параллакс, поэтому при коррекции изображения не целесообразно полностью совмещать все ключевые точки стереопары, а необходимо выполнять ее через коэффициент рассогласования масштабов. Кроме того, для получения точного результата следует ограничивать область поиска ключевых точек и выбирать их только для объектов, находящихся в одной плоскости дистанций. Чтобы реализовать это в автоматическом режиме, используется метод оценки параметров модели на основе случайных выборок ЯА^АС, а также по формуле (8) определяются значения горизонтальных параллаксов обнаруженных точек, и их медианное значение. Точка А, горизонтальный параллакс которой является медианным значением, является первой точкой, необходимой для расчета коэффициента рассогласования масштабов изображений (рисунок 8). Далее происходит сравнение всех найденных горизонтальных параллаксов с полученным медианным значением, и та точка, параллакс которой наиболее близок к медианному значению, становится второй точкой (точка В), необходимой для определения рассогласования масштабов изображений.

Коэффициент рассогласования масштабов М находится с учетом расстояний

между данными точками на левом Лл Вл и правом АпВп кадрах стереопары по формулам:

АЛВЛ = ^ Ах 2, + Ау ,, ^ АпВп=^Ах2п+Ау2п ^

А /?

п и 4 (|8)

При полном согласовании масштабов левого и правого изображений стереопары АЛВЛ =АПВП иМ= I. Если 1, то требуется коррекция масштаба одного из изображений стереопары.

Коррекция рассогласования масштабов разработанным методом может производиться как путем увеличения размера изображения с меньшим масштабом, так и путем уменьшения размера изображения с более крупным масштабом. В последнем случае итоговое изображение будет иметь уменьшенное разрешение.

Левое изображение Правое изображение

Рисунок 8 - Схема, поясняющая определение коэффициента рассогласования масштабов

Коррекция масштаба выполняется с помощью аффинного пространственного преобразования:

(19)

х' Г \ X

У' = Тх У

1 1

где

х' У'

- матрица-столбец, задающая координаты каждого пиксела преобразованного изображения, дополненная единицей;

- матрица-столбец, задающая координаты каждого пиксела исходного изображения, дополненная единицей;

- аффинная матрица преобразования (матрица коррекции масштаба с коэффициентом М).

Для выполнения автоматического контроля и цифровой коррекции взаимного поворота изображений стереопары вначале осуществляется ее автоматическое совмещение по точке, расположенной в центральной части изображений, и происходит изменение размеров левого и правого кадров стереопары так, чтобы точка их совмещения стала центром (точка О на рисунке 9). Относительно данной точки в дальнейшем и будет происходить поворот одного из изображений.

Изображения стереопары делятся на так называемые четыре квадранта, и для каждого из них определяются сопряженные ключевые точки. На основании координат точки на неискаженном кадре стереопары (точка А) и сопряженной точки на искаженном кадре стереопары (точка В) определяются координаты точки С, положение которой соответствует точке В после коррекции поворота. При этом СО = ВО.

м 0 0

0 м 0

Рисунок 9 - Схема, поясняющая определение необходимого угла поворота одного изображения относительно другого, для одного из квадрантов стереопары

Из треугольника ВОС (рисунок 9) по теореме косинусов определяется необходимый угол поворота а одного изображения стереопары относительно другого:

cosa =-

ВО2 + СО2 - ВС2

2 ВО СО ВО = V ЕВ2 + ЕОг

ВС = л¡BF2 + FC: FC = ЕО - DO,

(20)

(21) (22)

(23)

(24)

во=4со2 - йС1 ,

В случае, если точка А расположена выше точки В, т.е. координата точки А по оси у меньше координаты точки В, коррекция изображений на угол а будет происходить против часовой стрелки, а знак угла а будет отрицательным, и наоборот, если точка А расположена ниже точки В, поворот на угол а будет осуществляться по часовой стрелке.

Аффинная матрица преобразования Т, предназначенная для коррекции поворота изображения на угол а, записывается следующим образом:

Т =

V.

eos а sin а 0

sin а

eos а 0

На рисунке 10 показана исходная стереопара, кадры которой имеют рассогласованный масштаб и взаимный поворот. На рисунке 11 показано итоговое ана-глифное изображение данной стереопары после выполненной коррекции.

А Б

Рисунок 10 - Исходная стереопара, кадры которой имеют геометрическое рассогласование (масштаб и поворот): А - левый кадр; Б - правый кадр

А Б В

Рисунок 11 — Итоговое анаглифное изображение стереопары после коррекции геометрического рассогласования (масштаб и поворот) (А), его фрагменты (Б, В)

На представленном рисунке можно заметить, насколько точно выполнена коррекция геометрического рассогласования изображений, вертикальные параллаксы всех изображенных объектов, измеренные в пикселах, равны нулю.

Предложенные методы контроля и коррекции геометрического рассогласования изображений стереопары могут применяться как при настройке камер для стереосъемки, так и на этапе последующей обработки отснятого материала. При обработке изображений стереопары предложенные методы могут выполнять контроль и цифровую коррекцию геометрических параметров изображений как в полуавтоматическом режиме с совмещением изображений по выбранному объекту, так и в автоматическом режиме с совмещением по дальнему или ближнему объекту, или по объекту, расположенному в середине пространственной композиции.

ЗАКЛЮЧЕНИЕ

Обобщая результаты выполненных исследований, необходимо отметить следующее:

1. Разработаны методы и алгоритмы совмещения стереопары, основанные на цифровой обработке изображений и позволяющие автоматически с высокой точностью выставить для выделенного объекта нулевой вертикальный параллакс и необходимое значение горизонтального параллакса, и, таким образом, сформировать стереопару с различным пространственным расположением объектов в воспринимаемом стереоизображении.

2. Предложен метод автоматического контроля распределения параллаксов в изображениях стереопары, основанный на применении детекторов точечных особенностей изображений и позволяющий определить, на экране какого размера можно демонстрировать ту или иную стереопару с целью выполнения условий комфортного восприятия стереоизображения. Для возможности проекции стереопары на экран, размер которого превышает максимально допустимое значение, предложены алгоритмы цифровой коррекции параллаксов стереопары.

3. Предложены методики расчетов коэффициента рассогласования масштабов и необходимого угла поворота одного изображения стереопары относительно другого и методы, позволяющие автоматически осуществить цифровую коррекцию таких параметров изображений стереопары, как параллакс, масштаб и поворот.

4. Разработанные методы и алгоритмы контроля и коррекции параметров изображений стереопары могут быть внедрены в состав автоматизированных измерительно-вычислительных комплексов, предназначенных для выявления ошибок, допущенных при стереосъемке, а также стать частью программ по обработке и монтажу изображений стереопары.

5. Проведенные исследования эффективности в программной среде МАТЬАВ показали, что разработанные методы контроля и цифровой коррекции параметров изображений стереопары являются достаточно быстродейственными и позволяют обрабатывать стереопары вне зависимости от размеров исходных кадров, разрешения, степени сжатия изображений и эффективны даже в том случае, когда кадры стереопары сняты при различном освещении, и при наличии шума в изображениях.

Дальнейшее развитие темы диссертационной работы видится в разработке и модификации методов автоматического контроля и коррекции таких параметров изображений стереопары, как контраст, резкость и цвет.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ АВТОРОМ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Чафонова, В.Г. Алгоритмы цифровой конвергенции изображений стереопары / И.В. Газеева, Г.В. Тихомирова, В.Г. Чафонова // Мир техники кино. -

2014. - № 31. - С. 10-17. (Издание из перечня ВАК).

2. Чафонова, В.Г. Автоматизация контроля и коррекции разномасштабности изображений стереопары / И.В. Газеева, Г.В. Тихомирова, В.Г. Чафонова // Мир техники кино. -2014. -№ 33. - С. 19-31. (Издание из перечня ВАК).

3. Чафонова, В.Г. Методы формирования изображений стереопары с заданным значением параллакса / В.Г. Чафонова, И.В. Газеева // Научно-технический вестник информационных технологий, механики и оптики. - 2014. -№ 6 (94). - С. 41-47. (Издание из перечня ВАК).

4. Чафонова, В.Г. Системы цифровой стереопроекции: учебное пособие / И.В. Газеева, В.Г. Чафонова. - СПб: СПбГУКиТ, 2013. - 108 с.

5. Чафонова, В.Г. Современные системы цифровой стереопроекции, применяемые в кинотеатрах / В.Г. Чафонова // Материалы научных и творческих конференций «Неделя науки и творчества - 2011». 4-16 апреля 2011 г. -СПб.: СПбГУКиТ, 2011. - С. 271-273.

6. Чафонова, В.Г. Коррекция геометрических искажений растровых цифровых изображений методом цифровой обработки / В.Г. Чафонова // Материалы научных и творческих конференций «Неделя науки и творчества - 2013». 15-27 апреля 2013 г. - СПб.: СПбГУКиТ, 2013. - С. 202-203.

7. Чафонова, В.Г. Алгоритмы сведения кадров стереопары, реализованные в программной среде Matlab / В.Г. Чафонова // Материалы научной конференции студентов и аспирантов «Молодые ученые - для яркого будущего страны». 28-29 ноября 2013 г. - СПб.: СПбГУКиТ, 2013. - С. 16-21.

8. Чафонова, В.Г. Конвергенция изображений стереопары в программной среде Matlab / И.В. Газеева, Г.В. Тихомирова, В.Г. Чафонова // Сборник статей Международной научно-практической конференции «Актуальные проблемы современной науки». 13-14 декабря 2013 г. - Уфа: РИЦ БашГУ, 2013. -Ч. 4.-С. 99-102.

9. Чафонова, В.Г. Метод формирования стереопары с заданной величиной параллаксов / В.Г. Чафонова // Сборник тезисов докладов конгресса молодых ученых, Выпуск 2. - СПб: Университет ИТМО, 2014. - С. 49-50.

10. Цифровая коррекция изображений стереопары: отчет о НИР: № 02-14 ФБ / СПбГУКиТ; рук. Тихомирова Г.В. - СПб, 2014. - 101 с. - Исполн.: Газеева И.В., Кузнецов С.А., Тихомирова Г.В., Чафонова В.Г. - Библиогр.: С. 96101.

Подписано в печать 05.11.14. Формат 60x84 '/16 Печ. л. 1,5 Тираж 100 экз. Заказ 283.

ИзПК СПбГУКиТ. 192102, Санкт-Петербург, ул. Бухарестская, 22.