автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Исследование и разработка методов построения растрового стереоскопического монитора на основе матричного дисплея

На правах рукописи

МУХИН Иван Александрович

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ ПОСТРОЕНИЯ РАСТРОВОГО СТЕРЕОСКОПИЧЕСКОГО МОНИТОРА НА ОСНОВЕ МАТРИЧНОГО ДИСПЛЕЯ

Специальность 05.12.04 — Радиотехника, в том числе системы и устройства телевидения

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2009

003472995

Работа выполнена в Санкт-Петербургском государственном университете телекоммуникаций им. проф. М.А. Бонч-Бруевича.

Научный руководитель: кандидат технических наук, доцент

Олег Владимирович Украинский

Официальные оппоненты:

доктор технических наук, профессор Роберт Евгеньевич Быков

кандидат физико-математических наук, доцент Виктор Матвеевич Павлов

Ведущая организация: НИИТ (Санкт-Петербург)

Защита состоится 26 июня 2009 г. в 10:00 часов на заседании диссертационного совета Д 219.004.01 при Санкт-Петербургском государственном университете телекоммуникаций им. проф. М.А. Бонч-Бруевича по адресу: 191186, Санкт-Петербург, наб. реки Мойки, д. 61.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича.

Автореферат разослан 21 мая 2009 г.

Ученый секретарь

диссертационного совета

доктор технических наук, профессор

В.В. Сергеев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Стереоскопические телевизионные системы (СТС) позволяют воспроизводить объемное изображение и передают дополнительную информацию о размерах, форме и взаимном расположении объектов. Благодаря указанным особенностям СТС находят применение при решении широкого круга задач в различных областях науки, техники, производства и быта.

Одной из наиболее сложных проблем, сдерживающих развитие стереоскопического телевидения, является задача создания устройства воспроизведения объемного изображения. Существующие в настоящее время стереоскопические дисплеи, использующие анаглифический, эклипеный и поляроидный способы сепарации изображений, имеют ряд недостатков, в частности, требуют наглазных устройств (очков) и позволяют воспроизводить только два ракурса изображения передаваемого объекта. Растровый принцип сепарации свободен от указанных недостатков, однако до недавнего времени, из-за жестких требований к устройству формирования кодированного изображения, растровые экраны применялись исключительно в составе громоздких просветных проекционных систем.

С появлением и развитием в последние годы матричных дисплеев, таких, как, плазменная панель (PDP), жидкокристаллический монитор (LCD) и др., ситуация изменилась кардинальным образом. Такие устройства имеют строго периодичную структуру элементов изображения, а также позволяют управлять яркостью любого из субпикселей в отдельности, и, следовательно, могут использоваться для создания компактных растровых мониторов, не требующих очков и позволяющих воспроизводить многоракурсное изображение.

Для создания таких отображающих устройств требуется решение ряда принципиально новых задач, в частности, расчета параметров растра под заданную структуру пикселей матричного дисплея. В работах, посвященных стереоскопическим дисплеям на основе сдвоенных просветных растров, указанный вопрос не рассматривается, так как в таких устройствах кодированное изображение формируется оптически — с помощью дополнительного линзового растра. Особого исследования требует также задача предварительной пространственной фильтрации исходных ракурсов при формировании кодированного изображения, воспроизводимого матричным дисплеем. При этом важен учет особенностей восприятия объемного изображения, а также особого пространственного порядка дискретизации, поэтому традиционные решения из области обработки изображений в данном случае не позволяют добиться наилучшего результата.

Достижения последних лет в области сжатия видеоинформации, прогресс в создании устройств регистрации изображения, появление стерескопических телевизионных (ТВ), кино- и мультипликационных фильмов, развитие телевидения высокой четкости и цифрового ТВ вещания стимулируют применение СТС и предоставляют дополнительные возможности для их развития и модернизации, что

свидетельствует об актуальности темы диссертации — задачи исследования и разработки методов построения растрового стереоскопического монитора на основе матричного дисплея.

Цель и задачи работы. Основной целью диссертационной работы является усовершенствование воспроизводящего устройства стереоскопической телевизионной системы — исследование и разработка методов построения растрового стереоскопического монитора на основе матричного дисплея. Для достижения поставленной цели в диссертационной работе решаются следующие основные задачи.

1. Анализ особенностей проекционных воспроизводящих устройств на основе просветных сдвоенных растров, а также возможности использования линзового растра совместно с матричным дисплеем для получения стереоскопического монитора.

2. Разработка математической модели сепарации ракурсов для заданного сечения цилиндрической линзы.

3. Реализация разработанной математической модели в виде алгоритма и программы для расчета параметров линзового растра и для исследования его сепарирующих свойств.

4. Исследование особенностей формируемых стереоскопическим монитором изображений при использовании матричного дисплея с различной структурой субпикселей и линзового растра с различным углом наклона линз, с целью определения оптимальной конструции монитора для заданного числа ракурсов и заданных условий применения.

5. Разработка методики формирования кодированного изображения и ее реализация в виде программы, позволяющей исследовать влияние вида дискретизации и предварительной фильтрации исходных ракурсов на качество стереоскопического изображения.

Методы исследования. Для решения поставленных в диссертационной работе задач использовались методы математического, гармонического и статистического анализа, методы обработки изображений и программирования на алгоритмическом языке (Borland Delphi), а также имитационного моделирования с использованием разработанных автором программ. Экспериментальные исследования проведены с использованием экспертных оценок, теории вероятностей и измерительного оборудования, разработанного в рамках работы.

Научная новизна. В диссертационной работе получены следующие новые научные результаты.

1. Разработана математическая модель сепарации изображений ракурсов в растровом стереоскопическом мониторе, учитывающая основные виды аберраций, боковое смещение луча, изменение формы сечения линз, а также положение наблюдателя в пространстве. На основе разработанной модели реализована компьютерная программа, позволяющая производить высокоточный расчет параметров оптического растра и измерять его сепарирующие свойства.

2. Получены зависимости коэффициента сепарации ракурсов от координат исследуемой области растра, от координат положения наблюдателя в пространстве, а также от параметров линзового растра и матричного дисплея. Указанные зависимости позволяют определить степень сепарации ракурсов, и, следовательно, качество многоракурсного изображения при наблюдении заданной области растра из заданной точки пространства.

3. Разработана методика оценки искажений цветопередачи в дополнительных зонах видения при использовании жидкокристаллических дисплеев с матрицами типа «ТЫ+ГПт» на основе экспериментально полученного семейства диаграмм распределения яркости субпикселя экрана.

4. Исследованы возможные комбинации различных структур субпикселей матричных дисплеев с различными углами наклона линз оптического растра для получения заданного количества ракурсов, определены параметры соответствующих пространственных анизотропных фильтров для предварительной обработки ракурсов в процессе формирования кодированного изображения.

5. Предложен алгоритм адаптивной предварительной фильтрации, учитывающий динамическое изменение спектрального состава обрабатываемого телевизионного изображения и, следовательно, позволяющий добиться максимального качества многоракурсного изображения.

Практическая ценность.

1. Разработанная математическая модель сепарации изображений ракурсов и реализованная на ее основе компьютерная программа позволяют выполнять высокоточный расчет параметров растра, необходимый для его изготовления и позиционирования относительно матричного дисплея. В процессе расчета учитывается положение наблюдателя относительно дисплея, что позволяет добиться значительного повышения качества объемного изображения при наблюдении под любым заданным углом, и, следовательно, расширить сферу применения стереоскопических дисплеев. Кроме того, в программе предусмотрена возможность численной и визуальной оценки степени разделения ракурсов для любой части экрана при наблюдении из любой точки пространства, что позволяет оценить возможности дисплея на этапе проектирования, и, следовательно, снизить затраты при разработке.

2. Полученные в работе функциональные зависимости коэффициента сепарации от параметров линзового растра позволяют определить допуски на параметры линзового растра и степень изменения его сепарирующих свойств при деформациях различного рода или смещениях относительно матричного дисплея.

3. Полученные в результате экспериментального исследования кривые профилей фильтров позволяют добиться наилучшего соотношения между трема артефактами низкочастотной предварительной фильтрации: снижением четкости, заметности повторов и муаров на периодических структурах.

4. Предложенная методика анизотропной фильтрации, учитывающая различие в частотах дискретизации для различных пространственных направлений,

позволяет добиться максимальной четкости формируемого объемного изображения в любом пространственном направлении.

5. Предложенный алгоритм адаптивной фильтрации, учитывающий различия в спектральном составе обрабатываемых кадров, позволяет добиться максимального качества формируемого изображения независимо от его пространственной структуры.

6. Разработанные программы расчета параметров растра и создания кодированного изображения могут также применяться при создании растровых стереоскопических фотографий, а также в учебном процессе при изучении растровых стереоскопических дисплеев и методов цифровой обработки изображений.

Вклад автора в исследование проблемы. Основные научные положения, теоретические выводы и рекомендации, содержащиеся в диссертационной работе, получены автором самостоятельно.

Реализация и внедрение результатов работы. Теоретические результаты диссертационной работы используются в курсах лекций, которые читаются на кафедре телевидения и видеотехники в Санкт-Петербургском государственном университете телекоммуникаций им. проф. М. А. Бонч-Бруевича (СПбГУТ). Разработанные программные продукты включены в курс лабораторных работ, проводимых в СПбГУТ, а также Невинномысском технологическом институте. Практические результаты диссертационной работы использовались в организации

3-й и 4-й выставок «Home Cinema», проводимых ИВЦ «Реал» в 2004 и 2005 гг. в Санкт-Петербурге. Разработанные автором программы «Lenticular Screen» и «Line Image» применяются для различных исследований в компании «Самсунг электронике» и в лабораториях научно-исследовательского кинофотоинститута (ОАО «НИКФИ»), что, в обоих случаях, подтверждено соответствующими актами внедрения. Программа «Lenticular Screen» зарегистрирована в ФИПС (свидетельство 2007614180).

Апробация. Основные положения и результаты диссертационной работы докладывались и обсуждались на 56-й НТК студентов и аспирантов СПбГУТ (СПб, 2002 г.); на 56-й, 57-й, 60-й и 61-й НТК профессорско-преподавательского состава, научных сотрудников и аспирантов СПбГУТ (СПб, 2004, 2005, 2008 и 2009 гг.); на

4-й, 5-й и 6-й международных конференциях «Телевидение: передача и обработка изображений» (СПб, СПбГЭТУ «ЛЭТИ», в 2005, 2007 и 2008 гг.); на 12-й, 13-й и 16-й НТК «Современное телевидение» (Москва, в 2004, 2005 и 2008 гг.); на 60-й, 61-й, 62-й и 63-й НТК, посвященной Дню Радио (СПб, СПбГЭТУ «ЛЭТИ», в 2005 - 2008 гг.).

Публикации. Материалы, отражающие основное содержание и результаты диссертационной работы, опубликованы в материалах научно-технических конференций и отраслевых журналах — всего в 23 работах.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и библиографического списка. Работа содержит 181

страницу машинописного текста, 101 рисунок, 13 таблиц и библиографический список из 84 наименований.

Основные положения, выносимые на защиту:

1. Математическая модель сепарации изображений линзовым растром и реализованная на ее основе программа «Lenticular Screen», позволяющая рассчитывать параметры растра и исследовать его сепарационные свойства.

2. Рекомендации по выбору вида, типа и структуры субпикселей матричного дисплея, а также шага и наклона линз растра для получения объемного изображения с заданными характеристиками,

3. Методика анизотропной фильтрации и обоснование выбора параметров пространственного фильтра для повышения качества воспроизводимого объемного изображения по трем заданным критериям.

4. Алгоритм адаптивной фильтрации, позволяющий определять наиболее подходящий тип фильтра для обрабатываемого в текущий момент времени изображения.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснованы актуальность и практическая значимость темы диссертации, сформулированы цели и задачи исследования, а также основные защищаемые положения.

В первой главе рассмотрены необходимые понятия из области стереоскопии, а также существующие способы воспроизведения стереоскопических и многоракурсных изображений. Произведен анализ различий в принципах функционирования растрового стереоскопического монитора на основе матричного дисплея (МД) и просветных растровых экранов. Сформулированы задачи, требующие решения в процессе разработки растрового стереоскопического монитора.

Основу конструкции любого растрового дисплея составляют устройство формирования кодированного изображения и сепарирующий оптический (линзовый) растр. Кодированное изображение (КИ) состоит из элементов изображений отдельных ракурсов, чередующихся в определенном порядке. Благодаря фокусирующему, интегрирующему и множащему свойствам линзового растра (J1P), зритель получает возможность наблюдения объемного изображения из различных точек пространства, свободно перемещаясь относительно дисплея.

Для обеспечения сепарации ракурсов по всей площади экрана, параметры ЛР и КИ должны быть строго согласованы. В работе показано, что при формировании изображения из 4-х ракурсов ошибка в шаге растра на 0,078% приведет к снижению сепарации до нуля. Кроме того, все элементы КИ должны быть неподвижны относительно линзового растра, а также иметь одинаковый размер.

Для выполнения указанных требований кодированное изображение получают оптическим способом — с помощью проекторов, диффузно-

рассеивающего экрана и вспомогательного растра, идентичного сепарирующему растру, благодаря чему процесс согласования параметров ЛР и КИ значительно упрощается. Однако, подобные просветные экраны со сдвоенными растрами имеют, как правило, большие размеры и низкую яркость.

Устранить указанные недостатки можно, если использовать для формирования кодированного изображения матричный дисплей. Однако, при этом требуется решение двух основных задач: во-первых, расчета параметров ЛР для согласования с периодической структурой субпикселей МД, и, во-вторых, формирования кодированного изображения, воспроизводимого матричным дисплеем.

В работе показано, что применение законов параксиальной оптики (Гаусса) не позволяет добиться необходимой точности расчета параметров растра из-за ряда упрощений, в частности отсутствия учета аберраций в линзах. Кроме того, необходимо учитывать различие в форме преломляющих поверхностей каждой из линз для различных горизонтальных сечений растра. Таким образом, для решения задачи расчета параметров растра под заданный матричный дисплей требуется разработка специальной методики.

Для выбора матричного дисплея требуется исследование взаимосвязи между его параметрами и параметрами объемного изображения. В частности, необходимо определить зависимость между разрешением МД и количеством воспроизводимых ракурсов, а также между формой диаграммы распределения яркости и числом дополнительных зон видения. Особый интерес представляет вопрос целесообразности применения жидкокристаллических матричных дисплеев типа «ЛЧ+Р'^т», отличающихся низкой инерционностью обновления изображения, но узкой диаграммой распределения яркости. Также необходимо найти способ устранения проблемы пространственного разделения трех цветовых составляющих изображения при использовании матричного дисплея с наиболее распространенной структурой субпикселей — полосковой.

Кодированное изображение, воспроизводимое матричным дисплеем, формируется путем дискретизации исходных изображений ракурсов в определенном пространственном порядке. Для предотвращения элайзинга спектр исходных изображений необходимо ограничить в соответствии с частотой дискретизации в заданном пространственном направлении. При этом возникает задача определения такой кривой профиля фильтра, которая позволила бы добиться наилучшего соотношения между тремя артефактами фильтрации: снижением четкости, заметностыо муаров и повторов, ухудшающих восприятие объемного изображения.

Во второй главе рассмотрены вопросы расчета параметров линзового растра и исследования его сепарирующих свойств.

Линзовый растр предназначен для разделения световых потоков отдельных ракурсов. Степень сепарации ракурсов является важнейшим показателем качества объемного изображения. Количественной характеристикой сепарации является

коэффициент сепарации (Кс), который, в случае двухракурсного изображения, удобно определить как отношение яркости заданного ракурса (¿]) к сумме яркостей обоих ракурсов: ЛТС| = ¿,/(1, + ¿2).

Для достижения максимального значения коэффициента сепарации (КС) необходимо определить параметры растра с высокой точностью. В работе показано, что решение этой задачи в виде аналитического выражения, связывающего искомые переменные и параметры матричного дисплея при условии максимума КС в заданной точке области наблюдения, не представляется возможным. Поэтому в работе предлагается использовать численно-аналитический метод расчета. Особенностью метода и, соответственно, алгоритма, является реализованная в основном теле цикла возможность анализа причин снижения КС и уточнения диапазонов перебираемых значений параметров растра.

Исследование сепарирующих свойств растра является основным звеном расчета и представляет собой сложную задачу. Для ее решения можно воспользоваться известным способом — сравнить освещенности сетчатки глаза, создаваемые световыми потоками левого и правого изображений стереопары.

Однако в случае линзового растра такой способ очень сложен. Поэтому для вычисления КС была разработана математическая модель данного процесса. В основе модели лежит принцип обратимости распространения света. Источник света помещается в точку размещения глаза и определяется освещенность столбцов матричного дисплея (рис. 1, а). Элементарные телесные углы ¿/г, составляющие поле зрения исследуемой области 5, ввиду их малости, оказалось возможным заменить отдельными лучами. Далее, с помощью закона Снеллиуса для трехмерного пространства, вычисляются траектории лучей. В системе Федера определяются вектора линейных (Б) и угловых (д) координат луча, падающего на преломляющую поверхность (рис. 1, б). Затем определяется точка встречи падающего луча с преломляющей цилиндрической поверхностью. После чего по вектору я падающего луча, вектору нормали g в точке падения и показателям преломления п и п ' сред до и после преломляющей поверхности определяется

Рис. 1. Модель расчета: вычисление коэффициента сепарации (а), определение траектории луча (б)

вектор q' преломленного луча. Закон преломления в векторной форме можно записать в следующем виде: [q,g]-« = [q',g]'w'. Аналогичным образом определяется преломление тыльной частью растра, а также координаты точки встречи с матричным дисплеем. В процессе расчета траекторий лучей фиксируется, какое количество лучей попало на какой из субпикселей матричного дисплея, что позволяет с высокой точностью определить коэффициент сепарации для данного сечения данной линзы растра. При указанном подходе автоматически учитываются аберрации в линзах, боковое смещение луча и изменение формы сечения линз при наблюдении под различными углами, благодаря чему обеспечивается высокая точность расчета коэффициента сепарации.

Описанная модель реализована в разработанной автором программе «Lenticular Screen». Программа позволяет вычислять параметры линзового растра в двух режимах: пошаговом и автоматическом. Пошаговый режим предоставляет возможность визуального контроля траекторий хода лучей через любое сечение любой линзы растра, что позволяет определить причину ухудшения сепарации, скорректировать соответствующие параметры растра и уточнить диапазоны их изменения. В автоматическом режиме искомые значения определяются по максимуму КС путем перебора всех возможных комбинаций параметров из указанных диапазонов. Такой подход позволяет значительно сократить время расчета.

В программе также реализована возможность количественной и качественной оценки сепарирующих свойств растра. Количественная оценка представлена в виде численного значения КС. Для качественной оценки предусмотрены графические построения траекторий лучей и эмуляция наблюдаемой стереопары. Исследования сепарационных свойств могут проводиться для отдельной линзы, горизонтального сечения всех линз или всего растра в целом. В последнем случае для количественной оценки используется интегральный коэффициент сепарации (ИКС), который определяется как среднее

_ ] М N

значение для N линз и М горизонтальных сечений: Á'c = ^ ^ X XI ■

Благодаря особенностям модели вычисления КС, а именно учету координат наблюдателя, положения исследуемой области, а также параметров линзового растра и матричного дисплея, с помощью программы «Lenticular Screen» были получены следующие результаты:

1) сепарационная функция по полю экрана, определяющая значение КС на любом участке растра;

2) зависимость ИКС от координат точки наблюдения, позволяющая определить положение и размеры зон видения, а также степень разделения ракурсов при наблюдении из любой точки пространства;

3) зависимости ИКС от каждого из параметров линзового растра, позволяющие оценить степень изменения сепарационных свойств экрана при

деформациях различного рода или смещении относительно матричного дисплея, а также определить допуски на любой из параметров растра, что необходимо для его изготовления.

Для тех случаев, когда наблюдение растрового монитора производится из фиксированной области, (например, в авиатренажерах), в работе предложено использовать растр с нерегулярной структурой линз. Для создания такого растра с помощью программы «Lenticular Screen» получены функции, указывающие значение радиуса кривизны каждой из линз.

В третьей главе рассмотрены вопросы, касающиеся влияния параметров матричного дисплея и особенностей формируемой им кодированной картины на качество многоракурсного изображения.

Особенности конструкции растрового монитора, а также основные показатели качества формируемого им объемного изображения, за исключением сепарации ракурсов, определяются такими параметрами матричного дисплея, как разрешение, углы обзора и вид структуры субпикселей.

Разрешение матричного дисплея при заданных размерах экрана определяет размер пикселя (dp) и, следовательно, максимальное количество воспроизводимых ракурсов (NVie„) и минимальное расстояние наблюдения (L0). В диссертационной работе приведено исследование указанной взаимосвязи для наиболее распространенных в настоящее время видов матричных дисплеев: плазменного и жидкокристаллического (ЖКД). Результаты вычислений, представленные в виде таблиц, а также графики семейства функций L0 = f{dp,Nvin) позволяют определить разрешение матричного дисплея, необходимое для формирования многоракурсного изображения с заданными параметрами. В работе также приводятся примеры выбора МД для конкретных условий применения растрового монитора.

Одним из основных параметров многоракурсного изображения является количество дополнительных зон видения. Под зоной видения понимается область пространства, находясь в пределах которой наблюдатель видит все ракурсы изображения. В диссертационной работе показано, что число дополнительных зон видения ограничено, в частности, из-за такого недостатка матричного дисплея, как уменьшение контраста и ухудшение цветопередачи изображения при увеличении угла наблюдения. Исследование принципов формирования изображения матричными дисплеями различных типов позволило установить причину указанного явления и сделать следующие вывод: для минимизации искажений цветопередачи в дополнительных зонах видения в составе растрового монитора следует использовать плазменную панель, либо жидкокристаллический дисплей с матрицами типа IPS, MVA и PVA.

Исследованию возможности использования ЖКД типа «TN+Film» (Twisted Nematic Optical Compensation Film) в диссертационной работе уделяется особое внимание, так как такие дисплеи широко распространены благодаря низкой

инерционности обновления изображения, но при этом отличаются небольшими углами обзора. В работе показано, что форма диаграммы распределения (ДР) яркости субпикселя ЖКД зависит от его прозрачности. Так, «темные» и «светлые» ячейки имеют, соответственно, широкую и узкую ДР. Из-за отсутствия гомотетии в форме диаграмм распределения при наблюдении под различными углами нарушается соотношение яркостей отдельных субпикселей, а значит и цвет суммарного излучения. Для оценки степени искажения цвета автором разработана специальная методика, основанная на измерении семейства ДР, расчете координат цвета при наблюдении под разными углами и визуальной оценки изменении цвета группой экспертов. В работе также представлены описания разработанных автором установки для измерения семейства ДР и программы «LCD Color Error Check» для определения цветовых искажений. В результате проведенных исследований сделан следующий вывод: несмотря на небольшие углы обзора, ЖКД типа «TN+Film» может использоваться в составе растрового монитора, при этом субъективная оценка цветопередачи формируемого многоракурсного изображения в основной и двух дополнительных зонах видения превосходит значение «хорошо».

Существует три вида структуры субпикселей матричного дисплея (полосковая, мозаичная и дельтовидная), каждая их которых требует различных комбинаций шага (Pi) и наклона линз растра (а) для получения заданного числа ракурсов (Nview). Для выбора оптимального варианта построения растрового монитора в работе приводится исследование всех возможных сочетаний Р/, а и Nview, указываются соответствующие сепарационные функции и особенности формируемых многоракурсных изображений. Выполненное исследование позволило сделать следующие выводы.

1. Мозаичная структура субпикселей подходит для получения любого количества ракурсов и может применяться как с наклонными линзовыми растрами, так и с прямыми, позволяющими добиться максимальной сепарации на протяжении всей зоны видения ракурса.

2. При использовании дисплея с полосковой структурой субпикселей для получения количества ракурсов, кратного трем, необходимо использовать линзовые растры с двумя углами наклона линз: 9,46° и 18,43°. В первом случае сепарация ракурсов ниже, однако, как показал эксперимент, такой дисплей лучше воспроизводит мелкие детали изображения.

3. Дисплей с дельтовидной структурой субпикселей может использоваться исключительно с наклонным растром (угол наклона 26,57°), при этом полная сепарация соседних ракурсов достигается на протяжении половины длины зоны видения, а количество воспроизводимых ракурсов не должно превышать семи.

Таким образом, приведенные результаты исследования позволяют выбрать тип структуры субпикселей МД и соответствующий J1P для получения заданного количества ракурсов.

При формировании кодированного изображения, воспроизводимого матричным дисплеем, производится дискретизация изображений исходных

ракурсов. Этому процессу, согласно теореме Котельникова, должна предшествовать процедура низкочастотной фильтрации ракурсов для устранения артефактов элайзинга (наложения спектров). В результате анализа взаимосвязи особенностей восприятия стереоскопического изображения и артефактов фильтрации (снижения четкости изображения, появления муаров на периодических структурах и возникновения повторных контуров) сформулированы требования к функции профиля фильтра, и указан возможный вариант ее исполнения.

Пространственный порядок дискретизации изображений исходных ракурсов определяется структурой субпикселей, числом воспроизводимых ракурсов и выбранным углом наклона линз растра. В большинстве случаев частоты дискретизации для различных пространственных направлений различаются.

Рис. 2. Двумерные функции фильтров: симметричного — типа С (а), и анизотропных — типов ¿ (б, в) и Е(г)

Поэтому, для достижения наилучшего результата фильтрации, в диссертационной работе предлагается использовать так называемые анизотропные двумерные фильтры, у которых полоса пропускания в заданном пространственном направлении определяется соответствующей частотой дискретизации. Для каждого варианта построения растрового монитора определены соотношения частот дискретизации для различных пространственных направлений и указаны соответствующие типы фильтров (рис. 2).

Для определения двумерных функций Ihntfh, f) фильтров по полученной ранее функции профиля H{f) в диссертационной работе получены соответствующие аналитические выражения. В частности, для анизотропных фильтров, применяемых с различными углами поворота а и показанных на рис. 2 в и г, соответствующие двумерные функции описываются следующими выражениями:

ию (Л > Л) = н (|Л ' sin се - X ■ cos а\),

"*>(/*./,) = Я(^Л2+Л2 ■ [4 + cos (2. (arctg(JJ f„) - a))]/4). Для уточнения параметров фильтрации и исследования их влияния на качество стереоскопического изображения автором разработана программа «Line Image». В программе реализованы возможности задания произвольной кривой

профиля фильтра и способа формирования двумерной функции фильтра, а также создания кодированного изображения и эмуляции формируемой растровым монитором стереопары. Применение фильтра с параметрами, определенными с помощью разработанной автором программы, позволяет повысить разборчивость мелкого текста, а также устранить муары и ложные контуры на периодических структурах и, следовательно, увеличить точность локализации объектов стереоскопического изображения.

В четвертой главе выполняется экспериментальная проверка точности расчета параметров линзового растра, опытным путем определяются кривые профилей фильтров для изображений трех различных классов, предложен алгоритм адаптивной фильтрации.

При создании эмуляций наблюдаемой стереопары в разработанной программе «Lenticular Screen» не учитываются следующие факторы: микроскопические царапины и загрязнение растра; отсутствие идентичности линз, вызванное погрешностям изготовления растра и его деформациями; сглаживание межлинзового промежутка из-за технологических ограничений при изготовлении. Оценить степень разделения ракурсов с учетом вышеприведенных факторов представляется возможным только в ходе экспериментальной проверки.

Изготовление линзового растра под заданное кодированное изображение для проведения опыта экономически нецелесообразно. В диссертационной работе показано, что эквивалентной и правомочной заменой может послужить расчет и изготовление (печать) кодированного изображения под заданный линзовый растр, выпускаемый промышленностью.

В качестве тестовых изображений автором выбраны и изготовлены две различные стереопары: черное и белое поля, а также стереофотография здания университета. Первая стереопара необходима для упрощения оценки степени разделения ракурсов, вторая предназначена для исследования эффекта маскировки— снижения заметности недостаточной сепарации ракурсов на реальных изображениях.

Расчет системы «растр-кодированное изображение» для каждого тестового изображения производился двумя способами: с использованием разработанной программы «Lenticular Screen» и на основе методики расчета просветных растров.

Для определения числа эксперто-показаний и количества независимых экспертов, были заданы точность (доверительный интервал) и надежность (доверительная вероятность) результатов статистического эксперимента. Для проверки соответствия статистического распределения оценок экспертов нормальному закону и достаточности шкалы из 5 оценок были проведены пилот-испытания и получены следующие данные: среднее значение совокупности выставленных оценок будет отличаться от истинного значения оценки не более

чем на 0,1 с вероятностью 0,9, если число экспертов не меньше 22-х, и при этом каждый эксперт выставляет не менее 5 оценок.

Результаты эксперимента позволили сделать следующие выводы.

1. Применение разработанной методики расчета параметров линзового растра позволяет добиться значительного повышения качества стереоскопического изображения, по сравнению с методикой, базирующейся на оптике Гаусса. Так, в первом случае итоговая оценка сепарации ракурсов для двух тестовых изображений составляет 4,48 балла, а во втором — 2,57.

2. Факторы, ухудшающие сепарационные свойства растра и не учитываемые в программе «Lenticular Screen», приводят к незначительному снижению качества стереоскопического изображения по сравнению с расчётным значением. Оценить указанное снижение сепарации можно при использовании специальной тестовой стереопары, однако на реальном стереоизображении ухудшение стереоэффекта практически не заметно.

Для повышения качества объемного изображения, формируемого растровым монитором, при определении профиля антиэлайзингового фильтра в диссертационной работе предложено учитывать особенности спектрального состава обрабатываемых изображений исходных ракурсов. Для решения указанной задачи автором разработана методика проведения эксперимента, определены параметры девяти функций исследуемых фильтров и три класса изображений, отличающихся спектральным составом. Оценивание эффективности применения каждого из фильтров для заданного тестового изображения проводилось по разработанному алгоритму с использованием порядковой шкалы оценок.

Анализ данных, полученных в ходе эксперимента, позволил определить параметры антиэлазинговых фильтров для изображений с различным спектральным составом (различного рода), а также сделать выводы относительно выбора параметров кривой фильтра для наилучшей передачи определенных объектов изображения: мелких деталей (текста, титров, схем, графиков и т.д.), периодических структур (одежда в клетку, черепица крыш домов и т.д.) или крупных деталей с плавным градиентным изменением цвета.

Для реализации описанного выше подхода автором разработан алгоритм адаптивной фильтрации, в соответствии с которым выбор профиля фильтра осуществляется на основе сравнения спектра текущего изображения с опорными спектрами выбранных классов изображений. Для уменьшения вычислений предлагается объединить спектральные составляющие в блоки, а в качестве меры схожести спектров использовать сумму разностей квадратов соответствующих блоков. В работе показано, что процесс анализа спектра изображения и выбора наиболее подходящего фильтра требует незначительного увеличения количества вычислений по сравнению с процедурой фильтрации, но позволяет значительно повысить качество наблюдаемого многоракурсного изображения.

В заключении приведены основные результаты, полученные в диссертационной работе.

1. Разработана математическая модель сепарации изображений ракурсов для сечения линзового растра, учитывающая специфику его применения совместно с матричным дисплеем, включая основные виды оптических аберраций.

2. Разработанная методика реализована в виде компьютерной программы «Lenticular Screen», с помощью которой вычислены точные значения параметров линзового растра и допуски к ним, а также получены функции, определяющие изменение коэффициента сепарации при смещении наблюдателя в пространстве или деформации растра. Полученные данные позволяют снизить затраты при разработке растрового монитора, а также необходимы в процессе изготовления линзового растра и его позиционирования относительно матричного дисплея.

3. Исследовано влияние параметров матричных дисплеев на качество многоракурсного изображения, формируемого растровым монитором. Разработана методика оценки искажений цветопередачи на основе семейства диаграмм распределения яркости субпикселя матричного дисплея, позволяющая определить количество дополнительных зон видения и качество цветопередачи в каждой из них и, следовательно, возможность использования заданного матричного дисплея.

4. Исследованы особенности различных вариантов построения растрового монитора, формирующего заданное число ракурсов (от 2 до 9). Для каждого варианта, отличающегося структурой субпикселей применяемого матричного дисплея, шагом или наклоном линз растра, определена функция сепарации в пределах области наблюдения и указана точность передачи мелких деталей, что позволяет определить особенности конструкции растрового монитора на этапе его проектирования.

5. Исследовано влияние параметров кривой профиля антиэлазингового фильтра на качество многоракурсного изображения, приведены рекомендации по выбору функции фильтра.

6. Предложен алгоритм анизотропной фильтрации, учитывающий различие в частотах дискретизации для различных пространственных направлений и позволяющий добиться максимальной четкости формируемого многоракурсного изображения.

7. Разработан алгоритм адаптивной фильтрации, позволяющий определять наиболее подходящий тип фильтра, исходя из спектра обрабатываемого в текущий момент времени ракурса, что позволяет обеспечить максимальное качество формируемого объемного изображения независимо от его особенностей (титры, лицо диктора, пейзаж и т.д.). Кривые фильтров для трех классов изображений, различающихся спектром и пространственной структурой, определены в ходе эксперимента с помощью разработанной автором программы «Line Image».

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Мухин И.А, Авраменко А.В. Из стандартного ЖК монитора — стереоскопический дисплей // Broadcasting: Телевидение и радиовещание. - 2005. -№5.-С. 60-63.

2. Мухин И.А. Автостереоскопические дисплеи // Broadcasting: Телевидение и радиовещание. - 2004. - №7. - С. 79 - 81.

3. Мухин И.А., Украинский О.В. К выбору модели расчета параметров линзового растра // Изв. вузов России. Радиоэлектроника. - 2006. - №1. -С. 42-46.

4. Мухин И.А., Украинский О.В. О воспроизведении стереоскопических телевизионных изображений // 12-я НТК «Современное телевидение»: тез. докл./ МКБ «Электрон». - М., 2004. - С.141 - 143.

5. Мухин И.А., Украинский О.В. Синтез параметров линзового растра и анализ качества изображения автостереоскопического дисплея // 4-я МК «Телевидение: передача и обработка изображений»: сб. тр. / СПбГЭТУ «ЛЭТИ». -СПб,2005.-С. 59-60.

6. Мухин И.А. Оценка качества стереоскопического телевизионного изображения, воспроизводимого растровым способом на матричных экранах // 13-я НТК «Современное телевидение»: сб. тр. / МКБ «Электрон». - М., 2005. -С. 51-52.

7. Мухин И.А. Современные плоскопанельные отображающие устройства// Broadcasting: Телевидение и радиовещание. - 2004. - №1. - С. 43 - 47.

8. Мухин И. А. Принципы развертки изображения и модуляция яркости свечения ячейки плазменной панели // Труды учебных заведений связи. Вып. 168. -СПб, 2002.-С. 134-140.

9. Мухин И.А. Развитие жидкокристаллических мониторов // Broadcasting: Телевидение и радиовещание. - 2005. - № 2. - С. 55 - 56; - №4. - С. 71 - 73.

10. Мухин И.А. Оценка влияния диаграммы направленности ячеек матричных дисплеев на качество цветопередачи в растровых стереоскопических мониторах // 61-я НТК, посвященная Дню радио: материалы / СПбГЭТУ «ЛЭТИ». - СПб, 2006, -С. 122.

11. Мухин И.А., Украинский О.В. Получение многоракурсного телевизионного изображения на матричном дисплее // Труды учебных заведений связи. Вып. 174. -СПб,2006.-С. 201 -206.

12. Мухин И.А. Способы устранения пространственного рассовмещения цветовых составляющих изображения, формируемого стереоскопическим монитором //61-я НТК, посвященная Дню радио: материалы / СПбГЭТУ «ЛЭТИ». -СПб, 2006.-С. 120.

13. Мухин И.А., Украинский О.В. Об особенностях дискретизации при растровом стереоскопическом воспроизведении изображений // 16-я МНТК «Современное телевидение»: материалы / МКБ «Электрон». - М., 2008. -С. 169-172.

14. Мухин И.А., Украинский О.В. Обработка изображений отдельных ракурсов при формировании стереоскопического телевизионного изображения на матричном дисплее // 15-я НТК «Современное телевидение»: материалы / МКБ «Электрон». - М., 2007. - С. 162 - 164.

15. Мухин И.А., Украинский О.В. Цифровая обработка изображений, воспроизводимых с помощью растрового стереоскопического монитора // 60-я НТК, посвященная Дню радио: материалы / СПбГЭТУ «ЛЭТИ». - СПб, 2005. -С. 155- 157.

16. Мухин И.А., Украинский О.В. Применение цифровой фильтрации для повышения качества стереоскопического изображения при его воспроизведении с помощью растрового дисплея // 5-я МНТК: «Телевидение: передача и обработка изображений»: материалы / СПбГЭТУ «ЛЭТИ». - СПб, 2007. - С. 26 - 27.

17. Мухин И.А. Выбор профиля антиэлайзингового фильтра при формировании кодированного изображения многоракурсным матричным телевизионным дисплеем // 62-я НТК, посвященная Дню радио: материалы / СПбГЭТУ «ЛЭТИ». - СПб, 2007. - С. 155 - 156.

18. Мухин И.А. Формирование двумерной функции антиэлайзингового фильтра при различных вариантах построения многоракурсных матричных телевизионных дисплеев // 62-я НТК, посвященная Дню радио: материалы / СПбГЭТУ «ЛЭТИ». - СПб, 2007. - С. 42 - 43.

19. Мухин И.А., Путилин А.Н. Перспективы развития объемного телевидения // 6-я МНТК «Телевидение: передача и обработка изображений»: материалы / СПбГЭТУ «ЛЭТИ». - СПб, 2008. - С. 16 - 20.

20. Мухин И.А., Украинский О.В. Способы улучшения качества телевизионного изображения, воспроизводимого жидкокристаллическими панелями // 14-я НТК «Современное телевидение»: материалы / МКБ «Электрон». -М., 2006. -С. 157-158.

21. Мухин И.А., Украинский О.В. Инерционность обновления изображения в телевизионных матричных дисплеях на жидких кристаллах и способы ее компенсации // 15-я НТК «Современное телевидение»: материалы / МКБ «Электрон». - М„ 2007. - С. 159 - 161.

22. Mukhin I. Peculiarities of the Reproduction of Stereoscopic Images by using raster method of stereo mate division // St.Petersburg IEEE Chapters (IEEE Russia Northwest Section): proc. - St.Petersburg, Russia, 2005. Vol. II. - P. 126 - 127.

23. Мухин И.А. Воспроизведение объемного изображения автостереоскопическим линзорастровым дисплеем // Электросвязь. - 2008. -№11. -С. 40-43.

Введение.

1. Воспроизведение многоракурсного телевизионного изображения растровым способом.

1.1. Предварительные замечания.

1.2. Принцип построения многоракурсных телевизионных систем.

1.2.1. Получение многоракурсного телевизионного изображения.

1.2.2. Способы воспроизведения многоракурсных телевизионных изображений.

1.3. Основные особенности растрового способа воспроизведения стереотелевизионных изображений.

1.3.1. Исследование требований к устройству, формирующему кодированное изображение.

1.3.2. Требования к параметрам растра для применения с матричными устройствами воспроизведения.

1.3.2.1. Основные свойства оптического растра.

1.3.2.2. Требования к модели расчета параметров оптического растра.

1.4. Применение матричного дисплея для воспроизведения многоракурсного изображения растровым способом.

1.4.1. Применимость матричных дисплеев различных видов.

1.4.1.1. Влияние типа матрицы ЖК-дисплея на качество цветопередачи многоракурсного изображения.

1 А. 1.2. Разделение цветовых составляющих многоракурсного изображения при использовании матричных дисплеев без чередования цвета пикселей по вертикали.

1.4.2. Формирование кодированного изображения матричным экраном.

1.4.2.1. Формирование сигнала кодированного изображения из сигналов изображений отдельных ракурсов.

1.4.2.2. Предварительная пространственная фильтрация телевизионного изображения.

1.5. Постановка задачи исследования.

2. Разработка модели расчета параметров линзового растра и исследование их влияния на качество многоракурсного изображения.

2.1. Предварительные замечания.

2.2. Критерии качества многоракурсного изображения.

2.2.1. Коэффициент сепарации.

2.2.2. Виды сепарационных функций.

2.3. Разработка методики расчета параметров линзового растра.

2.3.1. Определение исходных и искомых данных.

2.3.2. Требования к модели расчета.

2.3.3. Разработка концепции расчета.

2.3.4. Расчет траектории луча.

2.4. Разработка программы, как инструмента для расчета параметров растра и анализа качества изображения.

2.5. Точный расчет параметров линзового растра.

2.6. Исследование качества изображения, формируемого многоракурсным монитором.

2.6.1. Оценка качества изображения при смещении наблюдателя в пр остр анстве.

2.6.2. Оценка качества изображения по полю экрана.

2.7. Требования к параметрам линзового растра.

2.7.1. Расчет допусков на параметры линзового растра.

2.7.2. Оценка качества изображения при наихудшей комбинации параметров растра.

2.7.3. Применение растра с нерегулярной структурой линз.

Выводы.

3. Исследование влияния параметров матричного дисплея на качество многоракурсного изображения.

3.1. Предварительные замечания.

3.2. Виды матричных дисплеев.

3.3. Влияние типа матрицы ЖКД на качество многоракурсного изображения.

3.3.1. Типы матриц для использования совместно с линзовым растром.

3.3.2. Исследование возможности использования матриц типа «TN+Film».

3.3.2.1. Исследование диаграмм направленности яркости ячеек матриц «TN+film».

3.3.2.2. Оценка изменения контраста и искажения цветопередачи при увеличении угла обзора.

3.3.2.3. Определение координат тестовых и опорных цветов для оценки искажений цветопередачи.

3.4. Влияние структуры субпикселй ЖКМ на параметры линзового растра.

3.4.1. Особенности существующих структур субпикселей ЖКМ.

3.4.2. Выбор шага и наклона линз растра.

3.5. Предварительная обработка исходных изображений ракурсов.

3.5.1. Выбор алгоритма дискретизации.

3.5.2. Цифровая фильтрация изображений ракурсов.

3.5.2.1. Назначение фильтрации.

3.5.2.2. Выбор профиля антиэлайзингового фильтра.

3.5.2.3. Формирование двумерной функции фильтра для различных вариантов построение стереоскопических дисплеев.

Выводы.

4. Вопросы практической реализации автостереоскопического монитора.

4.1. Постановка задачи.

4.2. Экспериментальная оценка сепарационных свойств линзового растра.

4.2.1. Описание экспериментальной установки.

4.2.2. Методика статистического эксперимента.

4.2.2.1. Выбор условий наблюдения.

4.2.2.2. Выбор тестовых изображений.

4.2.2.3. Выбор способа выражения мнения о качестве.

4.2.2.4. Определение минимального числа эксперто-наблюдений.

4.2.2. Результаты эксперимента.

4.3. Экспериментальное определение профиля антиэлайзингового фильтра.

4.3.1. Выбор тестовых изображений.

4.3.2. Определение пределов изменения параметров фильтров.

4.3.3. Методика проведения эксперимента.

4.3.4. Результаты эксперимента.

4.4. Адаптивная предварительная обработка изображений.

Выводы.

Актуальность работы

Стереоскопические телевизионные системы (СТС), способные воспроизводить изображение трехмерным, позволяют иметь более полное представление о передаваемом объекте, улучшая достоверность передачи и приближая нас к условиям естественного восприятия окружающей действительности, а также предоставляют дополнительную информацию о пространственном расположении предметов, что необходимо в тех случаях, когда невозможно или опасно присутствие человека на объекте передачи, например, при исследовании внутренних поверхностей атомных реакторов или управлении беспилотным летательным аппаратом [1,2].

Достижения последних лет в области высоких технологий, а также значительно возросший уровень развития техники, являются важнейшими стимулами к развитию стереотелевизионных систем. С другой стороны, прогресс в создании элементной базы, развитие вещания программ телевидения высокой четкости и успехи в области сжатия видеоинформации позволяют поднять стереоскопическое телевидение на более высокую качественную ступень. Указанные обстоятельства обуславливают интенсификацию работ в этом направлении инженеров различных стран.

Приоритет в области стереоскопического телевидения принадлежит России, поскольку основные принципы в данной области были предложены еще в середине 50-х годов прошлого века выдающимся ученым нашей страны проф. П. В. Шмаковым [3]. Так, в 1952 г. на базе ЛЭИС была выпущена первая промышленная установка для воспроизведения черно-белого стереоскопического изображения, а в 1959 г. получено цветное стереоскопическое изображение. Также кафедрой телевидения Санкт-Петербургского государственного университета телекоммуникаций им. проф. М. А. Бонч-Бруевича (СПбГУТ) изучались вопросы создания однообъективной

СТС [4,5] и проблемы сжатия информационного потока стереоскопического изображения [6-9].

В сентябре 2007 г. в СПбГУТ на расширенном заседании Ученого совета по предложению профессора М. И. Кривошеева было сформулировано обращение в Министерство связи и информационных технологий включить в федеральную целевую программу развития телерадиовещания новое направление — вещательную систему объемного телевидения, а 29 февраля 2008 г. в СПбГУТ состоялся первый рабочий семинар. В мае 2008 г. по предложению России на собрании ИК 6 (исследовательской комиссии службы вещания) МСЭ-Р (международный союз электросвязи, сектор радиосвязи) принят Вопрос Изучения по цифровому объемному (3D) телевизионному вещанию.

Одной из наиболее сложных проблем, сдерживающих развитие стереоскопического телевидения, является задача создания устройства воспроизведения объемного изображения. Экраны, использующие анаглифный, эклипсный и поляроидный способы сепарации изображений, имеют ряд недостатков, в частности, требуют наглазных устройств (очков) и позволяют воспроизводить только 2 ракурса. Растровый принцип селекции свободен от указанных недостатков, однако до недавнего времени, из-за жестких требований к устройству формирования кодированного изображения, растровые экраны применялись исключительно в составе громоздких просветиых проекционных систем [10].

С появлением и развитием в последние годы матричных дисплеев, таких, как, например, плазменная панель (PDP) и жидкокристаллический монитор (LCD), ситуация изменилась кардинальным образом. Такие дисплеи имеют строго периодичную структуру элементов изображения, а таюке позволяют управлять яркостью любого из субпикселей в отдельности, и, следовательно, могут использоваться для создания компактных растровых мониторов, не требующих очков и позволяющих наблюдать объект съемки более чем с двух ракурсов. Благодаря указанным достоинствам, разработка и совершенствование растровых мониторов на сегодняшний день является наиболее перспективным направлением развития стереоскопических отображающих устройств.

Состояние и оценка ранее выполненных исследований

Растровый способ воспроизведения статичных стереоскопических изображений известен очень давно. Например, в 1941 г. щелевой растр был применен для воспроизведения динамичного стереоскопического изображения — в кинотеатре «Москва» демонстрировался стереокинофильм «Концерт». При этом использовалась безочковая проекция на растровый экран из светопоглощающей проволоки, разработанный и сконструированный сотрудниками московского научно-исследовательского кино-фото института (НИКФИ) под руководством С. П. Иванова.

Использование более сложных оптических растров на основе сферических и цилиндрических линз для получения объемного изображения предложил в 1908 г. французский физик Габриэль Липман (Gabriel Lippmann). В 40-е гг. изучением основных свойств линзовых растров занимался сотрудник НИКФИ Н. А. Валюс. В 1970 г. лаборатория этого института демонстрировала" свой линзовый растр на всемирной выставке «Экспо-70» в г. Осака (Япония). В 1972 г. на кафедре телевидения ЛЭИС на основе двух растров из цилиндрических линз, изготовленных в НИКФИ, был создан просветный экран, который использовался для воспроизведения многоракурсного телевизионного изображения [11-13].

Необходимо отметить, что в рассмотренных выше случаях кодированное изображение формируется оптически — с помощью линзового растра, поэтому проблема согласования параметров растра и кодированного изображения, представляющая собой сложную задачу, не требовала изучения и в указанных выше работах не рассматривалась. По этой же причине не исследовались вопросы, касающиеся влияния параметров матричного дисплея на качество цветопередачи объемного изображения, а также вопросы цифровой обработки исходных изображений отдельных ракурсов при их дискретизации в процессе формирования кодированного изображения.

Проблемами создания линзорастровых экранов на основе матричных дисплеев заинтересовались в начале 90-х годов инженеры и ученые Японии (фирмы NHK, Sharp), Германии (фирма SeeReal Technologies, институт Генриха Герца в Берлине, университет Фридриха Шиллера в Йене) и США (фирма Stereographies). Общие вопросы построения автостереоскопических дисплеев представлены в работах научных сотрудников фирм SeeReal Technologies [14], Stereographies [15, 16] и NewSight [17, 18]. В институте Генриха Герца и университете г. Касселя разработаны устройства автоматической подстройки положения линзового растра относительно матричного дисплея за счет определения положения глаз наблюдателя [19-22]. Сотрудниками исследовательской лаборатории японской фирмы NHK занимаются, преимущественно, проблемами создания стереоскопических дисплеев высокого разрешения [23, 24].

Таким образом, вопросам разработки автостереоскопических дисплеев за рубежом уделяется пристальное внимание. При этом, однако, в открытой печати, докладах и на конференциях излагаются лишь общие принципы, в то время как вопросы технической реализации, методики и алгоритмы расчетов рассматриваются исключительно в пределах исследовательских лабораторий разработчиков.

Учитывая вышесказанное, можно сделать вывод о необходимости решения основных проблем, возникающих в процессе разработки растрового стереоскопического монитора на основе матричного дисплея.

Цель и задачи работы

Целью настоящей диссертационной работы является исследование и разработка методов построения растрового стереоскопического монитора на основе матричного дисплея. Для достижения поставленной цели в диссертационной работе решаются следующие основные задачи:

1) анализ свойств растров из цилиндрических линз с целью выяснения особенностей их использования совместно с матричным дисплеем;

2) определение особенностей и необходимой точности расчета параметров линзового растра;

3) разработка методики расчета параметров линзового растра и создание на ее основе программы, как инструмента для вычисления параметров растра и анализа качества объемного изображения;

4) исследование качества изображения, формируемого стереоскопическим монитором, при смещении наблюдателя в пространстве, а также при изменении любого из параметров линзового растра;

5) определение требований к параметрам матричных дисплеев, используемых для создания растровых стереоскопических экранов;

6) анализ особенностей применения матричных дисплеев различных видов и с различной структурой субпикселей в составе стереоскопического монитора;

7) исследование влияния различных алгоритмов дискретизации на качество стереоскопического изображения;

8) разработка адаптивной модели предварительной обработки исходных изображений отдельных ракурсов с целью подавления нежелательных артефактов элайзинга (наложения спектров) при дискретизации в процессе формирования кодированного изображения;

9) экспериментальная оценка сепарационных свойств линзовых растров, а также экспериментальное определение профиля антиэлайзингового фильтра, позволяющего добиться наилучшего соотношения между четкостью изображения и заметностью повторных контуров для различных классов изображений.

Основные положения, выносимые на защиту:

1. Математическая модель сепарации изображений линзовым растром и реализованная на ее основе программа «Lenticular Screen», позволяющая рассчитывать параметры растра и исследовать его сепарационные свойства.

2. Рекомендации по выбору вида, типа и структуры субпикселей матричного дисплея, а также шага и наклона линз растра для получения объемного изображения с заданными характеристиками.

3. Методика анизотропной фильтрации и обоснование выбора параметров пространственного фильтра для повышения качества воспроизводимого объемного изображения по трем заданным критериям.

4. Алгоритм адаптивной фильтрации, позволяющий определять наиболее подходящий тип фильтра для обрабатываемого в текущий момент времени изображения. t

Научная новизна и новые полученные результаты

1. Разработана оригинальная методика определения параметров линзового растра, основанная на принципе обратимости распространения света и определении сепарационных свойств любой области растра за счет исследования траектории преломляемых лучей в пространстве. При таком подходе автоматически учитываются все виды аберраций, а также тот факт, что большинство лучей, падающих на цилиндрическую линзу, не лежат в горизонтальной плоскости сечения растра.

Описанные в опубликованных ранее работах методы расчета параметров линзовых растров просветных экранов опираются на так называемую оптику Гаусса для параксиальных пучков, не учитывают боковое смещение луча и аберрации линз и потому неприменимы в случае использования растра совместно с матричным дисплеем.

2. На основе разработанной методики создана программа Lenticular Screen, которая позволяет определить параметры линзового растра (и вычислить допуски их изменения) для получения максимального (или заданного) значения интегрального коэффициента сепарации при наблюдении экрана из любой заданной точки пространства. Кроме того, вышеуказанная программа позволяет качественно и количественно определить сепарирующие свойства растра благодаря возможности построения двух видов сепарационных функций (по полю экрана и в пределах области наблюдения).

Использование упрощенных геометрических построений из оптики Гаусса, описанных в опубликованных ранее работах, не позволяет вычислить коэффициент сепарации и, следовательно, определить сепарационные функции и допуски на параметры растра.

3. В работе исследуется изменение качества цветопередачи матриц типа «TN+film» жидкокристаллических дисплеев на основе семейства полученных экспериментально диаграмм направленности яркости, что позволяет оценить степень искажения цветопередачи в дополнительных зонах видения. Подобные исследования в ранее опубликованных работах не встречаются.

4. Описаны возможные варианты совмещения линзового растра с матричным дисплеем для получения заданного количества ракурсов при отсутствии окраса изображений в основные цвета (красный, зеленый или синий). Для сравнения качества изображений, формируемых экранами с различным углом наклона линзовых растров, приведены соответствующие сепарационные функции, чего ранее не было представлено из-за отсутствия подходящей методики оценки коэффициента сепарации.

5. Предлагается использовать анизотропную двумерную фильтрацию исходных изображений отдельных ракурсов в тех случаях, когда частоты дискретизации этих изображений значительно отличаются для разных пространственных направлений. Подобных предложений в ранее опубликованной литературе не встречается.

6. Предлагается использовать адаптивную предварительную фильтрацию изображений, при которой функция профиля фильтра изменяется динамически в зависимости от спектрального состава обрабатываемого изображения. Функции профилей фильтров для изображений с различной структурой (различным спектральным составом) определены в работе экспериментально. Описаний подобных предложений в опубликованных ранее работах не встречается.

Практическая значимость работы

Разработанная методика расчета параметров растра и написанная на ее основе программа «Lenticular Screen» могут применяться в следующих случаях: при создании линзовых растров для матричных дисплеев, при формировании кодированных изображений под заданный линзовый растр в стереофотографии, для исследования сепарационных свойств линзовых растров при смещении наблюдателя, изменении любых параметров растра или матричного дисплея, а также для изучения траекторий световых лучей, преломляемых плосковыпуклой линзой.

Программа «Lenticular Screen» зарегистрирована в ФИПС (свидетельство №2007614180), была отмечена грамотой на конкурсе «Опто 2004» и получила положительные отзывы при ее демонстрации на семинаре «Optical and Image Processing Technologies for Advanced TV and Displays» в исследовательском центре «Samsung Electronics» в Москве в 2007 году.

Результаты исследований диаграмм направленности излучения ячеек жидкокристаллических дисплеев с матрицами типа «TN+Film» могут использоваться в образовательном процессе высших учебных заведений, при написании учебников и учебных пособий.

Результаты исследований влияния профиля фильтра на качество формируемого изображения и предложенные алгоритмы фильтрации, реализованные в программе «Line Image», могут использоваться при формировании кодированного изображения в линзорастровых автостереоскопических экранах и в растровой стереофотографии.

Разработанные автором программы «Lenticular Screen» и «Line Image» внедрены в учебный процесс Невинномысского политехнического института и СГ16ГУТ, а также применяются для различных исследований в компании «Самсунг электронике» и в лабораториях научно-исследовательского кинофотоинститута (ОАО «НИКФИ»), что подтверждено1 соответствующими актами внедрения.

Апробации работы и публикации

Основные результаты работы докладывались на 12-й, 13-й и. 16-й всероссийской научно-технической конференции «Современное телевидение» в Москве в 2004, 2005 и 2008 гг.; на 60-й, 61-й, 62-й и 63-й научно-технической конференции, посвященной Дню Радио, (СПбГЭТУ «ЛЭТИ») в 2005, 2006, 2007 и 2008 гг.; на 4-й, 5-й и 6-й международной конференции «Телевидение: передача и обработка изображений» (СПбГЭТУ «ЛЭТИ») в 2005, 2007 и 2008 гг.; конференции Санкт-Петербургской секции IEEE «Radio — that connects Time. 110 Anniversary of Radio Invention» в 2005 году; семинаре «Optical an image processing technologies for advanced TV and displays» в исследовательском центре фирмы Samsung в Москве в 2007 г., а также на 56-й, 57-й, 60-й и 61-й научно-технической конференции* профессорско-преподавательского состава, научных сотрудников и аспирантов СПбГУТ в 2004, 2005, 2008 и 2009 гг.

Всего было выполнено 19 докладов, материалы 14 из которых опубликованы.

Материалы, отражающие основное содержание и результаты диссертационной работы, опубликованы в виде статей в «Трудах учебных заведений связи» (СПбГУТ), «Изв. вузов России. Радиоэлектроника» (СПбГЭТУ «ЛЭТИ») и различных отраслевых журналах — всего в 9 работах, в • том числе в 5 (пяти) изданиях из перечня, рекомендуемого ВАК.

Вклад автора в разработку проблемы

Соискателем представлена к рассмотрению разработанная методика расчета параметров линзового растра, произведена оценка сепарационных свойств линзового растра; определены требования к матричному дисплею; используемому совместно с линзовым растром, предложен алгоритм адаптивной фильтрации при формировании кодированного изображения. Основные научные результаты и выводы, содержащиеся в диссертации, получены автором самостоятельно.

Структура диссертации и краткое содержание ее глав

Диссертация состоит из введения, четырех глав, заключения и списка литературы, включающего 84 наименования. Работа содержит 181 страницу машинописного текста, 101 рисунок и 13 таблиц.

Выводы

1. Ощущение степени разделения ракурсов наблюдаемого объемного изображения зависит, в частности, от таких факторов, которые крайне сложно учесть в расчетах. Например, это скругление межлинзовых промежутков вследствие технологических ограничений процесса изготовления растра, запыление растра или царапины на его поверхности, а также зависимость от сюжета наблюдаемого изображения. Для оценки влияния указанных факторов на качество многоракурсного изображения требуется проведение эксперимента.

2. В ходе эксперимента было установлено, что необходимым и достаточным условием достижения максимального значения коэффициента сепарации и, следовательно, высокого качества многоракурсного изображения является использование в расчетах параметров растра разработанной методики, описанной в разделе 2.

3. Эксперимент показал, что линзовый растр с регулярной структурой линз позволяет добиться максимальной сепарации при наблюдении из основной и дополнительных зон видения. Нерегулярная структура линз может использоваться в случае наблюдения из одной фиксированной в пространстве области.

4. Для определения кривой профиля антиэлайзингового фильтра требуется учет одновременно трех артефактов фильтрации: снижения четкости, появления повторных контуров и возникновения муаров на периодических структурах. Оценить степень заметности того или иного артефакта на изображении с заданным спектральным составом и пространственной структурой аналитически невозможно. Для этого требуется проведение эксперимента.

5. В ходе второго эксперимента были определены параметры профилей антиэлайзинговых фильтров для изображений с различной пространственной структурой и различным спектральным составом.

6. Для достижения максимального качества многоракурсного телевизионного изображения необходимо использование предложенного алгоритма адаптивной обработки, позволяющего изменять параметры фильтра в зависимости от спектрального состава текущего изображения.

ЗАКЛЮЧЕНИЕ

В диссертации рассмотрены вопросы построения линзорастровых стереоскопических мониторов на основе матричных дисплеев. Показано, что использование таких устройств, имеющих ряд преимуществ перед дисплеями с анаглифным, эклипсным и поляроидным методами сепарации, позволяет значительно расширить сферу применения стереоскопического телевидения. В работе решаются задачи, касающиеся расчета параметров линзового растра и оценки его сепарационных свойств, а также проблемы выбора матричного дисплея и способов формирования кодированного изображения.

В диссертации показано, что параметры линзового растра, применяемого совместно с матричным дисплеем, должны быть рассчитаны с более высокой точностью, чем параметры сдвоенных растров просветного проекционного экрана. Для достижения необходимой точности разработана специальная методика расчета, в основу которой положено определение коэффициента сепарации для сечения линзы растра. Для вычисления коэффициента сепарации производится исследование траекторий световых лучей, испускаемых матричным дисплеем, преломляемых линзовым растром и воспринимаемых глазом наблюдателя. При таком подходе автоматически учитываются аберрации в линзах, боковое смещение луча и изменение формы сечения линз для различных участков растра, что обеспечивает высокую точность расчета. Важным достоинством методики является возможность оценки влияния параметров растра и положения наблюдателя в пространстве на степень сепарации кадров наблюдаемой стереопары.

Разработанная методика реализована в программе Lenticular Screen. С помощью программы рассчитаны точные значения параметров растра для заданного матричного дисплея и определены его сепарационные свойства в виде двух функций: а) по полю экрана, б) по полю изображения. Первая функция определяет степень разделения кадров стереопары для различных областей экрана при наблюдении из фиксированной точки пространства.

Вторая функция определяет изменение интегрального коэффициента сепарации (ИКС) при смещении наблюдателя в пространстве и позволяет оценить количество зон видения, их ширину и расположение в пространстве. Ранее функция сепарации в плоскости наблюдения определялась исключительно ' эмпирически — на основе ощущений наблюдателя и потому отличалась низкой точностью.

Также, с помощью программы получены функциональные зависимости ИКС от каждого из параметров растра. Указанные функции позволяют определить допуски на параметры растра, задавшись требуемым значением коэффициента сепарации. В работе показано, что снижение коэффициента сепарации не превысит 5% в том случае, если шаг линз выдерживается в пределах -0,03.0,03% от номинального значения, радиус закругления в пределах -5.10%, толщина растра в пределах —2.10%, а коэффициент преломления материала растра в пределах —2.4%.

В программе Lenticular Screen реализована качественная (визуальная) оценка сепарационных свойств растра, позволяющая анализировать причины ухудшения сепарации в тех или иных участках растра и, следовательно, предоставляющая разработчику возможность проектирования растров с нерегулярной структурой линз, что может быть важно в тех случаях, когда предполагается наблюдение стереоскопического экрана под определенным углом.

В диссертации проведено исследование влияния параметров матричного дисплея, воспроизводящего кодированное изображение, на качество объемного изображения. Полученные данные позволили сформулировать критерии выбора типа матричного дисплея для создания стереоскопического монитора, формирующего объемное изображение с заданными параметрами. В частности, в диссертации показано, что для создания экрана, предназначенного для коллективного наблюдения объемного изображения (более 2-х зрителей) в качестве матричного дисплея необходимо использовать плазменную панель. В этом случае возможно воспроизведение двух ракурсов с высокой сепарацией по краям зон видения и хорошей цветопередачей в дополнительных зонах видения (при наблюдении экрана под некоторым углом). В тех случаях, когда требуется: воспроизведение большого количества ракурсов (более. 3-х), в качестве матричного дисплея следует выбрать жидкокристаллическую панель. Формируемое таким стереоскопическим монитором изображение наблюдают, как правило, 1-2 зрителя^ поэтому снижение контраста и ухудшение цветопередачи картинки в дополнительных зонах видения не являются весомыми недостатками.

При использовании в качестве матричного дисплея жидкокристаллической панели возникает вопрос выбора типа жидкокристаллической матрицы. Исследование принципов функционирования матриц различных типов позволило сделать выводы об особенностях и* применения. Так, например,, если среди требований к стереоскопическому изображению доминирует качество цветопередачи в дополнительных зонах видения^ то предпочтение следует отдать матрицам типа PVA,, MVA и семейства IPS. Если же основным требованием является точная передача динамичного объемного изображения, то необходимо использовать матрицу «TN+Film», отличающуюся низкой инерционностью обновления картинки.

Матричные дисплеи любых типов различаются по структуре взаимного расположения субпикселей, которая оказывает непосредственное влияние на параметры объемного изображения. Для оценки этого влияния в диссертации проведено исследование всех возможных комбинаций углов наклона растра и количества воспроизводимых ракурсов для каждой структуры субпикселей, а также определены соответствующие каждой комбинации сепарационные функции. Выполненное исследование позволило сделать следующие выводы. Мозаичная структура субпикселей подходит для получения любого количества ракурсов и может применяться как с наклонными линзовыми растрами, так и с прямыми, позволяющими добиться максимальной сепарации на протяжении всей зоны видения ракурса. При использовании дисплея с полосковой структурой субпикселей для получения количества ракурсов, кратного трем, необходимо использовать линзовые растры с двумя углами наклона линз: 9,46° и 18,43°. В первом случае сепарация ракурсов ниже, однако, такой дисплей лучше воспроизводит мелкие детали изображения. Дисплей с дельтавидной структурой субпикселей может использоваться исключительно с наклонным растром (угол наклона 26,57°), при этом полная сепарация соседних ракурсов достигается на протяжении половины длины зоны видения, а количество воспроизводимых ракурсов не должно превышать семи.

При формировании кодированного изображения, воспроизводимого матричным дисплеем, для устранения артефактов элайзинга (наложения спектров) и повышения точности локализации объектов при восприятии стереоскопического изображения требуется цифровая низкочастотная фильтрация исходных изображений отдельных ракурсов. Для определения основного параметра фильтрации, профиля фильтра, в диссертационной работе приводится анализ взаимосвязи особенностей восприятия стереоскопического изображения и артефактов фильтрации: снижения четкости изображения, появления муаров на периодических структурах и возникновения повторных контуров. На основе проведенного анализа сделан вывод о необходимости разделения изображений на три класса - в зависимости от спектрального состава и пространственной структуры. Для каждого из классов изображений экспериментально определены кривые профилей фильтров. Для реализации обработки изображений в диссертационной работе предложен алгоритм адаптивной фильтрации, при котором параметры фильтра изменяются динамически. Применение указанного подхода при формировании кодированного изображения позволяет добиться наилучшего соотношения между четкостью стереоскопического изображения и заметностью муаров и повторных контуров, усложняющих локализацию объектов в пространстве.

Пространственный порядок дискретизации исходных изображений ракурсов определяется структурой субпикселей, числом воспроизводимых ракурсов и выбранным углом наклона линз растра. В большинстве случаев частоты дискретизации для различных пространственных направлений различаются. Для достижения наилучшего результата фильтрации в каждом из пространственных направлений в диссертационной работе ' предлагается использовать так называемые анизотропные двумерные фильтры, у которых полоса пропускания в заданном пространственном направлении определяется соответствующей частотой дискретизации. Параметры анизотропных фильтров для различных вариантов построения стереоскопических мониторов и соответствующие аналитические выражения приводятся в разделе 3.5.2.2.

Теоретическое исследование различных вариантов пространственной дискретизации исходных изображений ракурсов позволило сделать следующие выводы. При использовании низкочастотной фильтрации формирование кодированного изображения должно производиться посредством симметричной линейной дискретизации исходных ракурсов. Если же фильтрация исходных изображений отсутствует, но при этом требуется' воспроизведение тонких вертикальных линий на изображении, необходимо использовать дискретизацию * в шахматном порядке.

В ходе экспериментов была произведена оценка сепарационных свойств линзового растра, параметры которого рассчитаны с использованием разработанной методики; определены параметры профилей фильтров для различных классов изображений; исследовано изменение качества цветопередачи жидкокристаллических мониторов с матрицей типа TN+Film, возникающее при увеличении угла наблюдения.

Линзорастровые автостереоскопические дисплеи не требует очков для наблюдения объемного изображения, позволяют воспроизводить более двух ракурсов и имеют небольшие габариты. Указанные достоинства обуславливают интерес к этим устройствам, их развитие и модификацию, а также позволяют прогнозировать широкое распространение таких дисплеев в ближайшем будущем [79]. В настоящее время широкому распространению этих устройств препятствуют различные обстоятельства. Во-первых, это недостатки самого дисплея, в частности, инерционность обновления кодированного изображения, воспроизводимого, как правило, жидкокристаллическим дисплеем, и наличие инверсных зон видения, которые являются неотъемлемой особенностью растрового способа сепарации. Во-вторых, это внешние факторы: отсутствие соответствующего видеоматериала, сложности его получения, сжатия и передачи. Однако указанные выше проблемы не являются принципиально неустранимыми, и в настоящее время предпринимаются разные шаги для их устранения [80-84].

1. Шмаков П. В., Колин К. Т., Джакония В. Е. Стереотелевидение. М.: Связь, 1968.-207 с.

2. Телевидение: Учебник для вузов / Под. ред. В. Е. Джаконии. — М.: Горячая линия Телеком, 2007. - 615 с.

3. Шмаков П. В. Основы цветного и объемного телевидения. — М.: Советское радио, 1954.-304 с.

4. Украинский О. В. Воспроизведение объема передаваемого пространства однообъективной стереотелевизионной системой // Техника кино и телевидения. 1979. - № 6. - С. 46-48.

5. Украинский О. В. Об использовании оптической приставки для формирования изображений стереопары // Труды учебных институтов связи. Вып. 85. Л., 1977.-С. 136.

6. Федоров С.Л. Особенности передачи сигналов стереоскопического изображения в стандарте MPEG-2 // Техника кино и телевидения. 1998. -№ 11.

7. Федоров С.Л. Оценка и компенсация параллакса при сжатии стереоскопических телевизионных изображений // Радиотехнические и телевизионные системы: Сборник научных трудов / Под ред. Б. С. Тимофеева. СПб: СПбГУАП, 2000.

8. Аносов А.В. Особенности компрессии стереотелевизионных изображений в рамках стандарта MPEG-4 // 10-я НТК «Современное телевидение»: Тез. докл. / МКБ «Электрон». М., 2002. - С. 62.

9. Аносов А.В. Стандарт MPEG-4. Сжатие стереоизображений по методу Incomplete 3D // 8-я Межд. конф «МКИССиТ»: Сб. тр. / СПбГУТ. СПб, 2002.-С. 131 - 137.

10. Копылов П. М., Украинский О. В. Воспроизведение многоракурсного телевизионного изображения с помощью просветного линзового экрана // Техника кино и телевидения. — 1976. — № 1. С. 52.

11. Джакония В. Е., Мамчев Г. В. Получение многоракурсных телевизионных изображений с помощью оптических растров // Техника кино и телевидения. 1971. -№3. - С. 63-67.

12. Мамчев Г. В. Исследование вещательных многоракурсных телевизионных систем с разделением изображений с помощью оптических растров: Дис. на соискание ученой степени канд. техн. наук. ЛЭИС. Л., 1972. - 171 с.

13. Мамчев Г. В. Способы воспроизведения многоракурсных телевизионных изображений оптическими ракурсами // Техника кино и телевидения. 1972. —№3.

14. Schwerdtner A., Heidrich Н. The Dresden 3D display (D4D) // Proc. of SPIE «Stereoscopic Displays and Virtual Reality Systems V», vol. 3295, 1998, pp. 203-210.

15. Lipton L. The Future of autostereoscopic electronic displays // Proc. of SPIE «Stereoscopic Displays and Applications III», vol. 1669, 1992, pp. 156-162.

16. Lipton L., Feldman M. A new autostereoscopic display technique: The SynthaGram // Proc of SPIE «Stereoscopic Displays and Virtual Reality Systems IX», vol. 4660, San Jose,- 2002, pp. 229-235.

17. Henkel R. Synchronization, Coherence-Detection and Three-Dimensional Vision // Tech. rep., University of Bremen, Institute of Theoretical Neurophysics, 2000.

18. Henkel R. Segmentation in Scale Space // Proc. of CAIP VI, 1995, pp. 41-48,

19. Pastoor S., Wopking M. 3D Displays: A review of current technologies // Displays. Technology and applications, №2, 1997, pp. 100-110.

20. Pastoor S., Conomis Ch. Mixed Reality Displays. Chichester: Wiley, 2005.

21. Hentschke S., Herrfeld A. Adaptive Autostereoscopic 3D-Monitor // Proc. of ICCE 2000. Los Angeles, 2000, pp. 22-24.

22. Hentschke S., Herrfeld A., Andiel M., Hildebrand M. Person adaptive autostereoscopic monitor // Proc. of ICCE 2000. Los Angeles, 2000, pp. 17-20.

23. Yamanoue H., Nagayama M., Bitou M., Tanada J. Orthostereoscopic conditions for 3D HDTV // Proc. of SPIE «Stereoscopic Displays and Virtual Reality Systems V», vol. 3295, 1998, pp. 111-120.24