Методы коррекции геометрических искажений видеосигнала камер, выполненных на матричных фотоприемных устройствах

Харитонова, Евгения Николаевна

автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Методы коррекции геометрических искажений видеосигнала камер, выполненных на матричных фотоприемных устройствах

кандидата технических наук: Харитонова, Евгения Николаевна
город: Великий Новгород
год: 2010
специальность ВАК РФ: 05.12.04

Диссертация по радиотехнике и связи на тему «Методы коррекции геометрических искажений видеосигнала камер, выполненных на матричных фотоприемных устройствах»

Автореферат диссертации по теме "Методы коррекции геометрических искажений видеосигнала камер, выполненных на матричных фотоприемных устройствах"

804604853 На правах рукописи

Харитонова Евгения Николаевна

МЕТОДЫ КОРРЕКЦИИ ГЕОМЕТРИЧЕСКИХ ИСКАЖЕНИЙ ВИДЕОСИГНАЛА КАМЕР, ВЫПОЛНЕННЫХ НА МАТРИЧНЫХ ФОТОПРИЕМНЫХ УСТРОЙСТВАХ

Специальность 05.12.04 - Радиотехника, в том числе системы и устройства

телевидения

Автореферат диссертации на соискание ученой степени кандидата технических наук

1 О ИЮН 2010

Великий Новгород - 2010

004604853

Работа выполнена на кафедре радиосистем ГОУ ВПО «Новгородский государственный университет имени Ярослава Мудрого».

Научный руководитель - доктор технических наук, профессор Рассветалов Леонид Александрович.

Официальные оппоненты: доктор технических наук, профессор

Карачинов Владимир Александрович, кандидат технических наук Волонкин Владимир Михайлович.

Ведущая организация - ФГУП «Научно-исследовательский институт промышленного телевидения «Растр», Великий Новгород.

Защита состоится 18 июня 2010 г. в 14.30 на заседании диссертационного совета Д 212.168.07 в ауд. 2708 Новгородского государственного университета имени Ярослава Мудрого, 173003, Великий Новгород, ул. Большая Санкт-Петербургская, д.41.

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО «Новгородский государственный университет имени Ярослава Мудрого».

Автореферат разослан 17 мая 2010 года.

Ученый секретарь диссертационного совета кандидат технических наук, доцент

С.НБритин

Общая характеристика работы

Актуальность темы исследования. Удешевление элементной базы видеокамер, непрерывное улучшение основных характеристик матричных фотоприемных устройств (МФПУ), появление все более мощных и дешевых средств обработки больших массивов данных с высокой скоростью привело к интенсивному использованию таких систем в различных областях науки и техники.

Большое внимание в этих системах уделяется автоматической обработке и анализу визуальной информации с целью минимизации участия человека в процессе принятия решения по результатам наблюдения.

Видеокамеры используются и в повседневной жизни для любительской съемки, проведения видеоконференций, считывания штрих-кода, работы телефакса и сканера, и для специализированных задач робототехники, астрономии, медицины, биологии и других задач, выполняемых системами с машинным зрением.

Развитие технологий расширило возможности автоматической обработки фото и видеоизображения. Так, например, появилась такая дисциплина, как фотограмметрия, научно-техническая дисциплина, занимающаяся определением размеров, формы и положения объектов по их изображениям на фотоснимках. Последние получают как непосредственно фотоаппаратами и видеокамерами, так и при помощи радиолокационных, телевизионных, и лазерных систем. Фотограмметрия применяется для проведения измерений в технике, медицине, промышленной автоматизации, исследованиях окружающей среды и других областях.

Вместе с этим повысились требования к измерениям, проводимым по таким изображениям, и самим измерительным системам. При решении задачи проведения высокоточных угловых измерений, связанных с калибровкой гироскопов, навигационных систем, прецизионных опорно-поворотных устройств в последнее время применяются выполненные на МФПУ цифровые автоколлиматоры, как приборы, обеспечивающие очень высокие точности (до 0,001 угл. сек).

Точность проводимых измерений зависит от качества получаемых изображений. Одной из основных причин ошибок, возникающих при проведении измерений, является геометрический шум МФПУ.

Геометрический шум характерен для всех МФПУ, независимо от технологических процессов и архитектуры устройств. Данный шум является детерминированным в пространстве и независимым от времени. Он наблюдается как отклонение значения выходного сигнала разных каналов матрицы (участок системы, сформирующий электрический сигнал, начиная с отдельного чувствительного элемента фотоприемника и кончая выходом МФПУ), вызванного одинаковым входным воздействием.

В формировании изображения большую роль играет оптическая система камеры. Она также вносит свои геометрические искажения. Во-первых, это

пятна, образуемые из-за пыли и царапин на стеклянных поверхностях. Во-вторых, это различного рода аберрации, приводящие к нарушению расположения точки изображения в реальной оптической системе по отношению к идеальной. Аберрации частично или полностью устраняются диафрагмированием, что, кроме положительного, дает и отрицательный эффект - эффект виньетирования. Поэтому третий вид искажений - снижение яркости изображения по направлению от оси оптической системы к периферии. Так как данное явление проявляется как отклонения значения выходного сигнала разных элементов матрицы, вызванного одинаковьм входным воздействием и является детерминированным в пространстве и независимьм от времени, его можно рассматривать в совокупности с геометрическим шумом матрицы. Данную совокупность можно определить как геометрический шум оптико-электронной системы (ОЭС) в целом.

Коррекция геометрического шума разной степени точности проводится практически во всех видеокамерах на основе МФПУ. Если для камер любительской съемки достаточно сделать изображение визуально более качественным, то для измерительных камер необходимы более сложные алгоритмы коррекции, чтобы преобразовать изображение к виду, удобному для машинного анализа. Самым простым и наиболее часто используемым методом является метод вычитания темнового кадра. Самым эффективным среди используемых алгоритмов в настоящее время является линейный (или двухточечный) алгоритм коррекции. Как правило, полностью скомпенсировать влияние геометрического шума данным методом не удается. Причин этому может быть несколько. Во-первых, неоднородность облучения при калибровке. Этому вопросу посвящен один из разделов данной работы. Во-вторых, уход значений параметров приемников за время прошедшее после окончания последней калибровки. Эта проблема в данной работе не рассматривается. В-третьих, основная причина - отклонение параметров реальных приемников от линейной модели. В-четвертых, искажения, вносимые оптической системой камеры, в общем случае имеют нелинейный характер зависимости от освещенности. Эти два вопроса подробно исследуются в данной работе.

Таким образом, разработка простого, но эффективного метода лабораторной калибровки, пригодного для практического применения, и алгоритма реального времени коррекции геометрического шума ОЭС современных цифровых устройств является актуальной задачей.

Целью исследования является разработка эффективных автоматических алгоритмов коррекции геометрического шума оптико-электронной системы с целью повышения качества изображения и точности измерений, производимых специализированными видеосистемами на основе МФПУ.

Для достижения поставленной цели были решены следующие задачи:

- Анализ источников геометрических искажений видеосигнала МФПУ, возникающих в оптико-электронной системе и исследование существующих методов их коррекции.

- Разработка математических моделей выходного сигнала и геометрического шума МФПУ, позволяющих теоретически оценить эффективность исследуемых алгоритмов коррекции.

- Разработка методов коррекции геометрического шума, учитывающих нелинейность передаточных характеристик каналов МФПУ, пригодных для использования в аппаратно-программных модулях автоматических видеосистем.

- Разработка методики калибровки камеры в лабораторных условиях.

Теоретическая и экспериментальная оценка эффективности

алгоритмов коррекции геометрического шума.

Методы исследования: методы математической статистики, численные методы и методы математического моделирования, методы алгоритмизации и программной реализации математических моделей, вычислительный эксперимент на реальных и модельных данных.

Научная новизна работы:

- Предложена новая модель выходного сигнала МФПУ, представляющая его в виде квадратичной зависимости от суммы входного и темнового сигнала, в отличие от общепринятой модели, представляющей квадратичную зависимость от входного сигнала в сумме с темновым сигналом.

На примере ПЗС-матрицы КА1-1003 и КМОП-матрицы ШРА-4000 произведена теоретическая и экспериментальная оценка эффективности следующих алгоритмов коррекции геометрического шума: методом вычитания темнового кадра, методом линейной коррекции, методом аппроксимации передаточных характеристик каналов матрицы полиномом 2-го порядка.

- Изучено влияние геометрических искажений оптической системы камеры на качество алгоритмов коррекции геометрического шума на примере линейной коррекции. Разработаны методы коррекции геометрического шума оптико-электронной системы, с помощью аппроксимации оптической неравномерности полиномами 1-го и 2-го порядка.

Практическая значимость результатов исследования заключается в следующем.

- Разработанные математические модели выходного сигнала и геометрического шума МФПУ используются для анализа данных на этапе проектирования автоматических систем, с целью выбора МФПУ с оптимальными параметрами и проверки точности работы вычислительных алгоритмов.

- На основе предложенных моделей созданы: программное приложение, позволяющее оценить точность расчета центров тяжести точечного объекта по заданным параметрам объекта и предполагаемой используемой матрицы; программное приложение для определения оптимальных формы и размера маркера цифрового автоколлиматора по заданным параметрам маркеров и предполагаемой используемой матрицы.

Разработанный алгоритм коррекции геометрического шума реализован в аппаратно-программном модуле, который может быть

использован в различных специализированных измерительных видеосистемах. Применение предложенного алгоритма позволяет повысить чувствительность используемых камер на 0,5-1 звездную величину. Разработанная программа коррекции геометрического шума для ПЛИС, представленная в работе функциональной схемой, обеспечивает минимальную задержку обработки сигнала, равную 0,32 мкс при тактовой частоте 100 МГц.

- Разработана методика калибровки, обеспечивающая максимальную эффективность разработанных алгоритмов коррекции.

Достоверность и обоснованность полученных в работе результатов подтверждена адекватностью разработанных моделей реальным физическим процессам, тщательной отработкой методик проведения и анализа результатов экспериментов, сходимостью результатов экспериментов. Результаты работы внедрены в практику.

Внедрение результатов работы. Теоретические и практические результаты диссертационной работы использованы при разработке ФГУП ОКТБ «Омега» (В.Новгород) быстродействующей телевизионной системы высокой разрешающей способности, предназначенной для работы по астрономическим объектам на фоне сумеречного и ночного неба. Результаты внедрялись при выполнении НИР «Дуэлянт» и ОКР «Сокол-Эшелон» (головной исполнитель - ОАО «ГСКБ «Алмаз-Антей»), о чем имеется соответствующий акт о внедрении.

На защиту выносятся:

1) Оценка эффективности коррекции геометрического шума с помощью аппроксимации передаточной характеристики каналов полиномом Т-го порядка, обоснование оптимальности применения полинома 2-го порядка с точки зрения эффективности коррекции и объема требуемых вычислительных ресурсов.

2) Методы коррекции геометрического шума с учетом искажений оптической системы.

3) Аппаратно-программная реализация алгоритма коррекции геометрического шума оптико-электронной системы.

Апробация работы. Результаты работы докладывались и обсуждались на III научно-технической конференции «Системы наблюдения, мониторинга и дистанционного зондирования Земли» (Москва, 2006); на XV, XVI и XVII научных конференциях преподавателей, аспирантов и студентов НовГУ (В.Новгород, 2008, 2009 и 2010); на 52-й научной конференцию МФТИ -Всероссийской молодёжной научной конференции с международным участием «Современные проблемы фундаментальных и прикладных наук» (Москва, 2009).

Публикации. По теме диссертации опубликовано 7 научных работ, одна из которых опубликована в издании, включенном в перечень ВАК.

Структура и объём диссертации. Диссертация состоит из введения, шести глав, заключения, списка литературы, изложенных на 119 страницах. В работе имеется 18 рисунков и 3 таблицы. Список литературы содержит 59 наименований.

Содержание работы

Во введении обоснована актуальность работы, сформулированы цель и задачи диссертационного исследования, методы, отмечены научная новизна, практическая значимость и достоверность результатов, приведены положения, выносимые на защиту, и сведения об апробации результатов исследования и публикациях по теме диссертации.

В главе 1 «Исследование геометрических искажений ОЭС и методов их коррекции» приводится сравнительный анализ ПЗС и КМОП технологий с точки зрения их преимуществ и недостатков. Подробно рассматриваются шумы, характерные для ПЗС и КМОП МФПУ, проводится их классификация. В данной работе понятие геометрический шум определено как среднеквадратическое отклонение (СКО) выходных сигналов (8ВЫХ) МФПУ при условии равномерной засветки камеры:

СКОг = СКО{Бвых (/с)), при Б(к) = 3 = соШ,для всех к,{ 1) где СКОг - геометрический шум, к -номер канала МФПУ 8 и Бцых - входной и выходной сигналы МФПУ.

Исследуются причины его возникновения, определяются основные источники. Определяется характер зависимости геометрического шума от мощности падающего освещения. Сделан вывод, что для оценки эффективности алгоритмов коррекции стандартная модель геометрического шума, основанная на представлении выходного сигнала в виде линейной функции, описывает данную зависимость не достаточно точно.

Анализируются существующие методы коррекции геометрического шума, определяются области их применения. Наиболее эффективным среди используемых на практике является метод линейной, или двухточечной, коррекции. Данный метод представляет собой аппроксимацию передаточных характеристик каналов матрицы полиномом первого порядка. Сделан вывод, что эффективность коррекции можно повысить путем увеличения порядка полинома.

Исследуются геометрические искажения, вносимые оптической системой камеры. Дается определение геометрического шума ОЭС, как совокупности геометрического шума МФПУ и искажений ОС, вызывающих отклонения значения выходного сигнала разных элементов МФПУ при одинаковом входном воздействии.

Для достижения цели работы - разработки эффективных алгоритмов коррекции геометрического шума ОЭС, сформулированы частные задачи:

- Разработка математической модели геометрического шума.

- Оценка эффективности существующих методов коррекции.

- Оценка эффективности коррекции геометрического шума с помощью аппроксимации передаточной характеристики каналов полиномом

Т-го порядка и соотношение положительного эффекта от повышения порядка полинома с необходимыми для коррекции ресурсами.

- Исследование влияния оптической неравномерности на эффективность коррекции геометрического шума.

- Разработка алгоритма коррекции геометрического шума ОЭС, включающей коррекцию неравномерности, вносимой ОС.

В главе 2 «Математическая модель геометрического шума» приводится схема формирования геометрического шума. Разрабатываются обобщенная, упрощенные линейная и нелинейная математические модели выходного сигнала МФПУ. Разрабатывается модель геометрического шума, учитывающая нелинейность передаточных характеристик МФПУ. Проверяется адекватность предложенной модели геометрического шума путем сравнительного анализа теоретических и экспериментальных данных. Описывается комплекс программных приложений для моделирования цифровых систем, как пример использования предложенной нелинейной модели выходного сигнала.

Обобщенные математические модели выходного сигнала для ПЗС и КМОП выглядят следующим образом:

^еыхПЗСк

(Б) = аи+ (аи + ри (аи + /?и ))), (2)

^ (5) = а6к +Д* («« +Д* (а» + Д* (5,)))), (3)

где р, - функция преобразования фотон-электрон (квантовая эффективность), а2 - сигнал, вызываемый темновым током; плюс постоянная составляющая шума сброса,

а3, р3 - постоянная составляющая и функция переменной составляющей передаточной характеристики схемы переноса,

а4, р4 - постоянная составляющая и функция переменной составляющей преобразования электрон-вольт,

а5, Рз - постоянная составляющая и функция переменной составляющей передаточной характеристики внутрипиксельного усилителя, Об, Ре ~ постоянная составляющая и функция переменной составляющей передаточной характеристики столбцовой схемы усиления.

Использовав предположение о линейности входящих в формулу функций, получаем упрощенную математическую модель выходного сигнала, совпадающую с общепринятой:

= (4)

где От - сигнал, вызываемый темновым током, Рф - передаточная функция фотоприемного элемента.

Геометрический шум, соответствующий модели (4), рассчитывается по формуле:

СКО(Беыхк (5)) = ^СКО2 (атк) + Б1СК01 (Дм) (5)

В действительности функции р1,р3...рб можно считать линейными лишь в некотором ограниченном диапазоне входного сигнала Б. В общем случае это не

так, и функции (31,р3...)36 могут не обладать свойствами аддитивности и мультипликативности.

Нелинейность передаточных характеристик каналов МФПУ в основном определяется нелинейностью интегральной чувствительности. Интегральная чувствительность представляет собой логарифмическую зависимость. Нелинейная модель выходного сигнала, полученная аппроксимацией данной зависимости полиномом второго порядка, выражается формулой:

йщлх = ^к+ак)г+Ь(8к^ак)+с, (6)

где а, Ь, с - коэффициенты аппроксимации,

б - случайная величина с математическим ожиданием Е1(з)=Е1(Р1к)*8 и среднеквадратическим отклонением СКО(з)=СКО(Р|) *8, а - сигнал, вызываемый темновым током.

Коэффициенты «а», «Ь» и «с» являются константами для ПЗС-матриц и случайными величинами с параметрами Е1 и СКО для КМОП-матриц. Случайные величины «э», «а» - являются некоррелированными и имеют распределение, близкое к нормальному.

Квадратичная аппроксимация выходного сигнала в литературе встречается реже, чем линейная. Однако данная модель, выраженная через принятые в диссертации обозначения, выглядит следующим образом: Ъыл^^^+Ъэь+а,. (7) Таким образом, в (7) зависимость от темнового тока линейная, тогда как в (6) - нелинейная, что позволяет произвести более точную количественную оценку геометрического шума. Предлагаемая формула (6) точнее отражает физическую природу формирования сигнала, т.к. заряд, генерируемый световым сигналом, складывается с темновым зарядом, и затем суммарный заряд преобразуется в напряжение.

Разработаны математические модели геометрического шума ПЗС, соответствующие формулам (6) и (7):

СКО(Бвш1 (Б)) = [Е2 (.и (5)) - Е2 (5)) =

= 2а1 СКО" (а) + 2а2СКО' («) + 4а1 СКО2 (а)Е2 (а) + 4а2СКО2 (з)Е2 (5) + +4а2СК02 (а)СКО2 (¡) + 4а2СК02 (а)Е2 (.?) + 4а2£12 (а)СКО2 (в) +

+Ъ2СК02 (а) + Ь2СК& (л) + %а2СК& (а) £, (а) (*) + (Ю

+8а2Е, (а) СКО2 (з)Е1 (л:)+ 4аЬСКО2 (сс)Е1 (а) + 4аЬСК02 (я)Е1 (У) + +4аЪСКС? (а)Е1 (я) + 4аЬЕ, {а)СКОг («)]°5;

(*)) = [% (¿))-Е,2 (¿^ (5))]°5 =[2а2СКО* (*) + +4агСКОг (э)Е2 ({)+42а02 (*)+4аЬСКО1 (5) + Ж>'2 (а)]" где Е[ - начальный момент ¡-го порядка.

Параметры темнового сигнала Е,(а), СКО(а), соответствующие модели (6), и Е1' (а) , СКО' (а), соответствующие модели (7), имеют разные значения и рассчитываются из системы уравнений (10). аЕ12(а)+ЬЦ(а)-Е1'(сс)=О,

Ъ?СКСР (а)+Ь2 +4аЬЩ (сс))(Ж(? {а)-СКС? (а)'=0. (10)

Рис. 1. Геометрический шум ПЗС-матрицы КА1-1003 в зависимости от входного сигнала: 1 - экспериментальные данные, 2 - теоретические данные, рассчитанные по формуле (8), 3 - теоретические данные, рассчитанные по

формуле (9).

На рисунке 1 приведены зависимости геометрического шума от входного сигнала, полученные по экспериментальным и теоретическим данным. Данные подтверждают, что по сравнению с (9), (8) более точно отражает зависимость геометрического шума от входного сигнала через входящие в формулу параметры: Е( и СКО темнового сигнала и квантовой эффективности.

С использованием разработанной нелинейной модели выходного сигнала разработан комплекс программных приложений для моделирования цифровых

измерительных видеосистем, позволяющих на этапе проектирования учесть влияние геометрического шума с учетом параметров канала МФПУ на результат работы алгоритмов систем: «Mistakeofcentroid» для оценки точности расчета центров тяжести точечного объекта; «Cross» для определения оптимальных формы и размера маркера цифрового автоколлиматора.

В главе 3 «Разработка алгоритма коррекции геометрического шума, основанного на аппроксимации передаточных характеристик МФПУ полиномом 2-го порядка» проводится оценка эффективности существующих методов коррекции геометрического шума. Производится выбор метода аппроксимации передаточных характеристик. Дается обоснование применения полинома второго порядка для аппроксимации передаточной характеристики каналов МФПУ на основе теоретических и экспериментальных данных. Разрабатывается алгоритм коррекции, пригодный для применения на практике в алгоритмах цифровых устройств обработки видеоинформации.

В данной работе оценка проводится по критерию относительной эффективности коррекции:

СКО (5<ы1) - СКО (Seux') CKO(S.J ' где Sbbix и Бвых' - выходные сигналы до и после коррекции.

Получены математические формулы относительной эффективности для ПЗС следующих алгоритмов коррекции: методом вычитания темнового кадра, линейной коррекции и алгоритма коррекции с помощью аппроксимации передаточных характеристик полиномом 2-го порядка. Построены зависимости относительной эффективности для ПЗС-матрицы KAI-1003 по теоретическим и экспериментальным данным. Анализ формул и графиков коррекции показал, что эффективность коррекции повышается с увеличением полинома аппроксимации и количества опорных точек аппроксимации передаточных характеристик. Под опорной точкой понимается эталонная яркость, рассчитанная по калибровочному кадру. Результат работы алгоритма также зависит от методики получения и выбора калибровочных кадров.

Проведение аппроксимации по опорным точкам с одновременной статистической обработкой данных относится к задачам регрессионного анализа. При этом широко используется оценка среднеквадратической погрешности для всех точек обрабатываемых данных, а сам метод подобного приближения получил названия метода наименьших квадратов (МНК). Данный метод позволяет достаточно точно описать даже сильно зашумленный сигнал простой математической функцией. При этом критерий минимума среднего квадрата ошибок одновременно является наиболее распространенным критерием оптимальности, применяемым для оценки качества обработки сигнала.

Исследовано соотношение положительного эффекта от повышения порядка полинома с необходимыми для коррекции ресурсами.

Для коррекции геометрического шума полиномом Т-го порядка требуется

г

I'

Т операции сложения и операции умножения на один отсчет. Необходимый объем памяти Утет рассчитывается по формуле:

(12)

где К — количество каналов МФПУ,

V - объем памяти на один коэффициент (32 бит, формат с плавающей запятой).

Таблица 1. Требуемые ресурсы в зависимости от порядка полинома

Порядок Объем памяти на Операции Операции

один канал, бит сложения умножения

1 64 1 1

2 96 2 3

3 128 3 6

Рис. 2. Зависимости геометрического шума ПЗС-матрицы КА1-1003 от математического ожидания выходного сигнала для различных методов

коррекции.

25 г

- без коррекции

■ двухточечная коррекция

■ коррекция с помощью полинома 2-го порядка

- коррекция с помощью полинома 3-го порядка

МО, уровни квантования 10-разрядного сигнала

Рис. 3. Зависимости геометрического шума КМОП-матрицы ШРА-4000 от математического ожидания выходного сигнала для различных методов

коррекции.

Сравнение результатов коррекции геометрического шума различными методами (без коррекции оптической неравномерности) в зависимости от освещенности изображения приведены на рисунках 2 и 3.

Полученные результаты показали, что применение полинома 2-го порядка дает значительный рост эффективности коррекции геометрического шума по сравнению с двухточечной коррекцией. Положительный эффект от повышения полинома до 3-го порядка в несколько раз меньше и не оправдывает увеличения вычислительных затрат. Дальнейшее увеличение порядка полинома приводит к ошибке аппроксимации сопоставимой с ошибкой квантования.

МНК хорошо аппроксимирует зависимость 8ВЫХ' от 8ВЫХ в диапазоне, определяемом калибровочными кадрами, от минимального значения Эо до максимального значения 8П, В реальности из-за шумов значение яркости пикселя может выйти за пределы диапазона, что приведет к ошибке коррекции.

Во избежание этого на практике скорректированное значение яркости пикселя должно рассчитываться с учетом амплитуды 8вых1(:

т +%>4 (13)

иначе 0.

Где ^ - коэффициенты аппроксимации, рассчитываемые МНК, 8Вых°_ значение яркости пикселя на темновом кадре.

В главе 4 «Методика калибровки» приводятся рекомендации по съемке калибровочных кадров для достижения максимальной эффективности алгоритма коррекции. Основные требования заключаются в следующем. Для получения калибровочного кадра полная апертура оптической системы должна быть равномерно освещена. Каждый калибровочный кадр получается путем усреднения нескольких кадров, полученных при одинаковой интенсивности освещения. Также предъявляются определенные требования к рабочей температуре, экспозиции и усилению.

В главе 5 «Коррекция геометрических искажений, вносимых оптической системой» Исследовано влияние геометрических искажений оптической системы камеры на эффективность алгоритмов коррекции. Разработаны алгоритмы коррекции геометрического шума ОЭС, включающие коррекцию оптической неравномерности.

Из-за искажений, вносимых ОС, входной сигнал Б (освещенность) является случайной величиной. Исследования показали, что, геометрический шум сигнала после коррекции зависит не .только от параметров передаточной характеристики фотоприемников МФПУ, но также от параметров оптической неравномерности. Следовательно, полная коррекция геометрического шума МФПУ без учета неравномерности, вносимой ОС, невозможна.

Для того чтобы исключить влияние ОС на алгоритмы коррекции геометрического шума МФПУ, предлагается в качестве эталонной яркости для к-го канала брать среднее значение 8ВЫХ, рассчитанное по блоку пикселей, с к-м пикселем в центре (скользящее среднее). Размер блока усреднения подбирается экспериментально конкретно для используемой камеры таким образом, чтобы зависимость эталона яркости от регистрируемого значения яркости пикселя была максимально линейна для всех пикселей.

Для коррекции геометрического шума ОЭС, включающей коррекцию неравномерности, вносимой ОС, алгоритм должен быть усложнен, например, добавлением к блоку коррекции геометрического шума МФПУ последовательно блок коррекции неравномерности, вносимой ОС.

Оптическую неравномерность также можно аппроксимировать полиномом второго порядка:

Я- \ =К \)2 , (14)

где Ь; - коэффициенты аппроксимации, рассчитываемые МНК, Бвых' _ скорректированные значения яркостей пикселей без учета оптической неравномерности,

$вых" - скорректированные значения яркостей пикселей с учетом оптической неравномерности.

В итоге для расчета 8ВЫХ" используется полином 4-го порядка. Такой подход требует в два раза большего объема памяти, в два раза усложняет алгоритм коррекции, что приводит к увеличению временных задержек. Метод коррекции, использующий линейную функцию для аппроксимации оптической неравномерности, не обладает данными недостатками:

\ = V+К = К (дгАьй2 + 4 А*** +%)+К =

= ^' к +а\\ +ао\-

Формула (15) соответствует алгоритму (13), разработанному ранее.

05)

25

с

со §

и о

и.

0

1

о.

п Я О.

К з х со

I

20

15

10

е

о

--без коррекции -----коррекция с помощью полинома 1-го порядка ..........коррекция с помощью полинома 2-го порядка

•

Г&пл"""---—1 7-"---'*----

100 200 300 400 500

МО, уровни квантования 10-разрядного сигнала

600

Рис. 4. Зависимости геометрического шума ПЗС-матрицы КА1-1003 от математического ожидания выходного сигнала без коррекции, и при коррекции с использованием полинома 2-го порядка для аппроксимации передаточных характеристик матрицы и полиномов 1-го и 2-го порядка для аппроксимации оптической неравномерности.

80

га с

£

3 70

о 1— о

X

!ео

50

40

30

20

10

-без коррекции -----коррекция с помощью полинома 1-го порядка ...........коррекция с помощью полинома 2-го порядка

\ Ч

ч >

-.........--/- / \Ч.„ Ч-'.......

■

100 200 300 400 500

МО, уровни квантования 10-разрядного сигнала

600

Рис. 5. Зависимости геометрического шума КМОП-матрицы ШРА-4000 от математического ожидания выходного сигнала без коррекции, и при коррекции с использованием полинома 2-го порядка для аппроксимации передаточных характеристик матрицы и полиномов 1-го и 2-го порядка для аппроксимации оптической неравномерности.

Результаты применения обоих предложенных в данном разделе методов коррекции геометрического шума ОЭС, представлены на рисунках 4, 5. Графики показывают, что средняя эффективность коррекции по всему диапазону входного сигнала для обоих предложенных методов примерно равна. Следовательно, для практического применения в цифровых устройствах обработки данных подходит алгоритм с линейной коррекцией искажений ОС, т.к. требует меньше вычислительных ресурсов.

В главе 6 «Аппаратно-программная реализация алгоритма коррекции геометрического шума» разработан блок цифровой обработки изображения. Определены временные задержки работы алгоритма, объем требуемых вычислительных ресурсов. Разработаны, изготовлены и протестированы две ТВ-системы, использующие разные типы камер (выполненных на матрицах

LUPA4000 и KAI-1003M) и универсальный блок цифровой обработки изображения. Получены экспериментальные данные, подтверждающие эффективность предлагаемого алгоритма коррекции геометрического шума

оэс.

На рисунке 6 представлена схема блока цифровой обработки изображения.

Формирователь видеосигнала - это камера, формат видеоизображения и разрядность сигнала которой определяет скорость потока данных между формирователем и вычислителем. Вычислитель построен на ПЛИС EP2SL60F102014 (Altera), возможности которой обеспечивают решение задач, поставленных перед блоком обработки.Дополнительная память используется для хранения калибровочных и тестовых кадров, коэффициентов коррекции геометрического шума.

Рис. 6. Схема блока цифровой обработки изображения.

Коэффициенты коррекции имеют значения в широком диапазоне. Для эффективной коррекции необходимо иметь точные значения коэффициентов, поэтому они хранятся в формате с плавающей запятой типа "single", что требует 32 бита на одно значение. Таким образом, при формате кадра изображения 1024x1024 25 Гц требуется 16 Мб памяти. Такой объем памяти недоступен в ПЛИС, поэтому требуется внешняя память. В качестве ПЗУ используется Flash-память. Для обработки в реальном времени необходим быстрый доступ к коэффициентам. Скорость обмена данных для того же формата кадра - 25 МГц, разрядность коэффициентов на 1 пиксель - 128 разрядов. На такой разрядности и с такой частотой работает только память DDR II или III, организованная в модули DIMM или SODIMM. Поэтому после включения питания коэффициенты переписываются из ПЗУ В ОЗУ, в качестве которого используется память DDRII в модуле DIMM.

Схема является универсальной и может быть использована в различных системах автоматической обработки данных, выполняющих широкий круг задач. Программы коррекции геометрического шума занимает лишь небольшой процент ресурсов ПЛИС, остальная часть может быть использована

разработчиками под любые другие алгоритмы обработки данных, в том числе видеоданных, получаемых после фильтрации геометрического шума. Блок памяти также имеет большой резерв и может быть использован как для работы с оперативными данными, так и для сохранения данных при выключенном питании.

Разработана программа коррекции для ПЛИС. Алгоритм выполнен по «конвейерной» схеме» и вносит в работу системы задержку, равную 32 тактам.

Блок цифровой обработки изображения разработан в составе быстродействующей телевизионной системы высокой разрешающей способности, изготавливаемой ФГУП ОКТБ «Омега», Великий Новгород. Система предназначена для выделения, сопровождения и классификации астрономических объектов на фоне сумеречного и ночного неба в реальном времени.

Тестирование ТВ-системы проводилось на стенде лаборатории ФГУП ОКТБ «Омега», стенде ФГУП «ГОИ им. С.И Вавилова», Санкт-Петербург. Натурные испытания проводились на полигоне ОАО «ГСКБ «Алмаз-Антей», Москва. Установлено успешное выполнение работы алгоритмов блока цифровой обработки изображения, в том числе коррекции геометрического шума ОЭС. От качества предварительной обработки изображения зависит точность и эффективность работы всего измерительного устройства. Применение алгоритма коррекции геометрического шума в разработанных системах дает увеличение чувствительности (до 1 звездной величины в зависимости от типа камеры и режима работы), а также увеличение точности расчета координат наблюдаемых астрономических объектов.

В -заключении даётся общая характеристика диссертационной работы, мотивируется вывод о достижении заявленных целей исследования.

Основные результаты работы

Основные результаты диссертационной работы состоят в следующем:

1) Разработаны математические модели выходного сигнала и геометрического шума МФПУ, учитывающие неравномерность передаточной характеристики каналов МФПУ. Сравнительный анализ теоретических и экспериментальных данных, полученных с использованием ПЗС-матрицы KAI-1003 "Kodak", показал адекватность разработанной модели геометрического шума, более точно описывающей его зависимость от входного сигнала, чем функции, основанные на общепринятых линейной и квадратичной моделях выходного сигнала.

2) С использованием предложенных моделей разработан комплекс программных приложений для моделирования цифровых измерительных видеосистем, позволяющих на этапе проектирования учесть влияние геометрического шума с учетом параметров канала МФПУ на результат работы алгоритмов систем: программное приложение «Mistakeofcentroid», предназначенное для оценки точности расчета

центров тяжести точечных объектов; программное приложение «Cross», предназначенное для определения оптимальных формы и размера маркера цифрового автоколлиматора.

3) На примере ПЗС-матрицы KAI-1003 и КМОП-матрицы LUPA-4000 произведена теоретическая и экспериментальная оценка эффективности следующих алгоритмов коррекции геометрического шума: методом вычитания темнового кадра, методом линейной коррекции, методом аппроксимации передаточных характеристик каналов матрицы полиномом 2-го порядка. Сделан вывод об оптимальности метода коррекции с помощью полинома 2-го порядка с точки зрения требуемых эффективности коррекции и вычислительных ресурсов. Разработан алгоритм коррекции для автоматических систем обработки данных в реальном времени.

4) Произведена теоретическая и экспериментальная оценка эффективности алгоритмов коррекции геометрического шума на примере ПЗС-матрицы KAI-1003 и КМОП-матрицы LUPA-4000. Анализ результатов доказал эффективность разработанного алгоритма.

5) Разработана методика проведения калибровки в лабораторных условиях. Доказано, что точность выполнения требований данной методики определяет качество производимой коррекции.

6) Разработан и изготовлен блок цифровой обработки изображения, в составе быстродействующей телевизионной системы высокой разрешающей способности, предназначенной для работы по астрономическим объектам на фоне сумеречного и ночного, неба. Выполнены лабораторные и натурные эксперименты, подтвердившие эффективность предложенных алгоритмов обработки видеосигнала. Применение разработанного алгоритма коррекции геометрического шума позволило повысить чувствительность телевизионной системы примерно на одну звездную величину, обеспечило получение рассчитанных с субпиксельной точностью координат с минимальной задержкой не превышающей несколько десятков микросекунд. При этом задержка, вносимая непосредственно алгоритмом коррекции, не превышает 0,32 мкс при тактовой частоте 100 МГц.

7) Научно-технические результаты диссертационной работы используются в разработках и НИОКР ФГУП ОКТБ «Омега»: НИР «Дуэлянт» и ОКР «Сокол-Эшелон» (головной исполнитель ОАО «ГСКБ «Алмаз-Антей»), Достоверность использования подтверждена актом внедрения.

Таким образом, все задачи диссертационного исследования успешно решены и его цель достигнута.

Публикации по теме диссертации

1. Голиков В.В. К оценке точности измерения координат звезд с помощью видеокамеры на основе CMOS-матрицы / В.В. Голиков, Д.С. Брондз, E.H. Копёнкина (Харитонова) // Системы наблюдения, мониторинга и дистанционного зондирования Земли: Материалы III научно-технической конференции. - М.: МНТОРЭС им.А.С.Попова. - 2006. - C.I90-191.

2. Копёнкина E.H. (Харитонова) Составляющие геометрического шума, вносимые оптической системой камеры на МФГГУ / E.H. Копёнкина (Харитонова) // Тезисы докладов аспирантов, соискателей, студентов: XV науч. конф. преп., асп. и студ. НовГУ. Великий Новгород, 31 марта - 5 апреля 2008 г. / отв. ред. В.В.Шадурский. - Великий Новгород: Изд-во НовГУ им. Ярослава Мудрого, 2008. - С. 227-228.

3. Брондз Д.С. Коррекция геометрического шума МФПУ с помощью аппроксимации методом наименьших квадратов передаточных характеристик матрицы полиномом Т-го порядка [Электронный ресурс] / Д.С. Брондз, E.H. Харитонова // Журнал радиоэлектроники. - 2008. - №11, 29 с. (http://jre.cplire.ru/alt/nov08)

4. Харитонова E.H. Выбор порядка полинома, аппроксимирующего передаточные характеристики каналов МФПУ, для алгоритма коррекции геометрического шума / E.H. Харитонова // Тезисы докладов аспирантов, соискателей, студентов. Часть 3: XVI науч. конф. прёп., асп. и студ. НовГУ. Великий Новгород, 30 марта - 4 апреля 2009 г. / отв. ред. В.В.Шадурский. -Великий Новгород: Изд-во НовГУ им. Ярослава Мудрого, 2009. - С. 17-18. (113 ' с.-всегё)

5. Харитонова E.H. Аппаратура цифровой обработки изображения астрономических объектов / E.H. Харитонова // Сборник конкурсных научных работ аспирантов и молодых ученых по направлению «Стратегическое партнерство ВУЗов и предприятий радиоэлектронной промышленности» . - С,-Пб.: 2009. - с.81-89.

6. Харитонова E.H. Блок цифровой обработки изображения астрономических объектов / E.H. Харитонова // Труды 52-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук». Часть I. Радиотехника и кибернетика. Том 2. - М.: МФТИ, 2009. - С. 5658.

7. Харитонова E.H. Математическая модель выходного сигнала и геометрического шума матричных фотоприемных устройств, учитывающая нелинейность характеристики чувствительности пикселей / E.H. Харитонова // Вестник поморского университета. Серия: Естественные науки. -2010. -№ 1. -С. 117-122. (в перечне ВАК)

Изд. лиц. JIP № 020815 от 21.09.98. Подписано в печать 12.05.2010. Бумага офсетная. Формат 60x84 1/16. Гарнитура Times New Roman. Печать офсетная. Усл. печ. л. 1,0. Тираж 100 экз. Заказ № 5

Издательско-полиграфический центр Новгородского государственного университета им. Ярослава Мудрого. 173003, Великий Новгород, ул. Б. Санкт-Петербургская, 41.

Отпечатано в ИПЦ НовГУ. 173003, Великий Новгород, ул. Б. Санкт-Петербургская, 41.

Оглавление автор диссертации — кандидата технических наук Харитонова, Евгения Николаевна

Содержание.

Список основных сокращений.

Список основных условных обозначений.

Введение.

1 Исследование геометрических искажений ОЭС и методов их коррекции.

1.1 Постановка задачи.

1.2 Геометрический шум МФПУ.

1.2.1 ПЗС и КМОП технологии.

1.2.2 Шумы МФПУ.

1.3 Исследование методов коррекции геометрического шума.

1.3.1 Пространственная низкочастотная фильтрация.

1.3.2 Исправление дефектных ячеек.

1.3.3 Вычитание темнового кадра.

1.3.4 Линейная коррекция.

1.3.5 Способы повышения эффективности алгоритмов.

1.4 Геометрические искажения, вносимые оптической системой камеры на МФПУ.

1.5 Основные результаты главы.

2 Математическая модель геометрического шума.

2.1 Постановка задачи.

2.2 Обобщенная математическая модель выходного сигнала МФПУ.

2.3 Упрощенная математическая модель выходного сигнала.

2.4 Упрощенная математическая модель выходного сигнала, учитывающая нелинейность характеристики чувствительности пикселей.

2.5 Математическая модель геометрического шума, учитывающая нелинейность характеристики чувствительности пикселей для ПЗС.

2.6 Сравнение теоретических и экспериментальных данных на примере ПЗСматрицы KAI-1003 "Kodak".

2.7 Комплекс программных приложений для моделирования цифровых систем.

2.8 Основные результаты главы.

3 Разработка алгоритма коррекции геометрического шума, основанного на аппроксимации передаточных характеристик МФПУ полиномом

2-го порядка.

3.1 Постановка задачи.

3.2 Оценка эффективности алгоритма коррекции методом вычитания темнового кадра.

3.3 Оценка эффективности алгоритма коррекции методом линейной коррекции.

3.4 Оценка эффективности алгоритма коррекции с помощью аппроксимации передаточных характеристик полиномом 2-го порядка.

3.5 Аппроксимация передаточных характеристик методом наименьших квадратов.

3.6 Обоснование применения полинома второго порядка для аппроксимации передаточной характеристики каналов МФПУ.

3.7 Практическая формула коррекции с помощью полинома 2-го порядка с коэффициентами, рассчитанными МНК.

3.8 Основные результаты главы.

4 Методика калибровки.

4.1 Постановка задачи.

4.2 Равномерная засветка.

4.3 Усреднение кадров.

4.4 Выбор точек аппроксимации.

4.5 Коэффициент усиления яркости.

4.6 Температура и экспозиция.

4.7 Основные результаты главы.

5 Коррекция геометрических искажений, вносимых оптической системой.

5.1 Постановка задачи.

5.2 Влияние оптической неравномерности на эффективность коррекции геометрического шума.

5.3 Коррекция оптической неравномерности.

5.4 Основные результаты главы.

6 Аппаратно-программная реализация алгоритма коррекции геометрического шума.

6.1 Постановка задачи.

6.2 Схема блока цифровой обработки изображения.

6.3 Функциональная схема программы коррекции геометрического шума на ПЛИС.

6.4 Аппаратура цифровой обработки изображения астрономических объектов.

Введение 2010 год, диссертация по радиотехнике и связи, Харитонова, Евгения Николаевна

Актуальность темы исследования. Удешевление элементной базы видеокамер, непрерывное улучшение основных характеристик матричных фотоприемных устройств (МФПУ), появление все более мощных и дешевых средств обработки больших массивов данных с высокой скоростью привело к интенсивному использованию таких систем в различных областях науки и техники.

Большое внимание в этих системах уделяется автоматической обработке и анализу визуальной информации с целью минимизации участия человека в процессе принятия решения по результатам наблюдения.

Видеокамеры используются и в повседневной жизни для любительской съемки, проведения видеоконференций, считывания штрих-кода, работы телефакса и сканера, для специализированных задач робототехники, астрономии, медицины, биологии и других задач, выполняемых системами с машинным зрением.

Развитие технологий расширило возможности автоматической обработки фото и видеоизображения. Так, например, появилась такая дисциплина, как фотограмметрия, научно-техническая дисциплина, занимающаяся определением размеров, формы и положения объектов по их изображениям на фотоснимках. Последние получают как непосредственно фотоаппаратами и видеокамерами, так и при помощи радиолокационных, телевизионных и лазерных систем. Фотограмметрия применяется для проведения измерений в технике, медицине, промышленной автоматизации, исследованиях окружающей среды и других областях.

Вместе с этим повысились требования к измерениям, проводимым по таким изображениям, и самим измерительным системам. При решении задачи проведения высокоточных угловых измерений, связанных с калибровкой гироскопов, навигационных систем, прецизионных опорно-поворотных устройств в последнее время применяются выполненные на МФПУ цифровые автоколлиматоры, как приборы, обеспечивающие очень высокие точности (до 0,001 угл. сек).

Точность проводимых измерений зависит от качества получаемых изображений. Одной из основных причин ошибок, возникающих при проведении измерений, является геометрический шум МФПУ.

Геометрический шум характерен для всех МФПУ, независимо от технологических процессов и архитектуры устройств. Данный шум является детерминированным в пространстве и независимым от времени. Он наблюдается как отклонение значения выходного сигнала разных каналов матрицы (участок системы, формирующий электрический сигнал, начиная с отдельного чувствительного элемента фотоприемника и кончая выходом МФПУ), вызванного одинаковым входным воздействием.

В формировании изображения большую роль играет оптическая система камеры. Она также вносит свои геометрические искажения. Во-первых, это пятна, образуемые из-за пыли и царапин на стеклянных поверхностях. Во-вторых, это различного рода аберрации, приводящие к нарушению расположения точки изображения в реальной оптической системе по отношению к идеальной. Аберрации частично или полностью устраняются диафрагмированием, что, кроме положительного, дает и отрицательный эффект — эффект виньетирования. Поэтому существует третий вид искажений -снижение яркости изображения по направлению от оси оптической системы к периферии. Так как данное явление проявляется как отклонение значения выходного сигнала разных элементов матрицы, вызванного одинаковым входным воздействием и является детерминированным в пространстве и независимым от времени, его можно рассматривать в совокупности с геометрическим шумом матрицы. Данную совокупность можно определить как геометрический шум оптико-электронной системы (ОЭС) в целом.