автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Методы повышения быстродействия и точности стабилизации изображения в прикладных телевизионных камерах

На правах рукописи

»111 ч III | ,

МАЛАШИН ДМИТРИЙ ОЛЕГОВИЧ

МЕТОДЫ ПОВЫШЕНИЯ БЫСТРОДЕЙСТВИЯ И ТОЧНОСТИ СТАБИЛИЗАЦИИ ИЗОБРАЖЕНИЯ В ПРИКЛАДНЫХ ТЕЛЕВИЗИОННЫХ КАМЕРАХ

Специальность: 05.12.04 - Радиотехника, в том числе системы и устройства телевидения

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

005549075

Санкт- Петербург - 2014

005549075

Работа выполнена в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В. И. Ульянова (Ленина), кафедра телевидения и видеотехники

Научный руководитель:

доктор технических наук, профессор Цыцулин Александр Константинович Официальные оппоненты:

доктор технических наук, профессор Гуров Игорь Петрович, заведующий кафедрой компьютерной фотоники и видеоинформатики Санкт-Петербургского национального исследовательского университета информационных технологий механики и оптики, г. Санкт-Петербург;

кандидат технических наук, Голушко Михаил Николаевич, начальник лаборатории ООО «Электроника и видеосистемы», г. Санкт-Петербург.

Ведущая организация: ОАО «Государственный оптический институт им. С. И. Вавилова», г. Санкт-Петербург

Защита состоится «_2£_» июня 2014 г. в 15-30 на заседании диссертационного совета Д.212.238.03 в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В.И.Ульянова (Ленина) по адресу: 197376, Россия, г. Санкт-Петербург, ул. Профессора Попова, д.5.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В. И. Ульянова (Ленина) и на сайте www.eltech.ru.

Автореферат диссертации разослан « ¡5 » о { 2014 г.

Ученый секретарь совета по защите

докторских и кандидатских диссертаций Д 212.238.03

Баруздин С. А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Диссертация посвящена решению части крупной научно-технической проблемы видеоинформатики - стабилизации изображения в прикладных телевизионных камерах для использования, в первую очередь, в движущихся по неровным дорогам и бездорожью транспортных средствах. При этом акцент делался на частной, но достаточно актуальной задаче компенсации смаза изображения, вызываемого колебаниями визирной оси телекамеры при воздействии механических возмущений типа вибрации основания.

Актуальность темы. Актуальность этой работы связана с потребностью создания качественно нового класса телевизионных камер с автоматической стабилизацией изображения, способных компенсировать большие ускорения вибрации и обеспечивать высокую точность позиционирования исполнительного устройства в условиях жестких требований к масса-габаритным характеристикам изделия и призвана способствовать реализации федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технического комплекса России» на 2014-2020 г.

Узкий диапазон компенсируемых возмущений и собственно сама проблематика совмещения изображений - «вечная» проблема телевизионной техники. Одним из основоположников решения данной проблемы является У. Прэтт, рассмотревший вопрос совмещения изображений с точки зрения корреляционной и последовательной привязок. В развитие методов цифровой и электронной стабилизации изображения вклад внесли труды Р. Вудса, Р. Гонсалеса, Ю. Б. Зубарева, В. П. Дворковича, Р. Е. Быкова и др. Проблематику совмещения аэрокосмических изображений методом локальной корреляции рассмотрели А. С. Потапов, И. А. Малышев, В. Р. Луцив. Задачи, связанные с системами контроля смещения изображения, рассмотрели такие научные деятели, как: А. Хаяши, Я. Китогава, Н. Е. Конюхов, Н. В. Кравцов, П. В. Николаев, Ю. Г. Якушев и др. В решение задач, относящихся к рассматриваемой проблеме, внесли вклад Д. Н. Еськов, М. И. Кривошеев, А. В. Петраков, Б. С. Тимофеев, И. Н. Пустынский, И. П. Гуров, А. А. Бузников, М. Н. Голушко. Данная диссертация является развитием известных результатов в области стабилизации телевизионного изображения с акцентированием внимания на значительном расширении диапазона компенсируемых возмущений и повышения точности систем стабилизации.

Целью работы является улучшение качества изображения прикладных телевизионных камер в жестких условиях эксплуатации. Для достижения поставленной цели были поставлены и решены следующие задачи:

1) разработка методов повышения быстродействия стабилизации изображения;

2) разработка методов достижения субпиксельной точности измерений в реальном времени малых смещений изображений;

3) апробация разработанных методов.

Основные методы исследования. Для решения поставленных в диссертационной работе задач были использованы: методы теории оценивания, численные методы и методы математического моделирования.

Научная новизна. Научную новизну характеризуют следующие полученные научные результаты:

1. Предложен метод стабилизации изображений, основанный на прямом методе измерения смещения с субпиксельной точностью, отличающийся тем, что позволяет существенно расширить диапазон скоростей смещения визирной оси, при которых искажения смаза маскируются шумом.

2. Введена необходимость учета аппроксимации взаимно корреляционной функции изображений полиномом четвертой степени при субпиксельных смещениях изображения.

3. Предложен алгоритм определения оптимальных параметров режекторного фильтра, основанный на нахождении компромисса между потерей точности и вычислительной сложностью фильтра.

Практическая значимость. Практическая значимость работы определяется выигрышами, достигнутыми благодаря эффективности разработанных методов повышения быстродействия и точности систем автоматической стабилизации изображения:

• предложенный метод измерения смещения изображений позволяет вплотную приблизиться к теоретическому пределу эффективности -маскированию шумом скоростного смаза (ошибок стабилизации);

• предложенная аппроксимация взаимно корреляционной функции полиномом четвертой степени, позволяет в зависимости от сюжета добиться точности измерения смещения изображения 0,006...0,07 пиксела;

• определены параметры импульсной характеристики режекторного фильтра, обеспечивающие компромисс между потерей точности и вычислительной сложностью;

• расширение диапазона частот компенсируемых возмущений на 2 порядка за счет реализации системы измерения смещения изображения в виде ВСнК и распараллеливания считывания видеосигналов с линейных фотоприемников.

Основные положения, выносимые на защиту:

1. Предложенный способ построения телекамеры с множественными потоками информации на основе считывания видеосигналов не только с основного матричного фотоприёмника, но и с двух ортогональных линейных фотоприемников, позволяет повысить быстродействие прямого измерения смещения изображения на два порядка по сравнению с телекамерой с единственным потоком видеоинформации.

2. Аппроксимация ВКФ полиномом четвертой степени при субпиксельных смещениях изображения средней детальности позволяет повысить точность измерения смещения изображения до 2 дБ по сравнению с аппроксимацией ВКФ полиномом второй степени.

3. Порядок режекторного фильтра обострения ВКФ должен определяться исходя из формализованного компромисса между потерей точности и вычислительной сложностью фильтра.

Реализация результатов работы. Результаты работы использованы в разработках ООО «Пекод», НИР ОАО «НИИТ» и учебном процессе СПбГЭТУ «ЛЭТИ», о чём имеются акты внедрения.

Публикации. По теме диссертации опубликовано 8 работ, 2 из которых опубликованы в журнале, входящем в перечень ВАК, 4 работы содержатся в сборниках материалов научных конференций. Получен 1 патент РФ на изобретение. По одной заявке на изобретение имеется решение о выдаче патента.

Апробация работы. Основные положения диссертационной работы представлялись и обсуждались на:

- научно-технических конференциях СПбНТОРЭС имени А. С. Попова, СПб, 2012,2013 гг.;

- международных научно-технических конференциях «Телевидение: передача и обработка изображений», СПб, 2012, 2013 гг.;

- научно-технических конференциях профессорско-преподавательского состава СПбГЭТУ «ЛЭТИ» в 2012, 2013, 2014 гг.

Структура и объем диссертации. Диссертация состоит из списка используемых обозначений и сокращений, введения, 4 глав, заключения, списка использованных источников, включающего 109 наименований. Диссертация изложена на 138 страницах машинописного текста, содержит 60 рисунков и 3 таблицы.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, указана цель работы, определены задачи и методы исследования. Сформулированы научная новизна, практическая значимость работы, а также положения, выносимые на защиту.

Глава I посвящена обзору известных систем автоматической стабилизации изображения, основанных на различных методах измерения смещения изображения. Основной акцент в данной главе делается на существующие ограничения в рассматриваемых системах. Рассматриваются как системы стабилизации изображения, так и методы измерения смещения. Отмечаются различия в прямых и косвенных методах измерения смещения. Дается объективная оценка развития рассматриваемой области знаний на сегодняшний день. На основе проведенного анализа формируются задачи исследования.

Глава II посвящена структурному синтезу прецизионной быстродействующей системы стабилизации изображения. В данной главе рассматриваются различные способы построения фотоприемного блока прецизионного быстродействующего измерителя смещения изображения. Производится анализ выбора фотоприемных измерительных областей в зависимости от требований к стабилизации изображения. Рассматривается синтез следящей системы (системы автоматического управления) для работы

в составе телевизионной камеры с быстродействующей стабилизацией изображения.

Глава III посвящена разработке методов повышения быстродействия и точности стабилизации изображения. Приводятся подробные данные о разработанной методике синтеза телевизионных камер со стабилизацией изображения.

В диссертации был рассмотрен структурный синтез телевизионной камеры со стабилизацией изображения, показывающий, что требование совмещения изображений в реальном времени ведёт к необходимости использования прямого метода измерения смещения изображений за счет введения в фокальную плоскость кроме основного матричного фотоприёмника двух дополнительных линейных фотоприёмников (рис. 1). При этом дополнительные линейные массивы могут быть сформированы как топологически, так и виртуально, программным способом выделения из общего массива фоточувствительных элементов. В качестве подвижного элемента целесообразно использовать современные пьезоэлектрические приводы, которые при относительно небольших размерах способны обеспечивать высокоскоростное перемещение с частотами 1 кГц... 1 МГц и точностью позиционирования менее 0,5 нм. Оптимальная структура измерителя смещения изображений, показанного на рис. 1, включает:

Рис. 1. Функциональная схема системы стабилизации изображения с прямым измерением смещений изображений дополнительными линейными фотоприемниками

• режекторный фильтр для контрастирования взаимнокорреляционнной функции (ВКФ);

• коррелятор - вычислитель ВКФ для дискретных значений сдвига (на целое число пикселов);

• интерполятор - вычислитель смещения, как целочисленного относительно пикселов изображения, так и дробного (так называемая субпиксельная точность измерения).

В диссертации также рассматривается параметрический синтез входящего в систему стабилизации вычислителя, который подчинён цели достижения потенциальной точности оценки смещения изображения в системе стабилизации с дополнительными линейными фотоприёмниками при следующей опорной триаде синтеза:

1. Априорная информация о типовых изображениях, формируемых фотоприёмными массивами телекамеры:

• телекамера с кадровым периодом 7* формирует последовательность сигналов изображения основного массива квадратных пикселов площадью ДхД и две дополнительные последовательности —> и >>, Т с ортогональных линейных массивов по J пикселов каждый, с размерами ЬАт; время считывания Тс этих строк существенно меньше времени кадра 7* основного массива: Тк»Тс;

• диаметр импульсной характеристики объектива (функции рассеяния точки, «кружка рассеяния») согласован с размером Д пиксела основного массива;

• автокорреляционная функция (АКФ) оптических изображений, анализируемых линейными фотоприёмниками, при достаточно больших аргументах в силу свойств наблюдаемых сюжетов моделируется экспоненциальной функцией:

К(х) = /С(0)ехр (-|х|/т)

с интервалом корреляции УД » т » Д;

• АКФ оптических изображений (до дискретизации линейными фотоприёмниками) в силу свёртки оптического сигнала с импульсной характеристикой объектива

Кб ~ ехр(-х2/2г2)

с эффективным диаметром 2г, при малых аргументах х<Л описывается не . линейной функцией, а более сложной функцией.

• в первом приближении, при наличии некоторого среднего фона можно считать, что все сигналы наблюдаются в присутствии белого (некоррелированного) гауссовского шума (шума фона и шума считывания),

. т. е. наблюдению доступны сигналы у1 = 5,+

2. Критерий качества: минимум искажений сигнала изображения, формируемого основным фотоприёмным массивом, достигаемый при:

•максимально возможной частоте считывания со вспомогательных линейных фотоприёмников, которая определяется исходя из особенностей их внутренней архитектуры;

•минимуме среднеквадратической ошибки измерения смещения сигналов соседних строк вспомогательными линейными фотоприёмниками.

3. Ограничения: сложность вычислителя смещения изображения, стабильность вычислений, требуемые для реализации вычислителя в виде отдельной цифровой СБИС или в виде специально формируемых блоков, которые могут быть включены в состав видеосистемы на кристалле.

Варьируемыми (искомыми) параметрами являются:

• размеры пиксела измерительной строки;

• разрядность АЦП;

• число членов импульсной характеристики режекторного фильтра;

• алгоритм вычисления корреляции и его сложность;

• алгоритм интерполяции и его сложность.

В процессе нахождения размеров пиксела измерительной строки введём отношение

Р = A/Am

Оптимальное значение р трудно найти аналитически в связи с тем, что формально ошибка измерения смещения (с учётом интерполяции взаимно-корреляционной функции (ВКФ)) не зависит от р в силу взаимно компенсирующего влияния ёмкости пикселов Nem и их числа J в измерительной строке. Одновременно с этим, достижимая точность измерения связана с методологической ошибкой интерполяции ВКФ: чем меньше р, тем устойчивее система к отклонениям АКФ реальных сигналов от принятой модели. С других позиций, уменьшение Р ведёт к возрастанию сложности вычислителя, его требуемого быстродействия и тепловыделения, а также к необходимости использования существенно более дорогостоящей технологии изготовления с лучшими топологическими нормами. Из этих соображений приходится находить компромиссное значение р, и можно прогнозировать, что оно должно лежать в интервале 2...5.

Предварительная фильтрация с помощью режекторных фильтров обеспечивает не только известное обострение ВКФ, но и уменьшение сложности накапливающего сумматора вычислителя ВКФ пропорционально log2T/Am.

Основными требованиями к режекторному фильтру, обеспечивающему обострение ВКФ при отсутствии смещения оценки, является симметрия импульсной характеристики {hk} и равенство нулю суммы всех её членов:

ы

YjK = 0; h0 = 0; h, = 0 при k > /

Ы-l

Потеря полезной информации А/ об измеряемом параметре сдвига связана с коэффициентом изменения отношения сигнал/шум Ку=Кш/К5 из-за возрастания мощности шума на выходе фильтра пропорционально коэффициенту шума

*=сс

К„ = 2>;

и возможного уменьшения энергии сигнала одноэлементных фрагментов и перепадов яркости, в первом приближении определяемого отношением полуширины импульсной характеристики фильтра к длительности фронта видеоимпульса

= [гшп{1/р;1}]2.

Это означает, что в рассматриваемой системе полуширина / импульсной характеристики режекторного фильтра должна быть не менее отношения р размеров пиксела основного и вспомогательных фотоприемников.

При оценке сложности блоков вычислителя смещения изображений будем считать, что:

• сложность характеризуется числом вентилей;

• минимальная сложность ячейки памяти - два вентиля;

• минимальная сложность полного одноразрядного сумматора 5 вентилей.

При оценке сложности режекторного фильтра можно считать, что она

определяется только требуемыми элементами задержки со сложностью 41т и 21 сумматорами со сложностью 4(т +1), так как применяется только умножение на целочисленные степени числа 2 ('Л, Ул, У%...), осуществляемое простым сдвигом кода, ведущим к увеличению разрядности кода на /. При количественной оценке параметров ниже будем полагать Р = 4.

При выборе оптимальных параметров режекторного фильтра следует принимать во внимание показатель эффективности использования вычислительных ресурсов, связывающий потерю полезной информации АI (в данном случае - потерю точности измерения смещения) с вычислительной сложностью фильтра IV (рис. 2)

3,0

2,5

2,0

1,5

1,0

0,5

ДI

IV

400

350

300

250

200

150

100

50

0

3,0 4,0 5,0 6,0 7,0

8,0 N

Рис. 2. Зависимость потери полезной информации АI (штриховая линия), сложности IV (при от = 10, штрих-пунктир) и показателя эффективности использования вычислительных ресурсов (сплошная линия) от порядка режекторного фильтра N (числа членов импульсной

характеристики)

Простейшим фильтром, отвечающим поставленным условиям, является фильтр с импульсной характеристикой {/г_/ = -/4; И о = 1, й/ = -'А} (рис. За).

I Яш=1,5 | кш= 1,125

№=8(т+1) 1¥=Ъ2(т+\,5)

->

ЛГШ=1,25 . Кш= 1,266

Ж=16(т+1) 1¥=\6(т+2)

. . -1-1-> -1-|-'-1-«->

б в

Рис. 3. Импульсные характеристики режекторных фильтров и их параметры

Этот фильтр, известный в радиолокации как череспериодный компенсатор второго порядка, рекомендуется к применению в задаче обострения ВКФ. Так как применение этого фильтра при Р > 1 ведёт к заметной потере информации, то необходимо обратиться к фильтрам с большим числом членов импульсной характеристики, примеры которых показаны на рис. 36 - Зг. Эти фильтры имеют следующие импульсные характеристики:

Рис. 36: {/1-2 = = = ¡12 =-V*; А0= 1};

Рис. Зв: {1г-\ =/ц =-0,3125;/г-2 = Й2 = -0,1875; й0=1};

Рис. Зг: {/м = й-з = й_2 = =Ы =к2=Ьъ=}ц = -А; Ао= 1}.

Фильтр на рисунке Зв является оптимальным для обнаружения одноэлементных сигналов на фоне с экспоненциальной АКФ, хотя и требует несколько больших вычислительных затрат.

Таким образом, наблюдается уменьшение потери информации о смещении изображения ценой увеличения сложности фильтра. Весовые коэффициенты при этих величинах следует определять с учётом сложности остальной части вычислителя, для широкого диапазона значений которых при выбранном значении р = 4 наилучший компромисс между точностью и сложностью обеспечивает фильтр с импульсной характеристикой, показанной на рис. Зг.

При параметрическом синтезе измерителя смещения изображений важен вопрос: какова потеря информации о параметре сдвига х из-за равномерного, оптимального с точки зрения информационного риска квантования. Для видеосистемы на кристалле, построенной по рассматриваемому принципу, площадь пиксела измерительной строки на два порядка превосходит площадь пиксела основного фотоприёмного массива, что соответствует ёмкости пиксела Мет =106 электронов и более.

Для такой ёмкости пиксела среднее значение дисперсии флуктуационного шума составляет Иет12, а оптимальное при оценке формы сигнала равномерное квантование требует числа разрядов

Ото ~/2^(2Ли1о&\и,) = 12.

Это значение соответствует коэффициенту шума

Кш = {ЫетТ2тт + а2фл)/о2фл,

который соответствует потере информации о параметре смещения 0,007 бит при т = 12, 0,1 бит при т = 10 и 0,9 бит при т = 8. Эта потеря информации существенно меньше потери информации о форме сигнала, которая при т- 12 составляет ХА бит/пиксел, что для измерительной строки с 103 пикселов составит примерно 250 бит.

Можно показать, что для типового значения интервала корреляции сигнала 16 пикселов среднеквадратическое значение ошибки измерения смещения составляет е = 8><10~3Дт = 2><10~3Д. Указанное значение ошибки измерения смещения можно рассматривать как среднее по различным сюжетам: смещение изображения с очень плавными изменениями яркости будут измеряться с большими ошибками, смещения изображений со многими перепадами яркости - с меньшими ошибками. Оцененное значение ошибки совмещения должно обеспечить накопление в основном массиве фотоприёмных элементов без потери разрешающей способности, т. е. обеспечить смаз не более 5 < АМе'/:, что для типовых матричных фотоприёмников составляет 2...7><10~3Д. Таким образом, рассмотренная структура и определённые параметры обеспечивают совпадение требуемой и достижимой точности измерения смещения.

Можно считать, что априорный интервал возможных сдвигов за время считывания измерительной строки составляет Ат/2. Тогда оптимальная с точки зрения минимума информационного риска разрядность кода оценки смещения составляет

тг=1оё2\а/£),

что для приведённого примера составляет 7 разрядов (* обозначает ближайшее большее целое число). Так как потеря полезной информации из-за квантования сигнала при тг = 12 чрезвычайно мала, а при т, = 8 ведёт к недопустимой потере информации (ошибка измерения смещения возрастает почти в два раза), то компромиссным значением является тг = 10, при котором потеря информации о параметре сдвига составляет 0,1 бита из 7. С учётом вариации значения ошибки при вариации статистик изображения на практике рационально использование вычислителя с разрядностью оценки смещения тг= 8.

Коррелятор является самой сложной частью синтезируемой системы измерения смещения сигнала. Будем считать, что априорное значение смещения изображения от измерения к измерению составляет аА№ т. е. а пикселов. При этом количество значений вычисляемых коэффициентов корреляции составляет п = 2а* + \. В прецизионной следящей системе стабилизации изображения частота измерения должна выбираться достаточно большой для того, чтобы смаз изображения не проявлялся. Для этого необходимо, чтобы выполнялось условие а < 1. Вычисления заметно упрощаются, если обеспечивается условие а < 0,5. Отметим, что значение

смещения изображения на пол пиксела за время кадра было зафиксировано как эмпирическая оценка без учёта обработки изображений и стабилизации растра. Малое значение сдвига сигнала за время считывания измерительной строки ведёт к необходимости и достаточности вычисления взаимной корреляции в трёх точках: с нулевым сдвигом и со сдвигом на пиксел влево и вправо.

Сложность вычисления взаимной корреляции соседних строк во многом связана с операцией умножения. Для облегчения аппаратной реализации коррелятора целесообразно перейти от прямого вычисления произведений разных сигналов к несколько более просто организуемой операции возведения в квадрат. Возможность такой реализации определяется всем известной формулой

1-

ад

К(0)

Данная формула изменяет структуру вычислителя, который изменяет смысл формируемых трех статистик: теперь это значения дисперсий разностных сигналов, £>_ь А), А, разрядность которых 2т + 1о&/т/А:

• предыдущей строки и сдвинутой на пиксел влево текущей строки £>_1,

• предыдущей строки и текущей строки Оо,

• предыдущей строки и сдвинутой на пиксел вправо текущей строки В\. При любом из этих способов вычисления корреляции в схему

коррелятора входит устройство задержки на строку и три устройства задержки на элемент (рис. 4) с совокупной сложностью («/+3)т.

Рис. 4. Функциональная схема коррелятора с вычислением дисперсий

приращения сигналов Сложность коррелятора при прямом методе вычислений определяется сложностью входящих в него умножителя и накапливающего сумматора 1¥к~У+3)т + 3(т2 + т) + 4(2 т + 1о&/т/Д). В диссертационной работе была выявлена необходимость учета аппроксимации ВКФ при малых смещениях полиномом 4 степени. Учет

данной аппроксимации позволит существенно повысить точность оценки смещения.

В целом, аппроксимирующая кривая ВКФ может быть определена и полиномом более высокой степени. Рассмотрим эффективность аппроксимации ВКФ при малых смещениях в зависимости от степени полинома. В качестве критерия качества возьмем показатель эффективности использования вычислительных ресурсов Лдз), связывающий потерю полезной информации Л/ (в данном случае - потерю точности измерения смещения) с вычислительной сложностью IV:

Л;(3)=С0Л/ + С,Г.

Здесь потеря полезной информации Л/ определяется как:

8т

где епр - практическая ошибка оценки смещения, ет-теоретически достижимая минимальная ошибка оценки смещения.

Рис. 5 показывает, что оптимальным полиномом для аппроксимации

Рис. 5. Зависимость потери полезной информации (ошибки оценки смещения) Д/ (штриховая линия), сложности ^(при т = 10, жирная линия) и показателя эффективности использования вычислительных ресурсов (светлая линия) от степени аппроксимирующего полинома ВКФ (ТУ) при субпиксельных смещениях

Аппроксимация полиномом 2 степени дает недостаточную точность, в то время как аппроксимация полиномом степени большей 4 при значительном увеличении вычислительной сложности приводит к незначительному уменьшению ошибки оценки смещения.

Рассмотрим алгоритм нахождения оценки смещения в случае интерполяции ВКФ полиномом 4 степени:

1. Положение минимума функций, построенной по значениям дисперсий, будет определять искомую оценку смещения. Для нахождения данного минимума, прежде всего, следует решить систему линейных уравнений:

у1 = ах,4 + Ъх 13 + сх,2 + ¿¿с, + е у 2 = ах 2 4 + Ьх 23 + сх 2 2 + с1х 2 + е у}=ах34+Ьх32+сх2~+с1х3+е у 4 = ах 4 4 + Ьх 4 3 + сх 4 2 + 4 + е 5 = ах54 + &х53 + сх 52 + £&5 + е

В данном случае неизвестными являются коэффициенты а, Ь, с, е. Для нахождения данных неизвестных требуется знать 5 точек, описывающих полином 4 степени: {х\; у!}, {хг/ уг}, {хз/ .Уз}, {хл; У4} и {х5/ ^5}. В нашем случае {х\; у\} = {-Лт; .0-1}, {х2; ут} = {Ат; £>/}, {х3;у3} = {0; О0}, {х*; уь) = {-2Аш; £>-2}, {х5/ ^5} = {2Дт; £>2}. Здесь £>_2 - дисперсия разности предыдущей строки и сдвинутой на два пиксела влево текущей, £>_1 — дисперсия разности предыдущей строки и сдвинутой на пиксел влево текущей, Во — дисперсия разности предыдущей строки и текущей строки, - дисперсия разности предыдущей строки и сдвинутой на пиксел вправо текущей строки, £Ь -дисперсия разности предыдущей строки и сдвинутой на два пиксела вправо текущей строки.

Таким образом, мы получили систему из 5 уравнений с 5 неизвестными. Можно решить данную систему различными методами, однако с точки зрения уменьшения количества математических операции в данном случае хороший результат даст метод Гаусса. Данное решение тривиально и его нет смысла приводить в тексте диссертации, отмечу лишь, что для решения данной системы по методу Гаусса требуется около 56 сложений, 64 умножения и 19 делений, что совсем немного по сравнению с другими методами.

2. После нахождения коэффициентов а, Ь, с, й, е, можем записать уравнение описывающее полином 4 степени:

у = ах 4 + Ьх3 + сх2 + <3х + е.

Далее по стандартному алгоритму находим точки экстремума данного уравнения, одна из которых будет являться искомым минимумом, а две других, точками перегиба.

Интерполяция полиномом 4 степени значений дисперсий В-2, А), £>2 обеспечивает потенциальную точность измерения смещения, и, в конечном счёте, стабилизацию изображений с маскированием шумом смаза изображения, не смотря на возмущения визирной оси телекамеры.

В диссертационной работе также был разработан алгоритм повышения частоты измерения смещения изображения, основанный на целесообразности реализации системы измерения смещения изображения в виде ВСнК с распараллеливанием считывания видеосигналов с линейных фотоприемников (рис. 6).

Рис. 6. Структурная схема виброустойчивой системы формирования

изображений с использованием СБИС ВСнК для стабилизации изображения с распараллеливанием считывания видеоинформации из вспомогательных фрагментов формирования оценок смещения изображений

Глава IV целиком посвящена апробации и внедрению разработанных методов. В ней представлены результаты, полученные в ходе проведения различных практических экспериментов и позволяющие оценить достоверность используемых подходов. Пример изображения, используемого в исследовании, и осциллограмма измерительной строки представлены на рис.7.

Рис. 7. Пример изображения, используемого в исследовании (слева), и осциллограмма измерительной строки (справа)

По результатам проведенных экспериментов получены практические данные о форме аппроксимирующей кривой АКФ изображений (рис. 8), а

также оценки измерения смещения изображения для различных сюжетов. Обоснованы различия в потенциальной точности определения координат сдвинутого изображения для основных и линейных фотоприемников.

контрастирования (справа) при аппроксимации дискретных замеров (показаны точками на рисунке) кривой 2-го (пунктир) и 4-го порядков (сплошные кривые).

Было проведено экспериментальное исследование прямого метода измерения смещения с субпиксельной точностью. Целью данного практического исследования являлась оценка ошибки измерения смещения при различных сюжетах, а также качественную оценку достоверности используемого математического аппарата.

Вычисления производились в математическом пакете МайаЪ с высокой точностью предоставления промежуточных результатов. Максимальная точность и стабильность работы алгоритма была достигнута на изображениях Земли из космоса (0,006 пиксела), максимальная погрешность наблюдалась на изображениях прозрачных предметов занимающих всю область изображения (0,07 пиксела). Для основного фотоприемника ошибка измерения, в зависимости от сюжета, составила порядка 0,03...0,09 пиксела для каждой оси, для линейных фото приемников - 0,006... 0,07 пиксела. Средняя ошибка измерения смещения составила для основного фотоприёмника 0,06 пиксела по оси X и 0,07 по оси У, для линейных фотоприёмников средняя ошибка составила 0,02 пиксела по оси X и 0,01 пиксела по оси У.

Разница точности определения координат между основным и двумя линейными фотоприёмниками обуславливается различиями в моделировании основного и вспомогательного фотоприемников в связи с тем, что площадь сформированного пиксела линейного фотоприемника в несколько раз больше площади пиксела основной матрицы. Наибольшая точность измерения смещения изображения получилась в сюжетах с большим количеством мелких деталей и высокой степенью неоднородности в связи с тем, что потенциальная точность определяется отношением сигнал/шум и среднеквадратичной полосой частот, которая может быть определена энергией производной сигнала.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В заключении обосновывается внутреннее единство решенных задач, отмечается личный вклад автора в их решение. Заключение содержит выводы по диссертации, содержащие конкретные количественные показатели эффективности разработанных методов, подтверждающие решение поставленных задач и служащие обоснованием положений выносимых на защиту.

Итак, по диссертации можно сделать следующие выводы:

1. Предложен способ прямого измерения смещения изображения, позволяющий вплотную приблизится к теоретическому пределу эффективности систем стабилизации изображения.

2. Введена необходимость учета аппроксимации взаимно корреляционной функции изображений полиномом четвертой степени при субпиксельных смещениях изображения, что позволяет добиться точности измерения смещения изображения 0,006...0,07 пиксела.

3. Разработан алгоритм определения оптимальных параметров режекторного фильтра, основанный на нахождении компромисса между потерей точности и вычислительной сложностью фильтра.

4. Расширен диапазон частот компенсируемых возмущений на 2 порядка за счет реализации системы измерения смещения изображения в виде ВСнК и распараллеливания считывания видеосигналов с линейных фотоприемников.

5. Получено экспериментальное подтверждение реализуемости и эффективности предложенных методов повышения быстродействия и точности измерительной подсистемы стабилизации изображения.

Разработанные методы повышения быстродействия и точности систем автоматической стабилизации изображения позволяют решить задачи, намеченные в федеральной целевой программе «Исследования и разработки по приоритетным направлениям развития научно-технического комплекса России» на 2014-2020 года.

Совокупность сделанных выводов и научных положений позволяет утверждать, что поставленная в диссертации задача разработки методов повышения быстродействия и точности систем автоматической стабилизации изображения решена.

СПИСОК ПУБЛИКАЦИЙ В изданиях из Перечня ВАК

1. Малашин Д. О. Автономная стабилизация изображений в процессе накопления видеоинформации [Текст] / А. К. Цыцулин, Ш. С. Фахми, А. А. Манцветов, Д.О. Малашин, И. А. Зубакин // Оптический журнал, 2012, вып. 11, с.67 - 75.

2. Малашин Д. О. Экспериментальное исследование прямого метода измерения смещения изображения с субпиксельной точностью [Текст] / Д.О. Малашин // Известия высших учебных заведений России, сер. Радиоэлектроника, 2013, вып. 3, с.55 - 58.

Патенты

3. Малашин Д. О. Видео система на кристалле для стабилизации изображения // Цыцулин А.К., Фахми Ш.С., Малашин Д.О. Патент России № 2486688. 2013. Бюл.№ 18.

4. Малашин Д. О. Устройство стабилизации изображения // Цыцулин А.К., Малашин Д.О., Зубакин И. А., Манцветов А. А. Заявка № 2012153097. Решение о выдаче патента от 15. 01. 2014.

Прочие издания

5. Малашин Д.О. Скоростное измерение смещения изображения [Текст] / Д.О. Малашин // 67 научно-техническая конференция СПбНТОРЭС : труды конференции, СПб, 2012, с. 204 - 205.

6. Малашин Д.О. Моделирование автокорреляционной функции реальных изображений при субпиксельных смещениях [Текст] / И. А. Зубакин, Д. О. Малашин // 9-ая Международная конференция "Телевидение: передача и обработка изображений": сборник докладов, СПб, 2012, с. 64 -66.

7. Малашин Д.О. Создание прикладных телевизионных камер с автоматической стабилизацией изображения на основе субпиксельного измерения смещения изображения [Текст] / Д. О. Малашин // 68 научно-техническая конференция СПбНТОРЭС : труды конференции, СПб, 2013, с. 248-249.

8. Малашин Д. О. Исследование прямого метода измерения смещения изображения с субпиксельной точностью [Текст] / Д. О. Малашин // 10-ая Международная конференция "Телевидение: передача и обработка изображений": сборник докладов, СПб, 2013, с. 81-84.

Подписано в печать 10.04.14. Формат 60*84 1/16. Бумага офсетная. Печать цифровая. Печ. л. 1,0. Тираж 100 экз. Заказ 24.

Отпечатано с готового оригинал-макета в типографии издательства СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» имени В. И. Ульянова (Ленина)

На правах рукописи

04201459279 Малашин Дмитрий Олегович

МЕТОДЫ ПОВЫШЕНИЯ БЫСТРОДЕЙСТВИЯ И ТОЧНОСТИ СТАБИЛИЗАЦИИ ИЗОБРАЖЕНИЯ В ПРИКЛАДНЫХ ТЕЛЕВИЗИОННЫХ

КАМЕРАХ

Специальность: 05.12.04 - Радиотехника, в том числе системы и

устройства телевидения

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата технических наук

Научный руководитель д.т.н., проф. Цыцулин А.К.

Санкг- Петербург — 2014

ОГЛАВЛЕНИЕ

стр.

Список используемых сокращений.............................................. 4

Введение................................................................................ 5

1 Обзор известных систем автоматической стабилизации изображения, постановка задачи................................................... 10

1.1 Виды современных систем стабилизации изображения.......... 10

1.2 Системы автоматической стабилизации изображения на

основе косвенных методов измерения смещения изображения. 28

1.3 Системы автоматической стабилизации изображения на

основе прямых методов измерения смещения изображения..... 31

1.4 Выводы и постановка задач исследования........................... 45

2 Структурный синтез прецизионной быстродействующей системы стабилизации изображения....................................................................................47

2.1 Структурный синтез фотоприемного блока прецизионного быстродействующего измерителя смещения изображения..... 47

2.2 Система автоматического управления в телевизионной камере с прецизионной быстродействующей системой стабилизации изображения............................................ 53

2.3 Выводы.................................................................... 58

3 Разработка методов повышения быстродействия и точности измерения смещения изображения.......................................... 59

3.1 Разработка прямого метода измерения смещения изображения

с субпиксельной точностью............................................. 59

3.2 Разработка метода для определения интерполирующей функции ВКФ видеосигналов дополнительных фотоприемников при малых смещениях.............................. 67

3.3 Разработка алгоритма определения оптимальных параметров режекторного фильтра................................................... 76

Разработка алгоритма сокращения вычислительной сложности

3 4

вычислителя ВКФ......................................................... 84

3.5 Разработка метода повышения частоты измерения смещения изображения................................................................ 87

3.6 Выводы....................................................................... 91

4 Апробация и внедрение разработанных методов.......................... 93

4.1 Модельное исследование формы аппроксимирующей кривой АКФ изображений......................................................... 93

4.2 Экспериментальная проверка формы аппроксимирующей

кривой АКФ изображений............................................... 101

4.3 Экспериментальная проверка точности прецизионного измерения смещения в зависимости от сюжетов изображения.. 108

4.4 Макет видеокамеры с субпиксельным измерителем

смещения..................................................................................................................................................118

4.5 Выводы..............................................................................................................................................119

Заключение........................................................................................................................................................124

Список использованных источников..........................................................................................128

Приложение А..................................................................................................................................................139

Приложение Б..................................................................................................................................................157

Приложение В..................................................................................................................................................161

Приложение Г (Акты о внедрении)..............................................................................................163

СПИСОК ИСПОЛЬЗОВАННЫХ СОКРАЩЕНИЙ

АКФ Автокорреляционная функция

АРВН Автоматическое регулирование времени накопления

АЦП Аналого-цифровой преобразователь

ВКФ Взаимно корреляционная функция

ВСнК Видеосистема на кристалле

ИС Измеритель смещения

ИУ Исполнительное устройство

КУ Комплекс управления

О Основание

ОБПФ Обратное быстрое преобразование Фурье

ОЦ Оптическая цепь

плис Программируемая логическая интегральная схема

пэ Подвижный элемент

СБИС Сверхбольшая интегральная схема

ско Среднеквадратичное отклонение

скси Система контроля смещения изображения

УСО Устройство стабилизации основания

УФ Устройство фиксации

ФП Фотоприемник

ВВЕДЕНИЕ

Диссертация посвящена решению части крупной научно-технической проблемы видеоинформатики - стабилизации изображения в прикладных телевизионных камерах для использования, в первую очередь, в движущихся по неровным дорогам и бездорожью транспортных средствах. При этом акцент делался на частной, но достаточно актуальной задаче компенсации смаза изображения, вызываемого колебаниями визирной оси телекамеры при воздействии механических возмущений типа вибрации основания.

Актуальность темы. Актуальность этой работы связана с потребностью создания качественно нового класса телевизионных камер с автоматической стабилизацией изображения, способных компенсировать большие ускорения вибрации и обеспечивать высокую точность позиционирования исполнительного устройства в условиях жестких требований к масса-габаритным характеристикам изделия и призвана способствовать реализации федеральной целевой программы "Исследования и разработки по приоритетным направлениям развития научно-технического комплекса России" на 2014-2020 г.

Узкий диапазон компенсируемых возмущений и собственно сама проблематика совмещения изображений — «вечная» проблема телевизионной техники. Одним из основоположников решения данной проблемы является У. Прэтт, рассмотревший вопрос совмещения изображений с точки зрения корреляционной и последовательной привязок. Группе задач посвященных автоматической стабилизации изображения и извлечению максимума полезной информации из телевизионного сигнала посвятил свои работы А. К. Цыцулин. В развитие методов цифровой и электронной стабилизации изображения вклад внесли труды Р. Вудса, Р. Гопсалеса, Ю. Б. Зубарева, В. П. Дворковича, Р. Е. Быкова и др. Проблематику совмещения аэрокосмических изображений методом локальной корреляции рассмотрели А. С. Потапов, И. А. Малышев, В. Р. Луцив. Задачи, связанные с

системами контроля смещения изображения, рассмотрели такие научные деятели, как: А. Хаяши, Я. Китогава, II. Е. Конюхов, Н. В. Кравцов, П. В. Николаев, Ю. Г. Якушев и др. В решение задач, относящихся к рассматриваемой проблеме, внесли вклад Д. Н. Еськов, М. И. Кривошеев, А. В. Петраков, Б. С. Тимофеев, И. II. Пустынский, И. П. Гуров, А. А. Бузников, М. Н. Голушко. Данная диссертация является развитием известных результатов в области стабилизации телевизионного изображения с акцентированием внимания на значительном расширении диапазона компенсируемых возмущений и повышению точности систем стабилизации.

Целью работы является улучшение качества изображения прикладных телевизионных камер в жестких условиях эксплуатации. Для достижения поставленной цели были поставлены и решены следующие задачи:

1) разработка методов повышения быстродействия стабилизации изображения;

2) разработка методов достижения субпиксельной точности измерений в реальном времени малых смещений изображений;

3) апробация разработанных методов.

Основные методы исследования. Для решения поставленных в диссертационной работе задач были использованы: меч оды теории оценивания, численные методы и методы математического моделирования.

Научная новизна. Научную новизну характеризуют следующие полученные научные результаты:

1. Предложен метод стабилизации изображений, основанный на прямом методе измерения смещения с субпиксельной точностью, отличающийся тем, что позволяет существенно расширить диапазон скоростей смещения визирной оси, при которых искажения смаза маскируются шумом.

2. Введена необходимость учета аппроксимации взаимно корреляционной функции изображений полиномом четвертой степени при субпиксельиых смещениях изображения.

3. Предложен алгоритм определения оптимальных параметров режекторного фильтра, основанный на нахождении компромисса между потерей точности и вычислительной сложностью фильтра.

Практическая значимость. Практическая значимость работы определяется выигрышами, достигнутыми благодаря эффективности разработанных методов повышения быстродействия и точности систем автоматической стабилизации изображения:

• предложенный метод измерения смещения изображений позволяет вплотную приблизиться к теоретическому пределу эффективности -маскированию шумом скоростного смаза (ошибок стабилизации);

• предложенная аппроксимация взаимно корреляционной функции полиномом четвертой степени, позволяет в зависимости от сюжета добиться точности измерения смещения изображения 0,006 ...0,07 пикселя;

• определены парамефы импульсной характеристики режекторного фильтра, обеспечивающие компромисс между потерей точности и вычислительной сложностью;

• расширение диапазона частот компенсируемых возмущений на 2 порядка за счет реализации системы измерения смещения изображения в виде ВСнК и распараллеливания считывания видеосигналов с линейных фотоприемников.

Диссертация содержит введение, четыре главы и заключение. Первая глава посвящена обзору известных систем автоматической стабилизации изображения, основанных на различных методах измерения смещения изображения [1]-[90]. Основной акцент в данной главе делается на существующие ограничения в рассматриваемых системах и ставится научная задача диссертации. Рассматриваются как системы стабилизации изображения, так и методы измерения смещения. Дается объективная оценка развития рассматриваемой области знаний на сегодняшний день.

Вторая глава посвящена структурному синтезу быстродействующей прецизионной системы стабилизации изображения. Рассматриваются

различные варианты построения фотоприемного блока, состоящего из основного и измерительных фотоприемников. Освещается создание следящей системы с отрицательной обратной связью в рамках разрабатываемых методов.

Третья глава посвящена разработке методов повышения быстродействия и точности измерения смещения изображения. Приводятся подробные данные о разработанной методике синтеза телевизионных камер со стабилизацией изображения. Аналитически обосновывается использование двух дополнительных ортогональных линейных фотоприёмников и предложенной аппроксимации корреляционной функции, позволяющее существенно расширить диапазон компенсируемых возмущений визирной оси. Показывается преимущества реализации измерителя смещения изображения в виде ВСпК.

Четвертая глава целиком посвящена апробации и внедрению разработанных методов. В ней представлены результаты, полученные в ходе проведения различных практических экспериментов позволяющие оценить достоверность используемой методики. Получены практические данные о форме аппроксимирующей кривой АКФ изображений, а также оценки измерения смещения изображения для различных сюжетов. Обоснованы различия в потенциальной точности определения координат сдвинутого изображения для основных и линейных фотоприемников.

Заключение подчеркивает внутреннее единство решенных задач, новизну и значимость полученных результатов и содержит выводы по диссертации, совокупность которых позволяет сделать вывод о решении поставленной задачи — разработки методов повышения быстродействия и точности стабилизации изображения в прикладных телевизионных камерах.

Основные положения, выносимые на защиту:

1. Предложенный способ построения телекамеры с множественными потоками информации на основе считывания видеосигналов не только с основного матричного фотоприёмника, но и с двух ортогональных линейных фотоприемников, позволяет повысить быстродействие прямого измерения

смещения изображения на два порядка по сравнению с телекамерой с единственным потоком видеоинформации.

2. Аппроксимация ВКФ полиномом четвертой степени при субпиксельных смещениях изображения средней детальности позволяет повысить точность измерения смещения изображения до 2 дБ по сравнению с аппроксимацией ВКФ полиномом второй степени.

3. Порядок режекторного фильтра обострения ВКФ должен определяться исходя из формализованного компромисса между потерей точности и вычислительной сложностью фильтра.

Реализация результатов работы. Результаты работы использованы в разработках ООО «Пекод», НИР ОАО «НИИТ» и учебном процессе СПбГЭТУ «ЛЭТИ», о чём имеются акты внедрения.

Публикации. По теме диссертации опубликовано 8 работ, 2 из которых опубликованы в журнале, входящем в перечень ВАК, 4 работы содержатся в сборниках материалов научных конференций. Получен 1 патент РФ на изобретение. По одной заявке на изобретение имеется решение о выдаче патента.

Апробация работы. Основные положения диссертационной работы представлялись и обсуждались на:

- научно-технических конференциях СПбНТО РЭС имени A.C. Попова, СПб, 2012, 2013 гг.;

- международных научно-технических конференциях "Телевидение: передача и обработка изображений", СПб, 2012, 2013 гг.;

- научно-технических конференциях профессорско-преподавательского состава СПбГЭТУ «ЛЭТИ» в 2012, 2013, 2014 гг.

Структура и объем диссертации. Диссертация состоит из списка используемых сокращений, введения, 4 глав, заключения, списка использованных источников, включающего 109 наименований. Диссертация изложена на 138 страницах машинописного текста, содержит 60 рисунков и 3 таблицы.

1 ОБЗОР ИЗВЕСТНЫХ СИСТЕМ АВТОМАТИЧЕСКОЙ СТАБИЛИЗАЦИИ ИЗОБРАЖЕНИЯ, ПОСТАНОВКА ЗАДАЧИ

1.1 Виды современных систем стабилизации изображения

Перед рассмотрением непосредственно систем стабилизации изображения, следует, прежде всего, отметить параметры возмущающих воздействий. При движении транспортного средства по бездорожью возникают высокочастотные колебания от 1000 Гц и выше. Конкретный диапазон возмущающих воздействий в каждом конкретном случае разный, он определяется такими параметрами как неоднородность почвы, состав почвы, скорость движения транспортного средства, масса транспортного средства и т.д. Как правило, основные вибрации присутствуют на частотах от О до 5 кГц. Данным диапазоном и ограничимся при постановке задач диссертации.

Современные системы стабилизации изображения можно классифицировать по множеству различных критериев: по типу исполнительного устройства, по диапазону компенсируемых возмущений, по виду используемого измерителя смещения изображения, по точности стабилизации и др.

В целом, все системы стабилизации можно классифицировать по следующим видам: оптическая, механическая, цифровая, электронная, программная. Также сюда можно отнести различные комбинации представленных систем.

Целенаправленный выбор предполагаемой схемы оптического прибора со стабилизацией изображения в основном определяется принципом построения системы управления, которая обязана с высокой чувствительностью реагировать на внешние возмущения широкого спектра частот, вызвавших смещение изображения. В этом случае, при создании

системы стабилизации, можно выделить два направления. Первое направление связано с применением различных лазерных или механических высокочувствительных гироскопов, фиксирующих перемещения подвижного основания в пространстве и выдающих соответствующие сигналы на следящие системы, управляющие исполнительными устройствами прибора и компенсирующие динамические сдвиги изображения. Ко второму направлению можно отнести использование различных информационных систем контроля смещения изображения в координатных осях фокальной плоскости и с созданием замкнутых систем управления непосредственно по изображению[1].

Вернемся к основной классификации систем стабилизации. Под программной стабилизацией изображения, как правило, понимают оперирование уже готовыми потоками видеоданных. Наиболее распространенными на сегодняшний день, являются программные продукты, которые по анализу смаза изображения на полученном кадре, восстанавливают исходное изображение. Данная обработка выполняется непосредственно на персональном компьютере и занимает большое количество времени. Не так давно появилось новое направление в системах автоматической стабилизации, а именно программные системы стабилизации реального времени. Иногда их относят к классу цифровых систем стабилизации, что, по моему мнению, является более правильным. Целесообразно называть их цифровые системы стабилизации реального времени.

Цифровая стабилизация изображения реального времени может быть разделена на 3 части, а именно: предварительная обработка изображения, глобальная система оценивания движения и система сглаживания/коррекции изображения [2].Предварительная обработка изображен�