автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Адаптивный видеодатчик с пространственно-временной фильтрацией на базе КМОП приемника излучения с активными пикселями

На правах рукописи

ЯКОВЛЕВА ВЕРА СЕРГЕЕВНА

АДАПТИВНЫЙ В11ДЕОДАТЧИК С ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ ФИЛЬТРАЦИЕЙ НА БАЗЕ КМОП ПРИЕМНИКА ИЗЛУЧЕНИЯ С АКТИВНЫМИ ПИКСЕЛЯМИ

05.13.05 - Элементы и устройства вычислительной техники и систем управления

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Курск-2006

Работа выполнена на кафедре "Вычислительная техника" Курского государственного технического университета

Научный руководитель:

заслуженный деятель науки РФ, доктор технических наук, профессор Титов B.C.

Официальные оппоненты:

доктор технических наук, профессор Бурмака А. А.

кандидат технических наук, Рубанов А. Ф.

Ведущая организация: Воронежский государственный технический университет

Защита диссертации состоится «28» декабря 2006 г. в 16 часов на заседании диссертационного совета Д212.105.02 при Курском государственном техническом университете по адресу: 305040, Курск, ул. 50 лет Октября, 94 (конференц-зал).

С диссертацией можно ознакомиться в библиотеке Курского государственного технического университета.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу: 305040, Курск, ул. 50 лет Октября, 94, КурскГТУ, ученому секретарю диссертационного совета Д212.105.02

Автореферат разослан «*7 » ноября 2006 г.

Ученый секретарь диссертационного совета — кандидат технических наук, доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. В настоящее время видеодатчики применяются в различных отраслях науки, техники, и промышленности: в системах управления технологическими процессами, в биомедицинских системах, системах наблюдения, охраны и безопасности, бытовых видеокамерах, фотоаппаратах, мобильных телефонах и т.д.

Перспективным подходом к созданию видеодатчиков является их разработка на базе КМОП приемников излучения (ПИ). В таких видеодатчиках имеется возможность осуществления предварительной обработки визуальной информации в процессе ее восприятия за счет объединения в пределах одной микросхемы фотоприемника, устройств развертки, квантования и модулей, реализующих важнейшие процедуры обработки изображения, в частности, фильтрацию.

Основным недостатком видеодатчиков на базе КМОП ПИ является наличие шумов на получаемом изображении, что обусловливается как особенностями функционирования отдельных узлов прибора, так и внешними условиями (изменение освещенности, движение камеры или объектов рабочей сцены). Существующие алгоритмы фильтрации сигнала в видеодатчиках позволяют воздействовать только на определенный вид шума (пространственный или временной). В свою очередь в алгоритмы временной фильтрации часто необходимо встраивать процедуры компенсации размытости изображений движущихся объектов. Кроме того, априорная неопределенность условий функционирования вызывает необходимость адаптации видеодатчика к изменяющейся внешней освещенности. В то же время до сих пор не разработаны алгоритмы пространственно-временной фильтрации сигнала в видеодатчиках на базе КМОП ПИ, адаптивные к изменению внешней освещенности и движению объектов.

Перспективным подходом для создания адаптивного видеодатчика с пространственно-временной фильтрацией сигнала является использование метода алгоритмического конструирования, позволяющего проводить автоматическую настройку параметров видеодатчика, влияющих на адаптацию, с учетом изменения условий освещенности и движения объектов.

Таким образом, актуальной научно-технической задачей является снижение уровня шума в видеодатчике в условиях изменения внешней освещенности и при движении объектов.

Диссертационная работа выполнена в рамках фундаментальных исследований с госбюджетным финансированием, которые велись и ведутся в Курском государственном техническом университете (госбюджетные НИР: 1.1.00 «Теоретические основы и аппаратная реализация оптико-электронной системы распознавания, работающей в статическом и динамическом режимах» (№ гос. регистрации 01200013028, 2000-2004 гг.), 1.1.05 «Исследование теоретических основ, методов и алгоритмов повышения качества обработки изображений в системе технического, зрения» (№ гос. регистрации 01200508819, 2005 г.), а . также . хозяйственного договора 1.37.02 «Разработка программных средств обработки измерительной информации».

Цель диссертации: разработка на основе метода алгоритмического конструирования видеодатчика с пространственно-временной фильтрацией сигнала, -адаптивного к изменению внешней освещенности и движению объектов и

.. .обеспечивающего снижение уровня шумов в режиме реального времени.

, ; < Задачи исследований: . . ,

1.Сравнительный анализ современных методов и устройств, снижения уровня .1 пространственных и временных - шумов в видеодатчиках и определение, путей

повышения качества фильтрации сигнала.

2.Разработка математической модели адаптивного видеодатчика с пространственно-временной фильтрацией сигнала на основе метода алгоритмического конструирования.

3.Создание метода и алгоритма пространственно-временной фильтрации сигнала с адаптацией к изменению внешней освещенности.

4.Разработка метода компенсации размытости изображения, возникающей вследствие движения объектов.

5.Разработка основных принципов функционирования и структурных схем адаптивного видеодатчика.

Научная новизна работы:

1.Разработана математическая модель адаптивного видеодатчика с пространственно-временной фильтрацией,; включающая математическую модель формирования изображения КМОП ПИ и математическую модель пространственно-временной фильтрации сигнала на основе метода алгоритмического конструирования, позволяющую учесть параметры, влияющие на адаптацию к изменению внешней освещенности, и компенсировать размытость изображений движущихся объектов.

2.Созданы метод и алгоритм пространственно-временной фильтрации сигнала, основанные на математической модели адаптивного видеодатчика с пространственно-временной фильтрацией, отличающиеся использованием в качестве коэффициентов передачи фильтра внутрипиксельных коэффициентов усиления КМОП ПИ и позволяющие обеспечить увеличение отношения сигнал/шум и стабилизацию уровня выходного сигнала видеодатчика в условиях изменяющейся внешней освещенности.

3.Создан метод компенсации размытости изображения, основанный на объектном подходе к компенсации движения, отличающийся коррекцией яркостей только движущихся объектов кадра и позволяющий скомпенсировать размытость их изображений.

4.Разработана структурная схема адаптивного видеодатчика с пространственно-временной фильтрацией, отличающаяся аппаратной реализацией созданных алгоритмов фильтрации и обеспечивающая снижение уровня шумов в режиме реального времени.

Методы исследования. В работе использованы методы теории матричного исчисления, теории управления линейными и стохастическими системами, теории сигналов, теории оптимальной фильтрации, теории проектирования ЭВМ.

Практическая ценность работы:

Разработанная математическая модель пространственно-временной фильтрации сигнала видеодатчика может быть использована при создании различных адаптивных видеодатчиков, которые могут применяться, прежде всего, в системах технического зрения мобильных роботов, системах охраны и наблюдения, системах биометрического контроля, бытовых фото- и видеокамерах, фото- и видеокамерах мобильных телефонов.

Созданная структурная схема адаптивного видеодатчика с аппаратной коррекцией внутрипиксельных коэффициентов усиления КМОП ПИ обеспечивает адаптацию устройства к изменяющейся внешней освещенности в процессе формирования изображения.

Разработанные структурные схемы адаптивного видеодатчика с пространственно-временной фильтрацией, устройств вычисления внутрипиксельных коэффициентов усиления приемника излучения, устройства компенсации размытости изображений движущихся объектов позволяют повысить качество изображения, что существенно облегчает его дальнейший анализ.

Реализация и внедрение. Результаты, полученные в диссертационной работе, внедрены в ООО «Дукат» при разработке системы контроля за процессом загрузки

ячменя и солода, использованы в ООО «Электрокомплект» при создании системы видеонаблюдения, а также используются в учебном процессе в Курском государственном техническом университете в рамках дисциплин «Электротехника и электроника» и «Основы теории управления», что подтверждается соответствующими актами. ' '

Основные положения, выносимые на защиту;

1 .Математическая модель адаптивного видеодатчика с пространственно-временной фильтрацией, основанная на использований метода алгоритмического конструирования с применением модифицированного уравнения Винера-Хопфа и позволяющая адаптировать видеодатчик к изменению внешней освещенности и компенсировать размытость изображений движущихся объектов.

2.Метод и алгоритм пространственно-временной фильтрации сигнала, основанный на математической модели адаптивного видеодатчика с пространственно-временной фильтрацией, позволяющий обеспечить увеличение отношения сигнал/шум и стабилизацию уровня выходного сигнала видеодатчика в условиях изменяющейся внешней освещенности.

3.Метод компенсации размытости изображения движущихся объектов, основанный на объектном подходе к компенсации движения, позволяющий уменьшить размытость изображений движущихся объектов.

4.Структурные схемы адаптивного видеодатчика с пространственно-временной фильтрацией, устройств вычисления внутрипиксельных коэффициентов усиления приемника излучения, устройства устранения размытости изображения, обеспечивающие снижение уровня шумов в режиме реального времени.

Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях: 6-ой и 7-ой Международных конференциях «Распознавание образов и анализ изображений: новые информационные технологии» (г. Великий Новгород, Российская Федерация, 21-26 октября 2002 г., г. Санкт-Петербург, Российская Федерация, 18-22 октября 2004 г.); XXXI конференции «Молодёжь и XXI в» (г. Курск, Российская Федерация, 2003 г); XV и XVI Научно-технических конференциях с участием зарубежных специалистов «Датчики и преобразователи информации систем измерения, контроля и управления «Датчик-2003», «Датчик-2004» (г. Судак, Украина, 23-30 мая 2003 г., 24-31 мая 2004 г.); 6-ом Открытом российско-немецком семинаре «Распознавание образов и понимание изображений» OGRW-6-2003 (пос. Катунь, Алтайский край, Российская Федерация, 25-30 августа 2003 г.); VI и VII Международных конференциях «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации «Распознавание - 2003», «Распознавание - 2005» (г. Курск, Российская Федерация, 2225 октября 2003 г., 4-7 октября 2005 г.); XL и XLII Всероссийских научных конференциях по проблемам математики, информатики физики, химии и методике преподавания (г. Москва, Российская Федерация, 19-24 апреля 2004, 17-21 апреля 2006 г.); И, IV International Conference «Information and Telecommunication Technologies in Intelligent Systems» (Барселона, Испания, 22-29 мая 2004 г., Катанья, Италия, 27 мая-3 июня 2006 г.); а также на научно-технических семинарах кафедры «Вычислительная техника» Курского государственного технического университета с 2002 по 2006 гг.

Публикации. Основные результаты диссертации отражены в 17 печатных работах. Среди них 6 статей, опубликованных в рецензируемых научных журналах, входящих в перечень журналов и изданий, рекомендуемых ВАК, а также 1 патент Российской Федерации. '

Личный вклад автора. В работах, опубликованных в соавторстве, лично соискателем предложены: в [1-5] - структура фильтра и алгоритм пространственно-

временной фильтрации сигнала, в [6-8] - метод адаптации к изменяющейся внешней освещенности видеодатчика, в [10,11,13,17] - структурные схемы и основные принципы функционирования адаптивных видеодатчиков, в [15,16] - алгоритм : функционирования и структурно-функциональная организация устройства устранения размытости изображения.

Объем и структура работы. Диссертационная работа состоит из введения, * четырех глав, заключения и приложений. Работа содержит 113 страниц основного текста, в том числе 35 рисунков, 5 таблиц, список использованных источников из 74 наименований и 3 приложения на 3 страницах.

СОДЕРЖАНИЕ РАБОТЫ

Во сведении обоснована актуальность, сформулированы цель и задачи исследования, представлены положения, выносимые на защиту, научная-новизна и практическая ценность работы.

В первой главе проведен анализ существующих методов и устройств фильтрации сигнала в видеодатчиках. Определено, что одним из перспективных направлений решения задачи пространственно-временной фильтрации является синтез алгоритмов адаптивной фильтрации на основе метода алгоритмического конструирования. Установлено, что для качественного снижения уровня временного шума необходимо встраивать в алгоритмы временной фильтрации процедуры компенсации размытости изображений движущихся объектов. Показано, что наиболее перспективным для разработки таких алгоритмов является объектный подход. В качестве элементной базы для аппаратной реализации пространственно-временной фильтрации сигнала в видеодатчиках предложено использовать КМОП ПИ с активными пикселями, что позволит перенести часть функций по обработке сигнала в СТЗ из специализированного видеопроцессора непосредственно в видеодатчик. Сделан вывод о необходимости разработки новых методов и устройств пространственно-временной фильтрации сигнала, обладающих свойством сохранения четкости объектов и возможностью автоматической коррекции внутрипиксельных коэффициентов усиления КМОП ПИ при изменении внешней освещенности.

Во второй главе разработана математическая модель адаптивного видеодатчика (АВД) с пространственно-временной фильтрацией, позволяющая получить зависимость 1 значений яркости цифрового изображения, подвергнутого фильтрации, от яркости объектов рабочей сцены Ь0у .

Основными , составляющими математической модели АВД являются математическая модель ввода изображения Рва{ьоЬ^ и математическая модель

пространственно-временной фильтрации сигнала Рпвфс (^ви) » включающая процедуру компенсации размытости изображений движущихся объектов:

^ЛВД ~ Р~ПВФС (^ВИ (¿о/у )) ■ (!)

Математическая модель ввода изображения позволяет получить описание цифрового изображения У {},]) в виде функции яркости объектов рабочей сцены ЬоЪ] :

= х2е[0,Х2], / = 17=117, (2)

где Хх и Х2 - горизонтальные и вертикальные размеры выбранной плоскости проекции, в которой введена система координат 0х{х2; Ш п I — горизонтальные и

вертикальные размеры целочисленной решетки, наложенной на всю область х Х2 или на некоторую ее подобласть.

Математическая модель ввода изображения РдИ включает в себя математическую модель рабочей сцены Ррс, математическую модель КМОП ПИ Рпи ■ и математическую модель аналого-цифрового преобразования сигнала Рщп :

Рви (^оЬ) (*1 »*2)) = рацп [рпи *2>)))- О)

Математическая модель рабочей сцены запишется в виде

РрС = Етё = тс • топт ' ^оЬ] 'п------ > (4)

где Е1тг - освещенность изображения, тс - показатель преломления среды; топт -коэффициент пропускания оптической системы; / - фокусное расстояние объектива;

— диаметр входного зрачка; т = 1 —< 0 — коэффициент увеличения линзы;

— расстояние от входного зрачка до изображения.

Математическая модель КМОП ПИ позволяет определить зависимость величины сигнала на выходе приемника излучения .уО'у,*^) от освещенности изображения

где - ток, возникающий вследствие поглощения потока фотонов фотоэлементом пикселя КМОП ПИ в течение времени /¡т .

Математическая модель ПИ запишется как:

т I . . т I •

<=1 у=1 /=1 у=1

ОдО.)-

(h'tmth 0<is<^

(7)

int

где wtj - внутрипиксельный коэффициент усиления (ВКУ) КМОП ПИ, gg -коэффициент передачи КМОП ПИ с активными пикселями; - заряд,

накопленный на фотодиоде вследствие протекания тока is = iph{Eimg) + ijc ! iph^mg) — фототок, образованный под воздействием освещенности Eimg; — темновой ток фотодиода; Q. - заряд дробового шума; Q.. - заряд теплового шума; Qf - случайное

л ij о ■> J

значение заряда шума фиксированной разводки, Ху - выходной сигнал пикселя КМОП

ПИ, содержащий полезный сигнал и шум.

Математическая модель аналого-цифрового преобразования изображения записывается следующим образом:

Р'ацп = У(*>Л = еп((кАЦПуи+и)А1 +Аул), (8)

где еМ(*) - функция определения наибольшего целого числа, не превосходящего У()+И)&; У(]+П)ы ~ дискретный аналоговый сигнал с КМОП ПИ; Д/ - шаг

квантования; кАцП - коэффициент передачи АЦП, связанный с внутренними

параметрами микросхемы; А}а — погрешность преобразования АЦП, представляющая смещение характеристики преобразования поу'-му сигналу. .....

Таким образом, математическая модель ввода изображения Рви (3) запишется в

виде:

Рви = еп^КАЦП • [и- . Еу + £ + 0, + Я/ )) + А ув) . (9)

V ^ у у 1 о /;ц+ц)А(

Математическая модель пространственно-временной фильтрации сигнала позволяет разработать алгоритм адаптивного изменения значений ВКУ Юу в

< зависимости от значений выходных сигналов пикселей Ху, благодаря чему

обеспечивается наилучший в смысле минимума среднего квадратического отклонения (СКО) прием сигналов изображения в условиях изменяющейся освещенности:

™ц=рпвФс(*ц)' (Ю)

При реализации АВД, работающего с дискретными выборками к непрерывного процесса, изменение состояния АВД записывается в виде дискретного во времени стохастического линейного процесса

\Уор1(к + \) = Ф(к + 1,к)™ор1{к) + <й{к);

при наблюдении вида

¿(к) = Хт(к)У/ор1(к) + и(к) (12)

выходной сигнал АВД описывается уравнением

Я*) = ХГ (*)>¥(*), (13)

где We¡p,(A + l)- вектор оптимальных ВКУ на (¿ + 1) шаге; Ф(£ + 1Д) - переходная матрица состояния; \У0/7, (к) - вектор оптимальных ВКУ на (Л) шаге; а>(£) -случайный сигнал (шум); \У0/), (0) - вектор оптимальных ВКУ в начальный момент

времени; \У0 - вектор начальных значений ВКУ; - опорный сигнал; Хт (к) -

транспонированный вектор выходных сигналов элементов ПИ (смесь полезного сигнала и внешних помех); и (к) - шум наблюдения; у (к) - выходной сигнал

видеодатчика; ЛУ(£) - вектор оценки ВКУ.

При фильтрации помех в таких системах критерием эффективности 3 служит средний квадрат ошибки между неизвестным вектором оптимальных ВКУ \Уор/ (А) и

настраиваемым вектором их оценки \У(А) :

^ = (И)

Математическая модель пространственно-временной фильтрации сигнала РПВФС

состоит из математической модели формирования ВКУ на основе метода калмановской фильтрации РКФ (для случая известных статистических характеристик внутренних и

внешних шумов), математической модели формирования ВКУ на основе метода: алгоритмического конструирования с применением модифицированного уравнения. Винера-Хопфа (для случая неизвестных статистических характеристик шумов) и математической модели компенсации размытости изображения РКРИ :

Рпвфс - РКРИ {(РКФ V РАК ))■ (15);

Математическая модель формирования ВКУ на основе метода калмановской фильтрации РКФ задается следующей системой уравнений:

Р(*/*-1)=Р(*-1/*-1)+1л (16)

ггш тал i1 р(У*-Ох(*)*7(*)р(УМ

р(<Уо)=б;

где - вектор оценки ВКУ на (к) шаге; вектор оценки ВКУ на

(£-1) шаге; Р(к/к-1) - ковариационная матрица ошибки прогноза; Х(к) - вектор

выходных сигналов элементов ПИ; <т2 - дисперсия шумов КМОП ПИ; Р(£-1/Аг-1) -ковариационная матрица ошибки оценивания на (к-1) шаге; Ь - матрица, характеризующая неопределенность условий получения изображения; Р(Л/Лг) -ковариационная матрица ошибки оценивания на (к) шаге; Р(0/0) - ковариационная матрица ошибки оценивания в начальный момент времени; Е - единичная матрица, \¥(0/0) - вектор оценки ВКУ в начальный момент времени.

Математическая модель формирования ВКУ на основе метода алгоритмического конструирования с применением модифицированного уравнения, Винера-Хопфа ГАК задается следующей системой уравнений:

Рак = + \) = УГ(к)+К *ф(кЩк№(к) - Хт(к)Ъ'(к)], К'ф(к + 1) = К'ф(к)+М{^(к)-Хт(к)^Гк)]Х(к)}хМ{Х(к)Хт(к)к(к)}, ^ Цк +1) = Цк) + Е сШк) - Хг(к)ЪГ(к)]Х(к)) - К'ф(к)Х(к)Хт(к)Цк), >¥'(0) = 0,

где УР(к + 1) - матрица оценки ВКУ на (к +1) шаге; \У'(&) - матрица оценки ВКУ на (к) шаге; К.'ф(к +1) - диагональная матрица коэффициентов фильтра на (к +1) шаге; К'ф(£) - диагональная матрица коэффициентов фильтра на (к) шаге; У*(к)- матрица чувствительности; Ес - диагональная ступенчатая матрица, элементами главной диагонали которой являются выражения вида Х[</ - ХГ\У'].

Математическая модель компенсации размытости изображения РКРИ позволяет разработать алгоритм адаптивного изменения выходных значений функций яркости изображения текущего кадра У£ш в зависимости от входных значений функций яркости изображения текущего и предыдущего кадра:

УГ-Ркри(У1п{РКФ^Рак),¥^х{Ркф^Рак)), (18)

где \1к"=У(к), = У(А:-1), и У(&-1) - матрицы размера тх1 яркостей

изображения текущего и предыдущего кадра соответственно.

Математическая модель компенсации размытости изображения Екри описывается следующими выражениями: ■ -

Уг(*Д-1) = У*(А)-У(А:-1), г = Ц5, (19)

I [ 11 у

Я^М^ир.нк! пип пик! £ УГря(к/к~0

УМ

(20)

Ев ш {уу(к):Чу0(к) е Е03у^(к) е Е0: - 1},£ = \,т,С = 1,1г (2\)

Ж

= Ч(к)-к1 + У(\(к))-к2у\(к)еЕв, (22)

где V (к/к -1) - матрицы яркости изображения, вычисляющие перемещение пикселя на текущем кадре,

у (к -1)=(угр^д+, (к-1) - у^ (к))(Р=/-1,1+1;^=7=1771) ■ (( = [а-2.-2);(2.-2.0);(3.-2,+2);(4,-0.+2);1 (23)

^ )} [(5, +2,-2);(6, +2,0);(7, +2, +2);(8,0,-2) |' У* (к) - нормированная матрица яркости текущего кадра,

(*)= {ум (к) - у1 (к)){р = '"-М + П* = У-1.У + 1); (24)

®{уу(к)) - направление движения пикселя; Бир^йс^*) - функция, значением которой

является величина верхнего индекса матрицы \г {к(к -1) ; Еп - движущийся объект, представляющий собой совокупность отличных от фона точек изображения с направлением движения (&)) - градиентное изображение,

ЧУ9 (к» = (*) - У(/ (*))' + (У>У+1 (*) - У* (к))2 • (25)

Разработанные математические модели ввода изображения (9) и

пространственно-временной фильтрации сигнала Рпвфс (15) определяют математическую модель АВД с пространственно-временной фильтрацией сигнала Равд (О-

В третьей главе проведен анализ способов оценки снижения уровня шума в видеодатчике и предложено использовать для этой цели как количественный критерий (отношение сигнал/шум (ОСШ)), так и субъективную экспертизу визуального качества

и

изображения. Разработаны метод и алгоритм пространственно-временной фильтрации сигнала, метод компенсации размытости изображения, а также структурные схемы АВД, устройств формирования ВКУ и устройства компенсации размытости изображения.

Определено', что отношение сигнал/шум ц АВД на базе КМОП ПИ с активными пикселями рассчитывается по формуле

А'„

м = 201оЙ10 . *

[ | N . ....

К АЦП ' 'рА * '¡Ш

м . (26)

Я О'рЛ + ¡111 + Ос + Ок +

где К„ - коэффициент, учитывающий потери энергии сигнала в электронном тракте видеодатчика; к{ - элементы вектора К коэффициентов усиления фильтра; -дисперсия шума на стадии сброса пикселей КМОП ПИ; Оу - дисперсия шума на

стадии считывания пикселей КМОП ПИ (включая шумы квантования); Авх - площадь »

входного зрачка системы; АО - величина телесного угла; - рабочий

спектральный диапазон видеодатчика; Ьф(Х) - среднее квадратическое значение

спектральной плотности яркости «пестрого» фона; гс(Я) - спектральный коэффициент

пропускания среды на пути от излучателя до оптической системы; Бк (Л) -

спектральная характеристика приемника излучения.

Разработан метод адаптивной пространственно-временной фильтрации сигнала, заключающийся в следующем. Яркость объектов рабочей сцены в КМОП ПИ преобразуется в электрический сигнал и подвергается пространственно-временной фильтрации, которая осуществляется путем вычисления оценки весов отдельных элементов пространственного фильтра на основе минимизации СКО выходного и опорного сигналов. Важнейшей частью алгоритма пространственно-временной фильтрации сигнала является процедура вычисления оценки ВКУ. В зависимости от того, имеются ли априорные сведения о приеме сигнала, вычисление оценки ВКУ осуществляется либр на основе метода фильтрации Калмана, либо на основе метода алгоритмического конструирования с применением модифицированного уравнения Винера-Хопфа.

Алгоритм процедуры вычисления оценки ВКУ на основе метода фильтрации Калмана (16) при известных условиях получения изображения записывается следующим образом:

1 .Задать значение дисперсии шумов КМОП ПИ сг2 . 2.3адать значение матрицы Ь .

3.Установить начальные значения матрицы условия минимизации дисперсии ошибки оценивания Р(0/0) и матрицы оценки оптимальных внутрипиксельных

коэффициентов усиления \¥(0/0).

4.Измерить значения выходных сигналов пикселей КМОП ПИ. м;м ;

5.Рассчитать значение Р(к/к — 1) в соответствии с (16). ' ' ' 1

6.Рассчитать значение \У(к/к) в соотвегствии с (16).

7.Рассчитать величину выходного сигнала КМОП ПИ у (к) в соответствии с (13).

8.Рассчитать значение Р[к/к) в соответствии с (16).

9. Повторять шаги 4*8 для последующих итераций до окончания работы АВ Д.

Алгоритм процедуры вычисления оценки ВКУ на основе метода

алгоритмического конструирования с применением модифицированного уравнения Винера-Хопфа (17) при неизвестных условиях приема сигнала записывается следующим образом:

1.Установить начальные значения матрицы оценки ВКУ \У'(0), матрицы коэффициентов фильтра К^(0) , матрицы чувствительности Х(0) .

2.Измерить значения выходных сигналов пикселей КМОП ПИ.

3.Рассчитать величину выходного сигнала КМОП ПИ в соответствии с (13).

; 4.Рассчитать значение + в соответствии с (17).

5.Рассчитать значение К'ф(к + \) в соответствии с (17).

6.Рассчитать значение к(к + 1) в соответствии с (17).

7.Повторять шаги 2-5-6 для последующих итераций до окончания работы АВД.

Разработан метод компенсации размытости изображения. Сущность метода

заключается в перерасчете яркости с учетом движущихся и статичных областей изображения. Основными этапами данного метода являются:

- считывание и запоминание текущего и предыдущего кадров изображения;

- выделение на изображении движущихся пикселей на основе анализа межкадровой разности.

- определение направления движения каждого пикселя в соответствии с (19), (20), (23), (24).

- объединение движущихся в одном направлении смежных пиксели в объект в соответствии с (21).

- подчеркивание контуров движущихся объектов путем сложения их исходного и градиентного изображений в соответствии с (22), (25).

Для реализации методов пространственно-временной фильтрации сигнала и компенсации размытости изображения разработана структурная схема адаптивного видеодатчика, представленная на рис. 1.

» Устройство работает следующим образом. КМОП ПИ получает цифровое изображение объектов рабочей сцены, которое считывается под управлением контроллера. Считанная строка записывается в статическую память, откуда поступает в блок пространственно-временной фильтрации. После обработки в блоке пространственно-временной фильтрации (БПВФ) кадр изображения поступает в блок компенсации размытости изображения (БКРИ), после чего изображение подается на выход адаптивного видеодатчика.

БПВФ при известных характеристиках шумов реализует алгоритм вычисления оценки ВКУ на основе метода фильтрации Калмана, а при отсутствии априорной информации о шумах - алгоритм вычисления оценки ВКУ на основе метода алгоритмического конструирования с применением модифицированного уравнения Винера-Хопфа. В связи с большим объемом обрабатываемых данных вычисление весовых коэффициентов пространственного фильтра, которые являются коэффициентами усиления пикселей КМОП ПИ, производится построчно.

БКРИ функционирует согласно соответствующему методу.

CLKJN Г (Входной] тактовый| сигнал) I

I I t

--r^Vl

Control 21 bus { (Шина | управля-i ющих { сигнапов)| I

1 1 1 1 1 1

>s Й-3 £

SSL

Q. О

О Q.

5

о

SYSCLK (тактовая частота)

_,,10

То^аЗЗг-1^

(адрес

строки)

ГО\Л/_5й1_П

(начать считывание

(загрузить сдвиговый регистр)

кмоп пи

с активными пикселями

ГО'У

.(строка;

ш

Статическая память

Блок компенсации размытости изображения

(кадр)

/ \ Control П П bus

(Шина К тх| управляющих сигналов'

ГСМ

(строка

Блок пространственно -временной фильтрации

Control bus (Шина управляющих сигналов)

У_ОАТА [О. .7 (Видеоданные)

ськ_оит

(Выходной

тактовый

сигнал)

Рисунок 1 - Структурная схема адаптивного видеодатчика с пространственно-временной фильтрацией

Все алгоритмы реализованы аппаратно на ПЛИС ХС4\ФХ140 фирмы ХШшх семейства УШех 4, что позволяет выполнять фильтрацию сигнала в режиме реального времени. Основными элементами БПВФ и БКРИ являются: ОЗУ, матричный сумматор, матричный вычитатель, матричный умножитель, блок транспонирования, сумматор, делитель, видеопамять, схема формирования опорного сигнала. Данные блоки разработаны на базе стандартных программных компонент (БоЛ-ядер) фирмы ХШпх.

Для повышения скорости обработки и снижения структурной сложности адаптивного видеодатчика предложена реализация пространственно-временной фильтрации сигнала с использованием принципа распределенной обработки сигнала каждого пикселя КМОП ПИ. На рис. 2 изображена структурная схема адаптивного видеодатчика с аппаратной коррекцией ВКУ, способного поддерживать выходной сигнал на заданном уровне в условиях изменяющейся внешней освещенности за счет регулировки диапазона светочувствительности каждого активного пикселя (АП).

Блок формирования управляющих сигналов БФУС формирует сигналы для управления сбросом пикселей и координатной выборки сигналов пикселей. В блоке обработки сигналов пикселя БОСП производится двойная коррелированная выборка сигнала каждого пикселя. В мультиплексоре сигналов пикселя МСП производится мультиплексирование сигналов пикселей строки и их последовательная выдача на вход первого усилителя У1. В мультиплексоре коэффициентов усиления МКУ производится мультиплексирование коэффициентов усиления каждого пикселя считываемой строки и их последовательная выдача на вход второго усилителя У2. В блоке перемножения сигналов БПС производится перемножение сигналов с выходов усилителей У1 и У2 и формируется нормированный видеосигнал, который с выхода БПС подается на вход выходного усилителя ВУ и на вход АЦП. Блок формирования адреса БФАС управляет координатным доступом к каждому АП текущей строки матричного приемника излучения МПИ. В результате на выходе ВУ формируется аналоговый видеосигнал У_АКА1ХЮ, а на выходе АЦП - цифровой видеосигнал У_ОЮ1ТАЬ. ,

reset (сброс)

RF.AD& REAI

(чтение)

БФАС

rs

(выбор строки) ' cs

(выбор столбца)

serial command (команды)

reset shs shr (сброс) (выбор!) (выбор2)

БФУС

УВШГГАЬ

(цифровой выход)

Рисунок 2 - Структурная схема АВД с аппаратной коррекцией ВКУ

В четвертой главе разработаны аппаратно-программный комплекс (АПК) для проведения экспериментальных исследований АВД обеспечивающий определение отношения сигнал/шум и субъективной оценки визуального качества изображений, и методика проведения исследований. Приведены результаты экспериментальных исследований.

АПК (рис. 3) состоит из видеодатчика ВД со съемным объективом ОБ с относительным отверстием Б 1.2, осциллографа ОСЦ, ПЭВМ, осветительного устройства ОУ, люксметра ЛКМ, набора светофильтров с различными

Рисунок 3 - Структурная схема аппаратно-программного комплекса

Результаты сравнения теоретических положений и экспериментальных исследований зависимостей ОСШ и СКО шума от количества итераций в процессе адаптивной фильтрации приведены на рис. 4.

В результате экспериментальных исследований установлено: полученные экспериментальные данные практически не отличаются от теоретически рассчитанных значений ОСШ, что подтверждает адекватность разработанной математической модели АВД с пространственно-временной фильтрацией; с увеличением числа итераций процесса фильтрации значение ОСШ увеличивается, а значение СКО шума уменьшается, что объясняется более точной подстройкой ВКУ.

20

15

Ш

ч

Э о о

10

-5

-10

100 90 80 о 70 "« 60 |50

1 —

♦ без с ......■■.......эксп ......а.....теор эильтрации ериментальные значения етические оценки.

10 15 20 25 число итераций

а)

30 35

40 30 20 10 0

--

— — ь-

I

1 1 |

— —♦—без фильтрации —А—теоретические оценки —•—экспериментальные значения —1—1—I—1—1—1—I—1—|—1—I—1—|— —

1

5 10 15 20 25 30 35 число итераций

б)

Рисунок 4 - Сравнение теоретических и экспериментальных данных: а) зависимость ОСШ от числа итераций; б) зависимость СКО шума от числа итераций

Для сравнительного анализа полученных в ходе испытаний параметров АВД были использованы видеодатчик MT9M413C36STM фирмы Micron и видеодатчик Atmel ATMOS 1М60, основные параметры которых представлены в табл. 1.

Таблица 1 - Параметры видеодатчиков

Параметры Видеодатчики

АВД МТ9М413С365ТМ АТМОв 1М60

Число элементов, пиксели 1280x1024 1280x1024 1312x1024

Частота кадров, кадр/с 0-Г-500 0-5-500 48

АЦП, бит 10 10 8,10,12

Выходной сигнал, В (при уровне освещенности 10 лк) 0,305 0,147 0,177

ОСШ, дБ (при уровне освещенности 10 лк) 27 20 21

Динамический диапазон, дБ 70 62 55

Гистограммы распределения экспертных оценок по шкале Мерца-Фаулгра-Кристофера для определения эффективности метода компенсации размытости изображения, полученные образцами изображений подвижного и неподвижного объектов, сформированных АВД и видеодатчиками-аналогами при уровнях освещенности 100лк и 1000 лк, представлены на рис. 5.

неподвижный подвижный неподвижный подвижный

объект объект объект объект

а) , б)

Рисунок"5 - Экспертные оценки качества изображений: ,

; / а) уровень освещенности ЮОлк; б) уровень освещенности ЮООлк

Из анализа экспертных оценок качества изображений сделан вывод, что визуальное качество изображений, получаемых при помощи разработанного адаптивного видеодатчика с пространственно-временной фильтрацией, выше, чем . визуальное качество изображений, получаемых при помощи видеодатчиков-аналогов.

В заключении сформулированы основные результаты диссертации.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

При решении поставленной в диссертационной работе задачи были получены следующие результаты.

' 1 .Базируясь на анализе существующих методов и устройств фильтрации сигнала в ввдеодатчиках, создана математическая модель адаптивного видеодатчика с пространственно-временной фильтрацией сигнала, основанная на методе алгоритмического конструирования с применением модифицированного уравнения Винера-Хопфа, позволяющая учесть параметры, влияющие на величину внутрипиксельных коэффициентов усиления приемника излучения в условиях

изменения внешней освещенности и при движении объектов.

2.Разработаны метод и алгоритм пространственно-временной фильтрации, обеспечивающие адаптацию видеодатчика к изменяющейся внешней освещенности и позволяющие повысить отношение сигнал/шум разработанного видеодатчика. Данные метод и алгоритм включают вычисление оценки внутрипиксельных коэффициентов усиления на основе метода фильтрации Калмана в случае известных статистических характеристик помех и внутренних шумов видеодатчика, а в случае отсутствия такой информации - вычисление оценки внутрипиксельных коэффициентов усиления на основе метода алгоритмического конструирования с применением модифицированного уравнения Винера-Хопфа.

3.Разработан метод компенсации размытости изображения на основе объектного подхода к компенсации движения, заключающийся в перерасчете яркости изображения с учетом его движущихся и статичных областей и позволяющий уменьшить размытость изображений движущихся объектов, что в свою очередь обеспечивает улучшение качества изображения и облегчает его дальнейший анализ.

4.Pa3pa6oTaH¿ структурная схема адаптивного видеодатчика с пространственно-временной фильтрацией. Предложена аппаратная реализация устройств вычисления внутрипиксельных коэффициентов усиления приемника излучения и устройства компенсации размытости изображения на ПЛИС, что обеспечивает снижение уровня шума в режиме реального времени. Создана структурная схема адаптивного видеодатчика с аппаратной коррекцией внутрипиксельных коэффициентов усиления, использующая принцип распределенной обработки сигнала каждого пикселя КМОП приемника излучения.. .

5.В результате экспериментальных исследований подтверждена адекватность разработанной математической модели адаптивного видеодатчика с пространственно-временной фильтрацией, что позволяет использовать математическую модель для теоретических исследований влияния параметров разработанного адаптивного видеодатчика на качество формируемых изображений. Сравнительный анализ разработанного адаптивного видеодатчика и видеодатчиков-аналогов показал, что отношение сигнал/шум разработанного адаптивного видеодатчика на 9 дБ выше, а визуальное качество формируемых им изображений движущихся объектов на 1,6 балла ниже по шкале Мерца-Фаулера-Кристофера, что подтверждено экспертными оценками.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1.Arkhipov, A. Computer Vision System for the Walking Robot Control [Text] /

A.E. Arkhipov, S.V. Degtyarev, V.S. Yakovleva // Pattern Recognition'and Image Analysis. -2003. - Vol. 13, №. 2. - P. 199-201.

2.Панищев, B.C. Использование нейронной сети для выделения контуров объектов на изображении в системе распознавания в реальном времени [Текст] /

B.C. Панищев, А.П. Типикин, B.C. Яковлева // Телекоммуникации. - 2004. - № 8. - С. 24-28.

3.Titov, V.S. Structure of a Tunable Adaptive Videodetector [Text] / V.S. Titov, S.V. Degtyarev, V.S. Yakovleva // Pattern Recognition and Image Analysis. - 2004. - Vol. 14, №. 3. - P. 463-465.

4.Яковлева, B.C. О построении высокоскоростной системы по обработке изображений и распознаванию образов [Текст] / В.С.Яковлева, И.М.Гостев, // Приборостроение. 2005. - т.48, №2. - С.59-62.

5.Жуковский, Д.В. Проектирование системы технического зрения для управления транспортным роботом [Текст] / Д.В. Жуковский, C.B. Дегтярев, B.C. Яковлева // Приборостроение. - 2005. - т.48, №2. - С.39-44.

6.Degtyarev, S.V. Adaptive Image Sensor with Reconfïgurable Parameters and

Structure [Text] / S.V. Degtyarev, V.S. Yakovleva // Pattern Recognition and Image Analysis. -2005. - Vol. 15,№. 2. - P. 472-473.

~ 7.Titov, V. The structural organization of the adaptive image sensor with reconfigurable parameters [Text] / V. Titov, S. Degtyarev, V.Yakovleva // Pattern recognition and image understanding. Workshop proceedings of the 6th German-Russian workshop. - Novosibirsk, 2003. - P. 242-243.

8.Яковлева, B.C. Структурная. организация адаптивного видеодатчика для СТЗ мобильногб робота [Текст] / В.С.Яковлева, С.В.Дегтярев // Сборник материалов VI Международной конференции Распознавание-2003. - Курск, 2003. - С. 112-114.

9.Яковлева, B.C. Адаптивный видеодатчик на базе КМОП фотодиодной матрицы робота [Текст] / B.C. Яковлева // Сборник материалов VI Международной конференции Распознавание-2003. - Курск, 2003. - С. 115-116.

10. Яковлева, B.C. Использование ретиноподобных структур в адаптивных видеодатчиках [Текст] / B.C. Яковлева, B.C. Панищев // Известия Курского государственного технического университета. - 2004. - № 2 (13). - С. 112-117.

11. Degtyarev, S. The adaptive image sensor with reconfigurable parameters and structure S.V. Degtyarev, V.S. Yakovleva // Conference proceedings of 7-th international conference on Pattern recognition and image analysis: new information technologies PRIA-7-2004 // St. Petersburg. - 2004. - Vol. 2. - P. 566-567.

12. Яковлева, B.C. Методы построения адаптивных видеодатчиков [Текст] / B.C. Яковлева // Тез. докл. XL Всероссийской конференции по проблемам математики, информатики, физики и химии. — Москва: РУДН, 2004. - С 101-102.

13. Яковлева, B.C. Адаптивный видеодатчик с перестраиваемыми параметрами [Текст] 7 В.С.Яковлева, С.В. Дегтярев // Датчики и преобразователи информации систем измерения, контроля и управления. Сборник материалов XVI НТК с участием зарубежных специалистов; под ред. проф. В.Н. Азарова. - М.: МГИЭМ, 2004. - С. 16-17.

14. Яковлева, B.C. Анализ временного шума в КМОП-датчике изображения с APS-архитектурой [Текст] / B.C. Яковлева // Сборник материалов VII Международной конференции Распознавание-2005. — Курск, 2005. - С. 121-122.

15. Труфанов, М.И. Повышение качества изображения жидкокристаллических дисплеев [Текст] / М.И. Труфанов, B.C. Яковлева // Тез. докл. XLII Всероссийской конференции по проблемам математики, информатики, физики и химии. — Москва: РУДН, 2006, С. 145.

16. Truphanov, M.I. The image quality enhancement device for LCD TV-set [Text] / M.I. Truphanov, V.S. Yakovleva // Information and Telecommunication Technologies in Intelligent Systems. Proceedings of the 4-th International Conference, Katania, Italy. -2006. -

17. Пат. № 2251735 РФ, МКИ G06K9/46. Устройство для обработки изображений [Текст] / А.Е. Архипов, В.С.Яковлева, C.B. Дегтярев, B.C. Титов. - №2003123313; заявлено 16.09.2003; опубл. 10.05.2005, Бюл. №13. - 5с.

ИД №06430 от 10.12.01 Подписано к печати 20.11.0В Формат 60x84 1/16.

Печатных листов 1.0 Тираж 100 экз. Заказ

Курский государственный технический университет. 305040, г. Курск, ул. 50 лет Октября, 94.

Р. 32.

Соискатель