автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Адаптивный видеодатчик на базе КМОП приемника излучения с предварительной обработкой изображений

На правах рукотси

003465Э16

ТАБАСИ СЕЙЕД ХАШЕМ

АДАПТИВНЫЙ ВИДЕОДАТЧИК НА БАЗЕ КМОП ПРИЕМНИКА ИЗЛУЧЕНИЯ С ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКОЙ ИЗОБРАЖЕНИЙ

05.13.05 - Элементы и устройства вычислительной техники и систем управления

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

п

и

:з

Курск - 2009

003465916

Работа выполнена в ГОУ ВПО «Курский государственный технический университет» на кафедре вычислительной техники в совместной научно-исследовательской лаборатории Центра информационных технологий в проектировании РАН и Курского государственного технического университета «Информационные распознающие телекоммуникационные интеллектуальные системы».

Научный руководитель:

заслуженный деятель науки РФ, доктор технических наук, профессор Титов В. С.

Официальные оппоненты:

доктор технических наук, профессор Бурмака А.А.

кандидат технических наук, доцент Жмакин А.П.

Ведущая организация:

Воронежский государственный технический университет

Защита диссертации состоится «28» апреля 2009 г. в 16 часов на заседании совета по защите докторских и кандидатских диссертаций Д212.105.02 при Курском государственном техническом университете по адресу: 305040, Курск, ул. 50 лет Октября, 94 (конференц-зал).

С диссертацией можно ознакомиться в библиотеке Курского государственного технического университета.

Автореферат разослан «27» марта 2009 г.

Размещен на сайте www.kstu.kursk.ru «27» марта 2009 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу: 305040, Курск, ул. 50 лег Октября, 94, КурскГТУ, ученому секретарю диссертационного совета Д212.105.02

Ученый секретарь диссертационного совета у^. кандидат технических наук, доцент ¿1

Е.А. Титенко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. В настоящее время видеодатчики на базе КМОП приемников излучения (ПИ) применяются в различных отраслях науки, техники и промышленности: в системах управления технологическими процессами, в биомедицинских системах, системах наблюдения, охраны и безопасности, видеокамерах, фотоаппаратах, мобильных телефонах и т.д. В таких видеодатчиках имеется возможность предварительной обработки визуальной информации в процессе ее восприятия за счет объединения в пределах одного кристалла фотоприемника, устройств развертки, квантования и модулей, реализующих процедуры обработки изображения.

Наиболее распространенными процедурами обработки изображений, получаемых с видеодатчиков на базе КМОП ПИ, реализуемыми непосредственно на кристалле видеодатчика, являются процедуры преобразования изображения в цифровой формат, уменьшения шумов, компенсации эффекта размытости изображения. В системах технического зрения, построенных на основе современных видеодатчиков на базе КМОП ПИ, такие важные операции как пространственная фильтрация, интерполяция, сжатие, распознавание изображений выполняются с использованием внешних специализированных устройств обработки, что снижает быстродействие таких систем и не позволяет вести предварительную обработку изображения непосредственно в процессе его получения. Кроме того, широко используемая в современных видеодатчиках операция интерполяции изображения, при которой выполняется масштабирование (увеличение) изображения, не позволяет получать четкое изображение, поскольку используемые методы линейной, билинейной и бикубической интерполяции снижают качество изображения, что в зависимости от используемого метода и типа обрабатываемого изображения проявляется в виде блочного дефекта или снижения резкости, и вызывает необходимость разработки алгоритмов интерполяции, учитывающих особенности обрабатываемых изображений.

Поскольку априорная неопределенность условий функционирования видеодатчиков вызывает необходимость использования адаптивных алгоритмов обработки изображения, а в большинстве современных видеодатчиков на базе КМОП ПИ происходит только формирование матрицы яркостей изображения, тогда как фильтрация и интерполяция выполняются в отдельных устройствах, то аппаратная реализация адаптивных алгоритмов обработки изображения непосредственно на кристалле видеодатчика с использованием параллельных структур позволит значительно ускорить процесс обработки изображения и обеспечит расширение функциональных возможностей видеодатчика.

Таким образом, актуальной научно-технической задачей является расширение функциональных возможностей и повышение быстродействия видеодатчиков на базе КМОП ПИ за счет аппаратной реализации алгоритмов предварительной обработки изображений.

Работа выполнялась в рамках плана НИР Курского государственного технического университета по единому заказ-наряду Министерства образования РФ в 2006-2008 годах.

Цель диссертации: разработка теоретических и реализационных основ создания видеодатчиков на базе КМОП приемников излучения с возможностью

интерполяции изображений и адаптацией к изменению параметров яркости рабочей сцены на основе фильтрации в режиме реального времени.

В соответствии с поставленной целью в работе решаются следующие задачи'.

1. Сравнительный анализ современных видеодатчиков на базе КМОП приемников излучения и методов обработки изображений, используемых в них.

2. Разработка математической модели адаптивного видеодатчика на базе КМОП приемника излучения с предварительной обработкой изображений.

3. Создание аппаратно-ориентированного алгоритма пространственной фильтрации и быстрого алгоритма адаптивной интерполяции изображения.

4. Разработка структуры и принципов функционирования адаптивного видеодатчика на базе КМОП приемника излучения.

Новыми научными результатами и положениями, выносимыми на защиту, являются:

1. Математическая модель адаптивного видеодатчика с предварительной обработкой изображений, особенностью которой является учет параметров, влияющих на адаптацию к изменению рабочей сцены.

2. Алгоритм адаптивной интерполяции изображения, основанный на выборе метода линейной, билинейной или бикубической интерполяции на основе анализа перепадов яркостей пикселей изображения, и позволяющий тем самым сократить время обработки изображения по сравнению с бикубической интерполяцией.

3. Структурно-функциональная организация адаптивного видеодатчика с предварительной обработкой изображений, обеспечивающего выполнение операции пространственной фильтрации изображения фильтрами с маской 3x3 и операции масштабирования изображений, отличающаяся введением схемы фильтрации, блока вычислений и использованием аппаратно-ориентированного алгоритма фильтрации изображения скользящим окном и конвейерно-параллельной организацией вычислений.

Объект исследований - системы технического зрения на основе видеодатчиков с КМОП приемниками излучения.

Предмет исследований - методы, алгоритмы и устройства предварительной обработки изображений в видеодатчиках на базе КМОП приемников излучения.

Методы исследования. В работе использованы методы цифровой обработки сигналов и изображений, математического моделирования, теории: параллельных вычислений, алгоритмов, проектирования ЭВМ.

Практическая ценность работы состоит в том, что ее результаты являются основой для разработки широко класса систем технического зрения с использованием видеодатчиков на базе КМОП ПИ, позволяющих обеспечить предварительную обработку изображения и адаптацию устройства к изменяющейся внешней освещенности в процессе формирования изображения, и могут использоваться при создании различных адаптивных видеодатчиков для систем технического зрения мобильных роботов, автоматизированных систем охраны и наблюдения, систем биометрического контроля, бытовых фото- и видеокамер, фото- и видеокамер мобильных телефонов.

Реализация и внедрение. Результаты, полученные в диссертационной работе, использовались в технологическом процессе в ЗАО ЛВЗ «Курский», а

также используются в учебном процессе в Курском государственном техническом университете в рамках дисциплин «Цифровая обработка и анализ изображений», «Современные проблемы науки и производства», что подтверждается соответствующими актами.

Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях: VIII Международной конференции «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации «Распознавание - 2008» (г. Курск, 2008г.); научно-технической конференции «Материалы и упрочняющие технологии - 2008» (г. Курск, 2008г.); VI Международной научно-технической конференции «Современные инструментальные системы, информационные технологии и инновации» (г. Курск, 2008г.); XXXV межвузовской научно-технической конференции студентов и аспирантов в области научных исследований «Молодежь и XXI век» (г. Курск, 2007г.); а также на научно-технических семинарах кафедры «Вычислительная техника» Курского государственного технического университета и семинарах кафедры «Mathematics and Computer Science» Damghan University of Basic Sciences (г. Дамган, Иран) с 2006 по 2009 гг.

Публикации. Основные результаты диссертации отражены в 8 печатных работах. Среди них 2 статьи, опубликованные в рецензируемых научных журналах, входящих в перечень журналов и изданий, рекомендуемых ВАК.

Личный вклад автора. В работах, опубликованных в соавторстве, лично соискателем предложены: в [1-2] - алгоритм работы адаптивного видеодатчика интерполяции, общая структура видеодатчика, в [3] - алгоритм анализа яркостей пикселей изображения для определения используемого метода интерполяции, в [7] - структура видеодатчика с блоком предварительной обработки, [4-6, 8] -основные принципы функционирования и использования адаптивного видеодатчика.

Объем и структура работы. Диссертационная работа состоит из введения, четырех глав, заключения и приложений. Работа содержит 115 страниц основного текста, в том числе 35 рисунков, 10 таблиц, список использованных источников из 78 наименований и 2 приложения.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность, сформулированы цель и задачи исследования, представлены научная новизна и практическая ценность работы.

В первой главе проведен сравнительный анализ современных видеодатчиков на базе КМОП приемников излучения, выпускаемых фирмами Kodak, Micron, ZMD AG, OmniVision и др., а также методов обработки изображений, используемых в них. Показано, что в таких видеодатчиках имеется возможность осуществления предварительной обработки визуальной информации в процессе ее получения за счет объединения в пределах одной микросхемы матричного фотоприемника, устройств развертки, квантования и модулей, реализующих процедуры предварительной обработки изображения. Сделан вывод о том, что введение в кристалл параллельных структур позволит расширить функциональность системы и увеличить быстродействие видеодатчика, а также

адаптивная обработка информации, полученной с КМОП приемника излучения, дает возможность гибко изменять параметры приемника излучения с целью получения лучшего качества изображения. В качестве операций по обработке изображения, реализуемых непосредственно на кристалле видеодатчика, выбраны операции пространственной фильтрации фильтрами с маской 3x3 и интерполяции, как наиболее часто используемые на практике.

Во второй главе разработана модифицированная математическая модель адаптивного видеодатчика (АВ) на базе КМОП приемника излучения, позволяющая получить распределение значений яркости цифрового изображения в зависимости от яркости объектов рабочей сцены .

Математическая модель АВ основана на известной математической модели адаптивного видеодатчика с пространственно-временной фильтрацией и отличается введением модели обработки сигнала изображения. Также составляющими математической модели АВ являются математическая модель рабочей сцены математическая модель КМОП ПИ математическая модель аналого-цифрового преобразования сигнала РЛЦП и математическая модель обработки сигнала изображения :

^ЛВ ~ { ^РС > ^ПИ ' ^ЛЦП » ^О } > (О

= (2) Математическая модель рабочей сцены записывается в виде

где - освещенность изображения, тс - показатель преломления среды; топт -коэффициент пропускания оптической системы; 1пк1(хгх2) - функция яркости объектов рабочей сцены; / - фокусное расстояние объектива; О - диаметр

входного зрачка; т = \-~-<0 - коэффициент увеличения линзы; ^ - расстояние

от входного зрачка до изображения; Л-, и Х2 - горизонтальные и вертикальные размеры выбранной плоскости проекции, в которой введена система координат О*,х,; т и / - горизонтальные и вертикальные размеры целочисленной решетки, наложенной на всю область X, х X, или на некоторую ее подобласть.

Математическая модель КМОП ПИ позволяет определить зависимость

величины сигнала на выходе приемника излучения «(;,,<) от освещенности изображения и имеет вид

О = (4)

где (, - ток, возникающий вследствие поглощения потока фотонов фотоэлементом пикселя КМОП ПИ в течение времени /.

Математическая модель ПИ запишется как:

/-1 у) <-1 /-1

Q,,(',)={

(i,-О. о< i, <

ÉL,

(6)

где w:¡ - внутрипиксельный коэффициент усиления (ВКУ) КМОП ПИ, gtJ -коэффициент передачи КМОП ПИ с активными пикселями; ОД/,) - заряд, накопленный на фотодиоде вследствие протекания тока i, =(£,„,) + v; '„»(f,.,) -фототок, образованный под воздействием освещенности £/1Ч,; - темновой ток фотодиода; 2V - общая величина заряда шума КМОП ПИ (включающая заряд дробового шума, заряд теплового шума, заряд шума фиксированной разводки), .t.. - выходной сигнал пикселя КМОП ПИ, содержащий полезный сигнал и шум. Данная модель позволяет учесть внутрипиксельный коэффициент усиления, а также суммарное значение шумовой составляющей сигнала.

В результате аналогово-цифрового преобразования получается описание цифрового изображения Y(i,j) в виде функции яркости объектов рабочей сцены Loh¡. Математическая модель аналого-цифрового преобразования элемента изображения записывается следующим образом:

FAim = Y('> Л = [клцпич+ч)ы + АД (7)

где [] - операция определения наибольшего целого числа; и,нцы- дискретный аналоговый сигнал с КМОП ПИ; Ai - шаг квантования; клцп - коэффициент

передачи АЦП; Aja - погрешность преобразования АЦП, представляющая смещение характеристики преобразования по у'-му сигналу. Изменение коэффициента передачи АЦП к^ позволяет изменять диапазон выходного сигнала.

Таким образом:

y(U)=1кАЦП

(8)

На выходе КМОП ПИ получаем матричное описание изображения в виде

Щ/> =

Уи Уп Уп Уг\ Уп Угз Ун У32 Лз

Уи У21 У*

(9)

У«] Утг2 Уиг! '" Ут/ _ Математическая модель обработки сигнала изображения зависит от используемых операций обработки. Операция фильтрации и разработанная процедура интерполяции, в общем случае, входят в класс процедур обработки изображения скользящим окном. Таким образом, математическая модель обработки сигнала изображения в общем случае представляется в виде:

= 05 0<л, йт, 0<п2 </)], (10)

где Р(ц) - представляет описание выходного изображения, С - оператор преобразования. Так для операции фильтрации множество выходных значений результирующего изображения запишется в виде:

= 0<л2 </(11)

н »,

где /г(/',7';л,,и2) - коэффициенты фильтра, зависящие от значений яркости входного изображения.

Общую математическую модель АВ запишем в виде:

1 —, е[0,Х,], х2с[0,Х2], / = ГЙ, / = 177;

1 + 4||(1-т)

"('..О(0+бл)=IIV

{¡,■1), 0</,<

а»,'

а», и

а».

= 05О^п, ¿(Я, 0 £ я, £/)]

.(12)

Изменяя параметры фильтрации Л(1,У;л,,л2) можно увеличивать или уменьшать значения яркостей выходного изображения /■"(!, у') и так выполнять адаптивную подстройку выходного сигнала видеодатчика к изменяющимся параметрам рабочей сцены (уменьшать яркость сильно освещенных фрагментов сцены и увеличивать яркость затемненных участков), выполнять выделение контуров на изображении и пороговую обработку.

Таким образом, математическая модель адаптивного видеодатчика отличается введением модели обработки сигнала, и позволяет учесть параметры обработки изображения для адаптации видеодатчика к изменению рабочей сцены.

В третьей главе рассмотрены алгоритм адаптивной интерполяции изображения и алгоритм фильтрации изображения. Представлены результаты моделирования разработанных алгоритмов. Разработаны схема для реализации алгоритма фильтрации в видеодатчике.

Широко используемые методы билинейной, бикубической и интерполяции методом ближайшего соседа ухудшают изображение наличием блочного дефекта или снижают резкость изображения, из-за чего теряется граница между объектами. В связи с этим, алгоритм адаптивной интерполяции должен с одной стороны сохранять четкие границы на изображении, а с другой - не допускать возникновения дефектов. Для выполнения интерполяции предложен алгоритм, основанный на комбинации известных алгоритмов билинейной, бикубической и интерполяции методом ближайшего соседа, использующий информацию о расположении однородных областей на изображении. При определении границы областей учитывается тот факт, что область может быть одного цвета, но иметь различные участки интенсивности. Таким образом, к границе относится не только область цветового перехода (например, красный - синий), но и область яркостного

перепада (например, с интенсивности 0 до 255) в рамках одной цветовой плоскости.

Выделение однородных областей на изображении выполняется следующим образом. Первоначально на изображении производится выделение контуров для нахождения однородных областей изображения. В соответствии с заданным коэффициентом масштабирования эти области увеличиваются. Для каждой увеличенной области значения яркостей для новых пикселей рассчитываются на основе значений яркостей пикселей, входящих в эту область на исходном изображении. Новые пиксели добавляются в области, что вызывает увеличение площади области, тогда как граница между областями увеличивается только в длину. Таким образом, площади областей растут пропорционально коэффициенту масштабирования, а ширина границы не меняется, что позволяет избежать эффекта утолщения и размытия границы.

Обработка изображения для выделения перепадов яркостей по каждой цветовой компоненте выполняется следующим образом: GR(i, Л = ^,Д(1',7)2+л2Я(/,;)!

GG(/,7) = VilG(/,y)3 + i,G(i,y)!,, (13)

CB(i, j) =

где GR(i,j), GG(i,j), GB(i,j) - значения градиента по каждой из цветовых плоскостей для пикселя с координатами (i,j), Si(i,j) и S2(i,j) - величины, определяемые с помощью масок Собела, R[i,j), G(i,j), B(i, j) - значения яркостей пикселя изображения Y{i,j) в красной, зеленой и синей цветовых плоскостях соответственно.

После выделения перепадов яркостей на исходном изображении выполняется вычисление новых значений координат для масштабируемого изображения следующим образом. Существует равномерная сетка координат размером щ х/, узлов. В узлах сетки известны значения некоторой функции Y(i,j). Требуется перейти от сетки п\ х/, к равномерной сетке щ х/2, покрывающей ту же область, и вычислить значения функции f(i,j) на сетке т2х/2. В качестве узлов сетки выступают координаты пикселей, в качестве функции - яркости пикселей в зависимости от пространственных координат по каждому цветовому каналу.

В матричном представлении изображения процесс интерполяции записывается:

' /и А, •• Л. / ' Уп Уп У, 3 ■■ Ук

/и /и /в •• Л. >2! Ун Уи ■• Ун,

пи,)' /з, Лг /зз ■■ = / Уп Ум У» ■■ Уит ,кт

L...2 -/да,,* з ч У-. У",' ■■ y-j.. )

где '",„„ *(,„, - размерность выходного изображения, Щ„*1,„ - размерность входного изображения, / - оператор интерполяции, кт - коэффициент масштабирования. Координаты (¡Л исходного изображения преобразуются в координаты (/'/,//) конечного изображения. В предложенном алгоритме предполагается, что кт -целое.

После преобразования координат на основе анализа перепадов яркостей соседних пикселей исходного изображения вычисляются значения яркости пикселей для нового изображения. Последовательность операций в алгоритме интерполяции следующая:

1. Выделение перепадов яркостей на исходном изображении по формуле (13).

2. Расчет координат нового изображения.

3. Вычисление новых значений яркостей:

3.1 Для текущего изображения: если /,=/•*« и у',= ¡-кщ, то переход к 3.2, иначе к 3.3.

3.2 Присвоить /О',,у,) = >(:',у), переход к 3.6.

3.3 Определение разницы между яркостями соседних точек:

тах {| £ (/+1, у +1) - у) |,| £(/ +1, у +1) - £(,' +1, у) |,

\g(.i + l,j + l)-g(iJ + mgO + lЛ-g(.iJ)\, (15)

где g(i,j) - значения яркости на градиентном изображении (полученном

после выделения контуров), тах{) - функция, возвращающая максимальное

из переданных ей значений, 11 - оператор взятия по модулю.

3.4 Если разница между яркостями соседних четырех точек на изображении с выделенными перепадами яркостей более в пределах 2% (процент подобран экспериментально^ диапазона шкалы яркостей, что для шкале яркостей [0, 255] составляет 5 единиц, то переход к 3.5, иначе новое значение вычисляется в соответствии с правилом ближайшего соседа:

/(>1-ах0,),-ау0), «ели ах0 = тЩах^ах^), ау„ = тт(ауа,ау,) /"(/, + а*,— ау0), если а*, = гшп(шг0,аг,), ау0 = тт(ауа,ау,)

/(W.) =

(16)

/('i-aw'i + ay.). ГСЛ" ax0 = mm(ax0,ai,), ау1=тт{ау„ау,')

/(/1 + аг1,у| + о}'1), если ах, = minÇa-r^or,), ау, = min(ay0,яу,) где ах0, ау0, ах,, ay¡ - расстояния по горизонтали и по вертикали до ближайших четырех точек с известными координатами, определяемые как:

-^j,ax, = l-axa, ау, = (^,щ = \-ау„ (17)

где ( ) - операция определения дробной части скобочного выражения. Переход к шагу 3.6.

3.5 Рассматриваются следующие случаи, соответствующие 4 типам границ (рассматривается попадание точки в квадрат с координатами (0,0), (0,1), (1,0), (1,1) - которые представляют собой относительные координаты ближайших соседей точки с неизвестной яркостью):

1) если ^(у(0,1)-у(0,0))2 +(>>(1,1)->-(1,0))2 >7 - вертикальная граница, где Т - порог, подбираемый экспериментально, то

{/^-wxO.jl-gJ -алИ.+ 1>1/д>-| ____

-—--,, , - , если ах.. <- ах.

Переход к 3.6.

2) если J(y(l,0)-у(О.О))1 +(у(1,\)~у(0,1))2 > Г - горизонтальная граница, то

/(¡,.j,)=

/«,-,„„ и/.

, если ау„ <= ау1 , если ау„ > ау,

(19)

Переход к 3.6.

3) если | v(l,l)->'(0.0)|>n (77 - порог, подбираемый экспериментально),

/(w,) =

если yjaл'„: + ау„2 ^ yjax^ + öj, .

(20)

Переход к 3.6.

4) если |Я0,1)-Я1.0)|>П,то

/(W,) =

yjaxo + аУ\ a + •

(21)

»ÖVfi*

Переход к З.б.

5) если ни одно из четырех условий не выполняется, то расчет нового значения яркости выполняется известным алгоритмом бикубического масштабирования.

3.6 Если просмотр изображения закончен, то к шагу 4, иначе переход к следующему пикселю и к 3.1. 4. Конец.

Экспертная оценка результатов моделирования разработанного алгоритма адаптивной интерполяции изображений показала, что вертикальные и горизонтальные границы у интерполированных изображений получаются более четкими, чем у бикубического метода, что достигается за счет использования алгоритма определения вида границы, а также использования для однородных областей с малыми перепадами яркости (в пределах 2% от диапазона шкалы яркостей) метода ближайшего соседа. Реализация данного алгоритма возможна с использованием стандартных программных компонент (яой-ядер) фирмы ХШпх семейства \^г1ех 4.

Далее рассматривается алгоритм фильтрации изображения, определяемой выражением (11). При адаптивной фильтрации параметры фильтра зависят от яркости пикселей входного изображения, причем алгоритмы расчета параметров фильтра широко представлены в литературе по обработке изображений.

В разработанном аппаратно-ориентированном алгоритме фильтрации изображений коэффициенты фильтра задаются постоянными или же вычисляются

с помощью известных алгоритмов на основе анализа яркостей изображения предыдущего кадра и хранятся в памяти. Размер фильтра выбран 3x3, поскольку фильтры с таким размером обладают простотой схемотехнической реализации. При поступлении нового кадра выполняется фильтрация изображения в соответствии с заданными коэффициентами фильтра. В аппаратной реализации фильтра используются схема на логических элементах и параллельных сумматорах (рисунок 1).

^а_ р : г

: —

Б!

V0j.ll -НИИ)"

а) б)

Рис. 1 -Схема для реализации операции пространственной фильтрации изображения окном 3x3; а) схема реализации умножения чисел А г и 5<; б) схема для реализации фильтрации изображения окном 3x3

Умножаемые числа Аг и Вь соответствующие значениям яркости пикселя и коэффициента фильтра представляются в виде битовых последовательностей я7аба5д4йЗа2а1оО и ЫЬ6Ь5МЬЪЫЬШ. Промежуточные результаты умножения двух бит й/ и образуют бит Су, и затем с помощью параллельных сумматоров формируются суммы г,. Таким образом, в блоках 57-£9 выполняется умножение.

Расчет нового значения яркости пикселя при фильтрации изображения маской 3x3 выполняется следующим образом:

р а, л = у (' -1,у - о ■ я (/ -1, у -1) + с;,у -1) • и а, у - о + + ^(1 + 1,у- 1). н (. + 1,у- 1)+ I, л - Ж<- 1, Л + (22)

+ Р (/, Л • и (', Л + + 1. У) ■ я (¡+ 1, у) + Р (/ - 1, у + 1) • Я (! - 1, у + 1) + + /Г(/,у + ])• я (/, у + 1)+ Р(/ + 1, у + 1). я (/+ I, у + 1), где р (/, у) - новое значение яркости пикселя изображения, Н - матрица фильтра для изображения К

Аппаратно-ориентированный алгоритм фильтрации изображения базируется на логических операциях и операциях сложения, и его реализация на ПЛИС без использования микропроцессорных устройств позволит обеспечить фильтрацию изображения в реальном времени.

В четвертой главе разработана структура адаптивного видеодатчика на базе КМОП приемника излучения с цифровыми пикселями с предварительной обработкой. Представлена структурно-функциональная организация блока предварительной обработки изображения. Проведена оценка быстродействия

13

Приведены

результаты экспериментальных

разработанного видеодатчика, исследований.

Структурно-функциональная организация адаптивного видеодатчика на базе КМОП приемника излучения с цифровыми пикселями с предварительной обработкой изображений представлена на рисунке 2.

Адаптивный видеодатчик содержит следующие блоки: КМОП ПИ с цифровыми пикселями (ЦП) и буферной схемой; блок управления, содержащий схемы обеспечения доступа к строкам матрицы ПИ, схемы формирования сигналов сброса и выбора строки, схему формирования сигналов считывания пикселя, схему формирования тактовых и управляющих сигналов; контроллер для формирования команд и сигналов интерфейса с блоком обработки верхнего уровня, представляющего собой ЭВМ или специализированный процессор; блок вычислений, содержащий память для хранения изображения предыдущего кадра и отфильтрованного изображения текущего кадра, и предназначенный для выполнения операций фильтрации и расчета коэффициентов адаптивных фильтров.

Адрес строки

Вхолно] тактовый ситаал

считывание

Блок управления

счетчика Управление

считыванием

буфером Частота

фильтрации

Коэффициент^*® фильтра

Коэффициенты ЗхЗхВ

КМОП ПИ с цифровыми пикселями

Буфер

Схема фильтрации

изображение

Память

Контроллер для формирования команд и сигналов интерфейса

Выходное тактовый

Память

Выходной тактовый

видеодагчиха

данные 8 ►

Блок вычислений

Рис. 2 - Структурно-функциональная организация адаптивного видеодатчика на базе КМОП приемника излучения с цифровыми пикселями с предварительной обработкой изображений

Устройство работает следующим образом: КМОП ПИ получает цифровое изображение объектов рабочей сцены, которое считывается под управлением блока управления. Считывание осуществляется построчно путем задания блоком управления адреса строки КМОП ПИ. Адреса строк формируются блоком управления начиная с нулевого. Значение адреса может быть получено и от устройства управления верхнего уровня через контроллер для формирования команд и сигналов интерфейса. В процессе считывания выполняется фильтрация изображения пространственным фильтром с коэффициентами, задаваемыми контроллером для формирования команд и сигналов интерфейса. Затем байт изображения передается в память блока вычислений. После обработки в блоке

вычислений, кадр изображения поступает в контроллер формирования команд и сигналов интерфейса, откуда передается управляющей ЭВМ (выход датчика). Считывание изображения также возможно без использования схемы фильтрации. В таком случае изображение считывается блоками по 9 элементов.

Основными элементами блока вычислений являются: память, матричный сумматор, матричный вычитатель, матричный умножитель, схема управления. При реализации данного блока как внешнего устройства он может быть реализован на базе стандартных программных компонент (вой-ядер) фирмы ХШпх.

Для реализации методов пространственной фильтрации изображения непосредственно на кристалле видеодатчика разработана структурная схема матрицы цифровых пикселей, представленная на рисунке 3.

да -------------1рмг«ин|Л

Лилооврвжо»___.___________ . _

вшммЗП Г71 * ~ ;!

ть»м> V (««миии -

Рис. 3 - Структурная схема матрицы цифровых пикселей

Матрица цифровых пикселей содержит следующие блоки: блок управления, 8-разрядный счетчик, приемник излучения (ПИ), компаратор (К), 8-разрядный запоминающий элемент (ЗЭ), буфер для хранения строки изображения, схему фильтрации.

КМОП ПИ получает изображение объектов рабочей сцены, которое считывается в буфер управлением контроллера. Приемник излучения формирует сигнал, пропорциональный уровню своей освещенности. Считывание сигнала с ПИ происходит под управлением линий «Сброс», «Чтение», «ДКВ» (двойная коррелированная выборка). Каждый раз в цикле считывания запускается 8-разрядный счетчик, рост значений которого соотнесен с ростом пилообразного напряжения, подаваемого на второй вход компаратора. При равенстве напряжений на входах компаратора, на его выходе формируется сигнал, разрешающий запись

значения счетчика в ячейку ЗЭ. Таким образом, в ЗЭ записывается цифровое значение яркости пикселя. Запись значений из ЗЭ в выходной буфер выполняется по сигналу «Выборка строк». Запись строк выполняется последовательно в буферную схему. Непосредственно в буфере хранятся 4 строки изображения. На схему фильтрации поступают 9 байт изображения из трех последних строк, соответствующие окну 3x3. Эти же 9 байт передаются на выход схемы для сохранения текущего кадра изображения. Коэффициенты фильтрации задаются также блоком управления. В процессе фильтрации строки изображения, в буфер выполняется запись новой строки, и таким образом, обеспечивается конвейерно-параллельная обработка пикселей изображения. Группа сигналов «Управление фильтрацией» включает в себя сигналы выборки столбца, выбора строки буфера, разрешение записи, разрешения выдачи информации. Фильтрация выполняется с частотой, задаваемой блоком управления. Алгоритм фильтрации строки изображения окном 3x3 реализован на логических элементах.

Для сравнительного анализа полученных в ходе моделирования параметров разработанного видеодатчика были использованы видеодатчик MT9M413C36STM фирмы Micron с подключением к ПЭВМ и видеодатчик Atmel ATMOS 1М60 с подключением к сигнальному процессору для выполнения операций фильтрации и интерполяции изображений, не реализуемых непосредственно в данных видеодатчиках. Основные параметры сравниваемых датчиков представлены в табл. 1.

Таблица 1 - Параметры видеодатчиков

Параметры Видеодатчики

АВ MT9M413C36STM ATMOS 1М60

Число элементов, пиксели 1280x1024 1280x1024 1312x1024

АЦП, бит 8 10 8, 10, 12

Ввод и обработка 30 10 16

изображения фильтром с фиксированной маской, кадров/с

Ввод и обработка 30 8 15

изображения адаптивным

фильтром (адаптация по 9-ти

соседям), кадров/с

Получение увеличенного 0,2 1 (бикубическая 0,5

изображения в 2 раза (для (адаптивный интерполяция) (билинейная

изображений с плавными метод) интерполяция)

цветовыми переходами), с

Получение увеличенного 0,7 1 0,5

изображения в 2 раза (для

изображений с множеством

резких цветовых переходов), с

При выполнении интерполяции скорость обработки зависит от вида изображения. Для изображений с множеством деталей скорость обработки быстродействующего видеодатчика и видеодатчиков-аналогов практически не отличаются, поскольку используется метод билинейной или бикубической интерполяции. Для таких изображений качество интерполяции выше, чем у бикубического метода, за счет сохранения четких вертикальных и горизонтальных границ. Выигрыш в скорости заметен для изображений с однородными областями, где использование адаптивного алгоритма позволяет сократить количество вычислений. При выполнении операций обработки изображения фильтрами с фиксированной и адаптивной маской выигрыш в скорости достигается за счет аппаратной реализации операции фильтрации в разработанном видеодатчике. Таким образом, разработанная схема и алгоритмы обработки изображения позволяют получить обработанное изображение до 2-х раз быстрее по сравнению с известными устройствами.

В заключении сформулированы основные результаты диссертационной работы.

В приложениях приведены графические результаты обработки тестовых изображений, акты о внедрении, листинги программ, реализующих разработанные алгоритмы.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

При решении поставленной в диссертационной работе задачи были получены следующие результаты.

1. По результатам анализа существующих методов и устройств фильтрации сигнала в видеодатчиках разработана математическая модель адаптивного видеодатчика с предварительной обработкой изображений, отличающаяся введением модели обработки сигнала и позволяющая учесть параметры обработки изображения для адаптации видеодатчика к изменению рабочей сцены.

2. Разработаны алгоритм адаптивной интерполяции изображения, основанный на комбинации алгоритмов линейной, билинейной и бикубической интерполяции и аппаратно-ориентированный алгоритм пространственной фильтрации изображения, позволяющий сократить время обработки изображений.

3. Разработана структурная схема адаптивного видеодатчика с предварительной обработкой изображений на базе КМОП приемника излучения с цифровыми пикселями, обеспечивающего фильтрацию и адаптивную интерполяцию изображения непосредственно в процессе его получения, отличающиеся использованием параллельных структур и позволяющие повысить быстродействие за счет конвейерно-параллельной организации вычислений.

4. Сравнительный анализ характеристик разработанного адаптивного видеодатчика и устройств обработки изображений на основе видеодатчиков-аналогов показал, что разработанный видеодатчик обладает расширенными функциональными возможностями, а скорость получения выходных изображений с учетом выполнения операций фильтрации или интерполяции (масштабирования) у разработанного видеодатчика до 2-х раз выше.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ Статьи в журналах, входящих в перечень ВАК РФ

1. Табаси, С.Х. Оптико-электронный адаптивный датчик на базе КМОП приемника излучения [Текст] / С.Х. Табаси, B.C. Панищев // Датчики и системы. -2009. -№2.-С. 23-25.

2. Табаси, С.Х. Алгоритм адаптивной интерполяции изображений [Текст] / С.Х. Табаси, B.C. Панищев, B.C. Титов // Телекоммуникации. - 2009. - № 1. - С. 16-19.

Монографии

3. Табаси, С.Х. Параграф 6.3. Адаптивный видеодатчик с аппаратной коррекцией внутрипиксельных коэффициентов усиления КМОП приемника излучения [Текст] И В.С Яковлева, B.C. Панищев, B.C. Титов. Монография «Адаптивные видеодатчики на базе КМОП приемников излучения с активными пикселями». Курск, гос. техн. ун-т., Курск, 2008, 100с.

Материалы конференций

4. Табаси, С.Х. Биометрическая система идентификации человека на основе искусственной нейронной сети [Текст] / С.Х. Табаси, В.П. Решетникова // «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» Распознавание - 2008. Материалы VIII Международной конференции. г.Курск. - 2008. - Т2. С.75-77.

5. Табаси, С.Х. Построение адаптивных видеодатчиков на основе КМОП приемников излучения [Текст] / С.Х. Табаси // «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» Распознавание - 2008. Материалы VIII Международной конференции. г.Курск. - 2008. - Т2. С. 117-119.

6. Табаси, С.Х. Аппаратно-программный комплекс для испытаний адаптивного видеодатчика [Текст] / С.Х. Табаси // Современные инструментальные системы, информационные технологии и инновации. Материалы VI Международной научно-технической конференции: в 2 ч. 4.2 / редкол.: Е.И. Яцун [и др.]; Курск, гос. техн. ун-т. Курск, 2008 г. с. 162 - 164.

7. Табаси, С.Х. Устройство для оптической диагностики на базе КМОП-датчика [Текст] / С.Х. Табаси, В.П. Решетникова// Материалы IX Международной научно-практической конференции «Современная техника и технологии в медицине, биологии и экологии» / Юж.-Рос. гос. техн. ун-т (НПИ). -Новочеркасск: ЮРГТУ, 2008. - С.31 - 32.

8. Табаси, С.Х. Уменьшение внутренних шумов видеодатчиков [Текст] / С.Х Табаси, В.С Панищев, B.C. Яковлева // Материалы научно-технической конференции «Материалы и упрочняющие технологии-2008». г.Курск. - 2008. -С.278 - 280.

Соискатель

Подписано к печати 03 Формат 60x84 1/16.

Печатных листов 1.0 Тираж 100 экз. Заказ 20 Издательско-полиграфический центр Курского государственного технического

университета. Курский государственный технический университет. 305040, г. Курск, ул. 50 лет Октября, 94.

ВВЕДЕНИЕ

1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ СОВРЕМЕННЫХ 10 ВИДЕОДАТЧИКОВ НА БАЗЕ КМОП ПРИЕМНИКОВ ИЗЛУЧЕНИЯ И МЕТОДОВ ОБРАБОТКИ ИЗОБРАЖЕНИЙ, ИСПОЛЬЗУЕМЫХ В НИХ

1.1. Методы обработки изображений

1.2. Современные видеодатчики на основе КМОП приемников 29 излучения

Выводы

2. МАТЕМАТИЧЕСКАЯ МОДЕЛЬ АДАПТИВНОГО 52 ВИДЕО ДАТЧИКА НА БАЗЕ КМОП ПРИЕМНИКА ИЗЛУЧЕНИЯ С ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКОЙ ИЗОБРАЖЕНИЙ

Вывод

3. СОЗДАНИЕ АППАРАТНО-ОРИЕНТИРОВАННОГО АЛГОРИТМА 61 ПРОСТРАНСТВЕННОЙ ФИЛЬТРАЦИИ И БЫСТРОГО АЛГОРИТМА АДАПТИВНОЙ ИНТЕРПОЛЯЦИИ ИЗОБРАЖЕНИЯ

3.1. Алгоритм адаптивной интерполяции

3.2. Аппаратно-ориентированный алгоритм пространственной 74 фильтрации изображений

Выводы

4. СТРУКТУРНО-ФУНКЦИОНАЛЬНАЯ ОРГАНИЗАЦИЯ 84 АДАПТИВНОГО ВИДЕОДАТЧИКА С ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКОЙ ИЗОБРАЖЕНИЙ.

4.1. Структурно-функциональная организация КМОП видеодатчика

4.2. Оптико-электронный адаптивный датчик на базе КМОП 86 приемника излучения

4.3. Адаптивный видеодатчик с предварительной обработкой 90 изображений

4.4. Моделирование параметров адаптивного видеодатчика на базе 96 КМОП приемника излучения с предварительной обработкой изображений

Выводы

Актуальность. В настоящее время видеодатчики на базе КМОП приемников излучения (ПИ) применяются в различных отраслях науки, техники и промышленности: в системах управления технологическими процессами, в биомедицинских системах, системах наблюдения, охраны и безопасности, видеокамерах, фотоаппаратах, мобильных телефонах и т.д. В таких видеодатчиках имеется возможность предварительной обработки визуальной информации в процессе ее восприятия за счет объединения в пределах одного кристалла фотоприемника, устройств развертки, квантования и модулей, реализующих процедуры обработки изображения.

Наиболее распространенными процедурами обработки изображений, получаемых с видеодатчиков на базе КМОП ПИ, реализуемыми непосредственно на кристалле видеодатчика, являются процедуры преобразования изображения в цифровой формат, уменьшения шумов, компенсации эффекта размытости изображения. В системах технического зрения, построенных на основе современных видеодатчиков на базе КМОП ПИ, такие важные операции как пространственная фильтрация, интерполяция, сжатие, распознавание изображений выполняются с использованием внешних специализированных устройств обработки, что снижает быстродействие таких систем и не позволяет вести предварительную обработку изображения непосредственно в процессе его получения. Кроме того, широко используемая в современных видеодатчиках операция интерполяции изображения, при которой выполняется масштабирование (увеличение) изображения, не позволяет получать четкое изображение, поскольку используемые методы линейной, билинейной и бикубической интерполяции снижают качество изображения, что в зависимости от используемого метода и типа обрабатываемого изображения проявляется в виде блочного дефекта или снижения резкости, и вызывает необходимость разработки алгоритмов интерполяции, учитывающих особенности обрабатываемых изображений.

Поскольку априорная неопределенность условий функционирования видеодатчиков вызывает необходимость использования адаптивных алгоритмов обработки изображения, а в большинстве современных видеодатчиков на базе КМОП ПИ происходит только формирование матрицы яркостей изображения, тогда как фильтрация и интерполяция выполняются в отдельных устройствах, то аппаратная реализация адаптивных алгоритмов обработки изображения непосредственно на кристалле видеодатчика с использованием параллельных структур позволит значительно ускорить процесс обработки изображения и обеспечит расширение функциональных возможностей видеодатчика.

Таким образом, актуальной научно-технической задачей является расширение функциональных возможностей и повышение быстродействия видеодатчиков на базе КМОП ПИ за счет аппаратной реализации алгоритмов предварительной обработки изображений.

Работа выполнялась в рамках плана НИР Курского государственного технического университета по единому заказ-наряду Министерства образования РФ в 2006-2008 годах.

Цель диссертации: разработка теоретических и реализационных основ создания видеодатчиков на базе КМОП приемников излучения с возможностью интерполяции изображений и адаптацией к изменению параметров яркости рабочей сцены на основе фильтрации в режиме реального времени.

В соответствии с поставленной целью в работе решаются следующие задачи:

Выводы

1. Разработана структурно-функциональная организация ряда адаптивного видеодатчика с предварительной обработкой изображения на базе КМОП приемника излучения.

2. Анализ характеристик разработанного адаптивного видеодатчика и устройств обработки изображений на основе видеодатчиков-аналогов показал, что разработанный видеодатчик обладает расширенными функциональными возможностями, а скорость получения выходных изображений с учетом выполнения операций фильтрации или интерполяции (масштабирования) у разработанного видеодатчика до 2-х раз выше.

ЗАКЛЮЧЕНИЕ

При решении поставленной в диссертационной работе задачи были получены следующие результаты.

1. По результатам анализа существующих методов и устройств фильтрации сигнала в видеодатчиках разработана математическая модель адаптивного видеодатчика с предварительной обработкой изображений, отличающаяся введением модели обработки сигнала и позволяющая учесть параметры обработки изображения для адаптации видеодатчика к изменению рабочей сцены.

2. Разработаны алгоритм адаптивной интерполяции изображения, основанный на комбинации алгоритмов линейной, билинейной и бикубической интерполяции и аппаратно-ориентированный алгоритм пространственной фильтрации изображения, позволяющий сократить время обработки изображений.

3. Разработана структурная схема адаптивного видеодатчика с предварительной обработкой изображений на базе КМОП приемника излучения с цифровыми пикселями, обеспечивающего фильтрацию и адаптивную интерполяцию изображения непосредственно в процессе его получения, отличающиеся использованием параллельных структур и позволяющие повысить быстродействие за счет конвейерно-параллелыюй организации вычислений.

4. Сравнительный анализ характеристик разработанного адаптивного видеодатчика и устройств обработки изображений на основе видеодатчиков-аналогов показал, что разработанный видеодатчик обладает расширенными функциональными возможностями, а скорость получения выходных изображений с учетом выполнения операций фильтрации или интерполяции (масштабирования) у разработанного видеодатчика до 2-х раз выше.

1. Табаси, С.Х. Оптико-электронный адаптивный датчик на базе КМОП приемника излучения Текст. / С.Х. Табаси, B.C. Панищев // Датчики и системы. 2009. - № 2. - С. 23-25.

2. Табаси, С.Х. Алгоритм адаптивной интерполяции изображений Текст. / С.Х. Табаси, B.C. Панищев, B.C. Титов // Телекоммуникации. 2009. - № 1. -С. 16-19.

3. Табаси, С.Х. Уменьшение внутренних шумов видеодатчиков Текст. / С.Х Табаси, В.С Панищев, B.C. Яковлева // Материалы научно-технической конференции «Материалы и упрочняющие технологии-2008». г.Курск. 2008. — С.278 - 280.

4. Tabasi, S.H. Homoclinic Bifurcation in a Non-Smooth Differential Equation with Quasiperiodic Behavior Text. / S.H. Tabasi , ZH.T. Zhusubaliyev, V.S. Titov, S.Yu. Chevychelov. Journal ofDamghan University of Basic Sciences, volume 1, № 2 2008 . c. 57-62.

5. Tabasi, S.H. Chaotic and Quasiperiodic Oscillations in Piecewise Smooth Dynamical Systems Text. / S.H. Tabasi , ZH.T. Zhusubaliyev, S.Yu. Chevychelov. Journal ofDamghan University of Basic Sciences, volume 1, № 2 — 2008 . c. 63-68.

6. Методы компьютерной обработки изображений Текст. / Под ред. В.А. Сойфера. М.: Физматлит. - 2001. - 784 с.

7. Обработка изображений и цифровая фильтрация Текст.: Пер. с англ. под ред. Т. Хуанга. М.: Мир. - 1979.

8. Прэтт, У. Цифровая обработка изображений: В 2-х кн. Текст. / Прэтт У.; пер. с англ. под ред. Д.С. Лебедева. М.: Мир, 1982. - 2 кн., 790 с.

9. Кун С. Матричные процессоры на СБИС Текст. / С. Кун; пер. с англ. Ю.Г. Дадаев и др.; под ред. Ю.Г. Дадаева. М.: Мир, 1991. - 672 с.

10. Вакунов, Н.В. Вейвлет-преобразование в обработке и анализе изображений Текст. / Н.В. Вакунов, А.Л. Жизняков М.: Государственный научный центр Российской Федерации - ВНИИгеосистем, 2004. — 102 е.: ил.

11. Хуанг, Т.С. Быстрые алгоритмы в цифровой обработке изображений Текст. / Т.С. Хуанг, Дж. О. Эклунд. Г. Дж. Нусбаумер и др.: Под ред. Т.С. Хуанга; Пер. с англ. под ред Л.П. Ярославского. М. Радио и связь, 1984. - 221 с.

12. Блейхут, Р. Быстрые алгоритмы цифровой обработки сигналов Текст. / Р. Блейхут: пер. с англ. М.: Мир, 1989. - 448 с.

13. Ильин, А.А. Быстрые алгоритмы цифровой обработки сигналов Текст. / А.А. Ильин, B.C. Титов, Е.В. Евсюков; Учеб. пособие Тула: Изд-во ТулГУ, 2004.- 125 с.

14. Калинкина, Д. Проблема подавления шума на изображениях и видео и различные подходы к ее решению Электронный ресурс. / Д. Калинкина, Д. Ватолин // Электронный журнал «Графика и мультимедиа»; http://cgm.graphicon.ru/content/view/74/28/. 2005. - № 2.

15. Пахомов, С. ПЗС- и КМОП-ПИ для цифровых фото- и видеокамер Текст. / С. Пахомов // Компьютер-пресс. 2001. № 12.- С. 127-132.

16. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле Текст. / В.В. Березин, А.А. Умбиталиев, Ш.С. Фахми, А.К.

17. Цыцулин, Н.Н. Шипилов; под ред. А.А. Умбиталиева и А.К. Цыцулина. М.: Радио и связь, 2006. - 300с.

18. Методика построения и анализа формирователей изображения с фотоприемными матрицами ресурс Интернет. // http://www.ssga.ru/eossib/malin-inono/index.html

19. Электронно-оптические преобразователи ресурс Интернет. // http://www.piter.com/book/978594723953

20. Tian, Н. Analysis of Temporal Noise in CMOS APS. Text. / H. Tian, B. Fowler, A. ElGamal.// Proceedings of the SPIE, vol. 3301, (San Jose, CA), January 1998.

21. Tian, H. Noise analysis in CMOS image sensors Text. / H. Tian Stanford: Stanford University, 2000 - 114 p.

22. El Gamal, A. Modeling and Estimation of FPN Components in CMOS Image Sensors. Text. / A. El Gamal, B. Fowler, H. Min, X. Liu. // Proceedings of the SPIE, vol. 3301, (San Jose, CA), January 1998.

23. Dierickx, B. CMOS image sensors: Concepts. Text. / В Dierickx // Photonics West 2000 Short Course, San Jose, CA, 2000. 64p.

24. Этапы обработки цифрового изображения ресурс Интернет. // http://cifra.nl.by/info-254.html.

25. Software for the intelligent cameras ресурс Интернет. // www.siemens.com/automation.

26. Smart cameras IVC-2D, IVC-3D ресурс Интернет. // www.sick.com.

27. AVT Active FirePackage: The New AVT Software Package Text. // EyesOnVision, №11, 2007. p. 6.

28. ActivVisionTools ресурс Интернет. // http://www.theimagingsource.com

29. Marston, N. Solid-state imaging: a critique of the CMOS sensor N. Marston Text. / Edinburgh: The University of Edinburgh, 1998. -263 p.

30. Пат. 6115066 США, МКИ H 04 N5/217. Image sensor with direct digital correlated sampling Text. / S.M. Gowda, H.J. Shin, H-S.P. Wong, P.H. Xiao, J. Yang № 876694; заявлено 12.06.1997; опубл. 05.09.2000. - 12c.

31. Пат. 5883830 США, МКИ G 11 С 11/34; G 11 С 11/36. CMOS imaging device with integrated flash memory image correction circuitry Text. / R. Hirt, M. Rollender № 855658; заявлено 13.05.1997; опубл. 16.03.1999. - 12c.

32. Пат. 7061524 США, МКИ Н 04 N5/228. Motion/saturation device and method for synthesizing high dynamic range motion blur free images from multiple capture. Text. / X.Liu, A. El Gamal № 09/992408; заявлено 13.11.2001; опубл. 13.06.2006.-23 с.

33. Claus G., at al, Particle Tracking using CMOS Monolithic Active Pixel SensorText. / G.Claus, at al. Nuclear Instruments and Methods in Physics Research, 2001, V. A465,pp.l20-124.

34. Claus G., at al, Monolithic active pixel sensors for a linear collider, Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, 2001, V. A 473, pp.83-85.

35. Создан объемный датчик изображения ресурс Интернет. // http://\vw\v. ixbt.com/news/

36. Сысоева, С. Актуальные технологии и применения датчиков автомобильных систем активной безопасности. Часть 2. Подробнее об элементной базе автомобильных видеокамер ресурс Интернет. // http://www.kit-e.ru/

37. Chen, Т. Digital camera system simulator and applications Text. / T. Chen -Stanford: Stanford University, 2003 131 p.

38. Школа схемотехнического проектирования устройств обработки сигналов ресурс Интернет. // http://www.compitech.ru/

39. Кнышев, Д. А. ПЛИС фирмы "Xilin" :описание структуры основных семейств Текст. : Справочник / Д.А.Кнышев, М.О.Кузелин. -М.:ДОДЭКА-ХХ1. -2001.-238с.

40. Фрунзе, А. Однокристальные микроЭВМ Текст. / Фрунзе А., Хоркин С. //Радио. 1994.-№№1-12.

41. Лебедев, О.Н. Применение микросхем памяти в электронных устройствах Текст.: Справ, пособие / О.Н. Лебедев-М.: Радио и связь. 1994. - 216 с.

42. Разработка устройств сопряжения для персонального компьютера тапа IBM PC Текст. / Под редакцией Ю.В. Новикова. Практ. пособие М.:ЭКОМ. -1997. - 224 с.

43. Пат. № 2299521 РФ, МКИ H04N3/14. Однокристальный адаптивный видеодатчик Текст. / B.C. Яковлева, М.И. Труфанов, B.C. Титов. -№2005132710/09; заявлено 24.10.2006; опубл. 20.06.2007, Бюл. №14. 8с.

44. Киселев, А.В. Современные микропроцессоры Текст. / В.В. Корнеев, А.В. Киселев М.: Нолидж, 2000. - 320 с.

45. Сырямкин, В.И. Системы технического зрения: Справочник Текст./ В.И. Сырямкин, B.C. Титов, Ю.Г. Якушенков и др. // Под общей редакцией В.И. Сырямкина, B.C. Титова. Томск: МГП "РАСКО". - 1993. - 367 с

46. Тенденции и перспективы развития ПЛИС и их применение при проектировании аппаратуры ЦОС ресурс Интернет. // http://www.compitech.ru/

47. Тербер, К. Дж. Архитектура высокопроизводительных вычислительных систем Текст. / Пер. с англ.— М.: Наука. Главная редакция физико-математической литературы, 1985.— 272 с.

48. Шпаковский, Г.И. Архитектура параллельных ЭВМ Текст. / Г.И. Шпаковский; Учеб. пособие для вузов. -Мн.: Университетское, 1989. 192 с.

49. Кун С. Матричные процессоры на СБИС Текст. / С. Кун; пер. с англ. Ю.Г. Дадаев и др.; под ред. Ю.Г. Дадаева. М.: Мир, 1991. - 672 с.

50. Архангельский, А.Я. Программирование в С++ Builder 5-Текст. / А.Я. Архангельский. -М.: ЗАО «Издательство БИНОМ», 2000г. — 1152 с.

51. Угрюмов, Е.П. Цифровая схемотехника: Учебное пособие для вузов Текст. / Е.П. Угрюмов. Спб.: БХВ-Петербург, 2004. - 800 с.

52. Порев, В.Н. Компьютерная графика Текст. / В.Н. Пореев. — Спб.: БХВ-Петербург, 2002. 432 с.

53. М. Бондаренко, В. Гриценко Реализация фильтров с бесконечной импульсной характеристикой на FPGA ресурс Интернет. // htlp://www.chipinfo.m/click.html?tid=:topliles&id=925

54. Макконел, Дж. Анализ алгоритмов. Вводный курс. Текст. / Дж. Макконел; пер. с англ. С.К. Ландо. М.: Техносфера, 2002. 304 с.

55. TMS320C6000 CPU and Instruction Set Reference Text. / Guide Literature Number: SPRU189F October 2000.

56. Guibert L, Attia M. Optical processing at the driver's service // Conference Towards an Intelligent Transport System. Proceedings of the First World Congress on Applications of Transport Telematics and Intelligent Vehicle-Higway Systems.

57. Новая DSP-архитектура NeuroMatrix и традиционный RISC единое вычислительное ядро процессора NM6403 Электронный ресурс. // http://www.osp.ru/os/1999/05-06/04.htm - 2002г.

58. Нейрокомпьютеры архитектура и реализация. Часть 3.2. Аппаратная реализация нейровычислителей Электронный ресурс. // http://www.chipinfo.ru/literature/chipnews/200101/24.html - 2002г.

59. Панищев, B.C. Использование ретиноподобных структур в адаптивных видеодатчиках Текст. / B.C. Панищев, B.C. Яковлева // Известия КурскГТУ. -2004. -№2(13). -С. 112-117.

60. Degtyarev, S.V. Adaptive Image Sensor with Reconfigurable Parameters and Structure Text. / S.V. Degtyarev, V.S. Yakovleva // Pattern Recognition and Image Analysis. 2005. - Vol. 15, №. 2. - P. 472-473.

61. Жуковский, Д.В. Проектирование системы технического зрения для управления транспортным роботом Текст. / Д.В. Жуковский, С.В. Дегтярев, B.C. Яковлева // Приборостроение. 2005. - т.48, №2. - С.39-44.

62. Яковлева, B.C. Структурная организация адаптивного видеодатчика для СТЗ мобильного робота Текст. / B.C. Яковлева, С.В. Дегтярев // Сборникматериалов VI Международной конференции Распознавание-2003. Курск, 2003. - С. 112-114.

63. Пат. № 2251735 РФ, МКИ G06K9/46. Устройство для обработки изображений Текст. / А.Е. Архипов, B.C. Яковлева, С.В. Дегтярев, B.C. Титов. -№2003123313; заявлено 16.09.2003; опубл. 10.05.2005, Бюл. №13. 5с.

64. Atmel Corporation ATMOS-1M30 / 1М60 Data Sheet Electronic resource. // Internet. http://www.atmel.com/dyn/resources/proddocuments/doc5429.pdf.

65. Казанцев, Г. Д. Измерительное телевидение Текст. / Г.Д.Казанцев, М.И. Курячий // М.: Высшая школа, 1994. 288 с.

66. Якушенков, Ю.Г. Теория и расчет оптико-электронных приборов: Учебник для студентов вузов Текст. / Ю.Г. Якушенков. М.: Логос. - 1999. -480 е.,

67. Афанасьев, В.Н. Математическая теория конструирования систем управления Текст. / В.Н. Афанасьев, В.Б. Колмановский, В.Р. Носов -М.: Высш. Шк. 1989. - 447 с.

68. Справочник по теории автоматического управления Текст. / Под ред. :Крассовского А.А. М.: Наука. - 1987. - 254 с

69. Афанасьев, В.Н. Алгоритмическое конструирование систем управления с неполной информацией. Учебное пособие Текст. / В.Н. Афанасьев, А.Н. Данилина. -М.: изд. МИЭМ. 1985. - 94с.

70. Изерман, Р. Цифровые системы управления Текст. / Р. Изерман. М.: Мир, 1984.

71. Gallant М. An Efficient Computation-Constrained Block-Based Motion Estimation Algorithm for Low Bit Rate Video Coding Text. / M. Gallant et al. // IEEE Transactions on Image Processing, vol. 8, no. 12, Dec. 1999.

72. Olivieri, S. Noise-robust recursive motion estimation for H.263-based videoconferencing systems Text. / S. Olivieri, G. de Haan, L. Albani. Proc. Int. Workshop on Multimedia Signal Processing, Sep, 1999, Copenhagen, pp. 345-350.