автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Метод, алгоритм и адаптивное устройство обработки изображений на базе КМОП-видеодатчиков с использованием нейроподобных структур

На правах рукописи

Мишин Александр Борисович

Метод, алгоритм и адаптивное устройство обработки изображений на базе КМОП-видеодатчиков с использованием нейроподобных структур

05.13.05 - Элементы и устройства вычислительной техники и систем управления

АВТОРЕФЕРАТ 1 7 ИЮН 2015

диссертации на соискание ученой степени кандидата технических наук

005570109

Курск-2015

005570109

Работа выполнена в ФГБОУ ВПО «Юго-Западный государственный университет» на кафедре «Вычислительная техника» в совместной научно-исследовательской лаборатории Центра информационных технологий в проектировании РАН и Юго-Западного государственного университета «Информационные распознающие телекоммуникационные интеллектуальные системы».

Научный руководитель: заслуженный деятель науки РФ,

доктор технических наук, профессор Титов В. С.

Официальные оппоненты: доктор технических наук, профессор

Бехтин Юрий Станиславович, Рязанский государственный радиотехнический университет, кафедра автоматики и информационных технологий в управлении, профессор

кандидат технических наук,

Прилуцкий Сергей Викторович,

НИИЦ (г. Курск) ФГУП «18 ЦНИИ» МО РФ,

начальник отдела

Ведущая организация: Муромский институт (филиал) федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых»

Защита диссертации состоится «1» июля 2015 г. в 14 часов на заседании диссертационного совета Д212.105.02 при ФГБОУ ВПО «Юго-Западный государственный университет» по адресу: 305040, Курск, ул. 50 лет Октября, 94 (конференц-зал).

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Юго-Западный

государственный университет» Автореферат разослан «28» мая 2015 г.

Ученый секретарь диссертационного совета

Титенко Евгений Анатольевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Одной из задач, требующих при практической реализации значительных аппаратных и временных ресурсов средств цифровой и вычислительной техники, является задача обработки изображений. Результаты исследований в области цифровой обработки изображений в геоинформационных системах, в робототехнике, полиграфии, медицине, телекоммуникациях и т.п. В настоящее время для устройств цифровой обработки изображений характерно постоянное возрастание объема обрабатываемой информации, повышение требований к качеству обработки, работа в сложной сигнально-помеховой обстановке.

При передаче данных изображения, начиная от регистрации, заканчивая отображением или хранением, информация неизбежно подвержена влиянию множества систематических и случайных шумов. В КМОП-видеодатчиках, широко используемых в качестве источников изображения для устройств вычислительной техники и систем управления на получаемое изображение влияют шумы различной природы, что вызывает необходимость использования операций, повышения резкости, увеличения чувствительности, фильтрации (подавления шумов) и т. д.

Существующие алгоритмы фильтрации изображений часто оказываются неэффективными для реальных приложений и не позволяют обеспечить обработку в реальном масштабе времени. Высокая вычислительная сложность этих алгоритмов требует использования быстродействующих элементов или увеличения аппаратной сложности устройств.

В КМОП-видеодатчиках каждый фотопреобразующий элемент матрицы связан как с цифровой, так и с и аналоговой схемой обработки. Такая схема позволяет обрабатывать данные или непосредственно внутри пиксела или в схеме последующей обработки (например, на базе специализированного процессора), и выделять области интереса на изображении. Далее определяются недостатки изображения и либо, исправляются с помощью соответствующих алгоритмов, либо изменяются параметры съемки видеодатчика и дается команда на повторное получение изображения.

Скорость выполнения ряда алгоритмов обработки может быть увеличена за счет параллельно-конвейерной организации вычислений и аппаратной реализации этих алгоритмов на параллельных структурах. Перспективным подходом для обработки изображений, получаемых с КМОП-видеодатчиков, считается использование нейроподобных структур. В качестве основных и наиболее значимых преимуществ методов такого подхода к обработке изображений можно выделить: возможность достижения более высокого показателя производительности для устройств вычислительной техники по сравнению со стандартными вычислительными средствами за счет параллелизма применяемых элементарных операций, возможность эффективного решения задач в условиях

неполной априорной информации.

Таким образом, актуальной научно-технической задачей является разработка методов, алгоритмов и быстродействующих устройств, обеспечивающих улучшение качества изображения, получаемого с КМОП-видеодатчиков.

Диссертационная работа выполнена при содействии гранта Президента Российской Федерации по государственной поддержке ведущих научных школ Российской Федерации НШ-2357.2014.8 «Исследование и разработка комплексного анализа видеоизображений для задач управления сложными техническими системами на основе адаптивных нейро-нечетких систем вывода с мягкими вычислениями», а также гранта Президента Российской Федерации по государственной поддержке молодых российских ученых-кандидатов наук МК-2932.2013.8 «Разработка теоретических и реализационных основ создания адаптивных систем технического зрения на основе КМОП-видеодатчиков».

Цель диссертации: разработка метода и аппаратно-ориентированных алгоритмов фильтрации изображения, получаемого с помощью КМОП-видеодатчика, в режиме реального времени.

Задачи исследований:

- аналитический обзор методов и устройств фильтрации сигнала в КМОП-видеодатчиках;

- разработка математической модели процесса обработки изображений;

- разработка метода и алгоритмов повышения качества обработки изображений, получаемых на основе КМОП-видеодатчиков;

- разработка структурно-функциональной схемы адаптивного устройства обработки изображений на основе КМОП-видеодатчиков, проведение экспериментальных исследований, анализ полученных результатов.

Новыми научными результатами и положениями, выносимыми на защиту, являются:

1. Модифицированная математическая модель процесса обработки изображений, получаемых с помощью КМОП-видеодатчика, основанная на использовании нейросетевого подхода к предварительной обработке, позволяющая обеспечить распараллеливание процесса обработки изображения.

2. Метод и алгоритмы фильтрации изображений, получаемых с использованием КМОП-видеодатчика, позволяющие обеспечить снижение уровня шумов, основанные на использовании нейроподобных структур.

3. Структурно-функциональная схема адаптивного устройства предварительной обработки изображений на основе КМОП-видеодатчика, обеспечивающая снижение уровня шумов и адаптацию к изменяющейся освещенности рабочей сцены в режиме реального времени за счет аппаратной реализации алгоритмов фильтрации изображения, отличающаяся введением блока нейросетевой обработки, конвейерно-параллельной организации вычислений и

использованием аппаратно-ориентированного алгоритма фильтрации изображения.

Объект исследований - методы и устройства обработки изображений на основе видеодатчиков.

Предмет исследований - методы, алгоритмы и устройства предварительной обработки изображений в КМОП-видеодатчиках.

Методы исследования. В работе использованы методы математического моделирования, методы цифровой обработки сигналов и изображений, теории неронных сетей, теории параллельных вычислений.

Практическая ценность работы состоит в том, что ее результаты являются основой для создания широкого класса систем технического зрения, позволяющих выполнять предварительную обработку изображения, обеспечивать адаптивную подстройку системы к изменяющимся условиям внешней освещенности в процессе получения изображения, и могут использоваться при разработке систем технического зрения на базе КМОП-видеодатчиков для автоматизированных систем наблюдения, роботов на мобильной платформе, функционирующих в реальном масштабе времени.

Реализация и внедрение. Результаты, полученные в диссертационной работе, использовались в процессе проектирования комплекса инженерно-технических средств обработки изображений в ООО «Скинер», при проектировании оптико-электронной системы контроля безопасности ЗАО «Пасит», а также используются в учебном процессе в Юго-Западном государственном университете в рамках дисциплин «Современные проблемы науки и производства», «Цифровая обработка и анализ изображений».

Соответствие паспорту специальности. Согласно паспорту специальности 05.13.05 - Элементы и устройства вычислительной техники и систем управления, проблематика, рассмотренная в диссертации, соответствует пунктам 1 и 2 паспорта специальности (1. Разработка научных основ создания и исследования общих свойств и принципов функционирования элементов, схем и устройств вычислительной техники и систем управления в части разработки модели и принципов функционирования адаптивного устройства обработки изображений, получаемых с помощью КМОП-видеодатчиков; 2. Теоретический анализ и экспериментальное исследование функционирования элементов и устройств вычислительной техники и систем управления в нормальных и специальных условиях с целью улучшения технико-экономических и эксплуатационных характеристик в части разработки алгоритмов и устройств фильтрации изображения, обеспечивающих улучшение эксплуатационных характеристики устройства обработки изображений).

Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях: 8-й Всероссийской научно-технической конференции «Актуальные проблемы развития технологических систем государственной

охраны, специальной связи и специального информационного обеспечения» (Орел, 2013г.), Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2013» (Томск, 2013г.), 11-й Международной конференции «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание-2013» (г. Курск, 2013г.), 6-й Всероссийской научно-практической конференции «Территориально-распределенные системы охраны» (Калининград, 2013г.), 4-й международной научно-практической конференции «Интеллектуальные системы в промышленности и образовании» (Сумы, 2013г.), а также на научно-технических семинарах кафедры «Вычислительная техника» Юго-Западного государственного университета с 2010 по 2014 гг.

Публикации. Основные результаты диссертации отражены в 11 печатных работах. Среди них 3 статьи, опубликованных в рецензируемых научных журналах, входящих в перечень журналов и изданий, рекомендуемых ВАК, а также 2 свидетельства о регистрации программы.

Личный вклад автора. В работах, опубликованных в соавторстве, лично соискателем предложены: в [2, 9, 11] - нейросетевые структуры и метод фильтрации изображений, получаемых с использованием КМОП-видеодатчиков, в [4, 5, 8] -алгоритмы обработки изображений, в [3] - принципы функционирования и структурные схемы блоков устройства обработки изображений на нейроподобных структурах.

Объем и структура работы. Диссертационная работа состоит из введения, четырех глав и заключения. Работа содержит 97 страниц основного текста, в том числе 35 рисунков, 5 таблиц, список использованных источников из 99 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность, сформулированы цель и задачи исследования, представлены положения, выносимые на защиту, научная новизна и практическая ценность работы.

В первой главе проведен анализ существующих методов и устройств фильтрации сигнала в видеодатчиках. Проведен сравнительный анализ современных видеодатчиков на базе КМОП приемников излучения, а также методов обработки изображений, используемых в них. Показано, что в составе таких видеодатчиков имеется возможность реализации устройств предварительной обработки видеоинформации на базе параллельных структур, что позволит расширить функциональность системы и увеличить быстродействие видеодатчика, а адаптивная обработка информации, полученной с КМОП приемника излучения, дает возможность гибко изменять параметры приемника излучения с целью получения лучшего качества изображения. В качестве операций по обработке изображения, реализуемых непосредственно на кристалле видеодатчика, выбраны операции фильтрации. Определено, что одним из

перспективных направлений решения задачи пространственно-временной фильтрации является синтез алгоритмов адаптивной фильтрации на основе нейросетевых технологий.

Одним из основных направлений совершенствования устройств обработки изображений является аппаратная реализация функций программного обеспечения и создание функциональных расширителей для проведения часто используемых вычислений. В ряде методов над всеми элементами изображения выполняются однотипные операции, что позволяет для увеличения производительности систем обработки изображений использовать однородные структуры. Повышение скорости работы устройств обработки изображений может быть достигнуто за счет распараллеливания процессов вычислений и переработки информации как на уровне вычислительной структуры устройств обработки, так и на уровне алгоритмов обработки изображений. В связи с этим существует необходимость разработки методов и алгоритмов обработки изображений, ориентированных на реализацию на однородных структурах, и устройств на их основе.

Во второй главе рассмотрены математические аспекты фильтрации цифровых изображений, предложены несколько вариантов структуры нейронных сетей для реализации задачи цифровой фильтрации изображений. Рассмотрена модифицированная математическая модель процесса обработки изображений, получаемых с помощью КМОП-видеодатчиков.

В общем случае, составляющими математической модели являются модель рабочей сцены /■/>£■, модель приемника излучения РПИ, математическая модель аналого-цифрового преобразования сигнала РщП и математическая модель нейросетевой обработки изображения :

^"по = {¿Тс.^.^./ь} ,

Рпо — ^о (^л пи {^с (аа>)))) •

Математическая модель рабочей сцены позволяет получить описание цифрового изображения рабочей сцены в виде функции яркости объектов рабочей сцены а также дает возможность определить зависимость освещенности

изображения от яркости объектов рабочей сцены.

Математическая модель приемника излучения позволяет определить зависимость величины сигнала на выходе приемника излучения от освещенности изображения и учесть суммарное значение шумовой составляющей сигнала.

Математическая модель аналого-цифрового преобразования элемента изображения записывается следующим образом:

= Ш. Л = 1/(и,Л')/Л*/ ± dN{i,j, Д/),

/=1 ..т

>=1.7

где /, у - номер строки и столбца соответственно (изменяются в диапазоне / = 1 ..т, j = l..l^, т, 1 — количество элементов в столбце и строке соответственно), и(0 -

дискретный отсчет соответствующий значению кода N(1), ¿N(1) - погрешность преобразования на данном шаге, Д [/ - шаг квантования, Л/ — шаг дискретизации. На выходе КМОП ПИ имеем матричное описание изображения в виде

Y(i,j) =

Уи Уа У1 з У21 У22 У2з Уз, У32 Узз

Ум Ун Уз,

Ут\ У ml УтЗ — У ml _ На исходное изображение оказывает влияние шум различной природы (шум матрицы изображения). Каждый пиксель на выходе видеодатчика может быть представлен в виде: Y{i,j) = Yu(/',j) + hw(/',j), где Yu(i,j) - точка исходного изображения, Аш(/,у) - функция шума. В случае фильтрации на основе нейросети адаптивный фильтр выполняет минимизацию среднеквадратичной ошибки:

JVJ.W) = fJfl(e(Y(i,j),Y.(i,j)))2 -> min ,

/=О j=о

где е - разность между истинным и зашумленным изображением. В процессе обучения блок адаптации анализирует ошибку и подстраивает коэффициенты фильтра, которые представляют собой веса нейронной сети.

Математическую модель нейросетевой обработки изображения запишем в

виде:

F0{i,j) = C[y(i-ni,j - и2),(0 < / < т, 0 < j < 1, 0 < щ < т, 0 < щ < /)], где F(ij) — представляет описание выходного изображения, у - входное изображение, С - оператор преобразования. В работе из операций нейросетевой обработки изображения выбрана операция фильтрации. Фильтрация в общем случае входит в класс процедур обработки изображения скользящим окном. Множество выходных значений результирующего изображения запишется в виде:

О < /' < т, 0 < j < /, 0 < и, < т, 0 < и2 < / , где й(/,У;и,,я2) - коэффициенты фильтра, зависящие от значений яркости входного изображения. Изменяя параметры фильтрации h(i, j; и,, л2) можно увеличивать или уменьшать значения яркостей выходного изображения Fo(i,j) и так выполнять адаптивную подстройку выходного сигнала видеодатчика к изменяющимся параметрам рабочей сцены (уменьшать яркость сильно освещенных фрагментов сцены и увеличивать яркость затемненных участков), выполнять выделение контуров на изображении и пороговую обработку. Иными словами адаптация выполняется за счет анализа ошибки (минимизации в процессе обучения) восстановления и подстройки коэффициентов фильтра (весов нейронной сети).

В случае последовательного выполнения операций при обработке изображения на нейросетевой структуре по слоям они представляются как множество отображений:

Я.^.С,)-^,,

где 5/, 52,..., Бп — множество отображений; Р — входное изображение, Ql, О?,..., Qn — результат обработки соответствующим слоем нейросети, С1, С2,..„ Сп -выполняемые операции (в общем случае могут быть различны). В таком случае Qn, является результатом преобразований и представляет собой матрицу яркостей обработанного изображения (с устраненным шумом), необходимых для дальнейшей работы системы, в составе которой работает устройство обработки изображений.

В третьей главе рассмотрены метод и алгоритмы фильтрации изображений, получаемых на основе КМОП-видеодатчиков, позволяющие повысить качество обработки, проведено моделирование предложенных алгоритмов, проведен анализ результатов моделирования, обоснован выбор нейросетевой структуры для фильтрации изображений,

При адаптивной фильтрации параметры фильтра зависят от яркости пикселей входного изображения. При поступлении кадра изображения выполняется фильтрация изображения в соответствии с заданными коэффициентами фильтра.

В качестве вариантов реализации нейросетевых фильтров цифровых полутоновых изображений были рассмотрены несколько структур нейронных сетей.

Для реализации нейросетевых фильтров цифровых полутоновых изображений были рассмотрены следующие конфигурации: однослойная сеть с одним нейроном на каждый пиксель обрабатываемого изображения (с линейной функцией активации нейронов рабочего слоя и использованием в качестве весовых коэффициентов нейронов коэффициентов маски фильтра); двухслойные и трехслойные сети с линейной функцией активации для выходного нейрона и сигмоидальной - для нейронов скрытых слоев. Для обучения сетей используется алгоритм обратного распространения ошибки.

Предлагается следующая структура нейросети. Матрица входных сигналов (входной слой) (дискретные отсчеты яркости для каждого пикселя входного изображения):

>(1,1) Я 1,2) 1 Ж0~

У = А 2,1) у(2,2) ! у(2,0

у(™л) у(т,2) \у(т,1)

Для удобства представления преобразуем матрицу изображения и матрицу нейронов в вектора:

У1 =

>(1,1)" 9(1,1)"

уОЛ) 9(1,2)

ЯМ) 0 = 9(1,/)

Я2.1) 9(2,1)

Я(т,1)

Тогда матрица весов:

ЧМУ),9(Щ ъШШЪ] ФйМШ ЧХимгл)] фйМ^О]

АЛХШШ 9(1,2)] УШШШ Алхшгч

и[><Ц),9(1,1)] »ыит?)} ЧКУ),9(Ш Аушт)] уШШ^Щ

4><2,1),д(Щ ААгтт Алгшгт

ААтЛ, 9(1,1)] ЧК^/),9(12)] \ыт,1ыт ф^тД^т,/)]

Элемент - т.е. элемент /-ой строки 7-го столбца - представляет собой значение веса связи соединяющейу'-й нейрон с /-м входом (значение у/12=у^[у(1,1), д(1,2)] -элемент в первой строке во втором столбце матрицы весов представляет значение веса связи соединяющей второй нейрон с первым входом или же, переходя к исходным двумерным матрицам, элемент в позиции (1,2) матрицы нейронов с элементом (1,1) матрицы изображения.

Фрагмент структуры сети представлен на рис. 1.

Входы Входной Скрытый выходной

слой слой слой Выходы

«■ид) 51

оиед

оиед

оиОД 7

Ьт1 —' -*

а

Выходной

слои

Рис. 1. Фрагмент структуры нейросети для фильтрации изображений.

Выполнялось моделирование работы обученной сети, рассчитывалось среднеквадратическое отклонение (СКО) яркости пикселей выходного изображения от желаемого, рассчитывалось пиковое отношение сигнал/шум (ПОСШ) для входного и выходного изображений.

В качестве входных изображений при моделировании использовались полутоновые изображения размером 200x200 пикселей. Рассмотрены два способа обучения сети. При обучении сети первым способом загружается исходное изображение, вносится шум, применяется стандартный фильтр, после чего на вход сети последовательно подаются значения яркости пикселей исходного зашумленного изображения, а в качестве желаемого выхода подставляется яркость

соответствующего пикселя программно отфильтрованного изображения. Во втором случае в качестве желаемого выхода подставляется яркость соответствующего пикселя исходного, не зашумлённого изображения.

Для однослойной сети количество нейронов рабочего слоя равно количеству пикселей обрабатываемого изображения. На каждый нейрон подавались значения яркости 9 смежных пикселей, с выхода нейрона снимается результирующее значение яркости, которое присваивается центральному пикселю обрабатываемого сегмента входного изображения.

По результатам применения фильтров к различным типам изображений для аппаратной реализации были выбраны структуры на базе двухслойных сетей (рис. 1).

Для обеспечения лучшего качества фильтрации для обучения нейронной сети следует выбирать изображения, которые сходны с теми изображениями, которые будет обрабатывать фильтр в рабочем режиме.

В аппаратной реализации фильтра используются схема на логических элементах и сумматорах. При аппаратной реализации данной структуры с каждым нейроном как отдельным элементом сложность устройства довольно велика. Для уменьшения количества элементов при аппаратной реализации разработан алгоритм построчной обработки матрицы изображения с использованием нейроподобных структур:

1. Настройка нейроподобной структуры, установка связей между входами и элементами структуры, запись матрицы связей; запись функции активации.

2. Ввод строки изображения У(1).

3. Копирование текущей строки изображения в структуру.

4. Вычисление нового значения яркости для всех элементов строки:

4.1. Вычисление значения Y(i-\,j-\)W(i-lj-\) для всей строки (У-входное изображение, IV- матрица весов нейроструктуры).

4.2. Вычисление значений /(»-1,7)04»-1,7'), У(/-1,у - 7 -1), /(»,7- 1)04»-1,7-1).

4.3. Вычисление значений У (г -1,7 + -1, у +1),

/(»' -1, у - 1)04» +1,7 -1), / (»', лщ1 -1, 7), у 0, j -1)04»,) -1), /(,' + 1,7-щ« -1, У -1).

4.4. Вычисление значений /(»'-1,7 + 1)04»,у + 1), У (/ -1,7 («+ 1,7), У(/,7 + 1)^(/ -1,7 + 1) , /(»,7)041,7), У(», у — х)\¥(»+1,7 — 1), У(/ +1, »^(г -1,7),

4.5. Вычисление значений /(»-1,7 + 1)041 + 1,7 + 1), /(/,7+1)^(1,7 + 1), /(»,7)04» +1,7), /(' +1.) + -1,7 + 0, /(/ +1,7),/(» +1,7-+1,}~ 1)-

4.6. Вычисление значений /(/,7+ 1)04»+ 1,7 + 1), /(» +1,7 +1)04»,7+ 1),

/0 + 1,7)^0 + 1,7).

4.7. Вычисление значений У(/+1, у + 1)ГК(г + 1,7+1).

4.8. Вычисление значения яркости для всех элементов строки /="0, у) = Ом[У(1 -1, у - 1)Ж(/ -1, у -1) + У (/ -1, у)^(/ -1, у)+У(1 -1, у+1)(К(/ -1, у +1) + +Щ у -1)Г (/, у -1) + У0, У)Ж(1, У) + Г(/ -1, у + 1)Щ1 -1, у +1) + +у (/+1, у - 1)Г(/+1, у -1)+у о+1, +1, у)+г (/ ■+1, у+1)Щ/+1, у+1)]

5. Запись строки в итоговую матрицу изображения.

6. Увеличение счетчика строк на единицу.

7. Если обработано не все изображение, переход к п.2, иначе выход из алгоритма.

Используемые структуры обеспечивают фильтрацию различных типов шума, в частности выполняется обработка импульсного и нормального шума одним фильтром без существенных искажений исходного изображения, обеспечиваю увеличение пикового отношения сигнал/шум до 5 децибел.

В четвертой главе предложена структурная схема фильтра цифровых полутоновых изображений, структурно-функциональная схема адаптивного устройства обработки изображений на основе КМОП-видеодатчиков, обеспечивающая снижение уровня шумов и адаптацию к изменяющейся освещенности рабочей сцены в режиме реального времени.

Адаптивное устройстве предварительной обработки изображений на основе КМОП-видеодатчика содержит следующие блоки: КМОП ПИ с цифровыми пикселями (ЦП) и буферной схемой; блок управления, содержащий схемы обеспечения доступа к строкам матрицы ПИ, схемы формирования сигналов сброса и выбора строки, схему формирования сигналов считывания пикселя, схему формирования тактовых и управляющих сигналов; контроллер для формирования команд и сигналов интерфейса; блок предварительной обработки, содержащий память для хранения изображения предыдущего кадра и отфильтрованного изображения текущего кадра, и предназначенный для выполнения операций фильтрации и расчета коэффициентов адаптивных фильтров.

Устройство работает следующим образом: КМОП ПИ получает цифровое изображение объектов рабочей сцены, которое считывается под управлением блока управления. Считывание осуществляется построчно путем задания блоком управления адреса строки КМОП ПИ. Адреса строк формируются блоком управления начиная с нулевого. Значение адреса может быть получено и от устройства управления верхнего уровня через контроллер для формирования команд и сигналов интерфейса. В процессе считывания выполняется фильтрация изображения пространственным фильтром с коэффициентами, задаваемыми контроллером для формирования команд и сигналов интерфейса или блоком калибровки и переобучения. Затем строка изображения передается в память блока обработки. Обработанный кадр изображения поступает в контроллер формирования команд и сигналов интерфейса, откуда передается управляющей ЭВМ (выход датчика). Считывание изображения также возможно без использования схемы фильтрации.

Основными элементами блока предварительной обработки являются: память, матричный сумматор, матричный вычитатель, матричный умножитель, схема управления. При реализации данного блока как внешнего устройства он может быть реализован на базе специализированного процессора или на базе стандартных программных компонент (БоИ-ядер) фирмы ХШпх.

Адрес строки

Входной тактовьц сигнал

считывание

Блок управленш

Выходы

счетчика

считывание^*

^пцавление^^^

буфером

КМОП ПИ с цифровыми пикселями

Буфер

изображение

Контроллер для формирования команд и сигналов интерфейса

л

Выходной тактовый

сигнал

Выходной тактовый с и тал видео^тчика данные

Память кадра Память Блок

обработки

Блок калибровки и Схема

переобучения фильтрации

Рис. 2 - Структурно-функциональная организация адаптивного устройства обработки изображений на основе видеодатчика на базе КМОП приемника излучения с цифровыми пикселями с предварительной обработкой изображений

Блок калибровки и переобучения предназначен для начального обучения нейронной сети, и для коррекции весовых коэффициентов в процессе работы фильтра. Таким образом, нейронная сеть постоянно переобучается с целью получения качественного выходного изображения, удовлетворяющего всем требованиям, предъявляемым к фильтру.

При реализации цифровой обработки обычно требуется выполнение четырех основных операций — сложения, перемножения двух сигналов, умножение на константу и накопление. Аппаратная реализация алгоритма умножения предназначена в первую очередь для получения максимального быстродействия выполнения этой операции в устройстве.

Умножение выполняется следующим образом: умножаемые числа Л/ и Ш, соответствующие значениям яркости пикселя и коэффициента фильтра представляются в виде битовых последовательностей а1аЬа5аАаЗа2а\М и ыш5мьъыь\ш (для восьмиразрядного представления чисел). Выполняется логическое умножение двух бит а, и Л, с получением бита с,, и затем с помощью сумматоров формируются разряды результата

P(c12+c03) C21-►

Si

Рис. 3 - Схема реализации умножения чисел Ai и Bi;

Схема для фильтрации изображения представлена на рисунке 4 (y(ij) — значения яркостей точек обрабатываемого изображения, Q(i,j) — получаемые значения яркостей, Out - блок вычисления функции активации).

Рис.4. Структурная схема фильтрации

Даная схема обладает однородной структурой и легко реализуется на ПЛИС. Предлагаемая структура фильтрации производит вычисление для одного пикселя в течении 210 не. Таким образом, преобразование одной строки будет выполнено за время, не превышающее 75 мке, а весь кадр изображения полученного от КМОП матрицы (352*352 точек) будет обработан за время 25-27 мс.

Сравнительный анализ результатов моделирования предложенного подхода к фильтрации с известными методами на примере операторов выделения границ приведен в табл. 1.

15

Таблица 1

Изображения с резкими границами, ошибок, % Изображение с плавными границами, ошибок, %

Фильтрация с использованием нейроподобной структуры 0,1 0,05

Лапласиан 4 0,2

Оператор Собела 3,5 2,5

Оператор Канни 1,6 1,7

Для сравнительного анализа полученных в ходе моделирования параметров разработанного устройства были использованы видеодатчик MT9M413C36STM фирмы Micron с подключением к ПЭВМ и видеодатчик Atmel ATMOS 1М60 с подключением к сигнальному процессору для выполнения операций фильтрации изображений, не реализуемых непосредственно в данных видеодатчиках. Основные параметры сравниваемых датчиков представлены в табл. 2.

Таблица 2

Параметры Видеодатчики с устройством обработки изображений

Разработан ное устройство МТ9М413С 36STM ATMOS 1М60

Число элементов, пиксели 1280x1024 1280x1024 1312x1024

АЦП, бит 8 10 8, 10, 12

Ввод и обработка изображения фильтром, кадров/с 30 10 16

Время выполнения фильтрации с пороговой функцией активации (в относительных единицах) 1 3 2

При выполнении операций обработки изображения фильтрами с фиксированной и адаптивной маской выигрыш в скорости достигается за счет аппаратной реализации операции фильтрации. Таким образом, разработанная схема и алгоритмы обработки изображения позволяют получить обработанное изображение в 1,9 раза быстрее по сравнению с известными устройствами и обеспечить увеличение отношения сигнал-шум в 1,1 раза.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана модифицированная математическая модель процесса обработки изображений на основе КМОП-видеодатчика, отличающаяся использованием нейросетевого подхода к предварительной обработке, позволяющая обеспечить распараллеливание процесса обработки изображения.

2. Созданы метод и алгоритм обработки изображений, получаемых с использованием КМОП-видеодатчика, позволяющие обеспечить снижение уровня шумов, основанный на использовании нейросетевой структуры с возможностью адаптации весовых коэффициентов на этапе обучения.

3. Разработана структурно-функциональная схема адаптивного устройства обработки изображений на основе КМОП-видеодатчика, обеспечивающая снижение уровня шумов и адаптацию к изменяющейся освещенности рабочей сцены в режиме реального времени за счет аппаратной реализации алгоритмов фильтрации изображения, отличающаяся введением блока нейросетевой обработки и использованием аппаратно-ориентированного алгоритма фильтрации изображения и конвейерно-параллельной организацией.

4. Анализ характеристик разработанного устройства обработки изображений на основе видеодатчиков-аналогов показал, что устройство позволяет получить обработанное изображение в 1,9 раз быстрее по сравнению с известными устройствами и обеспечить увеличение отношения сигнал-шум в 1,1 раза.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ Статьи в журналах, входящих в перечень ВАК РФ

1. Мишин, А.Б. Фильтрация изображений с использованием нейросети [Текст] / А.Б. Мишин // «Телекоммуникации», №13, 2012. - С. 10-14.

2. Мишин, А.Б. Выбор структуры нейросетевого фильтра для обработки цифровых изображений [Текст] / А.Б. Мишин, П.Ю. Ткачев // «Известия Юго-Западного государственного университета». 2013 г. №3 (48). 4.1. С.14-18.

3. Мишин, А.Б. Устройство обработки изображения, полученного матрицей КМОП датчика с использованием счетчика времени накопления заряда [Текст] / А.Б. Мишин, Н.С. Иванов, B.C. Панищев // «Известия Юго-Западного государственного университета». Серия Управление, вычислительная техника, информатика. Медицинское приборостроение. 2014 г. №4. С.30-35.

Свидетельство о государственной регистрации программ

4. Программа для обработки изображений от IP-камеры / А.Б. Мишин, М.И. Булаев, М.А. Килимов, B.C. Панищев // Свидетельство о государственной регистрации программы для ЭВМ №2014614112.

5. Программа для построения панорамных изображений в интернет-браузере / А.Б. Мишин, К.С. Калугин, B.C. Панищев // Свидетельство о государственной регистрации программы для ЭВМ №2014617363.

Материалы конференций

6. Мишин, А.Б. Аппаратно-ориентированный алгоритм пространственной фильтрации изображений [Текст] / А.Б. Мишин // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание-2013: сб. матер. XI Междунар. науч.-техн. конф.; Юго-Западный гос.ун-т. Курск, 2013.-С.410-412.

7. Мишин, А.Б. Фильтрация изображения с использованием систолической структуры [Текст] / А.Б. Мишин // Научная сессия ТУСУР-2013: сб. матер. Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых 4.2. Томск, 2013. -С.31-32.

8. Мишин, А.Б. Подходы к разработке алгоритма обнаружения и сопоставления характерных точек при движении видеосенсора [Текст] / А.Б. Мишин, A.B. Полунин // Актуальные проблемы развития технологических систем государственной охраны, специальной связи и специального информационного обеспечения: сб. матер. 8-й Всероссийской научно-технической конференции. 4.10. Орел, 2013, С. 60-62.

9. Мишин, А.Б. Варианты организации фильтров цифровых изображений на основе нейронных сетей [Текст] / А.Б. Мишин, A.B. Полунин // Актуальные проблемы развития технологических систем государственной охраны, специальной связи и специального информационного обеспечения: сб. матер. 8-й Всероссийской научно-технической конференции. 4.10. Орел, 2013, С. 57-59.

10. Мишин, А.Б. Варианты построения фильтров цифровых изображений с использованием нейронных сетей различной сложности [Текст] / А.Б. Мишин // Территориально-распределенные системы охраны: тезисы Всероссийской научно-практической конференции. Калининград, 2013. - С.31-32.

11. Мишин, А.Б. Программный модуль обработки изображения с IP-камеры [Текст] / А.Б. Мишин, М.А. Килимов, М.И. Булаев // Интеллектуальные системы в промышленности и образовании: тезисы докладов Четвертой международной научно - практической конференции. Сумы: Издательство СумГу, 2013. С.45-46.

Соискатель Мишин А.Б.

ИД №06430 от 10.12.01

Подписано к печати_. Формат 60x84 1/16.

Печатных листов 1,0 Тираж 100 экз. Заказ а . Юго-Западный государственный университет. 305040, г. Курск, ул. 50 лет Октября, 94.