автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.01, диссертация на тему:Устойчивые методы восстановления изображений во встроенных системах для повышения точности измерений механических величин на объектах

На правах рукописи

КИРЬЯНОВ КОНСТАНТИН АЛЕКСАНДРОВИЧ

УСТОЙЧИВЫЕ МЕТОДЫ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ ВО ВСТРОЕННЫХ СИСТЕМАХ ДЛЯ ПОВЫШЕНИЯ ТОЧНОСТИ ИЗМЕРЕНИЙ МЕХАНИЧЕСКИХ ВЕЛИЧИН НА ОБЪЕКТАХ

Специальность 05.11.01 - Приборы и методы измерения (механические величины)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 2013

005061384

005061384

Работа выполнена на кафедре Измерительных технологий и компьютерной томографии Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики (НИУ ИТМО)

Научный руководитель: доктор технических наук, профессор

Сизиков Валерий Сергеевич

Официальные оппоненты: доктор технических наук, профессор

Кирилловский Владимир Константинович

кандидат технических наук, доцент, в.н.с., Санкт-Петербургский филиал «Концерн радиостроения "Вега"», Остриков Вадим Николаевич

Ведущая организация: Институт аналитического

приборостроения РАН

Защита состоится 18 июня 2013 г. в 16 ч. 00 мин. на заседании диссертационного совета Д 212.227.04 при Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики по адресу: 197101, г. Санкт-Петербург, Кронверкский пр., д. 49.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики.

Автореферат разослан 17 мая 2013 г.

Отзывы и замечания (в 2 экз.) по автореферату направлять по адресу университета: 197101, Санкт-Петербург, Кронверкский пр., д. 49, ученому секретарю диссертационного совета Д 212.227.04.

Ученый секретарь диссертационного совета Д 212.227.04 кандидат технических наук, доцент

Киселев Сергей Степанович

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В технических системах обработки результатов измерений (в цифровых фотоаппаратах, томографах, микроскопах, телескопах и т.д.) при наблюдении и фиксации изображений объектов (технических изделий, людей, природы, самолетов, автомобилей, веществ, вирусов, космических объектов и т.д.) часто имеют место искажения изображений (смазывание из-за движения системы или самого объекта, дефокусирование из-за неправильной установки фокуса, зашумление, дрожание фотообъектива и др.) [10-14]. Их, в принципе, можно устранить техническим путем: не допускать сдвига фотоаппарата, перемещать фотокамеру слежения в такт движению объекта на конвейере, отрегулировать фокус и т.д. Но это не всегда возможно, например, в случае, когда искаженный снимок нельзя повторить. В этих случаях целесообразно выполнить математическую (компьютерную) обработку изображений с целью их восстановления. Это позволит уточнить такие механические величины, как размеры мелких деталей на объекте, расстояния между близкими деталями, выявить дефекты на изделии, гранулы на металле в процессе плавки, мелкую структуру поверхности объекта и т.д., другими словами, повысить разрешающую способность средств наблюдений (фотоаппаратов, камер слежения и др.).

К настоящему времени разработан ряд методов восстановления искаженных (смазанных, дефокусированных, зашумленных) изображений. Они обычно сводятся к решению интегральных уравнений I рода. Однако задача их решения некорректна (существенно неустойчива). Поэтому для их решения используют устойчивые методы (регуляризации Тихонова, параметрической фильтрации Винера и др.) [10-13,15].

Обычно тот или иной метод или алгоритм реализуют на универсальном компьютере, чаще всего, на персональном компьютере (ПК, PC). Однако это не всегда целесообразно. В целях миниатюризации, иногда разумнее задачу восстановления изображения решать с помощью специализированного вычислительного устройства (СВУ), интегрированного в систему наблюдения (цифровой фотоаппарат, устройство слежения, томограф, микроскоп, телескоп и т.д.). В этом случае получит практическое воплощение известная редукционная проблема Рэлея о повышении разрешающей способности прибора за счет математической обработки результатов измерений. Причем, если эта обработка будет выполняться с помощью СВУ небольших размеров, то будет получен новый прибор практически прежних размеров, но с повышенной разрешающей способностью. Повышение же разрешающей способности прибора позволит выделить мелкие детали на изображении, а значит, уточнить микроструктуру и даже состав и концентрацию веществ самого объекта (пациента, микроорганизмов, космических тел), изучаемых с помощью томографов, микроскопов, телескопов и т.д.

Диссертация посвящена дальнейшей разработке методов и алгоритмов восстановления искаженных изображений объектов с целью повышения разрешающей способности средств наблюдений и измерений и, как следствие, повышения точности измерений механических величин (размеров мелких деталей, расстояний между ними и др.) на самих объектах. При этом методы и алгоритмы разработаны применительно к их реализации не только на ПК, но и на цифровых сигнальных процессорах (ЦСП, DSP) встроенных вычислительных систем [16,17].

Цель диссертационной работы - разработка новых методов восстановления искаженных изображений объектов и их реализация на ПК и ЦСП с целью повышения разрешающей способности измерительных устройств (цифровых фотоаппаратов, систем слежения, микроскопов, телескопов и др.) и, как следствие, повышения точности

измерения механических величин (размеров мелких деталей, их взаимных расстояний и т.д.) на самих объектах.

Задачи исследования. Для достижения цели решались следующие задачи:

• Анализ существующих методов восстановления искаженных (смазанных, дефо-кусированных, зашумленных) изображений.

• Разработка нового устойчивого метода восстановления изображений и повышения разрешающей способности средств наблюдений объектов на основе соединения метода регуляризации Тихонова (и Фридмана) со способом «усечение-размытие».

• Связь разрешения на изображении объекта с разрешением на самом объекте.

• Разработка быстрых адаптивных алгоритмов восстановления изображений с помощью «заготовленных» матриц.

• Разработка программного обеспечения для реализации методов восстановления изображений на ПК и ЦСП и выполнение обработки различных искаженных изображений (прямая и обратная задачи).

• Анализ результатов восстановления изображений на ЦСП и сравнение с восстановлением на ПК.

Методы исследования. В работе использованы методы преобразования Фурье (инверсной и псевдоинверсной фильтрации), квадратур/кубатур, регуляризации Тихонова, параметрической фильтрации Винера, итераций Фридмана, способы количественной и визуальной оценок качества восстановления изображений, подбора значений параметров и др.

Научная новизна работы.

• Разработана усовершенствованная методика моделирования искажений изображений (прямая задача), использующая способ «усечение-размытие».

• Разработана новая методика восстановления искаженных изображений (обратная задача), соединяющая устойчивые методы Тихонова, Винера или Фридмана со способом «размытия» краев изображения, повышающая точность восстановления.

• Разработано два новых быстрых алгоритма восстановления смазанных изображений, например, изображений быстро движущихся целей (самолетов, автомобилей) в режиме реального времени.

• Оригинальная, практически не имеющая аналогов, реализация восстановления смазанных и дефокусированных изображений на аппаратуре встраиваемых систем, а именно, на 32-разрядном ЦСП с фиксированной точкой, позволяющая повысить разрешающую способность устройств наблюдения (цифровых фотоаппаратов, микроскопов, телескопов).

Основные положения, выносимые на защиту.

1. Решение совокупности одномерных интегральных уравнений, а также двумерного интегрального уравнения на ЦСП с фиксированной точкой с использованием сдвиговых операций.

2. Доказательство того, что метод квадратур/кубатур (с регуляризацией) решения ИУ задачи восстановления дает более адекватное математическое описание физического процесса смазывания/дефокусирования, чем метод преобразования Фурье (ПФ).

3. Новый устойчивый метод восстановления изображений и повышения разрешающей способности приборов на основе соединения метода регуляризации Тихонова (а также Фридмана) со способом «усечение-размытие». Способ «усечения» не использует «граничные условия», а способ «размытия» понижает эффект Гиббса.

4. Два новых адаптивных алгоритма быстрого восстановления смазанного изображения на основе квадратур и ПФ с регуляризацией и с использованием «заготовленных» матриц.

5. Встраиваемая система на основе ЦСП, позволяющая повышать разрешающую способностью оптических приборов.

Достоверность научных результатов, полученных в диссертации, подтверждается корректной постановкой задач, адекватным математическим описанием их с помощью интегральных уравнений, использованием устойчивых методов (регуляризации и фильтрации) решения уравнений, реализацией методики на ПК и на ЦСП фирмы Texas Instruments, восстановлением ряда изображений на ПК и ЦСП и сравнением полученных результатов.

Теоретическая и практическая ценность работы заключается в разработке новой методики под названием «регуляризация-фильтрация-усечение-размытие» восстановления искаженных изображений и в применении этой методики в технических системах измерений и обработки информации (в системах слежения и др., состыкованных с ПК или ЦСП). Предложенные в работе устойчивые методы и алгоритмы восстановления искаженных изображений дают возможность повысить разрешающую способность различных устройств наблюдения (цифровых фотоаппаратов, томографов, микроскопов, телескопов и т.д.) путем математической обработки на ПК или ЦСП полученных данных, что позволит более точно измерять мелкие механические детали на объектах (дефекты на технических изделиях, микроструктуру расплавленных металлов, опухоли в организме людей и животных, микрорельеф на небесных телах и др.) и даже уточнять состав веществ.

Реализация работы. Ряд результатов диссертации нашли отражение в учебнике [12] и монографии [13], использовались в лекциях, практических и лабораторных работах со студентами, бакалаврами и магистрантами по дисциплинам «Теория и технология программирования», «Обратные прикладные задачи», «Теория интегральных уравнений», «Математические основы томографии» и др. Результаты диссертации использовались также в работе по гранту РФФИ № 09-08-00034 и в научно-исследовательской работе (НИР) по теме № 39122 «Новые алгоритмы восстановления искаженных изображений в технических системах обработки информации» — это подтверждается актом об использовании результатов диссертационной работы К.А. Кирьянова.

Апробация работы. Основные результаты диссертации докладывались на следующих конференциях: GraphiCon'2010 (СПбГУИТМО), VIII и IX Всероссийские межвузовские конференции молодых ученых СПбГУ ИТМО (2011 г., 2012 г.); XL и XLI научная и учебно-методическая конференция СПбГУИТМО (2011 г., 2012г.); Международные научно-практические конференции «XXXIX Неделя науки СПбГПУ» и «XL Неделя науки СПбГПУ» (2010 г. и 2011 г.); 8-я Международная конференция «Телевидение: передача и обработка изображений» (СПбГЭТУ "ЛЭТИ", 2011 г.).

Публикации. По теме диссертации опубликовано 9 печатных работ, 3 из них - в журналах из перечня ВАК.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав, заключения и списка литературы из 92 наименований. Объем работы составляет 180 страниц и 68 рисунков.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, сформулированы цель и задачи исследования, основные положения, выносимые на защиту, научная новизна и практическая ценность работы, даны сведения об апробации результатов.

В первой главе излагаются основы обработки искаженных (смазанных, дефоку-сированных, зашумленных) изображений. Описаны объекты изображений (техническое изделие, человек, текст, природа, планета), системы наблюдений, измерений и обработки (цифровой фотоаппарат, устройство слежения, телескоп, микроскоп, томограф) и типы искажений изображений (смазывание, дефокусирование, зашумление).

Приведены типы изображений (полутоновые, цветные, бинарные), классы чисел в С++ и MatLab (unsigned char, uint8, int, double, BOOL) и соглашение о координатах.

Приведены примеры искаженных реальных изображений (рис. 1 и 2).

Рис. 1. Смазанное полутоновое изображение подшипников, возможно, с дефектами

Сформулированы прямая и обратная задачи обработки изображений. Прямая задача - формирование искаженных изображений (прямая задача необходима на стадии отработки методики), а обратная задача - гораздо более сложная задача восстановления истинного изображения по измеренному искаженному изображению. Изображение может быть модельным (фантомом) — в этом случае искажения изображения моделируются с помощью компьютера, а может быть и реальным - в этом случае искажения формируются естественным путем, например, смазывание изображения возникает в результате сдвига фотоаппарата или самого объекта (рис. 1).

Рассмотрим прямую и обратную задачи смазывания изображения. Считаем фотографируемый объект плоским вследствие его удаленности. Пусть объект и фотопленка фотоаппарата (или ПЗС-матрица цифрового фотоаппарата) расположены параллельно апертуре тонкой линзы фотоаппарата по разные стороны от линзы на расстояниях от нее /] и /2 соответственно (рис. 3).

Прямая задача. Рассмотрим случай, когда за время экспозиции цифровой фотоаппарат с ПЗС-матрицей выполнил равномерное и прямолинейное смещение (сдвиг) на величину Д или смещение выполнил объект (например, подвижная цель). Направим ось х (а также вдоль смещения (рис. 4).

Изображение на фотопленке будет смазанным вдоль £ (при целом А, т.е. в пкс):

Рис. 2. Дефокусированное полутоновое изображение расплавленного металла, наблюдаемого в несовершенный микроскоп. В кружке - две близкие размытые точки на пределе разрешения

/4-А

А + 1

к=і

где w и g - интенсивности на исходном и смазанном изображениях, I (и к) - номер столбца, ] - номер строки на изображении.

8< *..'")

Рис. 3. Схема формирования смазанного изображения

Рис. 4. Пример смазанного изображения

Но значения и> ](п + \),...,ъи ¡(п + А) неизвестны. Поэтому часто используют так называемые «граничныеусловия» [10, 111 (рис. 5) или способ доопределения [18].

7=1

-/= і

і=п-А і=п (1)

граница В г і

О 1-и I

и

«і

>,1 а

3

.„..і \ї

апІз-фЯесйуе

і

/= I г=Д+1 1=п 1=п+Л (2)

Рис. 5. «Граничные условия», усечение и размытие

Рис. 6. Изображение с размытием краев

Вместо «граничных условий» предлагается «способ усечения» - формула (1) при 1 = 1,...,и — Д, а для уменьшения эффекта Гиббса (при решении обратной задачи) -«способ размытия» краев изображения за его пределами (рис. 6):

1 \и>, (к - А), I < к - А < п,

7 А + I °> иначе.

Обратная задача', восстановить математическим путем истинное изображение и>, зная смазанное изображение g, величину смаза Д (и направление смаза). Восстановление изображения описывается набором нестандартных одномерных интегральных уравнений (ИУ) Вольтерра I рода (при Д, вообще говоря, нецелом) [12, 13]:

х+А

(1/Д) ¡1иу(^с^ = 8у(х) + 88, (3)

или набором стандартных одномерных ИУ Фредгольма I рода типа свертки [12, 131:

или одним двумерным ИУ Фредгольма I рода типа свертки [10, 14]:

С» 00 -СО—СО

В уравнениях (4) и (5) к - функция рассеяния точки (ФРТ), или аппаратная функция, обычно пространственно-инвариантная (разностная), т.е. одинаковая во всех точках изображения, w и g - интенсивности на неискаженном и искаженном изображениях, - шум (включая дрожания фотообъектива). В (3) и (4) ось х направлена вдоль смаза, а у играет роль параметра. Уравнения (3) и (4) обычно используются в задаче смазывания, а (5) - в задаче дефокусирования, но нередко уравнение (5) используется для решения обеих задач. В (3) перед интегралом поставлен множитель 1/Д, чтобы при Л и —» 0 (в отсутствие смаза и шума) было: и>у{х) -о- gy(x). Задача решения ИУ (3)-(5) является некорректной (неустойчивой) [12, 13, 15].

В прямой задаче дефокусирования также вместо «граничных условий» предлагаются способы «усечения» и «размытия» краев изображения. Схема задачи — на рис. 7. Обратная задача дефокусирования описывается двумерным ИУ (5).

В диссертации делается разграничение: обратная задача восстановления смазанных изображений рассматривается в ключе, отличном от восстановления дефокусированных изображений, а именно, задача смазывания описывается набором одномерных ИУ (3) или (4), а задача дефокусирования - одним двумерным ИУ (5). Это создает ряд удобств при решении задачи смазывания.

Способы оценки параметров смазывания и дефокусирования. Значение смаза Д и его направление часто априори неизвестно точно и его обычно определяют путем подбора на основе визуальной оценки решений и>у(х), получаемых для ряда значений

Д. В работе предлагается оценивать смаз по штрихам на снимке, если хотя бы один из штрихов есть результат смазывания яркой точки на изображении, например, точки в текстовом изображении (рис. 4) или звезды на астрономическом снимке. Аналогично параметры дефокусирования предлагается оценивать по яркой точке на изображении (если таковая имеется). Сделано сравнение с другими способами оценки параметров ФРТ: методом «слепой» деконволюции [10, 11] и спектральным методом.

В конце гл. 1 сформулированы требования к встроенной системе восстановления изображений и описана ее функциональная схема. Описана специфика задач, выполняемых устройством, содержащим цифровой сигнальный процессор, или процессор цифровой обработки сигналов (ЦОС). Перечислены требования к ДСП. Кратко приведена история разработки процессоров обработки сигналов и классификация СБИС ЦСГ1 по группам в порядке их появления. Обсужден вопрос об особенностях реализа-

изображения

ции алгоритмов обработки изображений на ЦСП (выполнение операций с нецелыми числами на процессоре с фиксированной точкой, преобразования типов данных).

Во второй главе излагаются некоторые методы и алгоритмы восстановления изображений (обратная задача), а также их модификации, выполненные в диссертации.

Обратная задача устранения смазывания изображения сводится к решению множества одномерных интегральных уравнений (ИУ) Фредгольма I рода (4) (при каждом значении у, т.е. в каждой строке изображения). Сколько строк содержит изображение, столько самостоятельных одномерных уравнений нужно решить.

В известном методе преобразования Фурье (ПФ), или инверсной фильтрации решение ИУ, дающее распределение интенсивности на неискаженном (искомом) изображении ш, записывается в виде обратного ПФ [10—13, 15]:

юг GJa) . .

J .. e-'^dm,

2 71 J tf(co)

-QO

(6)

Gy{co) = Jgj, (x)e'm dx, //(со) = jh(x)eiWi dx .

(7)

Здесь Оу{со) и //(со) - преобразования Фурье (спектры) от gy(x) и /г(х). Однако

решение методом ПФ (инверсной фильтрации) крайне неустойчиво (см. рис. 8), так

как задача решения уравнения (4) является некорректной [12, 13, 15]. Также неустойчив метод псевдоинверсной фильтрации, в котором

щж .

ЯРЯ^Н

Рис. 8. Изображение на рис. 1, восстановленное методом ПФ

СО е [—®max'®max]-

Устойчивое решение ИУ (4) дает метод ПФ с регуляризацией Тихонова [12,13,15]:

1 //*(M)GV(CO) . .

где а > 0 - параметр регуляризации, р> 0 - порядок регуляризации, а также метод параметрической фильтрации Винера (также использующий ПФ) [10-13]:

°°Г ff*(co)Gv(co) . t j -, , е"'ю5 d(0' (9)

_ |Н(со)| + К

где К > 0 - некоторая константа (параметр) - оценка отношения энергетических спектров шум/сигнал (ЫБЯ). При удачно выбранном а или К методы Тихонова и Винера могут давать удовлетворительное восстановление изображения (рис. 9 и 11). О способах выбора параметров а и К см. дальше.

При компьютерной реализации оба метода вместо непрерывных ПФ (6)-(9) используют дискретные (и быстрые) ПФ. При этом метод ПФ с регуляризацией Тихонова в дискретном виде предложено реализовать в следующих вариантах.

Вариант 1. В этом варианте используется усеченное смазанное изображение размером их(и-Д), где тхп - размер исходного смазанного изображения g. Это позволяет избежать использования «граничных условий» [11].

Вариант 2. В этом варианте используется усеченное смазанное изображение с размытием краев размером тх(п + А). Размытие краев (рис. 6 и 10) позволяет снизить эффект Гиббса (эффект ложных волн, искажений типа «звоны»). Вариант 2 - это модификация методов Тихонова и Винера применительно к задаче о смазывании.

Однако методы регуляризации Тихонова и параметрической фильтрации Винера согласно (7)-(9) используют преобразование Фурье, которое не вполне адекватно описывает физический процесс смазывания изображения: в прямой задаче смазывания изображения используется лишь операция суммирования (см. (1) и (2)), а в обратной задаче - еще экспонента, косинус, синус, умножение и деление. Это ведет к рассогласованию прямой и обратной задач, к понижению скорости сходимости к точному решению и к повышению погрешности восстановления изображения (в частности, к эффекту ^ Гиббса). На рис. 9 - изображение (приведенное на

рис. 1), восстановленное методом ПФ с регуляризацией Тихонова и параметрической фильтрации Винера (при а = К = 10~5). Видим, что восстановление обременено эффектом Гиббса.

Более адекватным является один из алгебраических методов, использующий лишь арифметические операции, - это метод конечных сумм (метод квадратур) с уегуляргааиией Тихонова. В этом методе рассматривается ИУ ъ

рис.9 Аюу = \к(х£)гиу£)<К, = 8у(х\ с<х<с1, (10)

а

затем интеграл в (10) при каждом х заменяется конечной суммой и получается система линейных алгебраических уравнений (СЛАУ) при каждому:

Агиу=8у. (11)

При этом рассматриваются следующие три варианта метода конечных сумм: Вариант 3. Схема с усечением изображения § (недоопределенная СЛАУ). Вариант 4. Схема с размытием краев изображенияg (переопред. СЛАУ). Вариант 5. Схема двойного усечения изображений gvíW (опред. СЛАУ). Во всех вариантах решение СЛАУ (11) методом регуляризации Тихонова равно [12, 13, 15]

ьиау =(аЕ + АТА)-]А^у, (12)

где Е - единичная матрица, Ат - транспонированная матрица. В диссертации подробно изложены эти варианты. Показано (см. также [12, 13]), что при удачно подобранном параметре регуляризации а вариант 4 дает наилучшее (из всех вариантов 1-5) восстановление изображений. Рис. 10 и 11 показывают, что действительно вариант 4 (с размытием краев) дает четкое восстановление изображения, вплоть до дефектов (царапин, трещин) на подшипниках, т.е. повышает качество дефектоскопии изделий. Это позволяет улучшить автоматизированный контроль изделий.

Обратная задача устранения дефокусирования изображения сводится к решению двумерного интегрального уравнения Фредгольма I рода типа свертки (5), если ФРТ пространственно-инвариантная: А = /г(х- -г|). Наиболее распространенные методы решения уравнения (5) - это методы инверсной и псевдоинверсной фильтрации, оптимальной и параметрической фильтрации Винера, регуляризации Тихонова, апго-

ритмы Люси-Ричардсона, «слепой» деконволюции и др. [10-15]. Эти методы используют двумерное преобразование Фурье. В диссертации использованы методы регуляризации Тихонова, параметрической фильтрации Винера и итераций Фридмана - все методы в модификации (с добавлением размытия краев изображения).

В методе регуляризации Тихонова решение ИУ (5) равно (ср. (8))

и/а&п) = Л ] 1 е-/(Ш|$+<огт|) ^ ^ г (13)

4*2 _1_1|Я(со„со2)|2 +а(й2 +0)2У

где (ср. (7))

00 00 00 00 С(<£>} ,со2) = | ^(х,у)е'^\х+(ЛгУ)(кс1у, Я(<й,,(о2)= | |й(х, у) е'(ф1х+<я2У) Л ф, (14)

— СО —СО —СО—00

а в методе параметрической фильтрации Винера (ср. (9))

шИ5,т,) = Л ] ] Я,(ш1,ш2)С(шьш2)е_,(С01^2Т1)^| ^ (]5)

4Я -00 - 00 \Н{&ЬЫ2)\ + К

На рис. 12 приведен пример восстановления дефокусированного изображения расплавленного чугуна методом регуляризации Тихонова. В этом случае комплексирование (соединение) несовершенного микроскопа с компьютером позволило получить четкое изображение структуры чугуна и точнее диагностировать состояние его плавки (определять, пора ли прекращать плавление).

О способах выбора параметров а и К и о погрешности восстановления изображении. От удачного выбора параметра а или К зависит точность восстановления как смазан-

..._.._._____г_________, приведенное па рис. ного, гак и дефокусированного изображе-

2 и восстановленное методом ПФ с регуля- Ния. Существует ряд способов выбора па-ризацией Тихонова. В кружке-две близ- рал1етра регуляризации а [12-15]: способ кие точки на пределе разрешения

Рис. 10. Изображение, приведенное на рис. 1, с добавленным размытием краев

Рис. 11. Изображение на рис. 10 после восстановления методом конечных сумм с регуляризацией Тихонова (а = 10~5)

невязки, принцип обобщенной невязки и др., а также получены оценки погрешности восстановления: способ моделирования, или способ псевдообратного оператора [1215] и др. В диссертации использованы два иных способа выбора параметра а.

Первый способ основан на визуальной оценке (глазом и мозгом) восстановленного изображения ъиа. Он достаточно эффективен, несмотря на кажущуюся простоту.

Второй способ основан на использовании относительной среднеквадратической погрешности восстановления изображения

GTe](a) = \\wa-w\\LJ\\w\\L2, (16)

где w - точное изображение (исходный образ). Значение а = аор, выбирается исходя

из условия: аге] (а) = min .

а

Аналогично, для выбора параметра К использованы способ визуальной оценки восстановленного изображения и>к и способ, аналогичный выбору а:

£opt =argmmcreI(JQ, где are,(K) = || wK-w \\Li/|| Ш \\Ьг . (17)

Второй способ, использующий оценку погрешности аге[ и выбор аи^по условию минимума стге], может быть использован лишь при обработке модельных изображений, когда W известно (задано). Что же касается вышеотмеченных способов выбора а (невязки и др.), а также способов оценки погрешности восстановления (моделирования и др.) без использования w , то в диссертации они не рассматриваются.

Преобразование Фурье недостаточно адекватно описывает физическую природу процесса дефокусирования изображения. Поэтому возникает идея решать ИУ (5) с использованием квадратур (точнее, кубатур). Но из-за двумерности уравнения (5) получится СЛАУ с матрицей очень большого размера т2 хп2. Тем не менее, существуют методы, использующие кубатуры, но не связанные с решением СЛАУ. В диссертации рассмотрен один из таких методов - метод итеративной регуляризации Фридмана (в модификации) [12, 13, 15]. Согласно нему, ИУ (5) решается итерациями:

Ь d

g(x,y)~ { jhtx-^y-^w^i^dt.dr] ,

wk(x,y) = wk_}(x,y) + v

k = 1, 2, 3,... - номер итерации, 0 < v < 2/||^|| (обычно | новления в к-й итерации равна (ср. (16) и (17))

сгге1(£) = || wk-W\\L /\\w\\r

(18)

|=1). Погрешность восста-(19)

Рис. 13. g - дефокусированное зашумленное изображение; ws,... иъо, ■■■ ш40-итерации восстановленного изображения

Рис. 14. 1 - без шума, 2 - с 1 %-ным гауссовым шумом, v = 1.5

Предлагается выводить на дисплеи итерации wk с визуальным оцениванием (рис. 13). На рис. 14 - погрешности аге](А:); видна сходимость и расходимость итераций.

В заключение гл. 2 рассмотрен вопрос о зашумленности смазанных или дефокуси-рованных изображений. Рассмотрены импульсный и гауссовый шумы. Проанализирован важный вопрос о порядке фильтраты шумов - перед устранением смазыва-ния/дефокусирования или после него. Если, например, изображение смазалось за счет движения объекта (самолета), а в среде между объектом и неподвижной камерой был импульсный шум (пыль), то на изображении объект будет выглядеть смазанным, а шум - неподвижным (рис. 156). В этом случае нужно сначала отфильтровать шум,

6 например, медианным фильтром (рис.

15в), а затем - устранить смазывание методом регуляризации Тихонова или фильтрации Винера (рис. 15г). На рис. 16 - погрешности восстановления изображения самолета, представленного на рис. 156. Рассмотрены также другие ситуации, например, смазанные/дефо-кусированные объект и шум.

В результате обработки многих изображений сделаны выводы: I) импульсный шум лучше фильтруется медианным фильтром, а гауссов шум -адаптивным винеровским фильтром, 2) для импульсного шума важен порядок (очередность) фильтрации, а для гауссова шума порядок несущественен. Величина аге] может меняться до 2-3 раз в зависимости от очередности фильтрации шума (см. рис. 16).

Разрешающая способность прибора (цифрового фотоаппарата, системы слежения за изделиями на конвейере, микроскопа и др.). Существует ряд определений разрешающей способности (в оптике, спектроскопии и т.д.) [12, 13]. В диссертации разрешающая способность прибора определена как его способность давать раздельные изображения двух близких точек (или мелких деталей) объекта: 1) при наличии искажения изображения (смазывания или дефокусирования), 2) после устранения искажения (методом регуляризации Тихонова и др.) и 3) в отсутствие искажения (т.е. на истинном изображении) - качественное определение. А для количественного опре-

Рис. 15. я - ист. изображение; б - смаз. и зашум-ленное изображение, arei = 0.153; в — предш. мед. фильтр. 3x3, arei = 0.104; г - метод квадр. с per. Тихонова и парам, фильтр Винера, <jrei = 0.035

-1 о IgJUga

Рис. 16. Погрешность восстановления методами

Винера (W) и Тихонова (Т) с использованием pre- и post-фильтрации импульсного шума медианным фильтром с маской 3x3

деления введено наименьшее расстояние 5 в пкс (соответственно 8[, 82 и 83) между двумя точками, начиная с которого их изображения сливаются - предел разрешения ¡§¡1 (5[ > 62 > 63).

Например на рис. 2 5, и 12 пкс, а на рис. 12 82 « 53 « 4 ||§ пкс (на рис. 17 даны фрагменты рисунков 2 и 12).

Еще нагляднее рисунки 18а,б, на которых даны распре- Рис. 17. Интенсивности / деления /тах - / вдоль прямых, проходящих через центры

близких точек. Кривые на рис. 18а,б согласуются с критерием Рэлея [12, с. 227]. Отсюда следует, что обработка изображения повысила его разрешение в 5] /82 » 3 раза.

V \

■6,- 4 шф I

Рис. 18а. Интенсивности /тах -/

Рис. 186. Интенсивности /шах - /

Разрешение механических величин на объектах. Значению 5 в пкс на изображении соответствует линейный размер / в см на ПЗС-матрице цифрового фотоаппарата. Эти величины связаны соотношением: /см = 8ПКС ■ р, где р - количество см на расстоянии в 1 пкс, например, р = 0.01 см/пкс. А значению I (или 5) на ПЗС-матрице и на изображении соответствует линейный размер на объекте г = (/]//2)1 = (/]//-,)?>■ р см (рис. 3 и 7). Если, например, /, //2 = 6.25 (как в микроскопе, рис. 2 и 12), то 1 = (/¡//г)8! -Рк 7.5мм (рис. 2) и г2 = (/1//2)52 ■ р~ 2.5мм (рис. 12), т.е. по искаженному снимку разрешаются близкие детали на объекте до 7.5 мм, а по восстановленному изображению - до 2.5 мм, другими словами, обработка изображения повысила разрешение на самом объекте (как и на изображении) в г, /г2 » 3 раза.

В третьей главе изложены сравнительные особенности обработки изображений на персональных компьютерах (ПК) и на сигнальных процессорах (ЦСП). Сравнена память в ПК (практически нет ограничений на размеры оперативной памяти) и во встроенных системах (объемы памяти, тем более, внутри кристалла ограничены).

Рассмотрены вопросы сравнительной реализации алгоритмов восстановления смазанных изображений на ПК и на ЦСП. В качестве основного инструмента в диссертации выбран язык программирования С/С++. Для работы с изображениями на ПК использована библиотека ОрепСУ, а для ЦСП написаны соответствующие функции на языке С, позволяющие работать с ВМР-изображениями (ВМР_Раск. ВМР_ипраск).

Предложено два быстрых алгоритма восстановления смазанных изображений.

В первом алгоритме регуляризованное решение (12) записывается в виде (для каждой _у-строки изображения):

и>о.у=Ваёу, где Ва = (аЕ + АТ А)~] АТ. (21)

Здесь Ва - матрица пх(п + А). Она может быть рассчитана заранее и восстановление изображения сведется к умножению «заготовленной» матрицы Ва на каждую ^'-строку изображения g. Для умножения матрицы Ва размера их(л + Д) на вектор gy длины п + А потребуется п(п + Д) умножений (и сложений), а на обработку всего изображения, имеющего т строк, потребуется тп(п + Д) умножений. Например, при т = п = 400 потребуется около 64 млн умножений. Если скорость компьютера порядка 1 млрд оп/с, то восстановление изображения выполнится за 0.1 с. Данный алгоритм в 3-3.5 раза быстрее метода Холецкого [19] решения СЛАУ (аЕ + ATA)Way = ATgy или и>ау = (аЕ + АТА)~' ATgy, но требует примерно такой же памяти.

Матрица Ва обычно одинакова для всех у-строк изображения (если сдвиг Д не зависит от у), но зависит от величины смаза Д и параметра регуляризации а. Величины Д и а априори неизвестны, поэтому нужно заранее рассчитать ряд матриц Ва для нескольких типичных значений Д и а. Если речь идет, например, о самолете - нарушителе границы, то служба первичного обнаружения цели должна оценить скорость, направление движения и высоту полета самолета и по этим данным служба обработки изображения может оценить Д и вызвать несколько матриц Ва с некоторыми типичными значениями Д и а. На несколько экранов могут быть выданы восстановленные изображения ша и опытные операторы сделают выбор. На рис. 19 представлен возможный вывод на несколько экранов восстановленных изображений при различных типичных Д и а. Видим, что при Д = 20, а = 10-4 получается вполне удовлетворительное восстановление изображения самолета: из-за смаза на самолете не были видны опознавательные знаки (рис. 15в), а после восстановления алгоритмом «заготовленной» матрицы согласно (21) на самолете стали видны опознавательные знаки. Восстановление одного кадра на рис. 19 потребовало < 1 с машинного времени.

Предложен также второй быстрый алгоритм - на основе ПФ с регуляризацией:

Этот алгоритм заключается в том, что заранее вычисляется вектор Ra (теплицева матрица в случае дискретизации соотношений (22)) при некотором типичном а (а такжер) и оцененном Д. Восстановление изображения сведется к вычислению wa(i;) для каждого у путем умножения Ra на gy. Данный алгоритм сравнивался с решением ИУ (4) методом БПФ с регуляризацией Тихонова согласно (7)-(8) [20]. Сравнение показало, что алгоритм (22) требует в 1.5 раза меньше памяти, но медленнее метода БПФ, хотя проще него.

Сравнение алгоритмов (21) и (22) показывает, что затраты машинного времени на их реализацию (когда матрицы Ва и Ra рассчитаны) - одного порядка. При этом Ra требует для своего хранения существенно меньше машинной памяти, чем Ва, так как Ra - теплицева (разностная) матрица, хранимая в памяти в виде вектора.

Однако /?а-алгоритм, связанный с ПФ, как уже подчеркивалось, порождает эффект

Гиббса в большей степени, чем Ба-алгоритм. Поэтому на практике предпочтение может быть отдано одному из этих алгоритмов в зависимости от того, что важнее: скорость реализации, требуемая память, качество восстановления и т.д.

e-'^öfc). (22)

л 14 ШЩЩ Щ

1Г.ЗЙ§§ йш |(Й

А- Ж ^ш^ЩШШ^ШШШШШ^Ш Шй 111 ¿шш ШтШ. л За ¿Г*

^тяШ "щ Л

-аУ 1; Я11111111|1|Ш11 эж л уШ

А у» --

К -

Рис. 19. Возможный вывод на несколько экранов восстановленных изображений самолета

В дополнение к гл. 2 рассмотрены также вопросы реализаиии задачи восстановления дефокусированных изображений. Рассмотрена задача дефокусирования, описываемая 2-мерным ИУ Фредгольма 1 рода (5). В качестве ФРТ рассматривались пространственно-инвариантные (разностные) функции:

к(х,у) = |1Ар2, л/*2 + у1 <р, (23)

[ 0, иначе,

к(х,у) = (1/2тта2)е~(*2+У2У2°2, (24)

где ФРТ (23) - это ФРТ в виде однородного круга радиуса р (простейший случай), а ФРТ (24) - ФРТ в виде 2-мерной гауссианы (более реальный случай), причем а2 -дисперсия (чем больше а2, тем шире ФРТ и тем сильнее дефокусирование).

В задаче дефокусирования был использован алгоритм 2-мерного БПФ [21]. Кратко проанализированы особенности реализации 2-мерного БПФ на ПК и ЦСП.

Однако, как уже отмечено в гл. 2, преобразование Фурье недостаточно адекватно описывает физическую природу процесса дефокусирования изображения. Поэтому реализован также более адекватный метод итераций Фридмана согласно (18).

Изложены особенности реализаиии исследуемых алгоритмов во встроенных системах. Основные причины применения встроенных вычислительных систем и реализации алгоритмов на них - малая потребляемая мощность, малые размеры, сравнительно высокое быстродействие при повторяющихся операциях типа МАС. На персональной ЭВМ выполняющийся алгоритм занимает часть вычислительной мощности.

а на ЦСП алгоритм выполняется на всех имеющихся ресурсах. Даны общие сведения из области построения программного обеспечения (ПО) для встроенных систем. Для задач, рассматриваемых в диссертации, важно, чтобы для их решения хватило памяти.

Дана общая характеристика процессоров семейства TI С6000. Это семейство характеризуется наивысшей производительностью из всей номенклатуры процессоров, предоставляемых фирмой Т1, что наиболее важно при обработке изображений.

Был проведен анализ ресурсов ЦСП Texas Instruments с плавающей точкой С67х+ и с фиксированной точкой С64х+. Наиболее мощным из имеющихся ЦСП С67х+ является С6748 - он работает на частоте до 450МГц и имеет 388кбайт внутреннего ОЗУ. А, например, процессор С6457 работает на частотах 85(К1200МГц в зависимости от исполнения (850МГц, 1ГГц и 1.2ГГц), и имеет объем внутреннего ОЗУ 2048кбайт, но это ЦСП с фиксированной точкой. Таким образом, из имеющихся ЦСП, для решения поставленных задач был выбран ЦСП TMS320C6457, как наиболее подходящий по быстродействию и наибольшему объему памяти внутри кристалла из всех имеющихся на тот момент. Для исследований был заказан отладочный модуль на базе этого ЦСП (оценочный модуль TMDSEVM6457L).

На рис. 20 представлена архитектура микропроцессора TMS320C6457.

DOR2 порт и контроллер -внешней памяти

1 З £ £

32К63ЙІ

L1 кэш ланнП.х/зтатическое ОЗУ .

Й 6 _

Контроллер L2-naMmn

Управление

полосой пропускания

Защита пами! и

Коні поллер L1-памяти лроірзмм (

Защита памяти

Управление полосой пропускания

Внутрисхемный

Расширенный DMA (EDMA 3 0)

ПЗУ (13 ROM)

Выборка команд 16/32-6 и г диспетчеризация команд (инструкций) Регистры управления Буфер цикла программной конвейеризации (SPLOOP)

Декодирование команд Канап внутрисхемной эмуляции

Тракт данных А Тракт данных В

Ліг Л,

Кош роллер L1-памяти данных Защита памяти

Управление полосой пропускания

JLL

32К6айт L1 кэш данньїх.'сіаїическое ОЗУ

Рис. 20. Архитектура микропроцессора ТМ8320С6457

Проанализированы особенности реализаиии алгоритмов на ЦСП. Основная особенность (и трудность) - выполнение операций с плавающей точкой на ЦСП с фиксированной точкой. Для этих целей существует библиотека 1<ЗМаЙ1, адаптированная для ЦСП С64х+, использованная в диссертации. В 10МаШ используется обычное 32-разрядное целое число и в него вводится «виртуальная точка». ЦСП выполняет вычисления обычно с фиксированной точкой, но пользователь интерпретирует их по-другому. В этой библиотеке принято за 0 обозначение количества разрядов, отводимых под дробную часть. А та часть операнда, что находится левее точки, отводится под целочисленную часть операнда. Итак, с частичным применением такого подхода и конкретно этой библиотеки были реализованы некоторые исследуемые алгорит-

мы. Например, прямая задача моделирования как смазывания, так и дефокусирования надежно реализуется с применением библиотеки IQMath при Q = 16. В обратной задаче каждый случай требует более детального рассмотрения. Существуют ситуации, когда обработка с помощью такого представления чисел не годится вообще (например, методы с использованием 2-мерного ПФ).

В четвертой главе изложена реализация алгоритмов восстановления изображений на ЦСП. В главе подробно излагается особенность реализации исследуемых алгоритмов на процессоре с фиксированной точкой, применения библиотеки IQMath и ограничений на ее применение.

При реализации алгоритмов на ЦСП в процессе выполнении вычислений выяснилось, что для обеспечения требуемой точности при решении обратных задач не всегда достаточно для операнда 32 разрядов. В связи с этим, для каждого алгоритма потребовалось провести исследование принципиальной возможности реализации алгоритма на архитектуре с фиксированной точкой и «положения точки» в разрядном слове, чтобы обеспечить требуемую точность при обработке операнда, учитывая его дробную часть (количество разрядов после точки), и в то же время чтобы не происходило переполнение при обработке его целочисленной части. Поскольку почти все операнды в вычислениях требуют учета знака, переполнением можно считать, когда при увеличении значения операнда (его целочисленной части) происходит изменение знакового разряда. Поэтому при вычислениях на значение операнда отводится не 32 а 31 разряд, старший (31-й при отсчете от 0) разряд при этом отводится под знак числа. Результаты исследований показали принципиальную возможность реализации почти всех исследуемых методов, не прибегая к плавающей точке, за исключением тех, которые связаны с решением двумерных ИУ с использованием двумерного ПФ, а именно метода параметрической фильтрации Винера и регуляризации Тихонова для случая решения обратной задачи устранения дефокусирования.

Реализация метода квадратур с регуляризацией Тихонова в обратной задаче восстановления смазанного изображения на ЦСП показала, что для достижения требуемой точности необходимо количество разрядов под дробную часть Q= 19^21. При этом результаты вычислений получились сопоставимыми с результатами на ПК.

В методе ПФ с регуляризацией Тихонова в обратной задаче устранения смазывания применение IQMath было лишь частичным. В решении этой задачи как прямое, так и обратное БПФ реализовано в целых числах, как было предложено в библиотеке dsplib, поставляемой фирмой Texas Instruments. При вычислении, в первую очередь, «поворачивающих коэффициентов» в БПФ с использованием функций IQsinf) и _IQcos() при тестировании результатов выявилось, что они не всегда достоверны. Поэтому при вычислении БПФ пришлось отказаться от использования IQMath. Вычисление БПФ осуществлялось в целых числах с предварительным сдвигом влево для данных каждой точки для всего вектора. При реализации этого метода, IQMath применялось лишь при вычислении регуляризованного спектра, для которого под дробную часть требуется отводить 9^-13 разрядов (Q = 9^ 13). При невыполнении этих условий погрешность восстановления существенно возрастает [22]. Данные H3_iq формата в int и обратно, преобразуются без потерь, поскольку _iq формат - это ни что иное, как 32-разрядное целое (int).

При решении двумерной задачи наименее требовательным к выбору положения точки является метод Фридмана, поскольку в основе этого метода лежат вычисления согласно (18), где вычисление интеграла - ни что иное, как прямая задача, выполняющаяся каждую итерацию, и затем остальные вычисления - согласно формуле. В

этом методе все выполняемые операции по отдельности устойчивы, но поскольку сама задача является некорректной, то процесс обычно расходится, начиная с некоторого количества итераций, поэтому в качестве параметра регуляризации выступает количество итераций. В методе Фридмана достаточно отводить = 16 разрядов под дробную часть и можно выбирать положение точки, отводя 14-Н8 разрядов под нее.

Для метода ПФ с регуляризацией Тихонова для двумерной задачи реализация на фиксированной точке не подходит. Этот метод можно реализовать лишь для плавающей точки, что и было сделано на языке С лишь на ПК.

В качестве вывода можно сказать следующее. Если для одномерной обратной задачи (смазывание) еще допустима реализация с учетом архитектуры с фиксированной точкой и допустимо применение библиотеки 1С>МаЙ1, интерпретация дробных чисел как целочисленных, хотя бы для части вычислений метода, то для двумерной обратной задачи (дефокусирование) невозможно обойтись без использования плавающей точки из-за слишком широкого динамического диапазона данных двумерного БПФ. Эту задачу можно решить лишь с помощью эмуляции плавающей точки.

На рис. 21 приведен результат обработки на ЦСП смазанного изображения, а на рис. 24 - дефокусированного изображения.

На рис. 22 и 23 приведены графики зависимостей точности восстановления смазанных изображений методом квадратур (рис. 22) и методом ПФ с регуляризацией Тихонова (рис. 23).

в) г)

Рис. 21. а - исходное изображение; б - смазанное изображение (А = 20 пкс, с размытием краев); в - восстановленное изображение методом квадратур с регуляризацией Тихонова ((2 = 20, а = 5 ■ 10~3, стге) = 0.095); г - восстановленное изображение методом ПФ с регуляризацией Тихонова (0= 11, а = 3-10"4,стге1 =0.094)

Зависимость погрешности восстановления от количества разрядов, отводимого под дробную часть, при а=0,007

GL.OBAI._Q

Рис. 22. Зависимость погрешности восстановления (среднеквадратического отклонения) от положения точки для метода квадратур с регуляризацией Тихонова

Зависимость погрешности восстановления от количества разрядов, отводимого под дробную часть, при а=0,002

о1_овА1._а

Рис. 23. Зависимость погрешности восстановления от положения точки для метода ПФ с регуляризацией Тихонова

Рис. 21 и 24 показывают, что можно восстановить смазанное и дефокусированное изображения с приемлемой точностью на ЦСП с фиксированной точкой, если выполнить соответствующие условия достижения точности вычислений, необходимые при реализации соответствующего метода.

в) г)

Рис. 24. а - исходное изображение; б - изображение, дефокусированное с помощью ФРТ в виде гауссианы (ст = 0.05, с размытием краев); в - восстановленное изображение методом ПФ с регуляризацией Тихонова (а = 3-10~8, аге1 = 0.12); г - восстановленное изображение методом итераций Фридмана (О = 16, к = 40 итераций, аге! =0.128)

Проблемы при реализации в целых числах с использованием сдвиговых операций возникают лишь при использовании методов, использующих двумерное ПФ. Для этих методов предпочтительнее не использовать процессор с фиксированной точкой. Недавно компанией Texas Instruments приняты к производству процессоры серии Сббх (fixed and float point), полностью подходящие для реализации исследуемых задач. Наиболее подходящим является процессор TMS320C6657.

Для реализации исследуемых методов разрядность процессора предпочтительно иметь не ниже 32, так как при других количествах (16 или 8) реализация крайне затруднена, и это будет сопровождаться чрезмерно высоким временем для выполнения задачи восстановления процессором. В этом случае подход к реализации в целых числах будет еще более затруднен из-за малой разрядности ЦСП. Как вывод по работе можно сделать, что наиболее быстрыми (за исключением использования заранее заготовленных матриц) являются все-же методы, использующие ПФ, а конкретнее БПФ. Алгебраические методы хоть и хороши более адекватным описанием природы искажения - не являются быстрыми. Например, обращение матрицы размерностью 600x600 по методу Гаусса-Жордана требует около 1.5 мин. Времени для восстановления. Метод Фридмана для восстановления дефокусирования при 40 итерациях требует около 20 мин. Тогда как восстановление смазывания с использованием БПФ требует всего 3 сек. Эти цифры получены при отключенной оптимизации кода в Code Composer Studio v4.2.0. Метод ПФ с регуляризацией Тихонова для дефокусирования на ПК в среде Visual Studio 2010 при реализации на С без использования типа double требует всего лишь 2 сек. для восстановления изображения. 11ри введении дополни-

тельной оптимизации кода компилятором, методы использующие БПФ значительно более близки к восстановлению в реальном времени, чем алгебраические методы. Поэтому, в качестве вывода можно сказать, что выбор метода требует более детального рассмотрения в зависимости от задачи и ситуации, что предпочтительнее: более высокая точность восстановления или более высокое быстродействие. Для восстановления дефокусирования, при более глубоком его уровне, лучше работает метод ПФ с регуляризацией Тихонова, чем метод Фридмана (ср. рис. 24в и рис. 24г).

Заключение содержит основные выводы н результаты работы:

1. Разработана методика восстановления смазанных изображений путем решения множества одномерных интегральных уравнений, а дефокусированных изображений

- путем решения двумерного уравнения на ЦСП с фиксированной точкой в целых числах с использованием сдвиговых операций.

2. Показано, что вместо преобразования Фурье (ПФ) с регуляризацией предпочтительнее использовать способ квадратур/кубатур, как более адекватный способ математического описания физического процесса смазывания/дефокусирования изображений, что понижает погрешность восстановления до 2-3 раз (ср. рис. 9 и 11).

3. Разработан новый устойчивый метод восстановления изображений и повышения разрешающей способности средств наблюдений объектов на основе соединения метода регуляризации Тихонова (или Фридмана) со способом «усечение-размытие». Данный способ не использует «граничные условия» и снижает эффект Гиббса (ср. рис. 1,9-11).

4. Разработано два новых адаптивных алгоритма быстрого восстановления смазанных изображений на основе метода квадратур и метода ПФ (оба с регуляризацией) с помощью использования заранее рассчитанных («заготовленных») матриц. Эти алгоритмы позволяют восстанавливать изображения быстродвижущихся целей (самолетов, автомобилей и т.д.) в пределах 1 сек.

5. Исследован адаптивный алгоритм фильтрации шумов на смазанных/дефоку-сированных изображениях, выполняющий предшествующую или последующую фильтрацию шума в зависимости от ситуации. Погрешность восстановления может отличаться до 2-3 раз в зависимости от очередности фильтрации шума (рис. 15,16).

6. Создана встраиваемая микропроцессорная система на базе ЦСП, позволяющая повысить разрешающую способность приборов примерно в 3 раза.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях из перечня ВАК:

1. Кирьянов К.А., Сизиков B.C. Применение сигнальных микропроцессоров в задачах реконструкции искаженных изображений // Изв. вузов. Приборостроение. 2011. Т. 54. № 7. С. 20-26.

2. Кирьянов К.А., Сизиков B.C. Программирование задач восстановления искаженных изображений на C/C++ в сигнальных микропроцессорах фирмы Texas Instruments // Научно-техн. вестник ИТМО. 2012. № 6(82). С. 77-81.

3. Сизиков B.C., Кирьянов К.А. Два быстрых алгоритма восстановления смазанных изображений // Изв. вузов. Приборостроение. 2013. Т. 56. № 10.

Публикации в других изданиях:

4. Кирьянов К.А. Инструментальная реализация алгоритмов реконструкции искаженных изображений // Труды 20-й Международной конференции "GraphiCon'2010".

- СПб.: Изд-во СПбГУ ИТМО. 2010. С. 188-191.

5. Кирьянов К.А., Сизиков B.C. Программно-аппаратная реализация алгоритмов реконструкции искаженных изображений // Материалы Междунар. конф. "XXXIX Неделя науки СПбГПУ". Ч. XIII. - СПб.: Изд-во СПбГПУ. 2010. С. 214-216.

6. Кирьянов К.А., Сизиков B.C. Разработка программного обеспечения на С/С++ для восстановления искаженных изображений с помощью сигнальных процессоров // Материалы Междунар. конф. "XL Неделя науки СПбГПУ". Ч. XIII. - СПб.: Изд-во СПбГПУ. 2011.С. 291-293.

7. Кирьянов К.А. Алгоритмы восстановления смазанных, дефокусированных и за-шумленных изображений и особенности их аппаратной реализации на сигнальных микропроцессорах II Труды 8-й Междунар. конф. "Телевидение: передача и обработка изображений". - СПб.: Изд-во СПбГЭТУ "ЛЭТИ". 2011. С. 105-110.

8. Кирьянов К.А. Адаптация алгоритмов восстановления смазанных и дефокусированных изображений для их реализации в модулях на базе микропроцессоров TMS320C64++ // Сб. тез. докл. VIII Всероссийской межвузовской конференции молодых ученых. Вып. 1. - СПб.: СПбГУ ИТМО. 2011. С. 85-87.

9. Кирьянов К.А. Особенности программирования задач восстановления искаженных изображений на языке С++ для DSP Texas Instruments // Сб. тез. докл. I Всероссийского конгресса молодых ученых. Вып. 2. - СПб.: НИУ ИТМО. 2012. С. 210-212.

Список цитированной литературы:

10. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2006. 1072 с.

11. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. - М.: Техносфера, 2006.616 с.

12. Сизиков B.C. Обратные прикладные задачи и MatLab. - СПб.: Лань, 2011. 256 с.

13. Сизиков B.C. Интегральные уравнения и MatLab в задачах томографии, иконики и спектроскопии. - СПб.-Saarbrucken: LAP, 2011.252 с.

14. Воскобойников Ю.Е., Литасов В.А. Устойчивый алгоритм восстановления изображения при неточно заданной аппаратной функции // Автометрия. 2006. Т. 43. № 6. С. 3-15.

15. Верлань А.Ф., Сизиков B.C. Интегральные уравнения: методы, алгоритмы, программы. - Киев: Наук, думка, 1986. 544 с.

16. Витязев В.В., Витязсв C.B. Цифровые процессоры обработки сигналов TMS320C67x компании TEXAS INSTRUMENTS: Уч. пособие. - Рязань.: Изд-во РГРТУ. 2007. 112 с.

17. Кухарев Г.А., Тропченко А.Ю., Шмерко В.П. Систолические процессоры для обработки сигналов. - Минск: Беларусь. 1988.127 с.

18. Ярославский Л.П. Введение в цифровую обработку изображений. - М.: Сов. радио, 1979. 312с.

19. Уилкинсон, Райнш. Справочник алгоритмов на языке АЛГОЛ. Линейная алгебра. - М.: Машиностроение. 1976. 389 с.

20. Арефьева М.В., Сысоев А.Ф. Быстрые регуляризирующие алгоритмы цифрового восстановления изображений // Вычисл. методы и программирование. 1983. Вып. 39. С. 40-55.

21. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов. - М.: Мир. 1978. 835 с.

22. Грешилов A.A. Некорректные задачи цифровой обработки информации и сигналов. - М.: Логос 2009. 358 с.

Корректор Сизиков B.C.

Тиражирование и брошюровка выполнены в учреждении «Университетские телекоммуникации» 197101, Санкт-Петербург, Саблинская ул., 14 Тел.(812)233 46 69. Объем 1,0 у.п.л. Тираж 100 экз.

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики

На правах рукописи

04201359654

КИРЬЯНОВ КОНСТАНТИН АЛЕКСАНДРОВИЧ

УСТОЙЧИВЫЕ МЕТОДЫ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ ВО ВСТРОЕННЫХ СИСТЕМАХ ДЛЯ ПОВЫШЕНИЯ ТОЧНОСТИ ИЗМЕРЕНИЙ МЕХАНИЧЕСКИХ ВЕЛИЧИН НА ОБЪЕКТАХ

Специальность 05.11.01 - «Приборы и методы измерения (механические величины)»

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель - доктор технических наук,

профессор Сизиков В. С.

Санкт-Петербург - 2013

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ...................................................... 5

Актуальность темы (5). Объект исследования работы (12). Предмет исследования (12). Цель диссертационной работы (12). Задачи исследования (13). Основные положения, выносимые на защиту (13). Методы исследования (14). Научная новизна (14). Достоверность научных результатов (15). Теоретическая и практическая ценность работы (15). Реализация работы (15). Апробация работы (16). Публикации (16). Структура и объем диссертации (16).

Глава 1. ОСНОВЫ ОБРАБОТКИ ИСКАЖЕННЫХ ИЗОБРАЖЕНИЙ.....17

1.1. Объекты, устройства регистрации их изображений, искажения..... 17

Снимаемые объекты (17). Устройства регистрации изображений (17). Основные типы искажений изображений (18).

1.2. Основные типы изображений, соглашение о координатах......... 19

Типы изображений (19). Соглашение о координатах (20).

1.3. Примеры искаженных изображений............................21

1.4. Прямая и обратная задачи обработки изображений............... 21

Обработка смазанных изображений (21). Прямая задача (22). Обратная задача устранения смаза (24). Вывод интегрального уравнения (26). Преобразование уравнения (1.8) к уравнению типа свертки (28). Обработка де-фокусированных изображений (31). Постановка задачи дефокусирования

(31). Вывод основного соотношения в простейшем случае (32). Приведение основного уравнения к стандартной форме (34). Численные алгоритмы решения прямой задачи дефокусирования (37).

1.5. «Граничные условия», способы доопределения, приемы усечения и раз-

мытия изображений.........................................38

О «граничных условиях» (38). Прием усечения смазанного изображения (38). Схема для понижения эффекта Гиббса (41). Прием усечения дефоку-сированного изображения (44). Прием размытия краев дефокусированного изображения (48).

1.6. Формулировка требований к встроенной системе восстановления изображений и формирование ее функциональной схемы.............50

Функции ББР-процессора (50). О масштабе времени (51). Из истории разработки процессоров (52). Основные группы СБИС процессоров (53). Об алгоритмах обработки изображений (54). ОБР-приложения (55).

1.7. Выводы................................................... 57

Глава 2. МЕТОДЫ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ (ОБРАТНАЯ

ЗАДАЧА)..................................................... 60

2.1. Обратная задача устранения смазывания изображения.............60

Метод преобразования Фурье (инверсной фильтрации) (60). Метод псевдоинверсной фильтрации (61). Метод преобразования Фурье с регуляри-

зацией Тихонова (63). Метод конечных сумм с регуляризацией Тихонова (68). Метод фильтрации Винера (72).

2.2. Обратная задача устранения дефокусирования изображения........73

Методы инверсной и псевдоинверсной фильтрации (74). Метод фильтрации Винера (75). Метод регуляризации Тихонова (77). Метод итераций с квадратурами (79). Оценка погрешности восстановления изображения

(84).

2.3. Шум на изображении и погрешность ФРТ...................... 88

Зашумленность изображения (88). Погрешность знания ФРТ (93).

2.4. Разрешающая способность прибора........................... 94

2.5. Выводы................................................... 96

Глава 3. СРАВНИТЕЛЬНЫЕ ОСОБЕННОСТИ ОБРАБОТКИ ИЗОБРАЖЕНИЙ на ПК и ЦСП............................................. 98

3.1. Вводная часть.............................................. 98

Об аналоговых и цифровых сигналах (98). О памяти и быстродействии (100).

3.2. Реализация алгоритмов восстановления смазанных изображений

на ПК.....................................................100

Выбор инструментария (100). О библиотеке OpenCV (101). Реализация задачи восстановления смазанных изображений (102).

3.3. Методы линейной алгебры решения СЛАУ и обращения матриц ... 103 Методы Гаусса и Гаусса-Жордана (103). Метод LU-разложения (104). Метод квадратных корней Холецкого (105). Два быстрых алгоритма восстановления смазанных изображений (106).

3.4. Реализация алгоритмов восстановления дефокусированных изображений на ПК.................................................112

Об аппаратной функции (112). Реализация обратной задачи восстановления дефокусированных изображений методом двумерного ПФ с регуляризацией Тихонова (112). Двумерное ДПФ/БПФ (113). О методе двумерного

ПФ с регуляризацией Тихонова (114). О методе итераций с квадратурами (методе итеративной регуляризации Фридмана) (114).

3.5. Особенности реализации исследуемых алгоритмов во встроенных

системах................................................. 114

Общие сведения из области построения ПО для встроенных систем (114). Надежность (115). Реактивность (115). Компактность (116). Работа с базами данных (116). Взаимодействие с человеком (116).

3.6. Архитектура микропроцессора TMS320C6457 Texas Instruments ... 117 Общая характеристика процессоров (117). Процессор TMS320C6457 (118). Процессоры С64х+ (122). Карта памяти, Tinker command file (124). Реализация алгоритмов на ЦСП (127). Особенности реализации алгоритмов восстановления изображений на ЦСП (134). Упаковка и распаковка данных изображений (135). О методе квадратур с регуляризацией Тихонова (135). Реализация метода ПФ с регуляризацией Тихонова (136). Точность вычислений (138). Искажения (помехи, шумы), вносимые вычислительным процессом (140).

3.7. Выводы...................................................140

Глава 4. РЕАЛИЗАЦИЯ АЛГОРИТМОВ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ на ОТЛАДОЧНОМ МОДУЛЕ TMDSEVM6457L на БАЗЕ ЦСП TMS320C6457................................................. 142

4.1. Структурная схема отладочного модуля и описание его работы .... 142 Структурная схема модуля TMDSEVM6457L (142).

4.2. Новая методика реализации алгоритмов на ЦСП................ 145

Особенности выбора положения точки в операнде (145). Реализация метода квадратур с регуляризацией Тихонова (148). Реализация метода ПФ с регуляризацией Тихонова (155). Восстановление дефокусированных изображений. Метод итеративной регуляризации Фридмана (162). Метод ПФ

с регуляризацией Тихонова для устранения дефокусирования (167).

4.3. Выводы...................................................170

ЗАКЛЮЧЕНИЕ................................................. 171

СПИСОК ЛИТЕРАТУРЫ

172

ВВЕДЕНИЕ

Актуальность темы. В технических системах наблюдения (цифровых фотоаппаратах и видеокамерах, микроскопах, телескопах, томографах и т.д.) при наблюдении и фиксации объектов (людей, природы, автомобилей, вирусов, космических объектов и т.д.) часто имеют место искажения изображений (<смазывание из-за движения системы или самого объекта, дефокусирова-ние из-за неправильной установки фокуса, зашумление и др.). Их можно устранить техническим путем, например, не допустить смещения системы, отрегулировать фокус и т.д. Однако это не всегда возможно, например, в случае, когда искаженный снимок был сделан давно и его нельзя повторить, или, как в известном случае с космическим телескопом «Хаббл», когда из космоса поступило много электронных снимков, но они были дефокусированы [42, с. 73]. В этих случаях целесообразно выполнить математическую обработку изображения с целью его восстановления.

К настоящему времени разработан ряд методов восстановления искаженных (смазанных, дефокусированных, зашумленных) изображений. Они обычно сводятся к решению интегральных уравнений I рода, задача решения которых некорректна (существенно неустойчива). Поэтому для их решения используют устойчивые методы параметрической фильтрации Винера, регуляризации Тихонова, максимального правдоподобия Люси-Ричардсона, «слепой» деконволюции и др. [12-14, 41^3]. В разработку методов восстановления искаженных изображений внесли большой вклад A.C. Апарцин, М.В. Арефьева, А.Б. Бакушинский, Р. Бейтс, Г.И. Василенко, В.В. Васин, А.Ф. Верлань, Ю.Е. Воскобойников, Р. Вудс, Р. Гонсалее, A.B. Гончарский, A.B. Горшков, И.С. Грузман, И.П. Гуров, В. Дьяконов, И.М. Журавель, М. Мак-Доннелл, В.В. Манойлов, A.B. Меженин, В.Н. Остриков, У. Прэтт, Ю.П. Пытьев, А.И. Седельников, В.А. Сойфер, В.М. Старков, А.Н. Тихонов, А.Ю. Тропченко, Т.Ю. Фисенко, Г. Хермен, Т. Хуанг, А.К. Цыцулин, Г.Ю.

Шлихт, С. Эддинс, Г. Эндрюс, А.Г. Ягола, Б. Яне, Л.П. Ярославский, М. Christiansen, М. Donatelli, S. Farsiu, J. Nagy, J.C. Russ, P. Wendykier и др.

Обычно тот или иной метод реализуют на универсальном компьютере, чаще всего, на персональном компьютере (ПК, PC). Однако это не всегда целесообразно. Иногда разумнее задачу восстановления изображения решать с помощью малогабаритного цифрового сигнального процессора (ЦСП, DSP), интегрированного в систему наблюдения (к фотоаппарату, микроскопу, телескопу, томографу и т.д.). В этом случае найдет реальное воплощение известная редукционная проблема Рэлея о повышении разрешающей способности прибора за счет математической обработки результатов измерений. Причем, если эта обработка будет выполняться с помощью встроенного в ЦСП небольших размеров, то мы получим новый прибор с повышенной разрешающей способностью. Повышение же разрешающей способности прибора позволит выделить мелкие детали на изображении, а значит, воссоздать микроструктуру объектов, изучаемых с помощью систем слежения, томографов, микроскопов, телескопов и т.д.

Диссертация посвящена вопросам реализации на ЦСП алгоритмов восстановления искаженных изображений.

В технических системах обработки информации изображение обычно регистрируется специальным прибором, фотоэлектрическим преобразователем или сенсором на основе ПЗС (CCD)- или КМОП (СМ08)-матрицы [60, с. 33]. Получаемое с сенсора изображение состоит из множества точек и поэтому является дискретным. Для оцифровки, кроме дискретизации необходимо выполнять квантование изображения, что в последнее время довольно часто делается прямо на выходе сенсора, сразу после выполнения им преобразования света в электрический сигнал. ПЗС/КМОП-сенсоры работают в инфракрасном, видимом, ультрафиолетовом и рентгеновском диапазонах исключительно как приемники излучения.

Принципы получения изображений, например, в магнитно-резонансной томографии отличаются от используемых в ПЗС/КМОП. Чаще всего используются полутоновые (gray, grayscale, серые) изображения с градацией яркости.

Отдельной задачей, решаемой в диссертации, является реализация исследуемых алгоритмов в аппаратуре встраиваемых систем.

Устранение искажений возможно двумя путями: 1) техническим путем -путем более качественной регистрации изображений (без сдвига фотоаппарата, без расфокусирования и т.д.) и 2) путем математико-компьютерной обработки искаженных изображений. Первый путь не всегда возможен (пример: старая расфокусированная фотография). А второй путь в таких случаях является зачастую единственно возможным, хотя и весьма сложным (можно восстановить расфокусированную фотографию, используя некий математический метод восстановления с использованием компьютера).

Однако Методы цифровой обработки еще лет 45 назад в целом не могли эффективно конкурировать с аналоговыми и пользовались у разработчиков весьма малой популярностью. Это объяснялось несколькими причинами.

Первая причина состояла в довольно высокой сложности реализации алгоритмов на множестве дискретных компонентов, в качестве которых применялись цифровые интегральные схемы, которые в то время только появлялись и имели невысокую степень интеграции, другими словами, содержали в себе лишь небольшое количество самых примитивных логических операций. Это также сказывалось на массогабаритных характеристиках устройств.

Вторая причина заключалась в том, что отсутствовала гибкость при разработке устройств, входящих в такие системы. Например, устройство, в котором был реализован один метод, было практически невозможно либо чрезвычайно сложно приспособить для другого метода. Вызывало сложность даже изменение некоторых параметров в рамках одного метода.

Третья важная причина была в том, что цифровая обработка сигналов и изображений известными в то время методами, использующими дискретное представление обрабатываемых сигналов, в особенности, при обработке больших массивов данных, требовала значительных временных затрат. Последнее вынуждало разработчиков цифровых методов и средств анализа сигналов идти не только по пути повышения быстродействия аппаратуры, но и по пути поиска более эффективных алгоритмов обработки информации, позволяющих уменьшить объем вычислений при реализации различных задач цифровой обработки сигналов и изображений и, как следствие, временные затраты на получение конечного результата.

Появление алгоритма быстрого преобразования Фурье (БПФ), требующего гораздо меньшего объема вычислений, чем все известные к тому времени алгоритмы, открыло новую страницу в области обработки сигналов и изображений цифровыми методами.

Другой качественный скачок в развитии методов и средств цифровой обработки сигналов и изображений был обусловлен появлением специализированных сверхбольших интегральных схем (СБИС), ориентированных на цифровую обработку сигналов и изображений. Сегодня этими СБИС вполне можно назвать программируемые логические интегральные схемы (ПЛИС, FPGA) и цифровые сигнальные процессоры (ЦСП, DSP), с применением которых существенно улучшились массо-габаритные характеристики систем, а также существенно возросла гибкость к изменению алгоритмов.

В связи с этим стало намного проще разрабатывать схемы. Так, если говорить о сегодняшнем простейшем устройстве обработки сигналов и изображений, то на его плате могут присутствовать лишь основные для него узлы: аналого-цифровой преобразователь (АЦП), собственно сам обработчик (ЦСП с соответствующей программой или ПЛИС с требуемой конфигурацией) и цифро-аналоговый преобразователь (ЦАП). Совершенствование технологии производства схемных компонент на основе крупномасштабной интеграции

оказало существенное влияние как на принципы организации аппаратуры цифровой обработки сигналов и изображений, так и на появление новых эффективных по быстродействию и точности алгоритмов.

Совершенствование технологии повлияло также и на развитие персональных ЭВМ (ПК) общего назначения. Начиная с 1971 года, когда фирмой Intel был создан первый 4-х разрядный микропроцессор «Intel 4004», поскольку уже тогда совершенствование методов аналоговой обработки показывало чрезвычайную сложность, дороговизну и сильную ограниченность их возможностей, остро встал вопрос о реализуемости алгоритмов цифровой обработки на имеющейся элементной базе. С совершенствованием архитектуры микропроцессоров и периферии персональных ЭВМ (ПК), а соответственно и с ростом их производительности началась широкая реализация алгоритмов на ПК. При этом не представляет особой сложности реализация алгоритмов на сегодняшних персональных ЭВМ, где практически нет ограничений на имеющиеся, предоставляемые объемы оперативной памяти, внутри устройства (ПК) решены все самые необходимые аппаратные проблемы для реализации алгоритмов и создано огромное количество программного обеспечения для удобства работы.

Развитие устройств фиксации изображений началось с электровакуумных передающих трубок, в которых оно фиксировалось по строкам, где изменение сигнала по строке было непрерывным (аналоговое изображение). С появлением полупроводниковых фотоэлектрических преобразователей (ПЗС, КМОП) в 1969 году, в которых, как уже было сказано, считывание изображения производится по точкам (элементам), дискретизация стала производиться уже на этапе его получения. Изображение с ПЗС-матрицы получается растровое, которое является уже подвергнутым дискретизации (взятия отсчетов в определенные моменты времени). Для преобразования его в цифровой вид достаточно проквантовать каждый элемент изображения (точку, пиксель).

Работа с изображениями требует больших объемов памяти и сравнительно высокой производительности. Поэтому для ПК это стало возможным только тогда, когда быстродействие стало приемлемым для этой задачи. Исторически сложилось, что сначала получила развитие обработка сигналов в реальном времени. Создание цифровых сигнальных процессоров (ЦСП, DSP), специально предназначенных для обработки сигналов, послужило толчком и для обработки изображений.

Кроме обработки статичных картинок, на обработку которых нет ограничений по времени, актуальной является задача сокращения времени для выполнения быстрой обработки. Это характерно, например, для принятия решения о поведении быстро перемещающихся объектов вблизи территориальных границ государства или распознавание объектов в охранном телевидении. Если для неизменяющихся одиночн�