автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Быстродействующее устройство ввода и предварительной обработки изображений в системе распознавания видеоинформации

ВВЕДЕНИЕ.

ГЛАВА 1 АНАЛИТИЧЕСКИЙ ОБЗОР МЕТОДОВ И УСТРОЙСТВ ВВОДА

И ПРЕДВАРИТЕЛЬНЙ ОБРАБОТКИ ВИДЕОИЗОБРАЖЕНИЙ

1.1 Устройства ввода и предварительной обработки видеоизображений.

1.2 Методы улучшения качества видеоизображения.

1.2.1 Повышение контрастности и расширение динамического диапазона видеоизображения.

1.2.2 Повышение отношения сигнал/шум.

1.2.3 Преобразование изображения в двухградационное.

1.3 Методы построения контуров объектов, расположенных на плоскости.

1.4 Методы ориентации и нормализации растровых изображений нестабильных символов.

1.4.1 Сегментация символьных строк.

1.4.2 Нормализация изображений символов.

Выводы по главе

ГЛАВА 2 ФУНКЦИОНАЛЬНАЯ МОДЕЛЬ УСТРОЙСТВА ВВОДА И

ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ВИДЕОИЗОБРАЖЕНИЙ

2.1 Аналого-цифровое преобразование видеосигнала изображения.

2.2 Улучшение качества видеоизображения.

2.3 Построение контуров объектов.

2.4 Ориентация и нормализация растровых изображений нестабильных символов

2.5 Обобщенная функциональная модель устройства ввода и предварительной обработки видеоизображения.

Выводы по главе 2.

ГЛАВА 3 РАЗРАБОТКА ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ МЕТОДОВ И АЛГОРИТМОВ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ВИДЕОИЗОБРАЖЕНИЙ.

3.1 Улучшение качества видеоизображения.

3.1.1 Увеличение скорости и точности повышения контрастности и расширения динамического диапазона изображения.

3.1.2 Повышение скорости увеличения отношения сигнал/шум.

3.1.3 Увеличение точности и скорости преобразования полутонового изображения в двухградационное.

3.2 Увеличение скорости определения координат объектов на плоскости.

3.2.1 Построение векторов граней объектов.

3.2.2 Объединение ведторов в объекты.

3.2.3 Определение положения объектов на плоскости.

3.3 Ориентация и нормализации растровых изображений нестабильных символов.

3.3.1 Увеличение скорости сегментации строк надписей.

3.3.2 Нормализация изображений символов.

Выводы по главе 3.

ГЛАВА 4 ИССЛЕДОВАНИЕ ТОЧНОСТИ И ПРОИЗВОДИТЕЛЬНОСТИ АЛГОРИТМОВ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ

ВИДЕОИЗОБРАЖЕНИЙ.

4.1 Математическое моделирование методов предварительной обработки видеоизображения.

4.4 Анализ влияния разработанных методов и алгоритмов предварительной обработки на точность распознавания символов.

Выводы по главе 4.

ГЛАВА 5 СТРУКТУРА УСТРОЙСТВ ВВОДА И

ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ВИДЕОИЗОБРАЖЕНИЙ

5.1 Способы структурно-функциональной организации устройств ввода и предварительной обработки видеоизображений.

5.2 Устройство ввода видеоизображения с ISA-интерфейсом.

5.3 Устройство ввода видеоизображения со строчной перестановкой.

5.4 Устройство ввода и предварительной обработки видеоизображений на основе цифрового сигнального процессора.

5.5 Устройство ввода и предварительной обработки видеоизображений для конвейерных систем распознавания нестабильных символов.

5.6 Сравнительный анализ быстродействия устройства.

Выводы по главе 5 .о.

Актуальность работы. Устройства ввода видеоизображений (УВВИ) в ЭВМ в составе систем технического зрения (СТЗ) широко применяются в геологии, медицине, машиностроении, приборостроении, электронной почте, гидрологии, космосе, передаче данных, автоматизированном проектировании, неразрушающем контроле, научных исследованиях и других областях науки и техники [58].

В настоящее время в УВВИ кроме основной функции преобразования способа представления информации выполняются алгоритмы предварительной обработки видеоинформации, направленные на обнаружение и выделение информационных сигналов на фоне шумов и искажений и предназначенные для достижения требуемой точности распознавания [77].

По мере увеличения степени интеграции элементной базы появилась возможность повышения производительности СТЗ за счет перехода от программной реализации процедур предварительной обработки в ЭВМ к аппаратно-программной в УВВИ. К таким процедурам относятся: улучшение качества изображения, бинаризация, выделение контуров объектов, ориентация и нормализация растровых изображений нестабильных символов и т.п. [78,80].

Проведенный анализ показал, что одним из основных препятствий на пути повышения производительности СТЗ является высокая вычислительная сложность алгоритмов предварительной обработки видеоинформации, требующая многократного увеличения быстродействия элементной базы или аппаратной сложности устройств ввода и предварительной обработки видеоизображений. В то же время скорость предварительной обработки может быть увеличена за счет уменьшения вычислительной сложности алгоритмов при сохранении достигнутого качества бинаризованного изображения [93].

В связи с этим актуальной является следующая научно-техническая задача: повышение производительности вычислительных алгоритмов предварительной обработки видеоизображения, направленных на достижение требуемой точности распознавания.

Данная диссертационная работа выполнялась в рамках: гранта по фундаментальным исследованиям в области геодезии и картографии Министерства образования РФ № 1.10.98 «Разработка фундаментальных основ, алгоритмического обеспечения автоматизированных систем обработки изображений» № ГР 01980006841; Инв. № 02.200.101210; хоздоговора 1-62-00 «Разработка комплекса программ имитационного моделирования процессов обработки информации в многопозиционных системах».

Цель работы: разработка высокопроизводительных методов, алгоритмов и устройств ввода и предварительной обработки видеоизображений.

Основными решаемыми задачами являются:

- разработка высокоэффективного метода повышения контрастности и расширения динамического диапазона видеоинформации, быстрых алгоритмов повышения отношения сигнал/шум и преобразования полутонового изображения в двухградационное;

- создание метода быстрого выделения в видеоизображении символьных строк;

- нахождение путей увеличения скорости формирования описания объемных тел на плоскости в виде векторов;

- разработка структурно-функциональной организации быстродействующего устройства ввода и предварительной обработки видеоинформации;

- сравнительный анализ производительности разработанных алгоритмов и устройства ввода и предварительной обработки видеоинформации в ЭВМ.

Объект исследования - процесс ввода и предварительной обработки изображений в системе распознавания видеоинформации.

Предмет исследования - методы, алгоритмы и устройства ввода и предварительной обработки изображений в системе распознавания видеоинформации.

Методы исследования. В работе использованы методы дискретной математики, математической логики, математического анализа, цифровой обработки сигналов и изображений, математического программирования и моделирования.

Научная новизна.

1. Разработан метод снижения вычислительной сложности алгоритмов повышения качества бинаризованного видеоизображения (увеличения контрастности и расширения динамического диапазона, четкости выделения контурных границ при преобразовании полутонового изображения в двухградационное), основанный на разбиении изображения на пересекающиеся области и преобразовании содержащихся в них подобластей, позволяющий увеличить скорость и точность бинаризации.

2. Разработан алгоритм повышения отношения сигнал/шум в изображении, основанный на усреднении сильно коррелированных соседних видеокадров, позволяющий повысить скорость обработки.

3. Создан метод выделения в изображении символьных строк, основанный на быстром поиске чередующихся черных и белых участков изображения, свойственных символам.

4. Разработан метод ускорения алгоритма формирования описания объемных тел на плоскости в виде векторов, основанный на кусочно-линейной аппроксимации границ тел.

5. Разработана обобщенная функциональная модель и структурно-функциональная организация ряда быстродействующих устройств ввода и предварительной обработки видеоинформации, обладающих высокой производительностью и точностью предварительной обработки.

Практическая ценность работы состоит в:

- разработке методов и алгоритмов улучшения качества бинаризованного видеоизображения, обладающих сравнительно низкой вычислительной сложностью и высокой производительностью, которые могут применяться не только при распознавании нанесенных на микросхемы надписей, но и при распознавании других объектов, например, автомобильных номеров, объемных тел;

- повышении скорости предварительной обработки видеоинформации не менее, чем в 2 раза;

- разработке структурно-функциональной организации быстродействующих устройств ввода и предварительной обработки видеоинформации в ЭВМ;

- разработке конвейерной организации процедур обработки видеоинформации с совмещением во времени аппаратно-программной предварительной обработки и последующего программного выполнения в ЭВМ алгоритмов распознавания.

Результаты работы, а также патент на изобретение № 2166790 «Устройство для ввода изображения в ЭВМ», используются в ОАО «Прибор» (г. Курск) при разработке аппаратных средств быстрого ввода видеоинформации в системах регистрации полетных данных, учебном процессе Курского ГТУ для студентов специальности 220100 «Вычислительные машины, комплексы, системы и сети» и направления подготовки 552800 «Информатика и вычислительная техника» в учебных дисциплинах «Теория открытых систем гибких автоматизированных производств» и «Цифровая обработка и анализ изображений».

Положения, выносимые на защиту:

- методы снижения вычислительной сложности алгоритмов повышения контрастности и расширения динамического диапазона видеоизображения, увеличения отношения сигнал/шум, преобразования полутонового изображения в двухградационное;

- метод быстрого выделения в изображении символьных строк;

- быстрый алгоритм формирования описания объемных тел на плоскости в виде векторов;

- структурнно-функциональная организация устройства предварительной обработки и ввода видеоинформации;

- результаты сравнительного анализа быстродействия разработанных и существующих алгоритмов предварительной обработки изображений.

Апробация работы. Основные положения диссертационной работы были доложены и получили положительную оценку на: 5-й, 6-й и 9-й Российской научно-технической конференции «Материалы и упрочняющие технологии» (Курск, 1997, 1998, 2001 гг.), международной технической конференции «Медико-экологические информационные технологии» (Курск, 1998, 2000 г.), международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2000 г.), Х-й, XI-й, ХШ-й научно-технической конференции с участием зарубежных специалистов «Датчики и преобразователи информации систем измерения, контроля и управления» (Гурзуф, 1998, 1999, 2001 гг.), 1-й, 2-й Международной НТиГЖ «Проблемы и перспективы автоматизации производства и управления» (Ташкент, 1997, 1999 гг.), 3-й, 4-й, Международной конференции «Распознавание» (Курск, 1997, 1999 гг.), 5-й Международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Самара, 2000 г.), 4-й, 5-й, 6-й Всероссийской НТК «Состояния и проблемы технических измерений» (Москва, 1997, 1998, 1999 гг.), научно

10 технических семинарах кафедры Вычислительной техники КГТУ в течение 1999-2002 гг. обучения в аспирантуре и других международных и Российских конференциях.

Публикации. Основные результаты работы опубликованы в 29 печатных трудах, в том числе в 2-х патентах, 2-х статьях (одна опубликована за рубежом) и написанной в соавторстве монографии, опубликованной за рубежом. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателем разработаны: в [7, 12, 18, 62] - методы повышения производительности процедур улучшения качества видеоизображения, в [8, 85] -быстрый метод сегментации символьных строк, в [6, 15, 22, 23, 54, 55] -устройства ввода и предварительной обработки видеоинформации.

Структура и объем работы. Диссертация состоит из введения, пяти .глав, заключения, списка используемой литературы, имеющего 102 наименования. Общий объем диссертации 138 е., включая 1 таблицу, 36 рисунков, 3 приложения.

Выводы по главе 4

1. На основании моделирования разработанных методов повышения контрастности, расширения динамического диапазона и преобразования изображения в двухградационое, повышения отношения сигнал/шум, быстрого выделения символьных строк получены следующие результаты: а) разработанный метод увеличения контрастности и расширения динамического диапазона изображения повышает контраст в 1,6-2,2 раза и выполняется в 1,6-10 раз быстрее кусочно-линейного контрастирования, дающего наилучшее качество обработанного изображения; б) метод повышения отношения сигнал/шум выполняет удаление шума на изображении в 1,4-1,7 раза быстрее алгоритмов фильтрации; в) метод преобразования изображения в двухградационное позволяет сохранять на изображении необходимую информацию и выполняется быстрее рассмотренных методов не менее чем в 2 раза; г) метод выделения на изображении символьных строк выполняется в 1,5-2 раза быстрее известных методов.

2. Алгоритм построения векторов граней объемных тел выполняется в 1,1-1,5 раза быстрее известных.

3. Показана целесообразность использования разработанных методов и алгоритмов при создании устройств вода и предварительной обработки видеоизображений.

ГЛАВА 5 СТРУКТУРА УСТРОЙСТВ ВВОДА И ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ВИДЕОИЗОБРАЖЕНИЙ

5.1 Способы структурно-функциональной организации устройств ввода и предварительной обработки видеоизображений

Обобщенную структурную схему системы распознавания видеоинформации можно представить в следующем виде:

Рис. 5.1. Система распознавания видеоинформации

Основными частями системы являются: видеокамера, устройство ввода и предварительной обработки видеоинформации, ЭВМ и исполнительные механизмы.

Видеокамера является преобразователем оптической информации в аналоговый электрический сигнал [38]. Качество преобразования оптической информации зависит от типа видеокамеры, возможности ее адаптации к изменениям внешней освещенности. При изменяющейся внешней освещенности амплитуда видеосигнала, поступающего на устройство ввода и предварительной обработки видеоинформации, должна оставаться стабильной. В случаях с быстро меняющейся внешней освещенностью можно использовать устройство описанное в [54]. Устройство ввода и предварительной обработки видеоинформации выполняет преобразование аналогового видеосигнала в цифровой и его предварительную обработку. ЭВМ осуществляет распознавание подготовленных данных.* Исполнительные механизмы (ИМ) выполняют команды ЭВМ. Ниже предложены структурно-функциональные схемы устройств ввода и предварительной обработки видеоинформации.

5.2 Устройство ввода видеоизображения с ISA-интерфейсом

Устройство для ввода изображения в ЭВМ [55] представленное на рис.

5.2. л а о ей « о D tt К М

О «

D ^

X 0) н д S

Тч

СГИ кги

БУ

1вхГ

2 вых. Звых. 2 bx.J> 1 ip. 4 вых.

5 вых.

Звх.

2 гр.

1 вых.

Рис. 5.2. Устройство для ввода изображения в ЭВМ

Устройство для ввода изображения в ЭВМ содержит АЦП, блок управления (БУ), регистр приема (РП), блок буферной памяти (ББП), счетчик адреса (СА), блоки 1 и 2 канальных передатчиков (БКП), блок связи с ЭВМ (БС), шину данных, шину управляющих сигналов, информационный и управляющие входы.

Схема блока управления устройства приведена в прил. Б.

АЦП предназначен для преобразования аналогового видеосигнала, поступающего с информационного выхода видеокамеры, в цифровой параллельный 8 разрядный код. БУ предназначен для управления приемом одного кадра видеоизображения. ББП предназначен для запоминания и хранения введенного кадра видеоизображения. Блок содержит один статический запоминающий элемент. БКП предназначены для передачи информации в канал ЭВМ и состоят из двух восьмиразрядных передатчиков каждый. Блок связи с ЭВМ предназначен для организации обмена информации устройства для ввода изображения в ЭВМ с ЭВМ, в его функции входят дешифрация адреса и выполнение канальной операции «Ввод».

Устройство для ввода изображения в ЭВМ работает в двух режимах: ввод информации от видеокамеры в блок буферной памяти и передача информации в ЭВМ.

Режим ввода информации от видеокамеры в блок буферной памяти.

В этом режиме видеоинформация, принимаемая от видеокамеры, поступает в устройство и запоминается в блоке буферной памяти. Порядок выполнения операций следующий. После включения питания ЭВМ вырабатывает сигнал RESET, который, проходя через блок связи с ЭВМ, вызывает появление отрицательного импульса на втором входе второй группы входов блока управления. С помощью этого импульса в первый триггер записывается логическая единица, постоянно присутствующая на его информационном входе, тт -осуществляется сброс второго и третьего триггеров. На выходе элемента И появится отрицательный импульс, который сбросит счетчик адреса.

Логическая единица, поступающая на один из входов первого элемента И в элементе И-ИЛИ-НЕ, с прямого выхода первого триггера разрешает прохождение сигнала тактовой частоты (Тч) через элемент И-ИЛИ-НЕ на управляющий вход регистра приема и счетный вход счетчика адреса. Логический ноль, поступающий на второй вход четвертого элемента ИЛИ с инверсного выхода первого триггера также разрешает прохождение тактовой частоты через третий элемент ИЛИ на управляющий записью вход блока буферной памяти. На управляющем выходом входе регистра приема устанавливается логический ноль, поступающий с инверсного выхода первого триггера и разрешающий выдачу информации, хранящуюся в регистре приема. Таким образом, устройство готово к записи информации в блок буферной памяти. Во время отрицательных кадрового (КГИ) и строчного (СГИ) импульсов по каждому отрицательному импульсу тактовой частоты осуществляется запись оцифрованных данных, полученных с выхода АЦП, в регистр приема и появившихся на его выходе этих же данных в блок буферной памяти. По каждому положительному импульсу тактовой частоты осуществляется оцифровка новых данных в АЦП и увеличение счетчика адреса на единицу. Таким образом в блок буферной памяти записывается весь кадр изображения. Запись текущего кадра заканчивается по приходу следующего кадрового импульса. В начале следующего кадра с помощью положительного импульса сигнала КГИ формируется отрицательный импульс на выходе элемента И, который осуществляет сброс счетчика адреса. Далее процесс записи повторяется.

Режим передачи информации в ЭВМ.

В этом режиме информация, записанная в блок буферной памяти, считывается ЭВМ при выполнении канальной операции «Ввод». В адресном пространстве ЭВМ устройство заниманиет три адреса. Для считывания информации, записанной в блок буферной памяти, ЭВМ выставляет на шину адреса ADO. 11 первый адрес и сигнал IOR, свидетельствующий о чтении информации по первому адресу. Блок связи с ЭВМ дешифрирует первый адрес и сигнал IOR и подает сигнал логического нуля на установочный вход второго триггера, переключая его в единичное состояние, а также подает сигналы на управляющие входы второго блока канальных передатчиков, разрешая передачу КГИ на шину данных DA0.7 ЭВМ. ЭВМ осуществляет проверку наличия положительного импульса КГИ, указывающего на окончание записи кадра изображения в блок буферной памяти. Как только появится положительный импульс сигнала КГИ, на выходе элемента И-НЕ и соответственно на выходе второго элемента ИЛИ появится отрицательный импульс, который сбросит первый триггер. Появившийся на входе первого элемента И в элементе И-ИЛИ-НЕ логический ноль запретит прохождение сигнала Тч на на управляющий вход регистра приема и счетный вход счетчика адреса. Регистр приема будет переведен в высокоимпедансное состояние. В результате чего запись информации в блок буферной памяти будет запрещена.

Далее ЭВМ осуществляет проверку наличия нулевого уровня сигнала КГИ, при появлении которого ЭВМ выставляет второй адрес на шину адреса AD1.11 и сигнал IOR. Блок связи с ЭВМ дешифрирует второй адрес и подает сигнал логической единицы на счетный вход третьего триггера, переводя его в единичное состояние, в результате чего происходит сброс второго триггера. Затем ЭВМ выставляет третий адрес на шину адреса ADO. 11 и формирует сигнал IOR, по которому осуществляется чтение одного байта информации из блока буферной памяти через первый блок канальных передатчиков по шине данных DA0.7 в ЭВМ. При появлении сигнала IOR блок связи с ЭВМ формирует импульсный сигнал, проходящий через элемент И-ИЛИ-НЕ, управляющий переключением счетчика адреса и далее проходящий через элемент И, управляя чтением из блока буферной памяти. Процесс чтения данных повторяется до окончания считывания полного кадра, хранящегося в блоке буферной памяти. После считывания видеоинформации из блока буферной памяти ЭВМ выставляет второй адрес на шину адреса ADO.11 и сигнал IOR. В результате чего, триггер переключается в нулевое состояние. Далее, первый пришедший КГИ, пройдя через элементы И-НЕ и ИЛИ, переключит триггер в единичное состояние, а появившийся отрицательный импульс на выходе элемента И сбросит счетчик адреса, после чего устройство будет готово к записи видеоинформации в блок буферной памяти.

Таким образом предложенное решение позволяет увеличить скорость считывания видеоинформации в ЭВМ из блока буферной памяти за счет введения в устройство AU/I, первого и второго канальных передатчиков.

5.3 Устройство ввода видеоизображения со строчной перестановкой

Устройство для ввода изображения в ЭВМ, описанное в п. 5.2 обладает высокой скоростью передачи данных в ЭВМ за счет применения двух канальных передатчиков. Однако, оно способно хранить в своем блоке буферной памяти только один полукадр изображения. При вводе обоих полукадров изображения необходимо учесть чересстрочную развертку стандартного видеосигнала. Для этого было разработано устройство ввода показанное на рис 5.3.

Основными функциональными узлами устройства сопряжения являются: усилитель (У), компаратор (К), сдвиговый регистр (CP), несколько буферных регистров (БР), формирователь управляющих сигналов (ФУС), генератор импульсов (ГИ), схема дешифрации адреса (СДА), устройство управления (УУ), счетчик длины 1 строки (СС1), счетчик длин строк (СС), цифровой компаратор (К), счетчик строк (ССт), сумматор (СМ), счетчик адреса (СА), 2 статических оперативных запоминающих устройства (ОЗУ), 2 выходных буфера данных (БД). Входными сигналами устройства являются: входной видеосигнал U(t), линии адреса (АО - А11) и управляющие сигналы (AEN, IOR, DACK, Т/С) ISA - шины. Выходными сигналами устройства являются линии данных (SD0-SD15) и управляющий сигнал DRQ ISA - шины. Функциональная схема устройства сопряж^тг*я показана на рисунке.

Усилитель обеспечивает амплитуду видеосигнала, необходимую для нормальной работы компаратора и ФУС. ФУС вырабатывает кадровый и строчный сигналы, которые подаются на устройство управления. Генератор тактовых импульсов формирует последовательность импульсов с частотой

1SA 5 шина uj

Рис. 5.3. Устройство ввода видеоизображения со строчной перестановкой

6 МГц, которая тоже подается на устройство управления. Компаратор преобразует аналоговый видеосигнал в цифровой вид. Последовательный цифровой сигнал преобразуется в параллельный в сдвиговом регистре и в определенные моменты времени через буферные регистры подается поочередно в оба ОЗУ. В устройстве используются два быстродействующие статические ОЗУ, обеспечивающие шестнадцатиразрядный обмен с ЭВМ. С помощью сумматора, буферного регистра и счетчика адреса осуществляется формирование адресов ОЗУ, при котором данные нечетных полукадров записываются в нечетные строки ОЗУ, а четных - в четные. Счетчик длины первой строки считает количество байт первой строки нечетного полукадра, счетчик длин строк считает длины всех строк, кроме первой строки нечетного полукадра, счетчик строк считает количество записываемых в ОЗУ строк обоих полукадров. Схема дешифрации адреса выделяет из адресного пространства ЭВМ несколько адресов: по первому считывается длина строки, по второму - количество строк в кадре, по третьему дается команда, разрешающая передачу оцифрованного видеокадра. Два выходных буфера данных осуществляют сопряжение с шиной ISA. Устройство управления регулирует работу основных узлов.

Описанное устройство способно передавать в ЭВМ по два байта исходного изображения, причем оба полукадра изображения объединены в один массив, однако оно не выполняет его предварительной обработки.

5.4 Устройство ввода и предварительной обработки видеоизображений на основе цифрового сигнального процессора

Применение цифровых сигнальных процессоров (ЦСП) в устройствах ввода видеоинформации в ЭВМ позволяет не только оцифровать и ввести изображение в ЭВМ, но и осуществить предварительную обработку вводимого изображения. Быстродействие новейших цифровых сигнальных процессоров фирм MOTOROLA, Texas Instruments составляет миллиарды операций в секунду, что дает возможность обрабатывать изображение при вводе [19].

Благодаря большой скорости выполнения простых математических операций, а также возможности параллельной обработки данных уже при записи изображения во временное ОЗУ, выполняются следующие действия по преобразованию исходного изображения: формирование кадра изображения из двух последовательно поступающих полукадров; повышение отношения сигнал/шум за счет нахождения среднего арифметического для каждого элемента трех соседних кадров изображения; повышение яркости и контрастности изображения: при необходимости перевода изображения в двухградационное - вычисление адаптивного порога преобразования изображения. Передача обработанного изображения в ЭВМ осуществляется по 32 разрядной PCI шине во время неинформативных строк обоих полукадров (см. рис. 5.4).

Рис. 5.4. Устройство ввода и предварительной обработки изображений на основе ЦСП

Устройство ввода и предварительной обработки, основанное на ЦСП содержит: усилитель (У), аналого-цифровой преобразователь (АЦП), формирователь управляющих сигналов (ФУС), ОЗУ, дешифратор адреса (ДА) и шинный формирователь (ШФ).

Алгоритм работы устройства заключается в оцифровке видеоизображения, обработке и запоминания его в ОЗУ, передачи обработанного изображения в ЭВМ.

Описанное выше устройство содержит один цифровой сигнальный процессор и способно выполнить алгоритмы повышающие качество изображения.

5.5 Устройство ввода и предварительной обработки видеоизображений для конвейерных систем распознавания нестабильных символов

Итоговым является устройство ввода и предварительной обработки видеоинформации, содержащее два цифровых сигнальных процессора и способное выполнить не только все операции предварительной обработки видеоинформации, но и распознавание (см. рис. 5.5) [22]. деосигнал

Рис. 5.5. Устройство ввода и предварительной обработки видеоинформации

Устройство ввода и предварительной обработки видеоинформации содержит два сигнальных процессора МП1 и МП2, усилитель У, аналого-цифровой преобразователь АЦП, генератор управляющих импульсов ГУИ, быстродействующее статическое оперативное запоминающее устройство ОЗУ, контроллер PCI шины ЭВМ. Первый микропроцессор МП1 осуществляет оцифровку и улучшение качества видеоизображения. Второй процессор МП2 выполняет определение местоположения объектов или ориентацию и нормализацию растровых изображений нестабильных символов, нормализацию, и передачу данных в ЭВМ. При необходимости он также может выполнять распознавание.

Генератор управляющих импульсов формирует 4 управляющих импульса: нечетного и четного полукадра, строчный и тактовый. Процесс ввода видеоизображения начинается с началом нечетного полу кадра. Вплоть до 24 строчного импульса первый микропроцессор выполняет операции по обработке предыдущего кадра видеоизображения. Начиная с 24 строки видеоизображения, процессор последовательно считывает значение яркости каждого элемента в строке и производит следующие вычисления: сравнение яркости текущего элемента со средним значением в области и прибавление значения яркости к 4 накопительным суммам (все элементы изображения, кроме располагающихся на удалении меньшем 17 от краев изображения входят в четыре области), вычисление коэффициента Kij, вычисление нового значения яркости текущего элемента, вычисление среднего значения полученной яркости с яркостями элементов предыдущих кадров, прибавление полученного значения к накопительной сумме, вычисление значения двухградационного изображения. В конце каждой 16 строки массива изображения и начиная с 32 (только при записи четного полукадра: строки 55, 71, 87 и т.д.) вычисляется среднее значение накопительной суммы Aij и A'pl для каждой области, входящей в последние 32 строки. В конце каждого полукадра осуществляется передача половины результирующего изображения второму микропроцессору. В конце каждого кадра вычисляется сдвиг изображения А. После этого первый микропроцессор осуществляет ввод и обработку следующего кадра видеоизображения. Второй микропроцессор, получив двухградационное изображение, осуществляет следующие действия: поиск надписи, выделение границ надписи, поиск других строк, определение угла наклона надписи, поворот строки надписи, точный доворот строки, сегментацию знаковой строки, сжимающее масштабирование знака, заполнение пустот и снятие бахромы, утончение знака, растягивающее масштабирование знака, распознавание нормализованных знаков.

5.6 Сравнительный анализ быстродействия устройства

В известных устройствах ввода и предварительной обработки видеоинформации последовательно осуществляется ввод, улучшение качества изображения, сегментация, передача изображения в ЭВМ. Заключительным этапом, выполняемым ЭВМ одновременно с перечисленными, является распознавание. Время ввода изображения определяется характеристиками видеосигнала и составляет 40 мс (время одного кадра). Затем осуществляется улучшение качества введенного изображения. Используя разработанный метод процедуры улучшения качества изображения выполняются непосредственно при вводе каждого элемента изображения. Современные цифровые сигнальные процессоры выполняют одновременно 4 сложения (или 4 вычитания, сдвига) и 4 умножения. Алгоритм, представленный в параграфе 3.1.3 выполняется за 20 шагов:

1. п.1,2.

2. п. 3 или 15.

3. п. 4 или 16.

4. п. 5 или 10 или 17 или 22.

5-17. п 6 или 8 или 11 или 13 или 18 или 20 или 23 или 25.

18. п. 27, 28,29.

19. п. 29.

20. п. 30 или 32.

Операция деления в этом случае выполняется с помощью поиска частного за 10 шагов. Используя процессор фирмы Texas Instruments с целочисленной арифметикой TMS320C6416 с тактовой частотой 600 Мгц стандартный видеосигнал обрабатывается с частотой не менее бМгц. При этом ввод и улучшение качества изображения (контрастирование, увеличение отношения сигнал/шум, бинаризация) выполняется за время ввода одного кадра, т.е. 40 мс (в это время входит передача второму микропроцессору итогового бинаризованого изображения в промежутках неинформативных строк обоих полукадров изображения), а не за 80 мс, если выполнять эти операции последовательно. Используя в качестве второго процессора процессор с плавающей арифметикой TMS320C6417, одновременно с выполнением первым процессором ввода и улучшения качества изображения выполняется определение положения объемных тел или выделение и нормализация символов. -Таким образом, все процедуры выполняются одновременно с помощью 3-х ступенчатого конвейера:

1. Ввод и улучшение качества изображения i-2 кадра первым микропроцессором;

2. Определение положения объемных тел или выделение и нормализация символов изображения i-1 кадра вторым микропроцессором;

3. Распознавание символьной информации i кадра центральной ЭВМ.

Для ввода изображений в ЭВМ использовалось устройство ввода видеоизображения, содержащее АЦП и PCI-интерфейс, изображенное на рис. 5.6.

Рис. 5.6. Устройство ввода видеоинформации

Экспериментальные исследования устройства ввода и предварительная обработка изображений осуществлялись с помощью установки, изображенной на рисунке 5.7.

Рис. 5.7: Экспериментальная установка

ЗАКЛЮЧЕНИЕ

В диссертационной работе решена научно-техническая задача повышения производительности вычислительных алгоритмов предварительной обработки видеоизображения, направленных на достижение требуемой точности распознавания и получены следующие результаты:

1. Разработаны методы снижения вычислительной сложности алгоритмов повышения качества распознаваемого бинаризованного видеоизображения, основанные на разбиении изображения на пересекающиеся области и усреднении сильно коррелированных соседних видеокадров, позволяющие увеличить скорость и точность бинаризации.

2. Создан метод выделения в изображении символьных строк, основанный на быстром поиске чередующихся черных и белых участков изображения, свойственных символам.

3. Разработан метод ускорения алгоритма формирования описания объемных тел на плоскости в виде векторов, основанный на кусочно-линейной аппроксимации границ тел.

4. Разработана конвейерная организация процедур обработки видеоинформации с совмещением во времени аппаратно-программной предварительной обработки и последующего программного выполнения в ЭВМ алгоритмов распознавания, позволившая увеличить скорость предварительной обработки не менее, чем в 2 раза;

5. Разработана обобщенная функциональная модель и структурно-функциональная организация ряда быстродействующих устройств ввода видеоинформации, в том числе двухпроцессорного устройства ввода и предварительной обработки видеоинформации, обладающего высокой производительностью и точностью предварительной обработки.

1. Анисимов Б.В., Курчатов В.Д., Злобин В.К. Распознавание и цифровая обработка изображений: Учеб. пособие для ст. вузов. М.: Высш. шк., 1983. -295 с.

2. Архипов А.Е. Быстрая сегментация текстовых строк при распознавании изображений // Распознавание-99: Сб. материалов 4 Международной конференции. Курск, 1999. - С. 58-60.

3. Архипов А.Е. Выделение контуров движущихся объектов при распознавании образов // Медико-экологические информационные технологии 98: Тез. докл. Международной технической конференции. -Курск, 1998.-С. 165-166.

4. Архипов А.Е. Высокоскоростные видеодатчики // Датчики и преобразователи информации систем измерения, контроля и управления: Материалы XIII НТК с участием зарубежных специалистов. Гурзуф, 2001. -С. 145-146.

5. Архипов А.Е. Применение адаптивного порога при переводе изображения в двухградационное // Медико-экологические информационные технологии -2000: Тез. докл. Международной научно-технической конференции. Курск, 2000.-С. 153-154.

6. В. Архипов А.Е. Система технического зрения для распознавания текста (символов) // Распознавание оптических изображений. / Под общей ред. Ю.С. Сагдулаева, B.C. Титова. Ташкент: ТЭИС, 2000. - 313 с.

7. Ю.Архипов А.Е., Дегтярев С.В. ИИС для определения геометрических параметров объектов // Проблемы и перспективы автоматизации производства и управления: Материалы 1 Международной НТиПК: В 2 ч. -Ташкент, 1997. Ч. 2. - С. 105-108.

8. П.Архипов А.Е., Дегтярев С.В. Информационная система ввода и распознавания текста // Датчики и преобразователи информации систем измерения, контроля и управления: Материалы XI НТК с участием зарубежных специалистов. Гурзуф, 1999. - С. 110.

9. Архипов А.Е., Дегтярев С.В. Предобработка изображений при видеоконтроле технологических процессов // Материалы и упрочняющие технологии 2001: Тез. и материалы докл. IX НТК. - Курск, 2002. - С. 212214.

10. Архипов А.Е., Дегтярев С.В. Система быстрого ввода и распознавания символьной информации // Распознавание-99: Сб. материалов 4 Международной конференции. Курск, 1999.-С. 109-110.

11. Архипов А.Е., Дегтярев С.В. Система идентификации интегральных схем // Датчики и системы. 2000. - № 3. - С. 33-35.

12. Архипов А.Е., Дегтярев С.В. Система контроля качества маркировочных надписей микросхем // Состояние и проблемы измерений: Тез. докладов 6 Всероссийской НТК: В 2 ч. М., 1999. - 4.1. - С. 109-110.

13. Архипов А.Е., Дегтярев С.В. Система распознавания символьной информации // Материалы и упрочняющие технологии 98: Тез. докладов 6 Российской НТК. - Курск, 1998. - С. 237-238.

14. Архипов А.Е., Дегтярев С.В. Устройство предварительной обработки и передачи видеоинформации в ЭВМ // Методы и средства систем обработки информации: Сб. научных статей. Курск, КГТУ, 2000. - С. 76-79.

15. Архипов А.Е., Дегтярев С.В. Цифровые сигнальные процессоры в устройствах ввода видеоинформации // Медико-экологические информационные технологии 2000: Тез. докл. Международной научно-технической конференции. - Курск, 2000. - С. 154-155.

16. Архипов А.Е., Дегтярев С.В., Емельянов А.А. Автоматизация измерений малых угловых и линейных перемещений // Состояния и проблемы технических измерений: Тез. док. 4 Всероссийской НТК. М., 1997. - С. 34.

17. Архипов А.Е., Дегтярев С.В., Емельянов А.А. Автоматизированное измерение геометрических параметров объектов в ИИС // Материалы и упрочняющие технологии 97: Тез. и материалы докл. V НТК с международным участием. - Курск, 1997. - С. 222.

18. Архипов А.Е., Дегтярев С.В., Типикин А.П. Оптико-электронная система распознавания маркировочных надписей // Известия Курского государственного технического университета. 2000. - № 4. - С. 98-102.

19. Архипов А.Е., Емельянов А.А., Костюков Е.В. Определение координат центра объектов в ИИС // Распознавание-97: Сб. материалов 3 Международной конференции. Курск, 1997. - С. 98-99.

20. Архипов А.Е., Рубанов А.Ф., Ширабакина Т.А. Автоматизация измерений геометрических параметров объектов в оптических измерительных системах // Состояния и проблемы технических измерений: Тез. док. 4 Всероссийской НТК.-М., 1997. С. 36.

21. Архипов А.Е., Титов B.C. Распознавание символьной информации при контроле качества продукции // Состояние и проблемы технических измерений: Тез. докладов 5 Всероссийской НТК. М., 1998. - С. 382.

22. Асмаков С. Говорит и показывает компьютер // Компьютер ПРЕСС. 2001. № 1.-С. 109-117.

23. Белокуров А.А. Методы сглаживания спекл-шума на радиолокационных изображениях земной поверхности // Зарубежная электроника. 1990. - № 6. - С.26-35.

24. Бендат Дж. С. Основы теории случайных шумов и ее применения: Пер. с англ. М., Наука, 1965. - 463 с.

25. Бендат Дж. С., Пирсол А. Дж. Прикладной анализ случайных данных: Пер. с англ. М., Мир, 1989. - 540 с.

26. Бутаков Е.А., Островский В. И., Фадеев И. JI. Обработка изображений на ЭВМ. М.: Радио и связь, 1987. - 236 с.

27. Быстрые алгоритмы в цифровой обработке изображений / Т.С. Хуанг, Дж. О. Эклунд. Г. Дж. Нусбаумер и др.: Под ред. Т.С. Хуанга; Пер. с англ. под ред Л.П. Ярославского. М. Радио и связь, 1984. - 221 с.

28. Васильев В.И. Распознающие системы. Справочник Киев: Наук, думка, 1983.-412 с.

29. Гидзбург В.М. Формирование и обработка изображений в реальном времени. М.: Радио и связь, 1986. - 232 с.

30. Глинников М. Комплекс CuneiForm Collection // Мир ПК. 1998. - № 3. - С. 58.

31. Горелик А.Л., Скрипкин В.А. Методы распознавания: Учеб. пособие для вузов. 3-е изд., перераб. и доп. - М.: Высш. шк., 1989. - 231 с.

32. ГОСТ 7845-92. Система вещательного телевидения. Основные параметры. Методы измерений. М.: Изд-во стандартов, 1992. - 11 с.

33. Даджион Д., Мерсеро Р. Цифровая обработка многомерных сигналов. М.: Мир, 1988.-488 с.

34. Денисов Д.А. Компьютерные методы анализа видеоинформации: Монография. Красноярск: Изд-во Красноярского ун-та, 1993. - 192 с.

35. Егорова С.Д., Колесник В.А. Оптико-электронное цифровое преобразование изображений. М.: Радио и связь, 1991. - 208 с.

36. Зайцев В.В., Зайцев Вл.В., Трошкин Д.В. Экспериментальное исследование алгоритмов фильтрации спекл-шума на радиолокационных изображениях // Зарубежная радиоэлектроника. 1994. - № 6. - С. 30-40.

37. Интеллектуальные системы распознавания текстов // Computer direct. М.: А.О. «Компьютерра», апрель 1995. - С. 46-48.

38. Катыс Г.П. Восприятие и анализ оптической информации автоматической системой. М.: Машиностроение, 1986. - 416 с.

39. Катыс Г.П. Обработка визуальной информации. М.: Машиностроение, 1990.-317 с.

40. Катыс П.Г., Катыс Г.П. Автоматическая обработка и интерпретация изображений // Информационные технологии. 2001. - № 1. - С. 9-17. (все)

41. Кориков A.M., Сырямкин В.И., Титов B.C. Корреляционные зрительные системы роботов. Томск: Радио и связь. Томское отд. 1990. - 264 с.

42. Линдли К. Практическая обработка изображений на языке Си: Пер. с англ. -М.: Мир, 1996. 512 с. (шум)

43. Озер Джан. Начало новой эры видео // PC Magazine^ussian Edition. 1998. -№ 8. С. 25 - 34.

44. Орлов А. А. Методы улучшения и препарирования полутоновых изображений / Муром, ин-т Владимир, гос. ун-та. Муром, 2001. - 12 с.

45. Павлидис Т. Алгоритмы машинной графики и обработки изображений: Пер. с англ. Н.Г. Гуревич. М.: Радио и связь, 1986. - 399 с.

46. Пат. 2137318 РФ, Бюл. № 25, 1999. Устройство стабилизации амплитуды видеосигнала / Архипов А.Е., Дегтярев С.В, Титов B.C. и др. 10с.: ил.

47. Пат. 2166790 РФ, Бюл. № 13, 2001. Устройство для ввода изображения в ЭВМ / Архипов А.Е., Дегтярев С.В., Титов B.C. и др. 12 е.: ил.

48. Предобработка изображений лиц для детектирования информативных областей / Головань А.В., Шевцова Н.А., Подладчикова Л.Н. и др. //

49. Распознавание образов и анализ изображений: новые информационные технологии РОАИ-5-2000: Труды 5-й Международной конференции. -Самара, 2000. - С. 481-485.

50. Применение цифровой обработки сигналов / Под ред. Э. Опенгейма. М.: Мир, 1980.-552 с.

51. Прэтт У. Цифровая обработка изображений: В 2-х кн./ Пер. с англ. под ред. Д.С. Лебедева. М.: Мир, 1982. - 2 кн.

52. Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. М.: Машиностроение, 1990. - 320 с.

53. Рейнер И. А. Распознавание формы плоских объектов на основе гомеоморфного отображения границы // Распознавание образов и анализ изображений: новые информационные технологии РОАИ-5-2000: Труды 5-й Международной конференции. - Самара, 2000. - С. 377-382.

54. Розенфельд А. Распознавание и обработка изображений с помощью вычислительных машин: Пер. с англ. Под ред. Д.С. Лебедева. М. Мир, 1972.-230 с.

55. Русын Б.П. Структурно-лингвистические методы распознавания изображений в реальном времени. Киев: Наук, думка, 1986. - 127 с.

56. Садыков С.С., Кан В.Н., Самандаров И.Р. Методы выделения структурных признаков изображений. Ташент: Фан, 1990. - 104 с.

57. Системы технического зрения / А.Н. Писаревский, А.Ф. Чернявский, Г.К. Афанасьев и др.; Под общ. ред. А.Н. Писаревского, А.Ф. Чернявского. JI: Машиностроение. Ленигр. отд., 1988. - 424 с.

58. Системы технического зрения: Справочник / В.И. Сырямкин, B.C. Титов, Ю.Г. Якушенков и др. // Под Общей редакцией В.И. Сырямкина, B.C. Титова. Томск: МГП «РАСКО», 1993. - 320 с.

59. Техническое зрение роботов / В.И. Мошкин, А.А. Петров, B.C. Титов, Ю.Г. Якушенков; Под общ. ред. Ю.Г. Якушенкова. М.: Машиностроение, 1990. -272 с.

60. Фишер Роберт Б. От поверхностей к объектам. Машинное зрение и анализ трехмерных сцен: Пер. с англ. под ред. Д.А. Денисова. М.: Радио и связь, 1993.-287 с.

61. Фомин Я.А., Тарловский Г.Р. Статистическая теория распознавания образов. М.: Радио и связь, 1986. - 264 с.

62. Фрид Лес. Ввод речи и текста // PC Magazine/Russian Edition. 1997. - № 6. -С. 114-121.

63. Фурман Я.А. Основы теории обработки контуров изображений: Учеб. пособие. Йошкар-Ола: МарГТУ, 1997. - 255 с.

64. Цифровое кодирование телевизионных изображений / И.И. Цуккурман, Б.М. Кац, Д.С. Лебедев и др.: Под ред. И.И. Цуккермана. М.: Радио и связь, 1981.-240 с.

65. Цифровые интегральные микросхемы: Справочник /М.И. Богданович, И.Н. Грель, С.А. Дубина и др. 2-е изд., перераб. и доп. - Минск: Полымя, 1996.605 с.

66. Шлезингер М.И. Математические средства обработки изображений. Отв. ред. Скурихин В.И.; АН УССР. Ин-т кибернентики. Киев: Наук, думка, 1989,- 196 с.

67. Эндрюс Г. Применение вычислительных машин для обработки изображений: Пер. с англ. Под ред. Б.Ф. Курьянва. М.: Энергия, 1977. -160 с.

68. Яншин. В.В. Анализ и обработка изображений: принципы и алгоритмы. -М.: Машиностроение, 1994. 112 с.

69. Ярославский Л.П. Введение в цифровую обработку изображений. М.: Советское радио, 1979. - 312 с.

70. Abrameyco S., Okun О. Text separation from graphics based on compactness and area propeties // MG&V. 1994. - № 3(3). - P. 531-543.

71. Adelson E.H., Bergen J.R. The plenoptic function and the elements of early vision // Computational Models of Visual Processing, 1991. P. 3-20.

72. Ahmand M.O., Sandararajan D.A. Fast algorithm for two-dimensional median filtering // IEEE Transactions on circuits and system. 1988. - Vol. 35, № 6. - P. 1364-1374.

73. Amizi-Sadjadi M.R., Bannour S. Two dimensional recursive parameter identification for adaptive Kalman filtering // IEEE Transactions on circuits and system. 1995.-Vol. 57, №9.-P. 1077-1081.

74. Arckhipov A.E., Degtyarev S.V., Titov V.S. The system for microcircuit analysis and identification // Machine GRAPHICS&VISION. 2000. - Vol. 9, №. 1/2. -P. 519-524.

75. Baraldi A. Contextual clustering for image segmentation // Optical Engineering. -2000. Vol. 39, № 4. - P. 907-923. (сегмент)

76. Baraldi A., Parmiggiani F. Analternative form of Lee filter for speckle suppression in Sar images // Graphical models and image processing. 1995. -Vol. 57, № l.-P. 75-78.

77. Beghdadi A., Negrate A.L. Contrast enhancement technique based on local detection of edges // Computer vision, and image prosseing. 1989. - № 46. - P. 162-174.

78. Dash L., Chatterji B.N. Adaptive contrast enhancement and de-enhancement. // Pattern recognition. 1991. - Vol. 55, № 3. p. 327-331.

79. Edmund Scientific Industrial Optics Division: Optics and Optical Instruments Catalog. 2000. - № 007A. - P. 202, 204-205.

80. Fang C., Fuh C., Chen S. Detection and Tracking of Road Signs // Распознавание образов и анализ изображений: новые информационные технологии -РОАИ-5-2000: Труды 5-й Международной конференции. Самара, 2000. -С. 645-650.

81. Hall D., Crowley J.L., Colin de Verdiere V. View invariant object recognition using coloured receptive fields // Machine GRAPHICS&VISION. 2000. - vol 9, №. 1/2.-P. 341-352.

82. Kasprzak W. Adaptive methods of moving car detection in monocular image sequencas // Machine GRAPHICS&VISION. 2000. - vol 9, №. 1/2. - P. 167185.

83. Peli T. A study of edge detection algorithms // Comput. graphics and image processing. 1982. - Vol. 20, №1. - P. 1-21. (шум)

84. Pizer S.M., Amburn P. Adaptive histogram equalization and its variations // Computer vision, graphics, and image procesing. 1987. - Vol. 39. - P. 355-368.123

85. Stapor К. A vectorized thinning algorithm for handwrittin symbols recognition //Machine GRAPHICS&VISION. 1999. - vol 8, №. 3. - P. 341-352.

86. Stapor K. Recognition of cartographic symbols based on a structural model of a shape //Machine GRAPHICS&VISION. 1999. - vol 8, №. 1. - P. 129-142.

87. Szwoch M., Meus G., Tutkaj P. ScoreExplorer: a musical score recognition system // Machine GRAPHICS&VISION. 2000. - Vol 9, №. 1/2. - P. 233-241.

88. Young I.Т., van Vliet L. J. Recursive implementation of the Gaussian Filter. -SP., 1995.-P. 139-151.1. ШтШ ■ ■ « ии\\ ■ ■ ■ %fiiB а . Vв О