автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Разработка и анализ системы распознавания автомобильных регистрационных знаков

На правах рукописи

Трапезников Илья Николаевич

РАЗРАБОТКА И АНАЛИЗ СИСТЕМЫ РАСПОЗНАВАНИЯ АВТОМОБИЛЬНЫХ РЕГИСТРАЦИОННЫХ ЗНАКОВ

Специальность: 05.12.04 Радиотехника, в том числе системы и устройства телевидения

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Владимир - 2014

005556859

005556859

Работа выполнена на кафедре динамики электронных систем ФГБОУ ВПО Ярославского государственного университета им. П. Г. Демидова

Научный руководитель: Приоров Андрей Леонидович

доктор технических наук, доцент, доцент кафедры динамики электронных систем ФГБОУ ВПО Ярославского государственного университета им. П.Г. Демидова

Официальные оппоненты: Жизняков Аркадий Львович

доктор технических наук, профессор, заведующий кафедрой «Системы автоматизированного проектирования», первый заместитель директора Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых», г. Муром

Савватин Алексей Иванович

кандидат технических наук, руководитель группы, ООО «А-ВИЖН», г. Ярославль

Ведущая организация: ОАО «Ярославский радиозавод», г. Ярославль

Защита диссертации состоится «07» октября 2014 г. в 14 часов на заседании диссертационного совета Д 212.025.04 при Владимирском государственном университете имени Александра Григорьевича и Николая Григорьевича Столетовых по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВлГУ, корп. 3, ФРЭМТ, ауд. 301.

С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета имени Александра Григорьевича и Николая Григорьевича Столетовых.

Автореферат разослан «21» июля 2014 г.

Отзывы на автореферат, заверенные печатью, просим направлять по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВлГУ, ФРЭМТ.

Ученый секретарь диссертационного совета доктор технических наук, профессор ' А. Г. Самойлов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Последние десятилетия характеризуются массовым внедрением информационных технологий в различные области человеческой жизни. Решить задачу повышения безопасности движения и улучшения дорожной обстановки позволяет внедрение и использование интеллектуальных транспортных систем. Обычно они представляют собой набор взаимосвязанных функциональных систем, таких как системы сбора информации с детекторов транспорта и телекамер. Вследствие многообразия внешних условий, в которых приходится работать указанным системам, методики, используемые при их создании, могут сильно отличаться друг от друга. Однако большинство существующих на сегодняшний день систем имеет в своем составе два основных блока: получения изображения и его последующего анализа, результаты работы которого во многом определяются качеством полученных изображений. На современном этапе развития систем распознавания номеров транспортных средств можно выделить два основных подхода к получению изображений:

— применение устройств видеозахвата сигнала аналоговых камер непосредственно в компьютере. Недостатком таких систем является аппаратное ограничение на количество подключаемых камер и низкое разрешение кадров;

— применение ¡р-видеокамер, оснащенных ПЗС- или КМОП-матрицами светочувствительных элементов. Отличительной особенностью систем данного типа является применение в них высокопроизводительных встраиваемых компонентов, таких как микроконтроллеры и цифровые сигнальные процессоры. По сути, каждая камера является отдельным компьютером с установленной операционной системой и запущенным приложением для сжатия, кодирования и трансляции видеопотока.

На первом этапе полученное с матрицы изображение сжимается с помощью покадровых (М1РО) или потоковых (Н.264) методов кодирования. Достоинством такой системы является высокое разрешение видеопоследовательности.

Дополнением к технологическим факторам, искажающим качество цифрового изображения, является ряд внешних факторов, таких как освещение окружающей сцены, движение объектов внутри нее и др. Поэтому, для того чтобы получить высокую точность распознавания текстовых символов, находящихся на автомобильном регистрационном знаке, необходимо разрабатывать алгоритмы, позволяющие решать задачи детектирования, сегментации и распознавания в присутствии шумов, при низкой резкости и контрастности изображения, ошибочном балансе белого и при прочих помехах, рассматриваемых в рамках области цифровой обработки изображений (ЦОИ).

Значительный вклад в разработку теории и алгоритмов ЦОИ внесли как отечественные ученые Зубарев Ю. Б., Кривошеев М. И., Дворкович В. П., Дворкович А. В., Сойфер В. А., Ярославский Л. П., Фурман Я. А., Лабунец В. Г., Чобану М. К., Визильтер Ю. В., Алпатов Б. А., Бехтин Ю. С., Фаворская М. Н., Радченко Ю. С., так и зарубежные - Митра С., ПрэттУ., Гонсалес Р., Вудс Р., Чан Т., Бовик А., Неуво Ю. и многие другие.

На сегодняшний день достигнуты значительные успехи при построении систем видеофиксации и систем определения автомобильных номерных знаков. Однако существуют нерешенные проблемы при переходе к большему разрешению входной видеопоследовательности из-за применения фиксированных параметров размера и положения объекта в кадре. Существует класс задач, где особую важность приобретает упрощение условий эксплуатации системы распознавания автомобильных номеров, например, наблюдение и контроль движения транспортных средств.

Анализ современной научно-технической литературы показывает, что одними из перспективных подходов обнаружения текстовых символов на цифровых изображениях, являются методы, основанные на:

- определении ключевых особенностей или особых точек на цифровом изображении;

- вычислении дескрипторов областей интереса;

- комбинированном использовании двух указанных подходов.

Для задач распознавания объектов актуальным остается поиск алгоритмов, работающих без использования априорных сведений о свойствах объекта и позволяющих идентифицировать регистрационный знак в условиях наличия помех на телевизионных изображениях. Поэтому на современном этапе развития науки и техники разработка и анализ алгоритмов детектирования, сегментации и классификации символов представляют собой актуальную задачу.

Основной целью работы является разработка и анализ новых алгоритмов детектирования, сегментации и классификации символов для улучшения характеристик систем автоматического распознавания автомобильных номерных знаков на основе нейронных сетей в условиях помех и искажений.

Объектом исследования являются алгоритмы детектирования, сегментации и классификации, применяемые для обнаружения объектов в полутоновых и цветных изображениях.

Предметом исследования являются разработка и модификация алгоритмов с целью повышения эффективности функционирования систем видеофиксации и контроля движения автомобилей.

Задачи диссертационной работы:

- разработка комбинированного алгоритма детектирования номерной пластины автомобиля на цифровом изображении, сочетающего в себе детектирование угловых особенностей объекта интереса, локальную и пороговую бинаризации и детектирование аномалий;

- разработка нового алгоритма сегментации номерной пластины на текстовые символы, не требующего априорных сведений о свойствах номерного знака;

- модификация алгоритма классификации объектов на основе дескрипторов.

Методы исследования. При решении поставленных задач использовались

современные методы цифровой обработки изображений, компьютерного зрения, распознавания образов, математического анализа, теории вероятностей и математической статистики. Для практической реализации алгоритмов применялись современные численные методы, методы программирования на языке Ма11аЬ и методы объектно-ориентированного программирования на языке С++.

Научная новизна полученных результатов

В рамках диссертационной работы получены следующие новые научные результаты.

1. Разработан комбинированный алгоритм детектирования номерной пластины автомобиля на основе машинного обучения и поиска точечных особенностей в цифровых изображениях.

2. Разработан алгоритм сегментации текстовых символов на основе расчета наилучших параметров энергетической и стоимостной функций.

3. Разработана модификация алгоритма классификации для применения в задаче распознавания символов регистрационных знаков автомобилей. Практическая значимость полученных результатов

1. Предложен комбинированный алгоритм детектирования объектов на цифровых изображениях, показавший свою эффективность в условиях наличия искажений и помех.

2. Разработан оригинальный алгоритм сегментации текстовых символов, содержащихся в детектированном номерном знаке, позволяющий расширить количество типов распознаваемых номеров.

3. Расширены возможности практического применения алгоритмов классификации на случай определения текстовой информации автомобильных номерных знаков.

Результаты работы внедрены в соответствующие разработки ООО «А-ВИЖН», г. Ярославль и ОАО «Ярославльтранссигнал», г. Ярославль. Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им. П. Г. Демидова в рамках дисциплин «Цифровое телерадиовещание», «Цифровые телевизионные системы», а также в научно-исследовательские работы при выполнении исследований в рамках выполнения государственного задания Минобрнауки России на оказание государственных услуг №1060. По итогам работы получены два свидетельства на программный продукт, зарегистрированных в Реестре программ для ЭВМ.

Достоверность полученных научных результатов обусловлена применением адекватного математического аппарата, подтверждается их согласованностью с результатами проведенного компьютерного моделирования и сопоставлением ряда полученных результатов с научными данными, известными из российской и зарубежной литературы.

Апробация работы. Результаты работы докладывались и обсуждались на следующих научно-технических конференциях и семинарах.

- Шестнадцатая международная конференция «Цифровая обработка сигналов и ее применение», Москва, 2014.

- Пятнадцатая международная конференция открытой инновационной ассоциации Р1ШСТ, Санкт-Петербург, 2014.

- Пятнадцатая международная конференция «Цифровая обработка сигналов и ее применение», Москва, 2013.

- Десятая международная научная конференция «Перспективные технологии в средствах передачи информации», Владимир, 2013.

- Международная конференция «Радиоэлектронные устройства и системы для инфокоммуникационных технологий», посвященная Дню радио, Москва, 2013.

- Одиннадцатая международная научно-техническая конференция «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации», «РАСПОЗНАВАНИЕ — 2013», Курск, 2013.

— Международный научно-технический семинар «Системы синхронизации, формирования и обработки сигналов в инфокоммуникациях» «СИНХРОИНФО-2013», Ярославль, 2013.

— Ярославские региональные конференции молодых ученых и аспирантов.

Публикации. По теме диссертации опубликовано 17 научных работ, из них 2

статьи, опубликованные в журналах, входящих в перечень изданий, рекомендованных ВАК, 15 докладов на научных конференциях; получены 2 свидетельства о государственной регистрации программ для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, содержащего 75 наименований, и приложения. Она изложена на 126 страницах машинописного текста, содержит 62 рисунка и 5 таблиц. Основные научные положения и результаты, выносимые на защиту

1. Комбинированный алгоритм детектирования объектов заданной формы на основе мащинного обучения и поиска точечных особенностей в цифровых изображениях.

2. Алгоритм сегментации текстовых символов на основе расчета параметров энергетической и стоимостной функций.

3. Модификация алгоритма классификации текстовых символов для применения в задаче распознавания автомобильных регистрационных знаков.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной темы, сформулированы цель и задачи исследования, изложены основные положения, выносимые на защиту, показаны научная новизна и практическая значимость работы.

В первой главе представлена общая схема автоматизированной системы распознавания текстовых символов на цифровом изображении. Данная система состоит из следующих основных блоков.

1. Формирование изображения. Полученное с видеокамеры изображение поступает на вход системы с целью его дальнейшей обработки и анализа. Данная операция имеет важнейшее значение, а от используемых на данном этапе программно-аппаратных средств зависит работоспособность всей системы в целом.

2. Детектирование номерного знака. Используется для обнаружения интересующих объектов - номерных пластин с целью их последующего анализа.

3. Сегментация номерного знака. На данном этапе происходит разделение детектированного номерного знака на отдельные символы посредством построения разделительных линий между ними на основе наименее важных пикселей с целью дальнейшего распознавания символов.

4. Классификация текстовых символов. Сегментированные на предыдущем этапе символы делятся на 21 класс, экземпляры которых являются цифрами и буквами русского алфавита, допустимыми для использования на государственных автомобильных регистрационных знаках в Российской Федерации. В дальнейшем планируется также классификация иностранных автомобильных номеров. Проведена систематизация, анализ и практическая реализация некоторых известных методов обнаружения текстовых символов на цифровых изображениях, к которым относятся:

- алгоритмы сравнения с шаблоном и оконные функции;

- корреляционные алгоритмы;

- алгоритмы на основе морфологической обработки и вычисления проекций;

- алгоритмы, основанные на вычислении дескрипторов и последующей классификации объектов.

Данная работа посвящена разработке, модификации и анализу алгоритмов, которые применяются для обнаружения, сегментации и распознавания текстовых символов на цифровом изображении в условиях наличия искажений и помех, обусловленных практическими требованиями для функционирования систем автоматического распознавания номерных знаков.

Во второй главе описан новый алгоритм, основанный на обнаружении точечных особенностей на цифровых изображениях, позволяющий эффективно детектировать регистрационные номера автомобилей.

Процесс выделения номерного знака на цифровом изображении начинается с поиска точечных особенностей, которыми обладает номерная пластина. Такими особенностями являются её углы. Для этого применяется уголковый детектор Харриса.

Рассмотрим цифровое полутоновое изображение, обозначив двумерную функцию интенсивности 1(х,у). Запишем выражение для взвешенной суммы квадратов разностей между двумя соседними участками изображения I(u,v) и I(u+x,v+y):

S(x, у) = IZ w(u, v)[l(u, v) - l(u + x, v + у)]2, (j)

U V

2 2 u +v

raew(u,v) =--e 2q2 — двумерная гауссова оконная функция, применяемая для

2 л сг

снижения чувствительности алгоритма к шуму.

В рамках локальной окрестности исследуемого пикселя выражение в квадратных скобках может быть аппроксимировано рядом Тейлора:

l(u + X, V + у) а 1(ц, v) + (u, v)x + (и, v)y. (2)

ох ду

Подставив (2) в (1) и выполнив аппроксимацию, в матричном виде получим:

S(x,y)«(x у)м(х, у)т,

^ 1Х1У]_Г (1х> (1Л)" .V* !yj [М (12у

где M(x,y) = ££w(u,v)

- матрица Харриса.

Точечная особенность изображения характеризуется большим изменением величины S(x,y) во всех направлениях. О том, насколько велико её значение в данной точке, можно судить на основе анализа собственных значений матрицы Харриса. Обозначим их а и (3, тогда величина S(x,y) будет пропорциональна каждому из них. При этом будет реализовываться один из следующих случаев:

- а = 0ир = 0-локальной точечной особенности нет;

- а ~ 0, ¡5 является достаточно большим положительным числом — наличие границы объекта;

-аир являются большими положительными числами — обнаружение локальной точечной особенности типа «угол».

Таким образом, для обнаружения точечных особенностей на изображении необходимо определить собственные значения матрицы Харриса. В связи с высокой вычислительной стоимостью их подсчета вместо непосредственного определения значений а и Р можно вычислить функцию отклика, имеющую вид:

R = (ар) - к (а + р)2 = det(M) - к trace2 (м).

Значение параметра к в формуле вычисляется эмпирически. Данная функция отклика является двумерной функцией координат пикселей и называется картой уголков Харриса. Величина R положительна в области угла, отрицательна в области края и принимает малые значения в областях с равномерной интенсивностью. На рис. 1а приведена карта уголков Харриса для тестового изображения. Далее она подвергается процедуре пороговой обработки (бинаризации) с целью разделения светлых пикселей, соответствующих областям интереса, и тёмных, соответствующих фону. Для решения этой задачи используется метод Оцу или метод локальной бинаризации. Алгоритм локальной бинаризации применяется для пороговой обработки цифровых изображений путём подсчёта порога для каждого пикселя в отдельности на основе информации об интенсивности пикселей, находящихся в некоторой его локальной окрестности. После этого происходит извлечение связных областей, обнаруженных на предыдущей стадии. Они выступают бинарными масками для исходного изображения, и внутри одной из них и будет находиться номерная пластина (рис

Возможные области интереса

\

а)

Рис. 1. Детектирование номерного знака: а) карта уголков Харриса; б) области интереса на исходном изображении

.16).

б)

Выделение области интереса среди множества связных областей осуществляется на основе НСЮ-дескрипторов, схема вычисления которых иллюстрируется на рис. 2. Вначале вычисляется градиент интенсивности изображения, затем происходит его разбиение на ячейки. Далее значению модуля вектора градиента в данной точке изображения присваивается взвешенный голос, который суммируется со значениями других векторов в данном направлении. На следующем этапе происходит объединение ячеек в более крупные блоки, их нормировка и получение итогового вектора признаков, который полностью описывает каждую область интереса. Для решения бинарной задачи выбора среди всех полученных областей интереса номерной пластины использован детектор аномалий.

Область интереса

вазаввяйв

I »» «пткмяш

f \ У / • / — t \

и • \ — \ \ — t -

\ 1 — / \ /

1 - t — t t \ \ \

у — — / / 1 —

у t ✓ — / / •

\ у 1 —► / 1 •— \

\ — — \ / — \

У N t / \ Т / \ 1

гГгЛ Hfl ЕЬь.

ПТЛ г -rm "П-п

гпТ, f tm

Вектор признаков

J

Рис. 2. Схема вычисления HOG-дескрипторов

Анализ эффективности разработанного алгоритма проведен посредством метода ЯОС-кривых. Исследована зависимость точности детектирования номерной пластины от различных параметров работы алгоритма (рис. 3 и рис. 4).

I

I

----SI = 12

-------SI = 8

............... SI = 7

0.01 0.02 0.03 0.04 0.05 0 06 0.07 0.08 0.09 01

Доля ложных положительных результатов Доля ложных положительных результатов ^

Рис. 3. Зависимость точности детектирования номерной пластины от: а) размера окрестности детектора углов; б) параметров бинаризации

I 0.9

С

О) £

с 0 85

-4-

Г ( /

.....т»

/

п

---14 ячеек гистограммы

0 1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 Доля ложных положительных результатов

а)

В 0 98 1-0 97

а

3 0.96

§ 0.95 Ё

I 094 с;

■=0 93

I 0.92 а

| 0.91 §

09 0.89

/

/

Масштаб 1х — • - Масштаб 0.2х --Масштаб О.Зх

0.1 0.2 0.3 0.4 0.5 0.6 Доля ложных положительных результатов б)

Рис. 4. Зависимость точности детектирования номерной пластины от: а) числа ячеек в гистограмме НОО-дескриптора; б) масштаба изображений при обучении детектора

аномалий

Кроме непосредственного факта детектирования номерного знака необходимо добиться точного определения его местоположения. Для этого необходимо сравнить результат детектирования автоматического алгоритма и эталонной разметки (рис. 5).

Таким образом, точность определения местоположения будет определяться следующим образом:

Алгоритм

Эталон

2 *ТР

2 * Ргесшоп * Леса11

Ргесшоп + ЯесаЦ 2*TP + FP + FN

Рис. 5. Возможные ситуации при детектировании

Рассматриваемая функция Б) не поддается аналитическому описанию.

На рис. 6а приведен пример значений функции при одном исследуемом параметре алгоритма и зафиксированных остальных.

Номер изображения

Размер окрестности

30 ЛС Б0 80 10.1 120 140

N. номер изображения

3) б) Рис. 6. Зависимость величины И) от: а) размера окрестности детектора уголков Харриса;

б) номера изображения тестовой базы

На рис. 66 рассматривается функция точности детектирования местоположения Б] на изображениях из тестовой базы при найденных ранее значениях внутренних параметров.

В третьей главе описан оригинальный алгоритм сегментации ранее детектированной номерной пластины с подбором наилучших параметров его работы. Алгоритм учитывает информационное содержание анализируемого кадра. На рис. 7 представлены основные этапы процесса сегментации символов для детектированного номерного знака (рис. 7а)

Для определения информационной значимости пикселя вводится понятие «стоимостной функции». Данная функция является некоторой условной величиной, которая характеризует то, насколько важен данный пиксель в текущем изображении. При ее вычислении наиболее значимыми элементами на изображении будут являться структура и контура объектов. Они проявляются на градиентном

изображении: е(/) = ах

+ 6х

(рис. 76).

■ННЕсШШ

•С' Ю- Т*

£ ¿ь» ^ N¿2* -

б)

% л

•

1 Ш | 1 Щ 1 # ¥ ^ к

Г)

tщ

е)

Рис. 7. Этапы алгоритма сегментации символов: ) исходное изображение; б) градиентное изображение; в) наследование значения пикселей; г) карта стоимостей переходов; д) накопленная в последней строке энергия; е) сформированные линии разделения символов

На основании градиентного изображения нужно сформировать линию раздела между символами. Необходимо соблюдение условия связности пикселей, по которым производится разделение на сегменты. На изображении строятся все пути прохождения - 8-связные совокупности пикселей сверху вниз. При их построении на каждом шаге к текущему значению пикселя прибавляется значение, минимальное из трех его предков - связных пикселей на предыдущей строке (рис. 7в). Очевидно, что в последней окажутся значения, которые несут в себе информацию о предыдущих переходах (рис. 7г). Фактически, это уже не пиксели, а некоторая стоимостная функция возможных переходов вдоль пути я (рис. 7д).

Имея стоимостную функцию е(7), вычисляется стоимость всех таких путей:

п

E(s) — E(IS) = Y,e(l(si))- Выбираются пути с минимальной стоимостью, которые

/=1

будут являться линиями раздела между символами:

п

s* = min E(s) = min

s s /=i

Такие линии разделения приведены на рис. 7е. Они формируются автоматически и адаптивно к информационному содержимому кадра. Таким образом, алгоритм не нуждается в априорном задании формата номера и поэтому является более гибким.

Выбор наилучших параметров работы алгоритма определяется параметрами а и b при формировании градиентного изображения с учетом выполнения условия баланса между чувствительностью и специфичностью алгоритма. На рис. 8 представлены зависимости величин специфичности и чувствительности от параметров а и Ь. Видно, что данные поверхности имеют общие точки, пересекаясь по определённым криволинейным образующим. Полученные линии пересечения соответствуют оптимальным значениям параметров алгоритма а и b по критерию баланса между чувствительностью и специфичностью.

Чувствительность Специфичность

Рис. 8. Зависимости чувствительности и специфичности от параметров стоимостной функции

Для верного распознавания номерного знака требуется одновременная точная классификация каждого символа. Такая оценка для всех изображений в базе имеет следующий вид:

= = ЦшсОРу+еРРу+уРИ^

Полученная формула является целевой функцией оптимизации и характеризует точность верного распознавания всего номерного знака при выбранных в алгоритме сегментации параметрах.

Максимум этой функции будет достигнут в точке [а0, Ь0 ] = аг^ах (Б(а,Ь)).

а,Ь

Таким образом, на основе полученных зависимостей выбраны значения параметров стоимостной функции а и Ь, оптимальные с точки зрения точного распознавания номерного знака. При этом достигнуто наиболее благоприятное соотношение между ошибками первого и второго рода и, следовательно, линия раздела между соседними символами на цифровом изображении номерной пластины автомобиля является наиболее точной.

Четвертая глава носит практический характер и посвящена заключительному этапу - разработке и анализу алгоритма классификации текстовых символов на номерной пластине.

Для решения данной задачи используется ограниченная машина Больцмана. Вероятностное правило срабатывания нейронов данной сети имеет вид:

Pi =Р(Д£',) =-гДе Pi ~ вероятность нахождения /-го нейрона в активном

1 + е~

состоянии; Р(х) — сигмоидная функция; Т- параметр, аналогичный температуре, а

£ = — — X X wijyiУj + XTjy/j — энергетическая функция, с помощью которой

2 j i

анализируется состояние нейронной сети.

Процесс распознавания при этом состоит из следующих этапов:

- на входных блоках фиксируется входной образ;

- рандомизируется состояние скрытых и выходных блоков, а затем медленно понижается температура;

- проводится наблюдение за состоянием сети при низком значении параметра Т и собирается статистика состояний выходных блоков. На основе этой статистики делается вывод о входном образе.

Для работы с коррелированными данными предложен оригинальный алгоритм обучения и функционирования нейронной сети. Для упрощения реализации параметры вероятности перехода нейронов в следующее состояние и законы изменения температуры для всех сетей одинаковы. Сети отличаются друг от друга матрицами взаимосвязей. Если подать на вход обученного алгоритма неизвестный образ (SD), система на основе выявленных в обучающей выборке закономерностей должна вынести правильное решение по ветвлению на каждой итерации. Топология классификатора, используемого в разработанном алгоритме, представлена на рис. 9.

Рис. 9. Иерархическая древовидная структура классификатора

Проведено сравнение предлагаемого алгоритма классификации текстовых символов с известными подходами к решению этой задачи: классическим шаблонным методом и алгоритмом на основе логистической регрессии и анализа главных компонент (АГК). Первый заключается в определении степени соответствия полученного символа с заранее заданным образцом каждого класса символов, а во втором используется простая нейронная сеть с сигмоидной функцией в качестве функции активации и АГК для уменьшения размерности вектора признаков, поступающих на вход нейронной сети. Результаты работы рассмотренных алгоритмов классификации символов приведены в табл. 1.

Таблица 1

Вероятность распознавания при отсутствии шума в тестовых изображениях

Алгоритмы Уровень распознавания

Шаблонный метод 83%

Логистическая регрессия и АГК 92%

Ограниченная машина Больцмана 96%

Видно, что в отсутствии шума все алгоритмы имеют достаточно высокий уровень верного распознавания. Однако наиболее высокий показатель имеет алгоритм на базе ограниченной машины Больцмана. Он и использован в качестве классификатора текстовых символов.

Также в рамках данной главы рассматривается реализация разработанных алгоритмов детектирования, сегментации и классификации текстовых символов в рамках единой программной среды Yar_Carnumberwatcher. Кроме того, проводится сравнение данного программного комплекса с коммерческим аналогом — Avto-Control Demo. Интерфейсы указанных программ представлены на рис. 10.

Segmentation

Е701вс Ш

Recognized number - Е701ВС177

Ш AviüCcntrolDemo

U Обработать (Q Назад © Еперсл ;

а) б)

Рис. 10. Примеры работы программ автоматического распознавания автомобильных номеров: а) Yar_Carnumberwatcher; б) Avto-Control Demo

Для сравнения результатов работы алгоритмов Yar_Carnumberwatcher и алгоритмов Avto-Control Demo была сформирована оригинальная база тестовых изображений, содержащая 100 изображений различного разрешения. Максимальный размер изображений — не более 720x576 пикселей с ограничением на размер текстовых символов в 14—27 пикселей в высоту.

Сравнение результатов распознавания автомобильных регистрационных знаков на тестовой базе изображений представлено в табл. 2.

Таблица 2

Сравнение программ покадрового распознавания автомобильных номеров

Алгоритмы Уровень распознавания

Avto-Control Demo 95%

Yar Carnumberwatcher 90%

Результаты сравнения свидетельствуют о том, что система Avto-Control Demo имеет более высокий уровень распознавания символов по сравнению с предлагаемой программой Yar Carnumberwatcher. Однако такое ее преимущество связано с применением большого количества априорной информации, используемой во встроенных алгоритмах. Следовательно, уровень распознавания данной программы будет значительно ниже при изменении формата номера или размеров исходного изображения, а также при наличии на изображении искажений и помех. В свою очередь, программа Yar_Carnumberwatcher менее чувствительна к указанным изменениям.

В Приложении приведены копии свидетельств о государственной регистрации программ для ЭВМ и актов о внедрении результатов работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведена систематизация, анализ и практическая реализация некоторых известных методов решения задач детектирования, сегментации и классификации текстовых символов на цифровых изображениях в системах распознавания автомобильных регистрационных номеров.

2. Разработан многоступенчатый алгоритм, основанный на обнаружении точечных особенностей на цифровых изображениях и позволяющий эффективно детектировать регистрационные номера автомобилей.

3. Предложенный многоэтапный алгоритм детектирования автомобильных регистрационных знаков на основе поиска точечных особенностей изображения позволяет добиться вероятности верного детектирования на уровне 97 %, что показывает его эффективность и конкурентоспособность по отношению к аналогичным современным алгоритмам. Однако использование многоэтапной структуры обработки данных приводит к увеличению вычислительной сложности алгоритма.

4. Основными достоинствами предложенного алгоритма детектирования являются возможность более гибкой обработки данных за счет многоэтапной схемы выделения областей интереса, а также независимость от априорных сведений о свойствах номерного знака: его размерах, соотношении сторон и т. д. Его

основным недостатком является зависимость от базы тестовых изображений при настройке алгоритма машинного обучения.

5. Разработан алгоритм сегментации текстовых символов на цифровых изображениях, учитывающий информационное содержание анализируемого кадра.

6. Предложенные алгоритмы вычисления энергетической и стоимостной функций и правила прохода для определения линий раздела между символами позволяют успешно сегментировать номерной знак с вероятностью 97 %.

7. Выполнена настройка параметров предложенных алгоритмов сегментации на основе визуальных и численных оценок точности сегментирования символов.

8. Усовершенствован алгоритм классификации текстовых символов на автомобильных регистрационных номерах, показывающий уровень верной классификации 96 %.

9. Проведено сравнение алгоритмов классификации в приложении к задаче распознавания текстовых символов на автомобильных регистрационных знаках с коммерческим аналогом. Выполнена реализация разработанных алгоритмов детектирования, сегментации и классификации символов автомобильных номерных знаков в рамках единой программной среды YarCarnumberwatcher для мониторинга движения на автодорогах. Проведено сравнение предложенного программного продукта с коммерческим аналогом Avto-Control Demo. Установлено, что программа Yar_Carnumberwatcher наиболее эффективна в условиях большего разнообразия типов номеров.

10. Особая эффективность предложенных алгоритмов достигается для тех случаев, когда при обработке локальной области успешно детектированного номерного знака на цифровом изображении удается качественно рассчитать энергетическую и стоимостную функции. Примером может служить обработка высокотекстурированных изображений.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в журналах из перечня ВАК

1. Трапезников И. Н., Приоров А. JL, Носков А. А., АминоваЕ. А. Комбинированный алгоритм детектирования автомобильных номерных знаков. // Электромагнитные волны и электронные системы. 2013. Т. 11, № 1. С. 32—37.

2. Носков А. А., Аминова Е. А., Трапезников И. Н., Приоров А. JI. Система определения повторного детектирования объектов на основе нейронной сети // Нейрокомпьютеры: разработка, применение. 2014. № 3. С. 36-43.

Материалы российских и международных конференций

3. Трапезников И. Н. Применение сигнальных процессоров для задач распознавания автомобильных номеров // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: материалы 17-й Междунар. науч.-техн. конф. Рязань. 2012. Ч. 2. С. 32.

4. Трапезников И. Н., Волохов В. А., Федорин Д. В. Применение анализа главных компонент и нелокальной обработки в параллельной процедуре фильтрации изображений // Цифровая обработка сигналов и ее применение: докл. 15-й междунар. конф. Москва. 2013. Т. 2. С. 107-111.

5. Трапезников И. Н., Петров В. А. Сегментация символов в изображении на основе поиска пути минимальной стоимости // Системы синхронизации, формирования и обработки сигналов в инфокоммуникациях: материалы междунар. науч.-техн. семинара. Ярославль. 2013. С. 104-106.

6. Трапезников И. Н., Кирнос В. П., Петров В. А. Алгоритм поиска пути минимальной стоимости в задаче сегментации символов на изображении // Радиоэлектронные устройства и системы для инфокоммуникационных технологий -РЕС-2013: сб. докл. междунар. конф. Москва. 2013. С. 264-267.

7. Трапезников И. Н., Кралин А. Е., Приоров A. JI. Сравнение алгоритмов построения классификатора в задаче распознавания номерных знаков автомобилей // Перспективные технологии в средствах передачи информации: матер. 10-й междунар. науч.-техн. конф. Владимир. 2013. Т. 1. С. 186-188.

8. Трапезников И. Н., Федорин Д. В., Приоров А. Л. Вычисление стоимости функции в приложениях к сегментации символов на изображении // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание - 2013: матер. XI междунар. науч.-техн. конф. Курск. 2013. С. 98-100.

9. Трапезников И. Н. Применение стоимостной функции в задаче сегментирования символов на изображении // Путь в науку. Физика: материалы международной молодежной научно-практической конференции. Ярославль: ЯрГУ. 2013. С. 125.

10. Трапезников И. Н., АминоваЕ. А., Волохов В. А., Приоров А. Л. Детектирование регистрационных номеров автомобилей на зашумленных изображениях // Цифровая обработка сигналов и ее применение: докл. 16-й междунар. конф. Москва. 2014. Т. 2. С. 548-552.

11. Трапезников И. Н. Разработка алгоритма распознавания номерных знаков автомобилей на основе сигнального процессора TMS320DM6437 // LXVII науч. сессия, посвященная Дню Радио: сб. тр. Москва. 2012. С. 58-59.

12. Трапезников И. Н., Федорин Д. В., Петров В. А., Носков А. А. Исследование устойчивости алгоритмов машинного обучения к шумам в задаче распознавания символов // Новые информационные технологии в научных исследованиях: материалы VIII всерос. науч.-техн. конф. Рязань. 2012. С. 224-226.

13. Трапезников И. Н., Приоров А. Л., Федорин Д. В. Применение детектора уголков Харриса в задаче выделения номерных знаков // Радиоэлектронные средства получения, обработки и визуализации информации: сб. докл. 3-й всерос. конф. Смоленск. 2013. С. 251-253.

14. Трапезников И. Н., Моисеева Е. А., Носков А. А. Трансляция видео-потока с мобильной платформы по протоколу RTSP // Электрон, сб. тез. докл. 66-й всерос. науч.-техн. конф. студентов, магистрантов и аспирантов высших учебных заведений с международным участием. Ярославль: Изд-во ЯГТУ, 2013. С. 737.

15. Трапезников И. Н., Федорин Д. В., Королев Д. С. Сегментация символов на изображении с применением алгоритма SEAM CARVING // Электрон, сб. тез. докл. 66-й всерос. науч.-техн. конф. студентов, магистрантов и аспирантов высших учебных заведений с международным участием. Ярославль: Изд-во ЯГТУ, 2013. С. 746.

16. Трапезников И. Н. Применение локальной бинаризации в задаче выделения номерных знаков // Тез. докл. 67-й всерос. науч.-техн. конф. студентов, аспирантов и магистрантов высших учебных заведений с международным участием. Ярославль. 2014. Ч. 2. С. 303.

17. Трапезников И. Н. Комплекс распознавания номерных знаков автомобилей // Тез. докл. 65-й всерос. науч.-техни. конф. студентов, аспирантов и магистрантов высших учебных заведений с международным участием. Ярославль. 2012. Ч. 2. С. 298.

Свидетельства о государственной регистрации программ для ЭВМ

18. Волохов В. А., Мочалов И. С., Приоров А. Л., Сергеев Е. В., Трапезников И. Н. УагСатитЬегл^сИег - научно-исследовательская программа для распознавания автомобильных регистрационных знаков на статичных изображениях // Свидетельство о государственной регистрации программы для ЭВМ № 2014615333 от 26.05.2014.

19. Аминова Е. А., Носков А. А., Трапезников И. Н. РкТосиз - программа для формирования полнофокусных цифровых изображений // Свидетельство о государственной регистрации программы для ЭВМ №2014615039 от 15.05.2014.

Подписано в печать 18.07.2014 Формат 60x84 1/16. Тираж 100 экз.

Отпечатано на ризографе Ярославский государственный университет 150000, Ярославль, ул. Советская, 14.