автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка и исследование ПО для распознавания и анализа объектов на изображении с помощью нейронной сети

На правах рукописи

Ньейн Эй

Разработка и исследование ПО для распознавания и анализа объектов на изображении с помощью нейронной сети

05.13 11 — математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва-2007

003058940

Работа выполнена в Московском инженерно-физическом институте (государственном университете)

Научный руководитель

кандидат технических наук, доцент Чепин Евгений Валентинович

Официальные оппоненты

доктор технических наук, профессор Чалый Виктор Дмитриевич

кандидат технических наук, главный специалист Горелкин Георгий Александрович

Ведущая организация ЗАО «Группа «Контур Безопасности»

Защита состоится «30» мая 2007 г в 15 00 часов на заседании диссертационного совета Д 212 130.03 в МИФИ но адресу. 115409, Москва, Каширское шоссе, д.31, телефон 323-91-67, в конференц-зале главного корпуса

С диссертацией можно ознакомиться в библиотеке МИФИ.

Автореферат разослан «26» апреля 2007 г

Отзывы на автореферат в двух экземплярах, заверенные печатью организации, просьба направлять по адресу: 115409, Москва, Каширское шоссе, д 31, диссертационный совет, Шумилову 10 Ю

Ученый секретарь диссертационного совета, д.т.н, профессор

Общая характеристика работы

Актуальность темы.

Задача распознавания и анализа объектов на изображении в настоящий момент является актуальной задачей информационной технологии Эта задача не потеряет своей актуальности и в будущем, так как развитие идет столь быстрыми темпами, что приложения, разрабатываемые сегодня, завтра получат статус унаследованных Сегодня широко используют искусственную нейронную сеть в областях компьютерного зрения Одно из преимуществ нейронных сетей это то, что все элементы могут функционировать параллельно, тем самым существенно повышая эффективность решения задачи, особенно в обработке изображений. Нейронные сети более устойчивые, чем другие статистические методы при распознавании изображении, если изображение входа имеет шумы В настоящее время существует достаточно большое число систем автоматического распознавания изображений для различных прикладных задач. Но в задачах распознавания изображений в реальном времени необходимо создать устойчивые и быстрые системы Нейронные сети могут служить теоретической и практической основы для разработки таких систем Таким образом, разработка и исследование программных обеспечений для распознавания и анализа объектов на изображении с помощью нейронной сети является актуальной задачей

Цели н задачи работы: Целью диссертационной работы является разработка и исследование ПО для распознавания и анализа символов и границ объектов на изображении с помощью нейронной сети.

В ходе исследования решались следующие задачи: 1. Проанализированы методы и алгоритмы обработки изображений

2 Проанализированы известные методы и алгоритмы для реализации нейронных сетей

3 Разработана методика распознавания номерного знака автомобилей с помощью нейронной сети

4 Разработана методика описания и распознавания типа линий на основе нейросети Методы исследования: Для решения поставленных задач в диссертации использованы теория и методы обработки изображений, теория и методы нейронных сетей, методическое и программное обеспечение среды «Matlab», методы и средства объектно-ориентированного программирования. Для реализации экспериментального приложения использованы средства «Matlab» и «Microsoft Visual С++ 6 О»

Научная новизна: 1. В рамках методики распознавания номерного знака автомобилей с помощью нейронной сети предложен, программно реализован и исследован оригинальный метод распознавания символов номерного знака с помощью моментных инвариантов. 2 Разработана методика и программное обеспечение для выделения векторов признаков функций линий и обучения нейронной сети с этими векторами. 3. Разработана методика и программное обеспечение для распознавания типа линий на основе нейронной сети Практическая значимость работы заключается в том, что

1 Предложена структура системы распознавания автомобильных номеров с помощью нейронной сети

2 Предложен способ выделения номерного знака из изображений

3. Предложен способ выделения символов из номерного знака 4 Предложен способ распознавания символов с помощью нейронной сети

5. Предложена структура системы распознавания типа линий с помощью нейронной сети Апробация работы

Основные результаты диссертации докладывались и обсуждались на 7-й международной научной конференции «Workshop on Computer Science and Information Technologies CSIT'2005, Ufa, Russia» и на ежегодных научных сессиях МИФИ (2004, 2005,2006, 2007 гг)

Основные результаты диссертации опубликованы в сборнике 7-й международной конференции «Workshop on Computer Science and Information Technologies CSIT'2005, Ufa, Russia» и в тезисах докладов на научных сессиях МИФИ.

Публикации. Основные положения диссертационной работы опубликованы в 7 печатных работах Структура и объем работы

Диссертация содержит четыре главы, введение и заключение, 49 рисунки и 6 таблицы

Общий объем - 104 страниц Список использованных источников содержит 90 наименования Содержание работы.

Во введении обосновывается актуальность темы диссертационной работы и приводится ее краткая характеристика Формулируются цель работы и задачи исследования и представляются основные положения, выносимые на защиту

В первой главе приведен обзор методов и алгоритмов обработки изображений и описание основных положений теории нейронных сетей В ней также говорится о прикладных задачах в области распознавания изображений

В последние годы наблюдается повышенный интерес к нейронным сетям, которые нашли применение в самых различных областях человеческой деятельности - бизнесе, медицине, технике Искусственные нейронные сети нашли применение во многих областях техники, где они используются для решения многочисленных прикладных задач

Обработка изображений с целью их распознавания является одной из центральных и практически важных задач при создании систем искусственного интеллекта Проблема носит явно выраженный комплексный иерархический характер и включает ряд основных этапов- восприятие поля зрения, предобработка, сегментация, нормализация выделенных объектов, распознавание Такой важный обязательный этап как понимание (интерпретация) изображений включается частично в этап сегментации и окончательно решается на этапе распознавания

Структурные методы,

Методы, основанные на, ортогональные преобразования

Методы основанные на, теории решений

11ейросетевые методы

Рис 1 Классификация методов распознавания изображений

Основным элементом любой задачи распознавания изображений является ответ на вопрос относятся ли данные (входные) изображения к классу изображений, который представляет данный эталон9 Казалось бы, ответ можно получить, сравнивая непосредственно изображение с эталонами (или их признаки) Для решения задачи в целом и на отдельных ее этапах применяются различные методы сегментации, нормализации и распознавания

Методы распознавания образов делятся на четыре основные категории: На Рис 1. изображена предложенная автором на основе аналитического обзора классификация методов распознавания изображений

• методы, основанные на теории решений,

• методы, основанные на ортогональные преобразования,

• структурные методы;

• методы, основанные на теории нейронных сетей

В настоящее время существует достаточно большое число систем автоматического распознавания изображений для различных прикладных задач Но в задачах распознавания изображений в реальном времени необходимо создать устойчивые и быстрые системы Нейронные сети могут служить теоретической и практической основой для разработки таких систем

В данной диссертации разработана методика распознавания номерного знака автомобилей с помощью нейронной сети, а также впервые предложен подход и разработана методика распознавания типов линий, с использованием нейронной сети

При программной реализации задачи распознавания типов линий с помощью статистических методов распознавания требуется большое вычисленное время как на этапе обучения, так на этапе распознавания. При использовании нейронных сетей значительное вычисленное время необходимо только на этапе обучения.

Во второй главе описаны методики и алгоритмы распознавания номерного знака автомобиля и распознавания типа линий Решение задачи распознавания номерных знаков осуществляется в четыре этапа.

1 Выделение областей-кандидатов номерных знаков на изображении

2. Удаление ошибочных кандидатов областей номерных знаков 3 Выделение символов из номерного знака автомобиля 4. Распознавание символов номерного знака.

В разделе выделения областей-кандидатов номерного знака на изображении предложены следующие подходы для выделения областей-кандидатов номерного знака

1 Выделение номерного знака с выделением границ;

2 Выделение номерного знака с использованием алгоритма «Hough»,

3 Выделение номерного знака методом сравнения с шаблоном,

4 Выделение номерного знака методом наращивания областей.

Некорректные области-кандидаты можно устранить из списка возможных кандидатов номерного знака с использованием некоторых эвристик В разделе выделения символов из номерного знака автомобиля предложены следующие подходы для выделения символов

1 Метод разделения областей,

2. Метод наращивания областей;

3. Метод подсчета пикселов;

4. Статические границы.

В разделе распознавания символов номерного знака предложены следующие подходы для распознавания 1 Метод сравнения с шаблоном,

2. Метод распознавания по вектору-образу,

3. Метод характерных точек,

4 Распознавание символов с помощью нейронной сети

В разделе распознавания типа линий впервые предложена новая методика описания и распознавания типа линий на основе нейросети Для распознавания типа линий необходимо формулировать признаки линии Вначале выполняется нормировка независимой и зависимой переменной, для того чтобы сегмент линии находился в предопределенном диапазоне (см Рис 2 )

На этапе распознавания предложено использовать многослойную нейронную сеть с последовательными связями

обратного распространения Нейронная сеть должна обучаться с использованием набора признаков большого количества линий стандартных типов

После обучения нейронная сеть может распознавать произвольный сегмент линии В методе распознавания типа линии с использованием нейронной сети значительное вычисленное время необходимо только на этапе обучения. Этап распознавания требует минимальных временных затрат

Рис. 2. а) Пример нелинейной кривой после нормировки и б) точка в двух-мерном пространстве признаков

В третьей главе говорится о разработке ПО, его тестировании и экспериментальном исследовании систем распознавания номерного знака автомобиля и распознавания типа линий Система распознавания номерных знаков автомобилей исследовалась в среде «Ма1:1аЬ 7» В процессе обработки изображения включаются шумоподавление и повышение качества изображения, и выделение места номерного знака автомобили Потом выделяются и распознаются символы из номерного знака с помощью нейронной сети На Рис 3 показана схема системы распознавания номерных знаков автомобилей

На этапе предобработки выполняется эквализация гистограммы, чтобы улучшить контраст изображения После эквализации гистограммы изображения используется медианный

фильтр для устранения шумов. Затем слабоконтрастное изображение преобразуется в бинарное изображение.

182

распознавание символов. выделение символов.

предобработка изображения.

выделение номерного знака.

Рис. 3. Схема системы распознавания и анализа номерных знаков

автомобилей.

Для выделения номерного знака формируются метки связанности компонентов на бинарном изображении. Затем сегментированные компоненты изображения анализируются и, отбираются компоненты изображения, которые обладают геометрическими характеристиками, подобными знаку автомобиля.

На основе проведенных экспериментальных исследований были выработанные следующие значения параметров для эффективной работы алгоритма выделения номерного знака. Решение о том, что область изображения отобрана принимается при следующих значениях параметров:

Параметр Диапазон значений

соотношение геометрических размеров от 2,8 до 6

площадь обрамления от 3000 до 17000 пикселов

отношение площади объекта к площади обоамления от 0,4 до 0,8

Затем рассчитывается число объектов в отобранных областях. Вели число объектов в области равно числу знаков на номерном знаке автомобили, эта область отбирается как номерной знак

автомобиля Алгоритм выделения номерного знака показан на Рис 4

Рис 4 Алгоритм выделения номерного знака

Сначала отобранная область изображения превращается в бинарное изображение Этот этап очень важный для выделения символов из номерного знака Считаем, что все символы имеют приблизительно одинаковую величину интенсивности, и фон номерного знака ярок, и символы темны Эту особенность можно использовать для того, чтобы выделить символы на номерном знаке Алгоритм выделения символов показан на Рис. 5

Рис. 5. Алгоритм выделения символов из номерного знака

Из изображений символов сформированы все геометрические моменты, которые вычисляются по формуле.

(!)

где Г(х,у) - исходное изображение

Для того чтобы эти моменты быть инвариантными по смещению, можно определить центральные моменты как.

(2)

х = у = 31

где

Центральные моменты из формулы (1) можно нормализовать, для того чтобы они были инвариантными по масштабированию следующим образом1

и =—

тт _ (3)

г = +1 где 2

Ху сформировал 7 функций центральных моментов, которые инвариантны по вращению и по масштабированию

(/¿20+Аи) фг = 0*20+Ми)' + 4/"п А = (/*» - + (3А21 +/"оз)2

Фъ = (/¿¡о - 3^п)О30 + )[(/<» - - Хм21 + Л>з)2]

+0м2, +/"оз)(/"2| +у"оз)[ЗС"зо -(/^2! + ,«0з)2]

Фб = (/<20 -М,2)[(Ло -Лг)2 -(^21 + А,З)2] + 4/'п(ЛО +Л2)(/«2| + /*ОЗ) Фп = (ЗА21 -Мю)(Мзо +А|2)[(/'зо +Аг)2 +Лз)2]

+(/"з0~3/'12)(//2| +Аоз)[3(/'зО +А2)2 —</"21 +/"оз)2] (4)

В данной работе использовалась двухслойная сеть с последовательными связями. Слой входа содержит 7 элементов, представляя моментные инварианты Скрытый слой содержит 50 элементов Размер этого слоя был определен экспериментами.

Слой выхода содержит 34 элементов, которые представляют 10 цифр (0-9) и 24 буквы алфавита (А-г) исключаясь буквы 'О' и 'О'

В процессе обучения используются символы, которые выделяются из реальных номерных знаков автомобилей В выборку образов, которая используется для обучения нейросети, добавлены образцы с шумами Результаты обучения нейронной сети приведены в Таблице 1 Использовались три варианта конфигурации сети (цифры в 1-ом столбце таблицы означают количество нейронов по слоям)

Таблица 1 Обучение сети

Конфигурация сети Количество итераций Точность

7 40 34 50000 0 01

7 50 34 45600 0 001

7 • 100 34 50000 0 1

С целью создания системы распознавания границ объектов на изображении, разработана методика распознавания типа линии с помощью нейронной сети Пусть задана функция одной переменой Г (х, к1, к2 , ...,кт), (5)

где х - независимое переменное значение, к1, к2, . , кЗ -коэффициенты функции

Семейство кривых этой функции, определяемое различными сочетаниями коэффициентов к1, к2, и интервалом изменения независимой переменой х, будем называть в дальнейшем классом функции f Для построения образа данного класса { предварительно проводится нормировка независимой и зависимой переменных

Пусть физический интервал варьирования х лежит в пределах [А, В] Тогда нормировка осуществляется по соотношениям-

х0=(А + В)/2 , & = {В-Л)/2 ,

5с=(х-г0)/Д5с > ?е[-1,+1] (6)

На основе этих выражений производится замена переменой х на отнормированную х в функции Г (х, к1, к2 , ,кт) Для осуществления нормировки { осуществляется сдвиг функции так, чтобы она проходила через начало координат

Рис 6 Алгоритм вычисления признаков линий

Г(х,кШ, ) = /(х,к1,к2, )-/(0Ди2,.) (7)

Для окончательной нормировки функции необходимо найти модуль ее максимального значения Г макс = макС|у.(~ ) | после

чего проводится окончательная нормировка:

7(х,кт, ) = /'(*,«Д2, )//Мив> (8)

После нормировки в качестве системы из / признаков задаются значения функции / при 1 различных значениях аргумента х , т.е.

у, =У(а„к\,кг, ), ;=1>2, ,1 (9)

где ], - 1-й признак, причем у 6[_1>+1]; а, - будем называть плечом 1-го признака,

По описанной выше методике был разработан алгоритм и составлена программа построения образов различных функций для заданных 1 и плеч признаков а, (см Рис 6 )

В данной работе для распознавания признаков кривых предложено использовать трехслойную нейронную сеть с последовательными связями Слой выхода содержит 5 элементов, которые представляют типы функции линии

Предложено выбрать 5 базовых типов функции как стандартные типы функции для представления произвольной кривой Эти функции представляют собой следующие, f = а х + b (линейная функция), f=ax2 + bx + c (параболическая функция ), f = а + b ехр(с х) (экспоненциальная функция ), f = а + b Cosh(x + с) (гиперболический косинус), f = а + b Sin(x + с) (синусная функция) Каждый образ признаков этих типов функций занимает определенную область в системе координат признаков

В четвертой главе рассмотрено использование разработанных методов в прикладных задачах. Система распознавания и анализа номерных знаков автомобилей.

Входом системы распознавания и анализа номерных знаков автомобилей является слабоконтрастное изображение в формате BMP Размер изображений - 768 х 500 пикселов. Набор изображений для тестирования системы содержал 53 слабоконтрастные изображения автомобилей

В разработанной системе используется библиотека обработки изображений среды Matlab для предобработки изображения и для сегментации изображения А для распознавания символов номерного знака используется библиотека нейросетей

При использовании разработанной методики на этапе выделения номерного знака получены следующие результаты.

• Число изображений, в которых не найден номерной знак - 5,

• Найденные номерные знаки- 48,

• Процент успеха выделения номерного знака из изображений -91%.

В процессе обучения использовались символы, которые выделялись из реальных номерных знаков автомобилей Первый набор изображений состоял из 415 символов, а второй - из 1630 символов Второй набор изображений состоял из оригинальных символов и символов с шумами В диссертации приведены подробные результаты распознавания номерных знаков Ниже приведены результаты тестирования разработанной системы Число номерных знаков1 53

Не найденные знаки 5

Число номерных знаков, которые распознаются точно 30 (результат из 1 набора букв обучения)

Число номерных знаков, которые распознаются точно 39

(результат из 2 набора букв обучения)

Число номерных знаков, которые распознаются

с ошибками 14

(результат из 1 набора букв обучения)

Число номерных знаков, которые распознаются

с ошибками- 5

(результат из 2 наборов букв обучения)

Таблица 3 Результаты распознавания символов

1 набор символов обучения 2 набор символов обучения

Число символов 302 302

Число символов, которые распознаются 270 298

Процент распознавания символов 90% 98 34%

Процент распознавания номерных знаков 55 55% 72 22%

Разработанная система не зависит от порядка расположения символов в номерном знаке Она правильно распознает номерные знаки различного размера, которые находятся в предопределенном диапазоне

Распознавание типов линий с помощью нейронной сети. В этом разделе представлены результаты тестирования программой системы распознавания типов линий с помощью

нейронной сети, которое разработано в среде прог раммирования «Microsoft Visual С++ 6.0». Программа позволяет выполнять четыре основные функции:

• Формирование набора стандартных функций со случайными коэффициентами;

• Формирование набора векторов признаков этих функций и для любой заданной пары плеч признаков построит 2D-иллюстрацию полученных образов;

• Обучение нейронной сети с набором сформированных плечей признаков;

• Тестирование обученной нейронной сети с набором сформированных плечей признаков.

¿-Cue«

Рис.7. Образы некоторых функций в системе двух признаков (а! = -0,5 , а2 = +0,5 , к!, к2, кЗ ,х ). Пользователь может ввести количество линий, диапазон независимой переменной х и диапазон коэффициентов. На Рис .7. показана графическая иллюстрация полученных образов

стандартных функций для случая 1 = 2, а1 = -0,5 , а2 = +0,5, к1, к2, кЗ , х

В разработанном варианте системы автор использует число признаков 1 = 14 для распознавания с помощью нейронной сети Проведенные автором исследования показали, что использование числа признаков больше чем 14 не улучшает результаты

Для обучения нейронной сети сначала было сформировано 15000 линии, в которые было включено по 3000 линий для каждого стандартного типа функций

Каждая линия имеет следующие предопределенные особенности

• значение коэффициентов функции лежит в диапазоне минус один и плюс один (к1, к2, кЗ ),

• независимое переменное значение лежит в диапазоне минус два и плюс два ( х ).

Из каждой линии было сформировано четырнадцать признаков с помощью эквидистантных плеч На Рис 8. показан результат обучения сети с разными конфигурациями

10 15 20 25 30 35 36 37 38 39 40 число нейронов в секретных слоях

Рис 8 Результат обучения сети с разными конфигурациями После обучения нейронная сеть испытывалась на полном наборе признаков, которые использовались в процессе обучения. Результаты тестирования показали, что обученная сеть может

правильно классифицировать более 98% всего набора векторов, которые использовались в процессе обучения

Затем обученная нейронная сеть испытывалась на наборе признаков, которые не использовались в процессе обучения С этими признаками нейронная сеть может правильно классифицировать более 90% входных данных Основные результаты работы

При выполнении данной работы получены следующие основные результаты

1 В диссертации исследованы распознавание и анализ объектов на изображении с помощью нейронной сети.

2 В диссертации предложена методика, которая предполагает распознавание номерного знака автомобиля В качестве основы для обработки изображении, предложено использовать библиотеку обработки изображений среды Ма^аЬ

3 С целью создания системы распознавания объектов на изображении разработан подход к выделению областей-кандидатов номерного знака из изображения

4 Предложена методика устранения некорректных областей-кандидатов номерного знака автомобилей

5. Предложена методика выделения символов (букв и цифр) из областей-кандидатов номерного знака автомобилей

6. Предложена методика распознавания символов (букв и цифр) номерного знака автомобилей на основе нейросети

7 Предложены и разработаны методы, алгоритмы и программный комплекс, которые могут использоваться в распознавании номерного знака автомобилей.

8 В диссертации предложен новый оригинальный подход к распознаванию типов линии с помощью нейронной сети

9. Предложена методика обучения нейронной сети для распознавания типов линии, для чего предложен и разработан математический аппарат формирования вектора признаков с помощью эквидистантных плеч 10 Предложена архитектура программного комплекса, реализующего предложенную методику обучения нейронной сети для распознавания типов линий

Основные публикации по теме диссертации.

1. Ньейи Эй, Е В Чепии. Распознавание типов линии с помощью нейронной сети // Научная сессия МИФИ-2007 Сборник научных трудов В 17 томах Т 12 Информатика и процессы управления. Компьютерные системы и технологии М . МИФИ, 2007

2. Ньейн Эй Распознавание чисел и букв номерных знаков с помощью моментных инвариантов // Научная сессия МИФИ-2007. Сборник научных трудов В 17 томах Т 12 Информатика и процессы управления Компьютерные системы и технологии М. МИФИ, 2007

3 Ньейн Эй, ЕВ. Чепин Исследование эффективности использования нейросетей для некоторых задач // Научная сессия МИФИ-2007 Сборник научных трудов. В 17 томах Т12 Информатика и процессы управления Компьютерные системы и технологии М МИФИ, 2007

4 Ньейн Эй Распознавание номерных знаков автомобилей // Научная сессия МИФИ-2006 Сборник научных трудов В 16 томах Т 15 Конференция «Молодежь и наука» Компьютерные науки Информационные технологии. Экономика и управление М . МИФИ, 2006.

5. Nyein Aye, Е V. Chepin Саг license plate recogmtion system usmg artificial neural network // Proceedings of the Workshop on Computer Science and Information Technologies (CSIT'2005), Ufa, September 18-21, 2005 Volume 1 Ufa State Aviation Technical University, 2005 ISBN 5-901900-30-8

6 Ньейн Эй Нейронная сеть для распознавания изображения // Научная сессия МИФИ-2005 Сборник научных трудов В 15 томах Т 14 Конференция «Молодежь и наука» Компьютерные науки Информационные технологии М • МИФИ, 2005

7. Ньейн Эй Искусственная нейронная сеть для распознавания образов // Научная сессия МИФИ-2003. Сборник научных трудов. В 14 томах Т 13 Конференция «Молодежь и наука» Компьютерные науки Информационные технологии М МИФИ, 2003.

Подписало в печать 25 04 2007 г Исполнено 26 04 2007 г Печать трафаретная

Заказ № 476 Тираж 80экз

Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш , 36 (495) 975-78-56 www autoreferat ru

Введение.

1. Нейронные сети в области обработки изображений.

1.1 Искусственный нейрон.

1.2 Применение нейронных сетей.

1.3 Архитектуры нейронных сетей.

1.4 Обучение нейронных сетей.

1.5 Нейронные сети Хопфилда и Хэмминга.

1.6 ADALINE - Adaptive Linear Neuron (Адаптивный Линейный нейрон).

1.7 Многослойные нейронные сети без обратной связи.

1.7 .1 Сложность разделяющих поверхностей.

1.8 Распознавание изображения.

1.9. Предобработка изображения.

1.10 Сегментация.

1.11 Распознавание.

Выводы раздела 1.

2. Распознавание объектов на изображении.

2.1. Система распознавания номерных знаков автомобилей.

2.2. Применение системы распознавания номерных знаков автомобилей.

2.3. Предобработка изображений при распознавании номерных знаков.

2.4. Выделение номерного знака в изображении.

2.4.1. Выделение номерного знака с выделением границ.

2.4.2. Выделение номерного знака с использованием алгоритма «Hough».

2.4.3. Выделение номерного знака методом сравнения с шаблоном.

2.4.4. Выделение номерного знака методом наращивания областей.

2.5. Устранение некорректных областей-кандидатов номерного знака.

2.5.1. Метод устранения некорректных областей.

2.6. Выделение букв и чисел из номерного знака.

2.6.1. Метод разделения областей.

2.6.2. Метод наращивания областей.

2.6.3. Метод подсчета пикселов.

2.6.4. Статические границы.

2.7. Распознавание букв и чисел.

2.7.1. Метод сравнения с шаблоном.

2.7.2. Метод распознавания по вектору-образу.

2.7.3. Метод характерных точек.

2.7.4. Распознавание символов с помощью нейронной сети.

2.8. Распознавание типа линий.

Выводы раздела 2.

3.Разработка ПО, тестирование и экспериментальное исследование.

3.1. Этап предобработки изображения.

3.2 Выделение номерного знака.

3.3 Выделение символов из номерного знака.

3.4. Распознавание чисел и букв.

Архитектура разработанного программного комплекса для распознавания номерного знака автомобиля показана на Рис. 3.8.

3.5. Распознавание границ объектов на изображении с помощью нейронной сети.

3.5.1 Постановка задачи.

3.5.2. Выделение и анализ признаков линии.

3.6 Распознавание типов функции линии с помощью нейронной сети.

3.7. Процедура обучения.

Выводы раздела 3.

4. Использование разработанных методов.

4.1. Система распознавания и анализа номерных знаков автомобилей.

4.1.1. Выделение номерного знака из входного изображения.

4.1.2. Распознавание чисел и букв.

4.2 Распознавание типов линий с помощью нейронной сети.

Выводы раздела 4.

Данная диссертация посвящена разработке и исследованию программного обеспечения для распознавания и анализа объектов на изображении с помощью нейронных сетей. Распознавание объектов на изображении - это одна из областей компьютерного зрения. Что такое компьютерное зрение и обработка изображений? Обработка изображений представляет собой область компьютерной графики, исследующая задачи, в которых и входные и выходные данные являются изображениями. Компьютерное зрение - пограничная часть знаний о получении изображения, обработке, классификации и распознавании [1]. Есть важные области применения систем распознавания и анализа изображения. Это, например, работа с медицинскими изображениями: создание программных систем, которые могут улучшать качество изображений, выявлять на них важные моменты или события либо визуализировать информацию, полученную из изображений. Другая важная область - системы технического контроля, когда по изображениям объектов определяется, соответствуют ли объекты их спецификациям. Третья сфера применения систем распознавания изображений - обработка и интерпретация фотографий, сделанных со спутника, как в военных целях (например, может потребоваться программа, выявляющая интересные, с военной точки зрения, события в указанном регионе или определяющая вред, нанесенный в результате бомбардировки), так и в гражданских (какой урожай кукурузы будет в этом году, сколько осталось тропических лесов и т.п.). Четвертая область - это оптическое распознавание символов (OCR) (например, система распознавания номерных знаков автомобилей или система распознавания печатных документов).

Компьютерное зрение сейчас находится в особой точке своего развития. Эта область прикладной науки стала популярной еще в 1960-х, но только недавно появилась возможность создания полезных компьютерных программ, использующих идеи компьютерного зрения, поскольку компьютеры и программы обработки изображений стали доступны большому количеству пользователей [2]. Не так давно для получения хорошего цветного цифрового изображения нужно было потратить не один десяток тысяч долларов; сейчас для этого нужно не больше нескольких сотен. Не так давно цветной принтер можно было найти только в некоторых исследовательских лабораториях; сейчас их используют повсеместно. Таким образом, проводить серьезные исследования и решать многие повседневные задачи теперь можно с помощью методов компьютерного зрения.

Сегодня широко используют искусственную нейронную сеть (artificial neural network) при решении задач компьютерного зрения. Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году У. Маккалох и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга. Ими были получены следующие результаты[54-57,62]:

• разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов;

• предложена конструкция сети таких элементов для выполнения логических и арифметических операций;

• сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.

В 1958 г. Фрэнк Розенблатт придумал нейронную сеть, названную перцептроиом, и построил первый нейрокомпьютер Марк-1 . Перцептрон был предназначен для классификации объектов. На этапе обучения «учитель» сообщает перцептрону к какому классу принадлежит предъявленный объект. Обученный перцептрон способен классифицировать объекты, в том числе не использовавшиеся при обучении, делая при этом очень мало ошибок. Новый взлет теории нейронных сетей начался в 1983-1986 г. г. При этом важную роль сыграли работы группы PDP (Parallel Distributed Processing). В них рассматривались нейронные сети, названные многослойными персептронами, которые оказались весьма эффективными для решения задач распознавания, управления и предсказания[3].

В данной работе приведены результаты разработки и исследований системы распознавания автомобильных номеров и разработки и исследования методики и алгоритмов распознавания типа линий с помощью нейронной сети. Распознавание и анализ номерных знаков автомобилей - один из методов, который может использоваться для идентификации автомобилей. Этот метод можно применять ко многим задачам. Например: входной допуск, безопасность, контроль стоянки, дорожный контроль движения, контроль скорости и т.д. Систему распознавания типа линий можно использовать во многих задачах компьютерного зрения, прежде всего при описании формы объектов, находящихся на изображениях.

Целью диссертационной работы является разработка и исследование ПО для распознавания и анализа объектов на изображении с помощью нейронной сети.

Для достижения поставленной цели в диссертации решены следующие задачи:

1. Проанализированы методы и алгоритмы обработки изображений.

2. Проанализированы известные методы и алгоритмы для реализации нейронных сетей.

3. Разработана методика распознавания номерного знака автомобилей с помощью нейронной сети.

4. Предложена и разработана методика описания и распознавания типа линий на основе нейросети.

Для решения поставленных задач в диссертации использованы теория и методы обработки изображений, теория и методы нейронных сетей, методическое и программное обеспечение среды «Matlab», методы и средства объектно-ориентированного программирования.

Практическая ценность работы:

1. Предложена структура системы распознавания автомобильных номеров с помощью нейронной сети.

2. Предложен способ выделения номерного знака из изображений.

3. Предложен способ выделения символов из номерного знака.

4. Предложен способ распознавания символов с помощью нейронной сети, а также архитектура программного обеспечения для его реализации.

5. Предложена структура нейросети для системы распознавания типа линий с помощью нейронной сети.

В диссертации получены следующие новые научные результаты:

1. В рамках методики распознавания номерного знака автомобилей с помощью нейронной сети предложен, программно реализован и исследован оригинальный метод распознавания символов номерного знака с помощью моментных инвариантов.

2. Разработана методика и программное обеспечение для выделения векторов признаков функций линий и обучения нейронной сети с этими векторами.

3. Разработана методика и программное обеспечение для распознавания типа линий на основе нейронной сети.

Основные научные результаты, выносимые на защиту:

1. Предложенная методика и программное обеспечение для распознавания номерного знака автомобилей с помощью нейронной сети.

2. Предложенная методика и программное обеспечение для распознавания типа линий на основе нейронной сети.

Данная диссертационная работа состоит из введения, четырех глав, заключения, списка литературы.

Выводы раздела 4.

1. Разработанный подход выделения номерного знака из изображения позволяет выделять области-кандидаты номерного знака независимо от его формы и качества изображения.

2. Разработанный поход выделения символов успешно может эффективно выделять символы из изображения номерного знака.

3. Разработанный поход распознавания символов успешно может распознавать символы в номерном знаке.

4. Показана принципиальная возможность решения задачи распознавания типов нелинейных функций для представления контуров объектов на основе нейросетей.

5. Предложенная методика и разработанная программная система для распознавания типов нелинейных функций для представления контуров объектов на основе нейросетей позволяет существенно сократить время необходимое на ее распознавание по сравнению с традиционной реализацией.

Заключение

К основным результатам данной диссертации относятся следующие:

1. В диссертации исследованы распознавание и анализ объектов на изображении с помощью нейронной сети для двух, часто встречающихся на практике, задач.

2. В диссертации предложена методика, которая предполагает распознавание номерного знака автомобиля. В качестве основы для обработки изображении, предложено использовать библиотеку обработки изображений среды Matlab.

3. С целью создания системы распознавания объектов на изображении разработан подход к выделению областей-кандидатов номерного знака из изображения.

4. Предложена методика устранения некорректных областей-кандидатов номерного знака автомобилей.

5. Предложена методика выделения символов (букв и цифр) из областей-кандидатов номерного знака автомобилей.

6. Предложена методика распознавания символов (букв и цифр) номерного знака автомобилей на основе нейросети.

7. Предложены и разработаны методы, алгоритмы и программный комплекс, которые могут использоваться в распознавании номерного знака автомобилей.

8. В диссертации предложен новый оригинальный подход к распознаванию типов линии с помощью нейронной сети.

9. Для реализации данного подхода предложена топология нейросети.

10. Предложена методика обучения нейронной сети для распознавания типов линии, для чего предложен и разработан математический аппарат формирования вектора признаков с помощью эквидистантных плеч.

11. Предложена архитектура программного комплекса, реализующего предложенную методику обучения нейронной сети для распознавания типов линий.

1. Low, Adrian. Introductory Computer Vision an Image Processing. McGraw Hill. 1991

2. Форсайт, Дэвид А., Понс, Жан. Компьютерное зрение. Современный подход.: Пер. с англ. М.: Издательский дом "Вильяме", 2004. : ил, - Парал. Тит. англ.

3. Роберт Хехт-Нильсен. Калифорнийский университет, Сан-Диего. Нейрокомпьютинг: история, состояние, перспективы, (http://www.osp.ru/os/1998/04/03.htm)

4. Kulkarni, Arun D. "Computer vision and fuzzy-neural systems." Prentice Hall 2001, ISBN 013-570599-1

5. Р.Гонсалес, Р.Вудс. Цифровая обработка изображений.: Пер. с англ. М.: Техносфера,2005.- 1072с.

6. Дж. Ту, Р. Гонсалес. Принципы распознавания образов. Пер. с англ. М.: Мир, 1978., ил.

7. Гренандер У. Лекции по теории образов: Регулярные структуры. Пер. с англ. М.: Мир, 1983. ил.

8. С. Короткий, Нейронные сети: алгоритм обратного распространения. (www.orc.ru/~stasson/neuroe.html)

9. Медведев B.C., В.Г. Потёмкин. Нейронные сети MATLAB 6/ Под общ. Ред. к.т.н. В.Г. Потемкина. -М.: ДИАЛОГ-МИФИ, 2002.-496 с.-(Пакеты прикладных программ; Кн. 4).

10. Anil К. Jain, Jianchang Мао, К.М. Mohiuddin. Artificial Neural Networks: A Tutorial, Computer, Vol.29, No.3, March/1996.

11. R.P.Lippmann, "An Introduction to Computing with Neural Nets", IEEE ASSP Magazine, Vol.4, No.2, Apr. 1987

12. Ньейн Эй. Искусственная нейронная сеть для распознавания образов // Научная сессия МИФИ-2003. Сборник научных трудов. В 14 томах. Т.13. Конференция «Молодежь и наука». Компьютерные науки. Информационные технологии. М.: МИФИ, 2003.

13. Ньейн Эй. Нейронная сеть для распознавания изображения // Научная сессия МИФИ-2005. Сборник научных трудов. В 15 томах. Т. 14. Конференция «Молодежь и наука». Компьютерные науки. Информационные технологии. М.: МИФИ, 2005.

14. Ньейн Эй. Распознавание номерных знаков автомобилей // Научная сессия МИФИ-2006. Сборник научных трудов. В 16 томах. Т. 15. Конференция «Молодежь и наука». Компьютерные науки. Информационные технологии. Экономика и управление. М.: МИФИ, 2006.

15. Ньейн Эй, Е.В. Чепин. Распознавание типов линии с помощью нейронной сети // Научная сессия МИФИ-2007. Сборник научных трудов. В 17 томах. Т. 12. Информатика и процессы управления. Компьютерные системы и технологии. М.: МИФИ, 2007.

16. Ньейн Эй. Распознавание чисел и букв номерных знаков с помощью моментных инвариантов // Научная сессия МИФИ-2007. Сборник научных трудов. В 17 томах. Т. 12. Информатика и процессы управления. Компьютерные системы и технологии. М.: МИФИ, 2007.

17. Ньейн Эй, Е.В. Чепин. Исследование эффективности использования нейросетей для некоторых задач // Научная сессия МИФИ-2007. Сборник научных трудов. В 17 томах. Т. 12. Информатика и процессы управления. Компьютерные системы и технологии. М.: МИФИ, 2007.

18. В. В. Круглов, В. В. Борисов, Искусственные нейронные сети. Теория и практика. М: Горячая линия - Телеком, 2001.20. Ежов А.А., Шумский С.А.

19. Нейрокомпыотиг и его приложения в экономике и бизнесе (серия "Учебники экономико-аналитического института МИФИ" под ред. Проф. В.В. Харитонова). -М.: МИФИ, 1998.-224 с.

20. N. Otsu. "A Threshold Selection Method for Gray Level Histograms". IEEE Transactions on System, Man and Cybernetics. January 1979.

21. V. Turchenko, et al. "Smart Vehicle Screening System Using Artificial Intelligence ", IEEE Conference on Homeland Security, May 7-8,2003.

22. Уоссерман Ф,. Нейкомпьютерная техника : Теория и практика : Перевод с англ., -М.: Мир, 1992 г

23. Richard P. Lippmann, An Introduction to Computing withNeural Nets, IEEE Acoustics, Speech, and Signal ProcessingMagazine, April 1987.

24. Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М., изд. ВИНИТИ, 1990.

25. Alain Petrowski, Gerard Dreyfus, Claude Girault, Performance Analysis of a Pipelined Backpropagation Parallel Algorithm //IEEE Transactions on Neural Networks, Vol.4, N6, 1993.

26. H.A.Malki, A.Moghaddamjoo, Using the Karhunen-Loe've Transformation in the Back-Propagation Training Algorithm //IEEE Transactions on Neural Networks, Vol.2, N1,1991.

27. Harris Drucker, Yann Le Cun, Improving Generalization Performance Using Backpropagation //IEEE Transactions on Neural Networks, Vol.3, N5, 1992.

28. Bernard Widrow, Michael A. Lehr, 30 Years of Adaptive NeuralNetworks: Perceptron, Madaline, and Backpropagation //Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992.

29. Paul J. Werbos, Backpropagation Through Time: What It Does and How to Do It //Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992.

30. Sankar K. Pal, Sushmita Mitra, Multilayer Perceptron, Fuzzy Sets, and Classification //IEEE Transactions on Neural Networks, Vol.3, N5,1992.

31. Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992.

32. E. Монахова, "Нейрохирурги" с Ордынки, PC Week/RE, №9,1995.

33. E.H. Соколов, Г.Г. Вайткявичус. Нейроинтеллект от нейрона к нейрокомпьютеру. М., Наука, 1989.

34. Vernon, David. Machine Vision: Automated Visual Inspection and Robot Vision. Prentice Hall. 1991

35. Davies, E.R. Machine Vision: Theory, Algorithms and Practicalities. Academic Press. 1990

36. Aiteanu, D.; Ristic, D.; Graser, A. "Content based threshold adaptation for image processing in industrial application". Control and Automation, 2005. ICCA apos;05. International Conference on Volume 2, Issue, 26-29 June 2005 Page(s): 1022 1027 Vol. 2.

37. Valveny, E.; Lopez, A. "Numerical recognition for quality control of surgical sachets". Document Analysis and Recognition, 2003. Proceedings. Seventh International Conference on Volume, Issue, 3-6 Aug. 2003 Page(s): 379 383 vol.

38. Green, Bill. Edge Detection Tutorial (http://www.pages.drexel.edu/~weg22/edge.html)

39. E. W. Brown, "Character Recognition by Feature Point Extraction", Northeastern University internal paper, 1992

40. Pitas. Digital Image Processing Algorithms. Prentice Hall Int., 1993.

41. R.C.Gonzalez, R.E.Woods. Digital Image Processing. Addison-Wesley Publ. Сотр., 1992.

42. Прэгг У. Цифровая обработка изображений: М.:"МИР" в 2х т. 1982

43. Дуда Р., Харт П. Распознавание образов и анализ сцен (пер. с англ.): М.: "МИР", 1976

44. Федоров Д.К. Методы и устройства анализа изображений: Рукопись канд. дисс.,, 1994

45. Бакут П.А., Колмогоров Г.С. Сегментация изображений: методы выделения границ областей: Зарубежная радиоэлектроника №10,1987

46. Фишер Р. От поверхностей к объектам. Машинное зрение и анализ трехмерных сцен: -М.:Р. и С. 1993

47. Бодров И.В., Попов П.Н., Чепин Е.В. Разработка библиотеки функций обработки изображений: Пенза, Материалы 2-й Международной научно-технической конференции, 1996

48. Яншин В. Калинин Г. Обработка изображений на языке СИ для IBM PC:- М.: "МИР", 1994

49. Романов В. Популярные форматы файлов для хранения графических изображений на IBM PC:- М.: "Унитех", 1992

50. Галушкин А. И., Кирсанов Э. Ю. Нейронные системы памяти, Под общ. ред. Левина В. К.: ил., -М. Изд-во МАИ 1991

51. Галушкин А. И., Фомин Ю. И. Нейронные структуры как линейные последовательные машины.; Под общ. ред. В. К. Левина. -М. Изд-во МАИ 1991

52. Галушкин А. И., Теория нейронных сетей.: -М.:ИПРЖР,2000.

53. Галушкин А. И.,Шмид А. В., Оптимизация структуры многослойных неронных сетей с перекрестными связами. Нейрокомпьютер научно-технический журнал № 3,4. Москва. 1992 г.

54. Сыслов В. В., Нейросетевая система распознавания иероглифов. Нейрокомпьютер научно-технический журнал № 1,2. Москва. 1995 г.

55. Андрюшкин А.А., Хасин Б.Б., Чепин Е.Б., Библиотека функций предобработки изображений для нейрокомыотера. III Всероссийская конференция «Нейрокомпьютеры и их применение» Москва. 1997г.

56. Фу К. Последовательные методы в распознавании образов и обучении машин. Перевод с англ., -М.: Издательство «Наука». 1971 г.

57. Бутаков Е. А, Островский В. И., Фадеев И. Л.,. Обработка изображений на ЭВМ. -М.: Радио и связь, 1987. 240с.:ил.

58. Анисимов Б. В., Курганов В. Д., Злобин В. К. Распознавание и цифравая обработка изображений: учеб. Пособие для студентов вузов. М.: Высш. Шк., 1983. - 295с. Ил.

59. Писаревский А. Н., Чернявский А. Ф., Афанасьев Г. К. и др.; Системы технического зрения (принципиальные основы, аппаратное и математическое обеспечение). -Л.: Машиностроение. Ленингр. Отд-ние, 1988. 424 е.: ил.

60. Michael A. Arbib. The handbook of brain theory and neural networks. The MIT Press. ISBN 0-262-01197-2/

61. Colin Fyfe. Artificial neural networks. The university of Paisely press. Edition 1.1. 1996.

62. James A. Freeman, David V. Skapura. Neural networks algorithms, applications and programming techniques. Adddison-Wesley Publishing Company, Inc.ISBN 0-201-51376-5. 1991.

63. Simon Haykin. Kalman filtering and neural networks. A. Wiley-Interscience Publication, John Wiley & Sons, Inc. ISBN 0-471-22154-6

64. Gerhard X. Ritter; Joseph N. Wilson. Handbook of Computer Vision Algorithms in Image Algebra CRC Press, CRC Press LLC. ISBN: 0849326362. Pub Date: 05/01/96

65. Valium B. Rao. С++ Neural Networks and Fuzzy Logic. M&T Books, IDG Books Worldwide, Inc. ISBN: 1558515526. Pub Date: 06/01/95.

66. Richard O. Duda, Peter E. Hart, David G. Stork. Pattern Classification (2nd Edition). A. Wiley-Interscience Publication, John Wiley & Sons, Inc. ISBN: 0471056693. 2000.

67. P. S. Neelakanta; Dolores DeGroff. Neural Network Modeling: Statistical Mechanics and Cybernetic Perspectives. CRC Press, CRC Press LLC. ISBN: 0849324882. Pub Date: 07/01/94.

68. Sing-Tze Bow. Pattern recognition and image preprocessing. Marcel Dekker Inc.ISBN: 08247-0659-5.2002.

69. Dana H. Ballard, Christopher M. Brown. Computer Vision. Prentice Hall. 1982. ISBN 0131653164.

70. J.P. Marques de Sa. Pattern Recognition: Concepts, Methods and Applications. Springer; 1 edition (October 2,2001). ISBN 3540422978.

71. Галушкин А.И. Нейрокомпьютеры в биометрических системах. -М: «Радиотехника» 2007

72. Галушкин А.И. Теория нейтронных сетей: Учеб. пособие. М.: Радиотехника, 2000.

73. Круглов В. В., Дли М.И. Годунов., Р. Ю. Нечетная логика и искусственные нейронные сети. М: Горячая линия - Телеком, 2001.

74. Фу К. Структурные методы в распознавании образов. Перевод с англ., -М Издательство «Мир». 1977 г

75. Фукунага К. Введение в статистическую теорию распознавания образов. Перевод с англ., -М.: Наука. 1979 г.

76. Титомира JI. Распознавание образов. (Исследование живых и автоматических распознающих систем) Перевод с англ., -М. Издательство «Мир». 1970 г

77. Zhou Y. Т., Chellappa R., Jenkins В. K. A novel approach to image restoration based on a neural network. Proceedings of the International joint Conference on Neural Networks, San Diego, vol.4, pp. 269-276.1988.

78. Kulkani, A. D. Neural networks for image restoration. Proceedings of the ACM 18th Annual Compute Science Conference, Washington, DC, pp. 373-378. 1990.

79. Ozkan M. et al., Multispectral magnetic resonance image segmentation using neural networks. Proceedings of the International joint Conference on Neural Networks, San Diego, vol 1. pp. 429-434.1990.

80. Kulkani, A. D. Neural networks for pattern recognition. Progress in neural networks, vol 2, edited by 0. Omidvar, pp. 197-219, New York: Ablex. 1991.

81. Widrow В., Winter, R., Neural nets for adaptive filtering and adaptive pattern recognition. Computer, vol. 21, pp. 25-39.1988.

82. Kulkani, A. D. et al., Neural networks for invariant object recognition. Proceeding of the Symposium on Applied Computing, Fayetteville, pp. 28-32.1990.

83. Robert D. Dony, Simon Haykin. Image compression using a neural network. Proceeding of. IGARSS'88, Edinburgh, Scotland, September 13-18 1988, pp. 1231-1238.

84. Ирина Пинчук, к.т.н., «Умное» видео охраняет лучше человека. (http://www.cnews.ru/reviews/free/techsec2006/articles/smart video.shtml)

85. В.И. Каташкин, М.Г.Левахин, Е.В.Чепин "Об одном подходе к решению задачи опреде-ления вида эмпирической модели", Инженерно-математические методы в физике и ки-бернетике вып. 8. -М Атомиздат, 1979,-С.