автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка математического и программного обеспечения распределенного комплекса локализации опознавательных знаков движущихся объектов

На правах рукописи

□0345881Т

ЯВТУХОВИЧ Андрей Георгиевич

РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ РАСПРЕДЕЛЕННОГО КОМПЛЕКСА ЛОКАЛИЗАЦИИ ОПОЗНАВАТЕЛЬНЫХ ЗНАКОВ ДВИЖУЩИХСЯ

ОБЪЕКТОВ

Специальность: 05.13.11 — Математическое и программное

обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 А :::з

Воронеж-2009

003458817

Работа выполнена в НОУ ВПО «Международный институт компьютерных технологий».

Защита состоится «29» января 2009 г. в 1000 часов в конференц-зале на заседании диссертационного совета Д 212.037.01 ГОУ ВПО «Воронежский государственный технический университет» по адресу: 394026, г. Воронеж, Московский просп., 14.

С диссертацией можно ознакомиться в научно-технической библиотеке ГОУ ВПО «Воронежский государственный технический университет».

Автореферат разослан «29» декабря 2008 г.

Научный руководитель

доктор технических наук, профессор

Погодаев Анатолий Кирьянович

Официальные оппоненты: доктор технических наук,

профессор

Кравец Олег Яковлевич;

Ведущая организация

кандидат технических наук, доцент

Назаркин Олег Александрович ГОУ ВПО «Тамбовский государственный университет имени Г.Р. Державина»

Ученый секретарь диссертационного совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Анализ возможностей математического и программного обеспечений существующих аппаратно-программных комплексов, предназначенных для локализации опознавательных знаков на изображении, показывает, что они построены на базе традиционных методов и алгоритмов анализа и обработки изображений. Большинство из них хорошо решает задачу локализации, но обладает существенными недостатками для применения их в современных условиях.

Традиционно для решения задачи локализации опознавательных знаков в качестве входных данных использовались фотоснимки. Поэтому в большинстве работ по распознаванию изображений описан подход к анализу одного изображения целиком, без учета информации об изменениях относительно предыдущих и последующих изображений серии, что возможно при использовании в качестве входных данных видеоизображения. Однако такой подход обусловливает необходимость наличия достаточной вычислительной мощности непосредственно в месте, где формируется изображение. Между тем необходимо отметить, что информация о различиях между соседними кадрами видеоизображения все же используется в современных интеллектуальных системах видеонаблюдения, но чаще всего это сводится к построению фона изображения и определению факта наличия на нем движущихся объектов.

Необходимо отметить также, что в последнее время задачи локализации и распознавания опознавательных знаков движущихся объектов на изображении все чаще возникают в составе комплексов, распределенных территориально, где вся информация в итоге сводится в один центр обработки, анализа и хранения. Это приводит к необходимости эффективной реализации распределенных вычислений. Задача усложняется еще и тем, что при построении таких комплексов возникают ограничения на вычислительную мощность оборудования, устанавливаемого непосредственно в месте, где формируется изображение, а также на объем данных, передаваемых между центром обработки и этим оборудованием.

Чаще всего решаемая задача возникает в современных системах видеонаблюдения, где обычно имеется несколько пунктов, на которых нужно отслеживать появление тех или иных объектов, имеющих опознавательные знаки, а вся информация передается на центральный узел системы.

Таким образом, можно сделать вывод о том, что разработка программного обеспечения на базе новых методов локализации опознавательных знаков движущихся объектов на видеоизображении при условии распределенного характера вычислений и использовании информации о различиях между соседними видеокадрами является актуальной задачей.

Диссертационная работа выполнена в рамках научного направления НОУ ВПО «Международный институт компьютерных технологий» -«Математический анализ сложных систем».

Цель работы. Целью диссертационного исследования является создание специального математического и программного обеспечения, реализующего алгоритм локализации опознавательных знаков движущихся объектов на видеоизображении при условии распределенного характера вычислений и использовании информации о различиях между соседними видеокадрами.

Для достижения указанной цели исследования необходимо решить следующие задачи:

1. Рассмотреть существующие аппаратно-программные комплексы, решающие задачу локализации опознавательных знаков объектов на изображении, и сформулировать проблемы, возникающие в случае их применения при условии распределенной структуры системы регистрации опознавательных знаков. Рассмотреть математические методы и алгоритмы, на базе которых построено программное обеспечение этих комплексов.

2. Разработать концепцию построения программного обеспечения распределенного вычислительного комплекса, решающего задачу локализации опознавательных знаков движущихся объектов. Выбрать математические методы для реализации разработанной концепции. Сформулировать ограничения, накладываемые на условия, при которых программное обеспечение будет работоспособным.

3. Разработать алгоритм функционирования программного обеспечения распределенного вычислительного комплекса в целом, а также построить алгоритмы реализации подзадач, возникающих по ходу выполнения основного алгоритма.

4. Создать специализированное программное обеспечение и провести его опытную эксплуатацию с использованием реальных данных. Оценить эффективность разработанного программного обеспечения.

Методы исследования. При решении поставленных в диссертации задач использованы методы моделирования, корреляционного анализа, цифровой обработки изображений, теории распознавания образов, теории автоматического регулирования, аналитической и проективной геометрии, структурного и объектно-ориентированного программирования.

Научная новизна работы. В диссертационной работе получены следующие новые научные результаты:

1. Метод формирования первичных данных на удаленном пункте видеонаблюдения для решения задачи локализации опознавательного знака, отличающийся использованием изображения-разности соседних кадров видеоизображения и позволяющий минимизировать объем данных передаваемый для анализа в центральный узел комплекса, а также не требующий сложных вычислений для реализации.

2. Метод адаптивной настройки классификатора, используемого для идентификации объектов класса «опознавательный знак» на обработанном изображении-разности, отличающийся применением автоматического регулирования границы разделения классов и позволяющий исключить процедуру обучения.

3. Алгоритм локализации опознавательного знака н*а изображении-разности, позволяющий на его основе построить программное обеспечение распределенного вычислительного комплекса распознавания опознавательных знаков движущихся объектов.

4. Распределенная структура специального программного обеспечения системы распознавания опознавательных знаков движущихся объектов, позволяющая перенести основную часть вычислений, связанных с обработкой и анализом изображений, на центральный узел системы.

Практическая значимость исследования заключается в том, что его результаты могут быть использованы для построения специализированных программно-аппаратных комплексов, решающих задачи распознавания бланков временных пропусков, автомобильных номеров на контрольно-пропускных пунктах, номерных идентификационных знаков тары в автоматических складах, считывания печатей и штампов на документах и т.п. При этом аппаратная часть комплекса будет дешевле, чем в предлагаемых на рынке системах. Кроме того, данный комплекс будет технологичным за счет применения простого оборудования формирования исходных видеоданных, что обусловливает простоту его эксплуатации и обслуживания.

Реализация и внедрение результатов. Результаты диссертационного исследования использовались организацией ООО «Промсвязь-Сервис» при проектировании автоматизированной системы видеонаблюдения за контрольно-пропускными пунктами на территорию ОАО «HJIMK» в г. Липецк, а также внедрены в учебный процесс Липецкого филиала НОУ ВПО «Международный институт компьютерных технологий» при подготовке инженеров по специальности 230101 «Вычислительные машины, комплексы, системы и сети».

Апробация работы. Основные результаты научных исследований были представлены на следующих научно-технических конференциях: Международная школа-конференция по приоритетным направлениям развития науки и техники с участием молодых ученых, аспирантов и студентов (Москва, 2006); Сложные системы управления и менеджмент качества CCSQM'2007 (Старый Оскол, 2007); XXVII Российская школа по проблемам науки и технологий (Миасс Челябинской обл., 2007); The 9й1 International Workshop on Computer Science and Information technologies CSIT'2007 (Уфа, 2007); II Всероссийская научно-практическая конференция «Информационные системы и технологии в образовании и социально-экономической сфере» (Королев, 2008).

Публикации. По теме диссертации опубликовано 13 научных работ, в том числе 3 - в изданиях, рекомендованных ВАК РФ. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателю принадлежат: [1] - идея применения изображения-разности в качестве исходных данных для решения задачи локализации опознавательного знака автомобиля; [5] - алгоритм работы распределенного аппаратно-программного комплекса, решающего задачу распознавания автомобильных номерных опознавательных знаков; [7] - математическая

модель, позволяющая выяснить условия работоспособности алгоритма локализации; [8, 11, 3] - набор признаков объекта, найденного на изображении-разности, методика адаптивной настройки классификатора; [9] - выбор методов предварительной обработки изображения-разности, алгоритм локализации автомобильного номерного опознавательного знака.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и двух приложений. Основная часть работы изложена на 143 страницах, содержит 3 таблицы, 44 рисунка и список литературы из 102 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность, определены цель и задачи исследования. Сформулированы основные положения, выносимые на защиту, научная новизна и практическая значимость полученных результатов. Определена структура диссертации. Содержатся сведения о внедрении результатов, апробации работы и публикациях.

В первой главе рассматриваются существующие системы распознавания опознавательных знаков на примере систем распознавания автомобильных номеров. Кроме того, рассмотрены методики построения автоматизированных систем распознавания изображений, особенности реализации решения отдельных задач, возникающих в ходе функционирования этих систем. Также приводится обзор признаков для классификации объектов на изображении.

В результате рассмотрения существующих систем распознавания автомобильных номеров можно сделать вывод, что наиболее удобно использовать для формирования видеоданных специализированное устройство - видеосервер, которое предназначено для захвата и оцифровки видеосигнала и передачи видеопотока по сети. При этом видеоданные, формируемые им, не должны подвергаться сжатию с потерями. Кроме того, алгоритм функционирования комплекса в целом должен быть построен таким образом, чтобы устройство формирования видеоданных выполняло как можно меньше сложных вычислительных операций. Но в настоящее время системы распознавания опознавательных знаков построены на базе локализованных вычислительных комплексов.

Показано, что в настоящее время большинство из существующих методов локализации номерных знаков на изображении ориентированы на использование в качестве входных данных одного изображения целиком, что является нерациональным при решении поставленной задачи.

Важную роль для локализации объекта играет способ формирования признаков по изображению. Задача формирования признаков достаточно сложна, потому что процесс описания изображения или построения набора признаков до настоящего времени остается процедурой эвристической, во многом зависимой от опыта и квалификации разработчика. В то же время определенный опыт, накопленный отечественными и зарубежными

специалистами за годы использования средств распознавания образов и обработки изображений для решения практических задач, позволяет выделить ряд основных групп признаков, которые успешно используются для описания и распознавания изображений, среди них: геометрические, топологические, спектральные и вероятностные признаки. При этом наиболее простыми для применения являются геометрические признаки.

В результате сделан вывод о целесообразности разработки программного обеспечения, реализующего задачу локализации движущихся объектов при условии распределенных вычислений. При этом его алгоритм работы должен- быть основан на анализе различий соседних кадров видеозаписи, а также исключать процедуру обучения. Кроме того, нужно использовать признаки классификации объектов, определение значений которых не требовало бы большой вычислительной мощности.

Во второй главе приводится общая концепция выполнения локализации опознавательного знака (на примере бланка временного пропуска), логика функционирования программного обеспечения (ПО), решающего эту задачу, а также описание метода, на базе которого построено ПО. Сферой применения разработанного метода является построение программного обеспечения комплексов распознавания опознавательных знаков, которые включают в свой состав несколько удаленных друг от друга (распределенных) пунктов и центральный пункт видеонаблюдения. При этом на удаленных пунктах формируется изображение объектов для анализа с целью определения наличия опознавательных знаков, а вся информация о них должна поступать на центральный пункт.

Разработанный метод решает задачу локализации опознавательных знаков объектов, движущихся в поле зрения телекамеры со сравнительно небольшой скоростью. Распознаваемыми опознавательными знаками могут быть бланки временных пропусков, автомобильные номера, идентификационные номерные таблички тары на складах, печати и штампы на документах, содержащие цифровые или текстовые шифры и т.п. Комплекс аппаратных средств для реализации вычислений состоит из центрального узла, куда сходится вся информация о распознанных номерах и нескольких удаленных от него пунктов формирования видеоизображения.

При этом на центральном узле комплекса должны выполняться все наиболее ресурсоемкие вычислительные операции, а на пунктах формирования видеоизображения вычислительную нагрузку на оборудование нужно свести к минимуму. В результате такого разделения задач будет возможно применение на пунктах формирования изображения устройств, имеющих в своем составе недорогие и простые компоненты. За счет этого будет возможно уменьшение стоимости оборудования, необходимого для построения комплекса, по сравнению с существующими аналогами.

Предлагается оснащение пунктов формирования изображения телекамерами такими, которые применяются в настоящее время в системах видеонаблюдения. Телекамеры будут устанавливаться исходя из конкретных

условий видеосъемки (размеры опознавательных знаков, скорость движения объектов) на каждом из удаленных пунктов. Для учета ограничений на условия видеосъемки, накладываемых разработанным методом локализации знаков и системами распознавания символов знаков, разработана специальная математическая модель, которая отражает процесс видеосъемки изображения опознавательного знака на движущемся объекте.

Задача локализации опознавательного знака на изображении, решаемая разработанным ПО, может быть разбита на несколько подзадач:

1. Захват видеосигнала (PAL) от телекамеры и преобразование его в цифровой вид.

2. Отделение движущихся объектов от фона.

3. Классификация движущихся объектов на содержащие опознавательный знак и не содержащие его.

4. Распознавание символов на изображении объекта, классифицированного как опознавательный знак.

На пунктах формирования видеоизображения решаются первые две подзадачи. Это стало возможным благодаря использованию в качестве первичных данных для анализа изображения-разности (см. рис. 1). Благодаря тому, что изображение-разность представляет изменения между двумя соседними кадрами видеоизображения, стало возможным выполнение второй подзадачи. Причем для его формирования не нужно большой вычислительной мощности.

Третья и четвертая подзадачи выполняются на центральном узле. При этом для анализа из пунктов формирования видеоизображения передается только изображение-разность, которое является монохромным и занимает сравнительно небольшой объем данных даж;; без сжатия. Центральный узел определяет посредством анализа изображения-разности местоположение опознавательного знака на исходном кадре видеоизображения, который использовался при формировании изображения-разности. Все то время, которое необходимо для передачи и анализа изображения-разности исходный кадр хранится в буферной памяти оборудования пункта формирования исходного видеоизображения. При получении запроса от центрального узла оборудование удаленного пункта передает ему регион исходного кадра указанного размера с указанными координатами и освобождает буферную память. Центральный узел, получив регион с изображением опознавательного знака, распознает его символы. Использование для анализа монохромного изображения-разности также позволяет значительно упростить все процедуры обработки изображения, которые выполняет ПО центрального узла и снизить требования к вычислительным ресурсам.

Способ формирования изображения-разности можно представить формулой:

с

здесь d[t\xv - значение пикселя изображения-разности с координатами (х.у) в момент времени t (на рис. 1 изображение-разность инвертировано исходя из типографских соображений), _f[t]xv - значение пикселя исходного изображения с координатами (хУ) в момент времени t, с - порог чувствительности (при формировании изображения на рис. 1 был использован порог 30), выражение (/-0,04??) значит, что между собой сравниваются кадры, между которыми пропускается (я-1) кадров. Величина 0,04 отражает тот факт, что кадры формируются с интервалом в 1/25 с. (стандарт PAL).

Рис. 1. Пример изображения-разности

Остановимся более подробно на той части вычислений, которые выполняются на центральном узле комплекса. Здесь необходимо реализовать анализ изображения-разности с целью нахождения координат опознавательного знака на этом изображении. Основные этапы анализа изображения-разности:

1. Предварительная обработка изображения-разности на основе морфологических операций с целью более удобного для дальнейшего анализа представления данных. Этот этап необходим исходя из того, что при формировании изображения-разности на выходные данные действуют такие факторы, как шум и эффект чересстрочной развертки (interlacing).

2. Локализация объектов на изображении-разности и выделение для каждого из них нескольких признаков.

3. Классификация объектов по выявленным признакам на объекты, которые являются опознавательными знаками и не являются ими.

На рис. 2 представлено изображение-разность (исходный вид см. на рис. 1) после выполнения процедур предварительной обработки.

Рис. 2. Изображение-разность после предварительной обработки

Под локализацией объектов подразумевается получение координат всех связных групп пикселей со значением «1». Эта задача решается путем поиска пятен и построения их периметра при помощи кругового обхода. При этом можно получить информацию о том, какие контуры являются внешними, а какие внутренними. В результате внутренние контуры заливаются пикселями со значением «1» и исключаются из рассмотрения, что позволяет улучшить эффективность использования одного из выбранных признаков (г).

Доя каждого объекта (пятна) выделяется четыре признака. Высота, Н -расстояние между наиболее удаленными точками контура по вертикали. Длина, Ь - расстояние между наиболее удаленными точками контура по горизонтали. Отношение аспекта, а - отношение длины к высоте. Коэффициент взаимной корреляции изображения с эталоном, г -коэффициент корреляции пятна с эталоном, рассчитывается для «центра тяжести» пятна.

Координаты «центра тяжести» хцт и уцт вычисляются как округленные вниз математические ожидания координат всех точек контура пятна, т.е.

>У,„= -¿Л

_ «м

где X/ - значения координаты X г'-й точки контура, у1 - значения координаты У 1-я точки контура, п - количество точек в контуре.

Само значение признака вьпшсляется следующим образом:

1 ,

Н„А„ " 4 "* 2 2

где Лху) - функция, которая возвращает значения пикселя исходного изображения с координатами (х,у); - функция, которая возвращает

значения пикселя эталона с координатами (х,у); Нэт - высота эталона в пикселях; Ьэт - высота эталона в пикселях.

Классификация объектов (пятен) на соответствующие и не соответствующие опознавательным знакам на изображении исходного кадра производится следующим образом. Нетрудно заметить, что на изображении (см. рис. 2) есть пятно (внешний контур), которое по своему расположению соответствует изображению опознавательного знака на исходном видеокадре. Именно эта особенность используемого метода формирования исходных данных позволяет локализовать опознавательный знак. Классификация осуществляется при помощи сравнения расстояния от эталонной точки в пространстве признаков до точки, построенной с использованием значений признаков классифицируемого пятна. При этом граница области, захватывающей объекты класса «опознавательный знак», является гиперсферой в пространстве признаков, радиус которой автоматически регулируется в зависимости от соотношения правильно классифицированных объектов к общему числу объектов, классифицированных как опознавательные знаки.

Точность распознавания предложенным классификатором не хуже, чем у классификаторов, построенных с применением обученных нейронных сетей, т.к. использование нейронной сети позволяет добиться именно нелинейных границ принадлежности объекта в пространстве признаков. Кроме того, использование эталонной точки позволило исключить процедуру обучения.

В идеальном случае пятно, представляющее опознавательный знак, будет иметь следующие значения признаков: Нзт, Ь„т - вычисляются при помощи модели, разработанной во второй главе, аэт = 3.0, гэт = 1.0.

Эти же значения используются в качестве координат эталонной точки в пространстве признаков. Признаки Нэт и Ьэт вычисляются по построенной модели процесса видеосъемки, что позволяет точно установить их значения исходя из конкретных условий установки камеры, ее настроек и скорости движения объектов - бланков временных пропусков. Эталонное значение признака аэт рассчитано исходя из геометрических размеров рамки на бланке временного пропуска: высота - 30 мм, ширина - 90 мм. Признак гзт выбран исходя из того, что значение коэффициента при полном совпадении эталона с участком изображения не может быть больше 1.0. Для обеспечения компенсации того факта, что абсолютные эталонные значения признаков различаются, пространство признаков нормируется таким образом, чтобы координаты эталонной точки выглядели следующим образом: (1.0, 1.0, 1.0, 1.0).

Таким образом, классификация производится по значению критерия Д который вычисляется как О = +(г-\)2.

Если выполняется условие Б < Я, то объект, для которого был рассчитан критерий Д классифицируется как образ опознавательного знака.

От порога Я зависит качество работы системы - насколько достоверно будет локализован знак. Для автоматического регулирования порога

предложен эвристический алгоритм. Алгоритм предполагает вычисление статистики 5 для каждых 100 объектов, классифицированных как образы знаков. Номер считается правильно классифицированным при условии, если подсистема распознавания символов выделяет из изображения региона исходного кадра, соответствующего объекту, хотя бы один символ, который может содержаться на опознавательном знаке. После того, как значение статистики получено, принимается решение об изменении значения Я - к нему прибавляется значение Д«. Построенный регулятор схематически показан на рис. 3.

Выходное значение регулятора определяется из следующего правила: [0.01, если Э > 0.95

А" -0.01, если £< 0.9"

Расчет статистики

-1 Регулятор"}*-

Рис. 3. Автоматический регулятор значения порога Я

В основу регулирования порога К заложено соображение о том, что для того, чтобы система не пропускала опознавательные знаки, необходимо, чтобы среди объектов, захваченных системой, было 5-10% неправильно классифицированных объектов. При этом гиперсфера в пространстве признаков расширяется настолько, чтобы захватить по возможности большое число объектов, которые действительно являются образами опознавательных знаков. Так как величины Я и 5 являются обратнокоррелированными, то их значения при условии правильного подбора параметров видеосъемки изображения по ходу регулирования обязательно стабилизируются. Прерывистое регулирование было выбрано для исключения возможности колебаний значений величин Я и 5 с большой амплитудой.

На рис. 4 представлено изображение, на котором показаны центры всех объектов. Цветом отображены значения признака г (справа от рисунка расположена шкала значений г в зависимости от цвета). Объект, который был классифицирован как образ опознавательного знака, обведен рамкой. При формировании изображения использовалось значение порога Я = 0.65. Как видно из рис. 4, построенный классификатор, использующий выбранные признаки, дает приемлемые результаты. При этом важно отметить, что эти признаки хорошо дополняют друг друга, в результате чего именно образ опознавательного знака выбирается для распознавания символов.

На рис. 5 представлено исходное изображение видеокадра, который был использован для построения изображения-разности и по которому выделены признаки для отображения объекта с опознавательным знаком.

---—--ЛЛГ^ Як

ж

щ Ш ВггШШ 41

Цви г

VI \ и .0

\ В 'Л

н ■•» Ш 17

И м 1 0.3

11 0.2 1 0.1 о 0.0

Рис. 4. Пример классификации объектов

Рис. 5. Результат захвата номера

Как видно на рис. 4, 5 - построенный классификатор при использовании выбранных признаков дает приемлемые результаты, т.к. рамка, которой обведен объект на изображении-разности, захватывает именно изображение бланка временного пропуска на исходном кадре, который был использовании для построения изображения-разности.

В третьей главе представлены алгоритм функционирования комплекса в целом и алгоритм функционирования центрального узла.

Алгоритм функционирования комплекса в целом предполагает наличие в составе комплекса центрального сервера и удаленных устройств -видеосерверов изображения-разности (далее ВИР). При этом одновременно обрабатываются исходные данные, полученные от нескольких ВИР -

изображения-разности и регионы исходных кадров, предположительно содержащие изображение опознавательных знаков.

На рис. 6 изображен алгоритм функционирования комплекса при обработке одного изображения-разности. Данный алгоритм выполняется для каждого изображения-разности. На рис. 6 и далее / - дискретное время в отсчетах равных 1/25 с.

Рассмотрим более подробно этапы алгоритма.

Помещение предыдущего кадра 1<[1-0,04п] в буфер. Здесь выполняется перенос оцифрованного изображения-видеокадра из ячейки основной видеопамяти ВИР, предназначенной для хранения текущего кадра, в ячейку, предназначенную для хранения предыдущего кадра.

Выполняется

видеосервером

изображения-разности

Выполняется на центральном сервере

Рис. 6. Алгоритм функционирования комплекса. Здесь /• [/] - массив значений пикселей видеокадра в момент времени I

Захват очередного видеокадра FftJ. На этом этапе ВИР при помощи устройства видеозахвата оцифровывает видеокадр, получаемый от телекамеры в виде видеосигнала PAL, и помещает его в основную видеопамять.

Построение -изображения-разности D[tJ. Выполняется построение изображения-разности для текущего кадра /'[/] и предыдущего _Р[/-0,04л]. Также выполняется помещение текущего кадра в дополнительную видеопамять длительного хранения.

Передача изображения-разности. На этом этапе изображение-разность передается на центральный сервер с использованием имеющихся телекоммуникаций.

Анализ изображения-разности Выполняется процедура локализации опознавательного знака на изображении-разности. В случае, если алгоритм локализации опознавательного знака устанавливает факт его наличия, выдается запрос на регион изображения кадра, который был текущим СИ/]) при построении данного изображения-разности. Запрос содержит координаты региона.

Получение от ВИР региона изображения F[l] с заданньти координатами. Видеосервером выполняется поиск нужного кадра и считывание региона этого кадра с координатами, полученными от центрального сервера. После чего центральный сервер получает этот регион.

Распознавание символов знака. Здесь производится оптическое распознавание текста для полученного региона с использованием специализированной подсистемы распознавания символов.

Центральный сервер системы выполняет анализ изображения-разности с целью нахождения координат регионов, которые содержат опознавательный знак на кадре видеопотока F[i]. Алгоритм работы центрального сервера, выполняемый для каждого изображения-разности, состоит из следующих этапов:

1) получение от видеосервера изображения-разности;

2) морфологическая обработка изображения-разности (дилатация, удапение шума);

3) поиск объектов на обработанном изображении-разности (локализация пятен при помощи кругового обхода);

4) классификация найденных объектов;

5) получение от видеосервера регионов кадра F[t] - D*[/J;

6) предварительная обработка регионов кадра f\t] - D*[t];

7) распознавание символов на полученном изображении региона, содсржащи о опознавательный знак.

Представленный алгоритм локализации опознавательного знака отличается от существующих возможностью таким образом разделить его этапы между видеосервером и центральным сервером системы, чтобы на видеоссрвере выполнялись только те из них, которые не требуют сложных вычислений. Это стало возможно благодаря использованию изображения-разности в качестве исходных данных для анализа.

В четвертой главе приведена архитектура построения комплекса в целом, а также описание - разработанного программного обеспечения центральной части комплекса и результаты проведения его эксплуатации с использованием реальных данных. Также приведен пользовательский интерфейс программного обеспечения центральной части комплекса.

Весь комплекс распознавания бланков временных пропусков будет иметь архитектуру, показанную на рис. 7. При этом для каждого K11I1 (видеосервера) центральный сервер выполняет параллельно этапы алгоритма, представленног о в третьей главе.

Зона 1 Зона N

--С34 г—ч=гм

г.

Формирование

Видеосервер I ¡Видеосервер |

1.........1 | . . - - 0б изображении

ЛВС

ПК оператора

Локализация распознавание

Центральный сервер

Рис. 7. Архитектура комплекса

Рис. 8. Интерфейс программы

Для функционирования на центральном сервере аппаратно-программного комплекса было создано специальное программное обеспечение, зарегистрированное в ФАП ВНТИЦ, которое реализует алгоритм функционирования центрального сервера, представленный в третьей главе, что позволило протестировать его на реальных данных. В качестве входных данных могут быть использованы файлы с изображением

кадров видеозаписи в формате BMP, а также потоки данных, содержащие изображение-разность и регионы исходного кадра, получаемые через интерфейс локальной сети. Для проведения опытной эксплуатации использовались кадры с записью движения бланков временных пропусков со стационарной камеры. Разрешение изображения - 720x576, цветность -оттенки серого, 256 уровней (8 бит). При помощи данного ПО можно проследить как процесс формирования изображения-разности из исходных кадров видеопотока, так и все этапы его обработки и анализа и, в конечном счете, получить результаты распознавания символов бланка временного пропуска и параметры классификатора. Вид интерфейса программы представлен на рис. 8.

Для оценки эффективности алгоритма локализации номерного знака был проведен эксперимент по определению оптимального значения порога R. На рис. 9 представлен график изменения величин во времени при проведении эксплуатации, из которого видно, что изменение статистики S имеет положительный тренд при уменьшении порога R. Эта закономерность обеспечивает устойчивость регулирования R выбранным методом, а также подтверждает сделанное предположение о поведении параметров классификатора. Такое поведение параметров классификатора говорит о том, что механизм их регулирования выбран правильно, т.е. порог R не устремляется к нулю, что могло бы привести к отсутствию объектов, распознанных как опознавательные знаки.

г

Рис. 9. Изменение параметров классификатора

Основным результатом тестирования является тот факт, что программой не был пропущен ни один бланк временного пропуска, который перемещался в поле зрения телекамеры. Для каждого бланка было получено изображение пропуска хотя бы один раз. Это позволяет говорить об эффективности разработанного программного обеспечения локализации опознавательных знаков.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработан метод формирования первичных данных на удаленном пункте видеонаблюдения для решения задачи локализации опознавательного знака, отличающийся использованием изображения-разности соседних кадров видеопотока и позволяющий минимизировать объем данных, передаваемый для анализа в центральную часть комплекса, а также не требующий большой вычислительной мощности для реализации.

2. Обоснован выбор признаков классификации объектов, содержащих опознавательные знаки: расстояние между наиболее удаленными точками контура по вертикали (Н), расстояние между наиболее удаленными точками, контура по горизонтали (Ь), отношение аспекта (длины к высоте), коэффициент корреляции пятна с эталоном, рассчитываемый для «центра тяжести» пятна. Предложены методы их расчета, не требующие больших вычислительных затрат.

3. Предложен метод классификации объектов, на содержащие и не содержащие опознавательные знаки, базирующийся на определении расстояния от эталонной точки в пространстве признаков до точки, которая представляет признаки объекта.

4. Для повышения точности распознавания объектов с опознавательными знаками разработана методика адаптивной настройки классификатора, используемого для идентификации объектов класса «опознавательный знак» на обработанном изображении-разности, отличающийся применением автоматического регулирования границы разделения классов (регулирование заданного значения расстояния Л). Разработанный метод классификации, использующий выбранные признаки и алгоритм адаптивной настройки, дает приемлемые результаты по выбору именно региона с опознавательным знаком, который в дальнейшем используется для распознавания символов.

5. Разработана математическая модель процесса видеосъемки опознавательных знаков движущихся объектов, которая учитывает скорость движения объектов и место установки видеокамеры относительно траектории их движения, а также настройки объектива видеокамеры и физический размер ее цифровой матрицы. Модель позволяет определить оптимальные параметры съемки и оцифровки изображений с учетом требований, которые предъявляет к формированию кадров система распознавания символов.

6. Разработан алгоритм локализации опознавательного знака на изображении-разности, использующий оригинальную совокупность математических методов и позволяющий на его основе построить распределенный аппаратно-программный комплекс распознавания опознавательных знаков и не предъявляющий высокие требования к применяемому оборудованию формирования и первичной обработки изображения.

7. Разработано программное обеспечение для центрального сервера распределенного аппаратно-программного комплекса распознавания опознавательных знаков, которое реализует все разработанные алгоритмы обработки и анализа изображения и позволяет осуществить их тестирование. На разработанном программном обеспечении проведен эксперимент с использованием реальных данных. Проведенный эксперимент доказал достоверность и эффективность разработанных методов и алгоритмов решения отдельных задач обработки и анализа изображения.

8. Основные результаты диссертации использовались организацией ООО «Промсвязь-Сервис» при проектировании автоматизированной системы видеонаблюдения за КПП ОАО «НЛМК» в г. Липецк. Это позволило выбрать оборудование наиболее подходящее для решения технических задач, поставленных перед разработчиками, а также наиболее оптимальные режимы его работы.

Основные результаты диссертации опубликованы в следующих работах:

Публикации в изданиях, рекомендованных ВАК РФ

1. Качановский Ю.П., Явтухович А.Г. Алгоритм работы распределенной системы распознавания автомобильных номеров на КПП // Системы управления и информационные технологии: науч.-техн. журнал. М.

2007. №1.1(27). -С. 160-162.

2. Явтухович А.Г. Использование различий между кадрами видеозаписи для локализации движущихся объектов // Вестник Воронежского государственного технического университета. 2008. Т. 4. №4. -С. 124-126.

3. Погодаев А.К., Качановский Ю.П., Явтухович А.Г. Программно-аппаратный комплекс распознавания номерных знаков // Датчики и системы,

2008, №10. -С. 15-17.

Статьи и материалы конференций

4. Явтухович А.Г. Проект распределенной системы распознавания автомобильных номеров // Международная школа-конференция по приоритетным направлениям развития науки и техники с участием молодых ученых, аспирантов и студентов: тез. докл. М.: РГУИТП, 2006. -С.70-71.

5. Качановский Ю.П., Явтухович А.Г. Концепция построения распределенной системы распознавания автомобильных номеров на КПП //

Сложные системы управления и менеджмент качества CCSQM'2007: материалы Междунар. науч. конф. Старый Оскол: СТИ, 2007. - С.16-21.

6. ОФАП ВНТИЦ, 2007. Гос. рег. №50200700711. Имитационная модель распределенной системы распознавания автомобильных номеров на КПП. Св. об отраслевой регистрации разработки №8025 от 31.03.2007, выдано 01.06.2007 / Явтухович А. Г.

7. Качановский Ю.П., Явтухович А.Г. Математическая модель процесса видеосъемки автомобилей в распределенной системе распознавания автомобильных номеров на КПП // Приборостроение и средства автоматизации: энциклопедический справочник. М. 6/2007. - С. 63-68.

8. Качановский Ю.П., Явтухович А.Г. Классификация объектов в распределенном программно-аппаратном комплексе распознавания автомобильных номеров // Вести высших учебных заведений Черноземья, 2007. №2.-С. 59-62.

9. Качановский Ю.П., Явтухович А.Г. Разработка алгоритма локализации номерного знака для применения в распределенном аппаратно-программном комплексе распознавания автомобильных номеров // Информационные технологии моделирования и управления. 2007. №5(39). -С. 508-516.

10. Качановский Ю.'П., Явтухович А. Г. Алгоритм локализации номерного знака в распределенной системе распознавания автомобильных номеров // Современные наукоемкие технологии, 2007, №11.- С. 124.

11. Качановский Ю. П., Явтухович А. Г. Набор признаков для классификации объектов в распределенной системе распознавания автомобильных номеров // Наука и технологии РАН: сб. науч. тр. — М.: Межрегиональный совет по науке и технологиям, 2007. - Секция 4. С. 80-83.

12. Kachanovski Yu.P., Yavtukhovich A.G. Algorithm of License Plate Number Localization in the Distributed License Plate Récognition Systems // In Proc. of the 9th International Workshop on Computer Science and Information Technologies (CSIT-2007). - Vol. 3. - Krasnousolsk, Ufa, Russia: Ufa State Aviation Technical University, 2007. - P. 253.

13. Погодаев A.K., Качановский Ю.П., Явтухович А.Г. Распознавание образов в распределенном программно-аппаратном комплексе распознавания номерных знаков // Информационные системы и технологии в образовании и социально-экономической сфере: сб. тр. II Всерос. науч.-практ. конф. Королев: КИУЭС, 2008 - С. 95-97.

Подписано в печать 25 12 2008. Формат 60x84/16. Бумага для множительных аппаратов. Уел печ л 1 0 Тираж 90 экз Заказ № $

ГОУ ВПО «Воронежский государственный технический университет» 394026 Воронеж, Московский просп., 14