автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Информационная технология обнаружения и различения дорожных знаков в мобильных системах технического зрения

На правах рукописи &

Якимов Павел Юрьевич

ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ОБНАРУЖЕНИЯ И РАЗЛИЧЕНИЯ ДОРОЖНЫХ ЗНАКОВ В МОБИЛЬНЫХ СИСТЕМАХ ТЕХНИЧЕСКОГО ЗРЕНИЯ

05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат диссертации на соискание ученой степени кандидата технических наук

2 ОКТ 2014

Самара-2014

005552985

005552985

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)» (СГАУ) на кафедре суперкомпьютеров и общей информатики и в федеральном государственном бюджетном учреждении науки Институт систем обработки изображений Российской академии наук.

Научный руководитель:

доктор технических наук, профессор Фурсов Владимир Алексеевич

Официальные оппоненты:

Васин Николай Николаевич, доктор технических наук, профессор, заведующий кафедрой систем связи ФГОБУ ВПО «Поволжский государственный университет телекоммуникаций и информатики»;

Мартемьянов Борис Викторович, кандидат технических наук, доцент, доцент кафедры вычислительной техники ФГБОУ ВПО «Самарский государственный технический университет».

Ведущая организация:

ФГБОУ ВПО «Ульяновский государственный технический университет»,

г. Ульяновск

Защита состоится 31 октября 2014 г. в 14:00 на заседании диссертационного совета Д 212.215.05, созданного на базе федерального государственного автономного образовательного учреждения высшего образования «Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)»1, по адресу: 443086, г. Самара, Московское шоссе, д. 34.

С диссертацией можно ознакомиться в библиотеке СГАУ и на сайте http://www.diss.ssau.ru.

Автореферат разослан 24 сентября 2014 г.

Ученый секретарь

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Самарский государственный аэрокосмический университет имени академика С П Королева (национальный исследовательский университет)» переименовано в федеральное государственное автономное образовательное учреждение высшего образования «Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)»

диссертационного совета, д.т.н., доцент

С.В. Востокин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность

В связи с быстрым развитием малогабаритной и высокопроизводительной вычислительной техники появилась возможность создавать мобильные системы технического зрения в самых разных приложениях: робототехника, системы видеонаблюдения и управления беспилотных летательных аппаратов, так называемая носимая электроника и др. Важнейшими функциями большинства таких систем являются - детектирование и распознавание объектов в реальном времени. Теория и практика распознавания образов и анализа сцен имеет достаточно большую историю.

Большой вклад в развитие теории распознавания образов и разработку алгоритмов оперативного распознавания, в т.ч. для систем технического зрения, внесли отечественные (Журавлев Ю.И., Рудаков К.В., Сойфер В.А., Ярославский Л.П., Воронцов К.В., Визильтер Ю.В., Горнов А.Ю., Дедус Ф.Ф., Донской В.И., Немирко А.П., Хачай М.Ю. и др.) и зарубежные (Хаф П., Канни Д.Ф., Гонсалес Р., Вудс Р., Прэтг У., Ро-зенфельд А. и др.) ученые. Усилиями ученых и практиков в настоящее время созданы и функционируют эффективные системы распознавания текстовых меток, лиц, автомобильных номеров, а также всевозможные оптические системы безопасности с распознаванием объектов.

Типичным примером указанного класса систем являются мобильные системы технического зрения, направленные на решение задачи безопасности движения на автомобильном транспорте. Большинство автопроизводителей мирового уровня (Audi, BMW, Volvo, Opel и др.) уже имеют в продаже интеллектуальные системы автомобильной безопасности. На протяжении последнего десятилетия эти компании вкладывали огромные средства в разработку подобных систем, что, безусловно, вывело рынок автомобилей на новый уровень. Разработки последних лет, как для систем автомобильной безопасности, так и других мобильных систем технического зрения указывают на тенденцию - создание систем оперативного управления без участия человека.

В последние годы в России также уделяется большое внимание вопросам создания современных мобильных систем технического зрения. К сожалению, именно в области создания систем автобезопасности имеет место отставание. Отечественные автопроизводители пока не освоили выпуск интеллектуальных систем анализа дорожной обстановки, включающих распознавание знаков, слежение за разметкой, распознавание пешеходов и др. Тем не менее, публикации последних лет указывают на возрастание интереса к этой проблеме. По крайней мере, два фактора способствуют этому.

Во-первых, несмотря на серьезное продвижение мировых производителей в области создания интеллектуальных систем автобезопасности, что касается функции распознавания знаков, результаты пока еще остаются достаточно скромными. В частности, наиболее известные системы Mobileye или Speed Limit Assist могут распознавать лишь небольшой набор знаков ограничения скорости. Связано это, по-видимому, с тем, что увеличение номенклатуры распознаваемых знаков приводит к значительному увеличению вычислительных затрат и, как следствие, к увеличению времени реакции системы, что может оказаться неприемлемым с точки зрения оперативности.

Во-вторых, системы распознавания, «настроенные» на распознавание знаков, используемых, например, в Европе и других регионах, к сожалению, не будут «работать» так же эффективно на российских дорогах. Дело в том, что имеют место специфические отличия в изображении некоторых символов и рисунков на знаках. Следовательно, внедрение, например, европейских систем распознавания потребует «пере-

обучения» системы. Поскольку большинство систем строится с использованием микропроцессорной аппаратно-программной реализации, это приведет к необходимости практически полного перепроектирования, изготовления и тестирования системы.

Следует заметить, что актуальной остается пока и проблема обеспечения высокой надежности. В известных публикациях часто приводятся данные о вероятности распознавания 0,93-0,95. Однако, как в системах автобезопасности, так и в других системах указанного класса этот показатель не вполне приемлем. В данном случае даже небольшое число ошибок может привести к трагическим последствиям. Поэтому критерием качества таких систем должно быть относительное число отклоненных сцен, а распознавание принятых сцен должно осуществляться безошибочно.

Экспериментальная проверка источников ошибок в системах технического зрения показывает, что значительная часть этих ошибок связана с неправильным детектированием объектов. Например, при детектировании предупреждающих и запрещающих дорожных знаков, окаймленных красной полосой, часто ошибки связаны с попаданием на красные крыши зданий, рекламные щиты с похожими фрагментами изображений и др. Поэтому в качестве центральной проблемы при построении мобильных систем технического зрения мы выделяем проблему обнаружения объектов, в частности знаков, на последовательности регистрируемых изображений сцен. При этом для оценки качества решения задачи обнаружения и различения знаков в настоящей работе будет использоваться достигаемое за счет использования предлагаемых методов и подходов быстродействие и процент верных распознаваний искомых объектов в сквозной информационной технологии.

Цель и задачи исследований

Целью работы является повышение качества и быстродействия детектирования дорожных знаков на изображениях в мобильных системах технического зрения.

Задачи исследований.

1. Обоснование моделей изображений дорожных знаков и артефактов, разработка основанных на этих моделях методов и алгоритмов предварительной обработки изображений, обеспечивающих повышение качества и быстродействия обнаружения и различения знаков.

2. Разработка и исследование новых алгоритмов обнаружения и различения дорожных знаков обеспечивающих высокое качество и быстродействие в условиях вариаций масштаба регистрируемых изображений, связанных с движением автомобиля.

3. Разработка параллельных численных алгоритмов обнаружения и различения дорожных знаков и устранения артефактов, ориентированных на быстродействующую реализацию с использованием массивно-многопоточной архитектуры (С1ЮА) на графических процессорах.

4. Формирование сквозной информационной технологии обнаружения и различения дорожных знаков и создание программного комплекса, реализующего эту технологию в реальном времени.

5. Проведение экспериментальных исследований разработанного программного комплекса и оценка качества разработанных методов, алгоритмов и сквозной информационной технологии обнаружения и различения дорожных знаков.

Научная новизна работы

В диссертации получены следующие новые научные результаты.

1. Предложены новые модели дорожных знаков и артефактов на изображениях, на основе которых разработаны алгоритмы предварительной обработки изображений,

обеспечивающие повышение качества и быстродействия обнаружения и различения знаков на последующих этапах.

2. Разработана модификация алгоритма обобщенного преобразования Хафа, основанная на результатах моделирования, обеспечивающая повышение качества и быстродействия обнаружения и различения за счет одновременного определения координат и масштаба изображения знака по отклику в аккумуляторном пространстве.

3. Разработаны новые рекурсивные параллельные численные алгоритмы устранения артефактов и обнаружения и различения дорожных знаков, реализованные с использованием массивно-многопоточной архитектуры (CUDA) на графических процессорах.

4. Создана новая информационная технология обнаружения и различения дорожных знаков в реальном времени.

Теоретическая и практическая значимость работы

Теоретическая значимость работы состоит в развитии теории обобщенного преобразования Хафа, в частности, предложена новая модификация алгоритма, позволяющая решать задачу обнаружения и различения объектов в мобильных системах технического зрения. Предложенные в диссертационной работе модификация алгоритма обобщенного преобразования Хафа и алгоритм устранения артефактов могут использоваться также при разработке методов и алгоритмов обработки видеоинформации в различных транспортных системах, робототехнике, стационарных системах видеоконтроля и др.

Практическая значимость работы состоит в создании действующего прототипа интеллектуальной системы автомобильной безопасности, включающего функции обнаружения и различения дорожных знаков. Результаты диссертационной работы используются в ОАО «АВТОВАЗ», РКЦ «ЦСКБ-Прогресс», научных исследованиях Самарского государственного аэрокосмического университета им. С.П. Королева и Института систем обработки изображений РАН (Самара). Апробация работы

Основные результаты, связанные с разработкой методов и алгоритмов обнаружения и различения объектов, докладывались на следующих конференциях:

— VII всероссийская конференция студентов, аспирантов и молодых учёных «Искусственный интеллект: философия, методология, инновации» (ИИ ФМИ, Москва, 2013);

- 11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-11-2013, Самара);

- IV International Workshop on «Image Mining Theory and Applications» (IMTA 2013) in conjunction with VISIGRAPP 2013 (2013, Барселона, Испания);

- 7th Workshop on Pattern Recognition in Remote Sensing (PRRS) in conjunction with 21st International Conference on Pattern Recognition (IAPR, November 11-15, 2012, Tsukuba, Japan);

— 8th Open German-Russian Workshop "Pattern recognition and image understand-ing"(OGRW-8-2011, Нижний Новгород);

— международная научная конференция «Параллельные вычислительные технологии» (ПаВТ 2011, Москва) и другие.

Результаты, связанные с разработкой программного комплекса, докладывались на следующих конференциях:

- International Conference on Pattern Recognition (IAPR, November 11-15 2012, Tsuku-ba, Japan)

- 10th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-10-2010) (декабрь 2010, Санкт-Петербург);

- международная научная конференция «Параллельные вычислительные технологии» (ПаВТ 2011, Москва);

- Международная научная конференция «Параллельные вычислительные технологии» (ПаВТ 2010) (29 марта - 2 апреля 2010, Уфа);

- Международная конференция «Научный сервис в сети Интернет: суперкомпьютерные центры и задачи» (20 - 25 сентября 2010, Новороссийск). Исследования по тематике выполнялись в рамках следующих проектов. «Развитие теории и создание методов и алгоритмов оперативного распознавания

дорожной обстановки и создание прикладного программного обеспечения для систем активной безопасности отечественных автомобилей», выполняемый по гранту РФФИ № 13-07-97000 (2013-2015).

«Информационная технология создания распределённых систем технического зрения для мониторинга железнодорожных составов» выполняемый по гранту РФФИ № 11-07-13164-офи-м-2011-РЖД (2011-2012).

«Проведение поисковых исследований и создание прототипа аппаратно-программного комплекса для систем активной безопасности автомобилей» (гос. контракт 07.514.11.4105) в рамках Программы "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 20072013 годы" (2011-2012).

«Разработка параллельных приложений в задачах компьютерной оптики и обработки изображений», выполненного по гранту РФФИ № 10-07-00553-а (2010-2012).

«Разработка теории и методов восстановления, цветовой коррекции и понимания цветных изображений в условиях априорной неопределенности моделей искажений и помех», выполненный по гранту РФФИ № 09-07-00269-а (2009 - 2011 г.г.).

«Разработка теории, методов и высокопроизводительных алгоритмов цветовой коррекции и анализа изображений на основе модели цветоконтурных элементов и корректирующих преобразований», выполненный по гранту РФФИ № 12-07-31208 мол_а (2012-2013).

По теме диссертации опубликованы 27 работ, в том числе 11 в изданиях, рекомендованных ВАК, 4 работы выполнены автором лично, остальные написаны в соавторстве. Кроме того, получено 2 свидетельства о государственной регистрации программ ЭВМ и 1 патент на изобретение. На результаты диссертационной работы получен акт о внедрении результатов от ОАО «АВТОВАЗ».

Основные положения диссертации, выносимые на защиту:

1. Модели дорожных знаков и артефактов на изображениях и основанные на них методы и алгоритмы предварительной обработки изображений, обеспечивающие повышение качества и быстродействия обнаружения и различения знаков на последующих этапах.

2. Результаты моделирования отклика в аккумуляторном пространстве обобщенного преобразования Хафа при вариациях масштаба изображений и основанная на

этих результатах модификация алгоритма, обеспечивающая повышение качества и быстродействия обнаружения и различения за счет одновременного определения координат и масштаба изображения знака.

3. Параллельные численные алгоритмы обнаружения и различения дорожных знаков и устранения артефактов, реализованные с использованием массивно-многопоточной архитектуры (CUDA) на графических процессорах.

4. Программный комплекс, реализующий сквозную информационную технологию обнаружения и различения дорожных знаков в реальном времени.

Структура и объем работы

Диссертация состоит из введения, четырех глав, заключения, списка литературы. Общий объем работы составляет 105 страниц, 37 рисунков, 3 таблицы, 1 приложение. Библиографический список насчитывает 87 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулированы ее цель и задачи. Проведен обзор известных методов решения задачи детектирования объектов в мобильных системах технического зрения с целью последующего их распознавания. Проанализированы типичные проблемы создания этого класса систем. Приведен перечень научных результатов и положения, выносимые на защиту.

В первой главе проведен анализ известных методов, алгоритмов и информационных технологий, применяемых в мобильных интеллектуальных системах автомобильной безопасности реального времени. Приведены примеры и выявлены проблемы обнаружения и различения дорожных знаков. Конкретизированы задачи исследования.

В ходе анализа установлено, что во многих системах технического зрения для обнаружения знаков используется цвет. Ряд алгоритмов распознавания дорожных знаков основан на анализе RGB компонент изображения. Более удачным оказалось распознавание знаков в пространстве HSI или HSV. С начала 1990-х особую популярность приобрел подход на основе цветовой фильтрации, однако качественные показатели этого метода остаются недостаточно высокими.

В настоящее время одним из наиболее распространенных является алгоритм масштабно-инвариантных преобразований признаков (Scale Invariant Feature Transformation - SIFT), предложенный в 2004 году Лоувом, однако он не вполне подходит для обнаружения и различения дорожных знаков в реальном времени вследствие вычислительной сложности.

В системах оперативного распознавания объектов предпринимались также серьезные попытки применения нейронных сетей в виде многослойного персептрона. При этом детектирование области знака по-прежнему осуществляется одним из известных методов, например, SIFT. Недостатком нейросетевого подхода является непредсказуемость результатов и большая вариативность ошибок распознания.

В разделе 1.1 диссертации, в качестве примера, приведены функционалы наиболее известных интеллектуальных систем автомобильной безопасности: Mobileye и Speed Limit Assist. Выявлено, что наиболее сложные функции распознавания знаков в большинстве из них реализованы при серьезных ограничениях.

С учетом проведенного анализа сформирована трехэтапная информационная технология, включающая этапы предварительной обработки, обнаружения и распознавания. При этом основными задачами первых двух этапов - предварительной обработки

и детектирования, кроме прочего, является различение (определение типа знака) и приведение «вырезанных» из сцены знаков к виду, обеспечивающему высокое качество и быстродействие системы на этапе распознавания.

В заключительном разделе главы конкретизированы задачи исследования. При этом в качестве центральных выделены задачи предварительной обработки изображений, обеспечивающей повышение качества и быстродействия обнаружения и различения знаков при вариациях масштаба изображений, связанных с движением автомобиля, а также построения параллельных вычислительных алгоритмов, реализуемых в реальном времени.

Во второй главе рассмотрены методы и алгоритмы предварительной обработки видеокадров, обеспечивающие повышение эффективности и быстродействия работы алгоритма детектирования. Это достигается устранением на изображениях артефактов, возникающих при выделении на видеокадрах цвета, принадлежащего границам объектов.

Для обнаружения контуров анализируется цвет каждого пикселя. В ходе исследований установлено, что в условиях неконтролируемой освещенности для этого целесообразно использовать цветовое пространство HSV {Hue, Saturation, Value или тон, насыщенность, значение). Экспериментально были установлены пороговые значения для выделения красного цвета в пространстве HSV:

(0.0° < Н < 23°) V (350° <Н < 360°) (1) 0.85 < S < 1 (2)

0.85 < V < 1 (3)

На рис. 16 и 1в для сравнения приведены примеры применения к каналу красного цвета фильтров, реализованных в пространствах RGB и HSV при указанных выше пороговых значениях (1) - (3).

Однако даже при удачно выбранных (с точки зрения выделения на изображении заданного цвета) порогах, как правило, выделяются также элементы, имеющие близкий цвет. В значительной степени это связано с изменениями условий освещенности, которые вносят неконтролируемые цветовые искажения: прямые солнечные лучи, отраженный свет, затенения и др. Более того, различные искажающие эффекты могут присутствовать на одном изображении одновременно.

На рис. 1а и 2а приведены примеры реальных фрагментов кадров, содержащих изображения дорожных знаков. Заметим, что артефакты, возникающие при пороговой обработке по цвету (рис. 1в и 26), заметно снижают производительность и качество детектирования при использовании для этой цели преобразования Хафа. В то же время применение для их устранения известных методов улучшения качества изображений, например, ранговых фильтров, часто приводит к потерям полезной информации.

В работе исследовались алгоритмы обнаружения и удаления артефактов, основанные на идее распознавания образов. Процедура строилась в виде алгоритма скользящего окна W0 поиска с вложенным окном W; меньшего размера. Для описания модели артефакта использовалась следующая система признаков:

¡РД1 А

ь'^ЯбВР б)

А г) Л

Рис. 1. Дорожный знак с затенением (а); выделение красного в пространстве RGB (б); выделение красного в пространстве HSV (в); устранение артефактов (г)

м f(x, у) м fix, у) ' Z I(x,y)<St,

U.ylsW,

DiWl)<D], max fix,y)>f,

U.>')e iv,

(4)

(5)

(6) (7)

a)

где fix,у)- значение яркости в точке с координатами х и у; М fix, у) - среднее значение яркости внутри окна W, или W0; ¡ix,y) - количество пикселей ярче определенного порога, D(Wj) - диаметр области, характеризующий компактность обла-

б)

¡ННАН

" ~ -Х- • t > Jr. ¡1 '

/\

Алгоритм распознавания артефактов строится на основе показателя близости к подпространству, образованному векторами распознаваемого класса. Для каждого к-го класса (типа) артефактов задано М обучающих N х 1 -векторов (ЛЬ4), характеризующих различные варианты артефактов:

х,(к) = [*, (к), х2 (к), х, (к), х, (*)]т, / = Гл7 , где х, = О,., х2= х} = 5,, дг4 = У] _

Для каждого к-го класса на этапе обучения формируется N х М -матрица iN > М )

Хк=[х,(к), ...,х,(к),...,хм(к)],к = 1К и вычисляется соответствующая N х N -матрица :

(9)

На этапе распознавания решение о принадлежности вектора х., например, к гаму классу принимается в случае, если

Я = шах /?. ,, (10)

в)

Рис. 2. Исходное изображение (а); извлечённый красный цвет (б); бинарное изображение после обработки алгоритмом устранения артефактов(в)

(8)

где я*., =

k'jXJ

Максимум показателя сопряженности (10) ищется по всем классам и всем точкам областей, «подозрительных» на наличие артефактов.

Несмотря на возрастание объема вычислений, связанных с применением решающего правила (10), в сквозной трехэтапной технологии достигается значительный эффект, поскольку вычислительные затраты на преобразование Хафа при присут-

ствии этих артефактов на изображении оказываются существенно выше. Кроме того, указанный алгоритм обладает значительным внутренним параллелизмом, допускающим его эффективную массивно-многопоточную CUDA-реализацию.

Результат обработки изображения, приведенного на рис. 26, с использованием описанного алгоритма представлен на рис. 2в. При реализации алгоритма на графических процессорных устройствах (ГПУ) по сравнению с ЦПУ достигнуто ускорение в 12 раз. При размере кадра 1920x1080 пикселей время обработки на ЦПУ составляет ы среднем 121 мс. При использовании технологии CUDA на ГПУ даже при использовании малопроизводительной NVidia GTS450 временные затраты составили около 10-20 ! мс, что удовлетворяет требованию обработки видеопотока в реальном времени.

В третьей главе рассматриваются метод и алгоритм обнаружения и различения дорожных знаков на видеокадрах. В разделе 3.1 проанализированы требования к изображениям этого класса. В частности, установлено, что для оперативного и надежного распознавания изображения регистрируемых знаков должны иметь линейное разрешение от 5 до 10 точек на дециметр поверхности знака. Такой диапазон обусловлен движением автомобиля, поэтому процедуры детектирования должны строиться в предположении некоторых вариаций масштаба изображений. Это требование является типичным в системах технического зрения, базирующихся на движущихся платформах.

Обнаружение и различение ведется с использованием контурных препаратов, формируемых на этапе предварительной обработки. Известно, что одним из наиболее надежных методов локализации контурных изображений является преобразование Хафа. Оно реализуется путем регистрации максимального отклика в так называемом аккумуляторном пространстве

(accumulator space) при совпадении максимального числа точек текущего и

эталонного контуров. В работе прове- aj sj в)

дено моделирование формирования

отклика в аккумуляторном простран- Рис. 3. Иследуемые геометрические фигурь

стве для простейших фигур, показан- (а) треугольник, (б) квадрат, (в) окружном ных на рис. 3, в ситуации, когда масштабы текущего и эталонного контуров различаются.

Поскольку ориентация контуров с(х,у), Cs (х,у) текущего изображения и эталона на плоскости одинакова и известна аккумуляторное пространство формируется непосредственно из точек эталонного контура путем последовательного совмещения точки, принятой в качестве «центра» эталонного контура, с точками контура исследуемого изображения. При этом используется эталонное изображение контурного препарата повернутое на угол 180°.

С использованием описанной модели дано объяснение вида откликов в аккумуляторном пространстве для простейших геометрических фигур (треугольник, квадрат и круг) (рис. 3). Путем моделирования подтверждено формирование в аккумуляторном пространстве фигур, подобных исходным. При этом размеры откликов совпадают с величиной различий масштабов текущего изображения и эталона.

На рис. 4 приведены результаты моделирования изображений откликов в аккумуляторных пространствах при условии, что размеры эталонных дискретных контурных препаратов больше размеров контурных препаратов исходных изображений. На рис. 5 приведены аналогичные результаты для случая, когда размеры эталонных дискретных

А □ О

о

а) б) в)

Рис. 4. Отклик в аккумуляторном пространстве для треугольника (а), квадрата (б) и окружности (в): контур эталона больше контура объекта

а) б) в)

Рис. 5. Отклик в аккумуляторном пространстве для треугольника (а), квадрата (б) и окружности (в): контур эталона меньше контура объекта

¥г

контурных препаратов меньше размеров контурных препаратов исходных изображений.

При наличии в контуре фигуры прямолинейных или достаточно гладких участков в аккумуляторном пространстве формируются соответствующие им участки прямых (или подобных гладких) линий. Число таких точек, а, следовательно, и «яркость» соответствующей линии в аккумуляторе связана с длиной этого участка. Моделирование показало, что этот эффект не зависит от выбора «центра» фигуры, а дополнительное число точек на контуре отклика не менее числа точек, попадающих в точку максимума отклика при совпадающих масштабах (рис. 6).

Выявленные в ходе исследований свойства легли в основу метода и численного алгоритма обнаружения и различения дорожных знаков при вариациях масштабов изображений. Алгоритм строится следующим образом. Для текущего изображения сцены (кадра) с использованием алгоритма Канни создается контурный препарат и формируется отклик в аккумуляторном пространстве с использованием эталонного контурного препарата, имеющего заданный (номинальный) масштаб. Поскольку цветные границы знаков имеют заметную «толщину» после выделения цветовой компоненты контурный препарат обычно имеет «двойную» границу. Пример для предупреждающего знака приведен на рис. 7в. В аккумуляторном пространстве при вариациях масштаба соответствующий отклик будет иметь вид, показанный на рис. 7г. Далее в аккумуляторном пространстве ищутся фрагменты с суммарным максимальным откликом, образованным вкладом точек, являющихся точками пересечения «двойных» контуров в угловых точках изображения треугольника.

Для локализации предупреждающего знака, ориентированного одним углом вверх, в аккумуляторном пространстве ищется верхний содержащий четыре точки фрагмент. Затем проверяется наличие двух таких фрагментов, симметрично расположенных относительно первой точки ниже. Для трёх, найденных описанным способом, фрагментов проверяется соотношение расстояний между ними и наличие в аккумуляторе откликов на прямых, соединяющих их центральные точки.

Далее с использованием координат центров найденных фрагментов определяются координаты центра треугольника и числовое значение отличия размера текущего изображения от эталонного. По этим данным осуществляется преобразование текуще-

а)" б) в)

Рис. 6. Отклик в аккумуляторном пространстве для треугольника (а), квадрата (б) и окружности (в): масштаб изображений эталона и объекта совпадают

в)

г)

Рис. 7. Этапы технологии: регистрация текущего изображения (а); извлечение цвета (б): получение контурного препарата (в); преобразование Хафа (г)

го изображения, обеспечивающее достаточно точное совпадение «центров» и масштабов текущего и эталонного изображений. Это обеспечивает последующее безошибочное распознавание изображений внутри треугольника с использованием простейших алгоритмов «сличения» с эталоном. Такой алгоритм обладает высокой степенью параллелизма и реализуется в реальном времени.

Алгоритм обнаружения и различения запрещающих знаков строится аналогично, с той лишь разницей, что точка максимального отклика определяется как центр круга небольшого радиуса, на котором оказалось наибольшее число откликов. При этом радиус этого круга также определяет различия в размерах эталонного контура и искомого изображения.

Четвертая глава посвящена описанию разработанного программного комплекса для обнаружения и различения дорожных знаков. Приводятся результаты его экспериментального исследования в составе прототипа интеллектуальной автомобильной системы безопасности, подтверждающие эффективность в сквозной информационной технологии. Разработанные методы и алгоритмы реализованы с использованием массивно-многопоточной архитектуры графических процессоров и технологии CUDA. Блок-схема программного комплекса приведена на рис. 8.

Экспериментальные исследования разработанного программного комплекса проводились в лабораторных условиях и на реальных видеокадрах, полученных при помощи видеокамеры, установленной в автомобиле. Для функционирования программного комплекса в составе прототипа интеллектуальной автомобильной системы безопасности было использовано следующее оборудование:

- регистрирующая камера Axis PI347 (FullHD 1920x1080);

- процессор Intel core i7 3770k;

- графический процессор: Nvidia GeForce GTX 680;

- память: 16 GB DDR 3.

В качестве операционной системы исследовались два варианта: Windows 7 64 bit и Linux 64 bit.

Для экспериментальных исследований в ла-

Предварительная обработка

Извлечение цвета

Устранение артефактов

Локализация и классификация

Детектирование

Распознавание

Рис. 8. Схема функционирования модуля детектирования и распознавания дорожных знаков

бораторных условиях была использована широко известная база дорожных знаков (German Traffic Sign Recognition Base, http://benchmark.ini.rub.de/). содержащая более 50 ООО изображений знаков, зарегистрированных в различных условиях. Для оценки качества детектирования подсчитывалось число успешных эпизодов распознавания знаков.

При тестировании разработанных алгоритмов на 9987 изображениях с запрещающими и предупреждающими знаками процент верно найденных и распознанных знаков составил 97,3%. При этом 2,7% случаев - это отказ от распознавания. Анализ показал, что качество изображений в этих случаях не удовлетворяет условиям, сформулированным в разделе 3.1.

Полученные результаты испытаний предложенной сквозной технологии детектирования и распознавания превосходят существующие коммерческие образцы систем распознавания дорожных знаков. Например, в журнале «За рулем» (№ 6, 2012 г.) приведены результаты тестирования двух систем: Opel Eye и BMW Traffic Sign Recognition. Точность срабатывания по итогам тестов составила 90% встретившихся знаков у системы BMW и только 75% у Opel.

Важным достоинством предложенной технологии является также ее высокое быстродействие, достигнутое за счет массивно-многопоточной реализации параллельного вычислительного алгоритма на графических процессорах. В таблице 1 приведены средние значения времени обработки одного кадра и количество кадров, обрабатываемых за одну секунду. В первой и второй строках указано время работы с использованием только центрального процессора, в третьей и четвертой - ЦПУ и ГПУ. Приведенные данные показывают возможность детектирования и распознавания дорожных знаков в реальном времени.

Были проведены натурные эксперименты по проверке эффективности разработанного прототипа системы в реальных условиях при ее установке на автомобиле. На рис. 9 приведен пример визуализации работы созданной сквозной технологии при детектировании и распознавании предупреждающего знака «Осторожно, дети». На рис. 9 показано изображение, полученное программным комплексом, правее - увеличенная область с локализованным знаком (найденный знак отмечен зеленым контуром).

Таблица 1. Время работы модуля

Время, мс Кадров/с

1. CPU, 1920x1080 283 3.53

2. CPU, 1280x720 142 7.04

3. GPU. 1920x1080 23 43.47

4. GPU, 1280x720 14 71.42

Рис. 9. Иллюстрация применения технологии обнаружения и различения

Экспериментальные исследования прототипа системы показали также существенное повышение быстродействия (в среднем в 2 раза) сквозной технологии обнаружения и различения дорожных знаков только за счет распознавания и устранения артефактов на этапе предварительной обработки. При этом одновременно уменьшилось (в среднем на 9 %) число ложных срабатываний обнаружения.

Полученные результаты были использованы ОАО «АВТОВАЗ» для реализации модуля детектирования и распознавания дорожных знаков в рамках НИР «Информационно-коммуникационная система для контроля над дорожной ситуацией». Получен акт о внедрении результатов диссертационной работы.

Основные результаты диссертации:

1. Обоснованы модели изображений дорожных знаков и артефактов, с их использованием построены методы и алгоритмы предварительной обработки, обеспечивающие высокое качество обнаружения и различения дорожных знаков и обработку видеокадров в реальном времени.

2. Основываясь на результатах моделирования отклика простейших геометрических фигур в аккумуляторном пространстве Хафа, разработаны и исследованы новые алгоритмы обнаружения и различения дорожных знаков, обеспечивающие высокое качество и быстродействие в условиях вариаций масштаба регистрируемых изображений, связанных с движением автомобиля.

3. Разработаны параллельные численные алгоритмы обнаружения и различения дорожных знаков и устранения артефактов с использованием массивно-многопоточной архитектуры (CUDA). Предварительная обработка ускорилась в среднем в 12 раз, обнаружение и различение знаков — примерно в 16 раз.

4. Разработана сквозная информационная технология обнаружения и различения дорожных знаков и создан программный комплекс, обрабатывающий более 40 кадров в секунду, что позволяет решать задачу обнаружения и различения дорожных знаков в реальном времени.

5. Показана эффективность разработанных методов и алгоритмов и программного комплекса в ходе лабораторных и натурных экспериментальных исследований. Был достигнут показатель в 97,3 % верно обнаруженных и правильно распознанных знаков.

Основные результаты опубликованы в следующих изданиях.

В журналах, рекомендованных ВАК:

1. Якимов, П.Ю. Локализация контуров объектов на изображениях при вариациях масштаба с использованием преобразования Хафа / С.А. Бибиков, В.А. Фурсов, П.Ю.Якимов // Компьютерная оптика. - 2013. - Том 37. - № 4. - С. 502-508.

2. Якимов, П.Ю. Предварительная обработка цифровых изображений в системах локализации и распознавания дорожных знаков / П.Ю. Якимов // Компьютерная оптика. -2013.-Том 37. -№ 3. - С. 401-405.

3. Yakimov, P. Traffic Sign Detection on GPU Using Color Shape Regular Expressions / A Nikonorov, M Petrov, P. Yakimov // V1STGRAPP IMTA-4 - 2013/ - p. 8.

4. Якимов, П.Ю. Метод нежёсткого размещения в модели многогранников для построения эффективных алгоритмов двумерной рекурсивной обработки изображений на GPU / П.Ю. Якимов, А. В. Никоноров, В. А. Фурсов // Компьютерная оптика - 2012. -Том 36. - № 3. - С. 459-464.

5. Якимов, П.Ю. Программный комплекс для обработки изображений в массивно-многопоточной CUDA-среде / А. В. Никоноров, В. А. Фурсов, Якимов П.Ю. // Цифровая обработка сигналов. - 2011. - №3- С. 67-72.

6. Якимов, П.Ю. Массивно-многопоточная реализация двумерных БИХ-фильтров / П.Ю.Якимов, А. В. Никоноров, В. А. Фурсов // Вестник У Г АТУ- 2011. - Т. 15. - №5 (45).-С. 137-141.

7. Yakimov, P. Effective algorithms of flare detection with analysis of the shape in real-time video surveillance systems / E. Minaev, A. Nikonorov, P. Yakimov // Pattern Recognition and Image Analysis - 2011 - Volume 21. - Number 3. - pp. 419-422.

8. Yakimov, P. Memory access optimization in recurrent image processing algorithms with CUDA / S. A. Bibikov, V. A. Fursov, A. V. Nikonorov // Pattern Recognition and Image Analysis, 2011, Volume 21, Number 3, Pages 377-380.

9. Yakimov, P. Detection and color correction of artifacts in digital images / P. Yakimov, S. A. Bibikov, R. K. Zakharov, A. V. Nikonorov, V. A. Fursov//Optoelectronics, Instrumentation and Data Processing/ - 2011/ - Volume 47. - Number 3. - pp. 226-232.

10. Yakimov, P. Correction of distortions in color images based on parametric identification / V. A. Fursov, A. V. Nikonorov, S. A. Bibikov, E. Yu. Minaev, P.Y. Yakimov// ISSN 1054-6618, Pattern Recognition and Image Analysis. - 2011. - Volume 21,- Number 2. - pp. 125-128.

11. Якимов, П.Ю. Распознавание и коррекция артефактов на цифровых изображениях / С.А. Бибиков. Р.К. Захаров, А.В. Никоноров, В.А. Фурсов, П.Ю. Якимов // Автометрия -2011. Т. 47. - №3,- С.25-33.

В прочих изданиях:

12. Yakimov, P. Flexible Allocation Approach for GPU Implementation of 2D IIR Filters in Satellite Images Processing / P.Yakimov, V. Fursov, A. Nikonorov // Pattern Recognition in Remote Sensing (PRRS), 2012 IAPR Workshop on ICPR 2012, IEEE, 2012, p. 1-4.

13. Yakimov, P. Preprocessing of digital images for fast and robust object detection in traffic signs recognition task // 11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-11-2013). - 2013. - P. 769-772.

14. Yakimov, P. Stable IIR filters identification based on genetic algorithm / A. Nikonorov, V. Fursov, P. Yakimov // 8th Open German-Russian Workshop "Pattern recognition and image understanding", OGRW-8-2011 / Nizhny Novgorod, Workshop Proceedings, 2011, p. 71-74

15. Якимов, П.Ю. Реализация двумерных БИХ-фильтров на ГПУ с использованием метода нежесткого размещения в модели однородных рекуррентных уравнений / А.В. Никоноров, В.А. Фурсов, П.Ю. Якимов // Научный сервис в сети Интернет: поиск новых решений: Труды Международной суперкомпьютерной конференции (17-22 сентября 2012 г.. г. Новороссийск).- М.: Изд-во МГУ, 2012. - С. 457-462.

16. Yaldmov, P. Recognition of artifacts in digital images using conjugacy indicator / S. Bibikov, A. Nikonorov, V. Fursov, P. Yakimov // 8th Open German-Russian Workshop "Pattern recognition and image understanding'-, OGRW-8-2011 / Nizhny Novgorod, Workshop Proceedings, 2011, p. 21-24.

17. Якимов, П.Ю. Массивно-многопоточная реализация двумерных БИХ фильтров / Никоноров А.В., Фурсов В.А., Якимов П.Ю. И Параллельные вычислительные технологии. - Челябинск:изд-во ЮУрГУ, 2011. - С. 571-576.

18. Yakimov, P. Efficient Algorithms of Flares Detection with Shape analysis for Real Time CCTV Systems / E. Minaev, A. Nikonorov, P. Yakimov // 10th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-10-2010). St. Petersburg, December 5-12,2010. Conference Proceedings (Vol. I-II) P. 45-48.

19. Yakimov, P. Memory Optimization for Recurrent CUDA Image Processing / Fursov V., Nikonorov A., Bibikov S., Yakimov P. // 10th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-10-2010). St. Petersburg, December 5-12,2010. Conference Proceedings (Vol. I-II) P. 79-82.

г

20. Yakimov, P. Color images correction using identification technique / Fursov V., Nikonorov

A., Bibikov S., Minaev E., Yakimov P. // 10th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-10-2010). St. Petersburg, December 5-12,2010. Conference Proceedings (Vol. I-II), P. 35-38.

21. Якимов, П.Ю. Рекуррентная обработка изображений в распределенной массивно-многопоточной CUDA-среде / С.А. Бибиков, A.B. Никоноров, В.А. Фурсов, П.Ю. Якимов // Материалы X Международной конференции «Высокопроизводительные параллельные вычисления на кластерных системах» (НРС 2010, Пермь) - Пермь: Изд-во ПГТУ, 2010. - С. 80-88.

22. Якимов, П.Ю. Программный комплекс для обработки изображений в массивно-многопоточной CUDA-среде / В.А. Фурсов, П.Ю. Якимов II Сборник тезисов всероссийской научной конференции с элементами школы для молодежи «проведение научных исследований в области информационно-телекоммуникационных технологий». -Москва, 2010. -С. 119-120.

23. Якимов, П.Ю. Обработка изображений в распределенной массивно-многопоточной CUDA-среде / A.B. Никоноров, П.Ю. Якимов // Международная Конференция с элементами научной школы для молодежи "Перспективные информационные технологии для авиации и космоса" (ПИТ-2010) (29 сентября - 1 октября 2010, Самара) ->- Самара: изд-во СГАУ, 2010. - С. 538-542.

24. Якимов, П.Ю. Обработка видеоданных в распределенной массивно-многопоточной CUDA-среде / С.А. Бибиков, A.B. Никоноров, В.А. Фурсов, П.Ю. Якимов И Научный сервис в сети Интернет: суперкомпьютерные центры и задачи: Труды Международной суперкомпьютерной конференции (20-25 сентября 2010 г., г. Новороссийск). — М.: Изд-во МГУ, 2010, —С. 128-131.

25. Якимов П.Ю. Разработка программной системы автоматизированного удаления бликов на цветных изображениях / Никоноров A.B., Фурсов В.А., Якимов П.Ю. // VII Всероссийской межвузовской конференции молодых ученых: Сборник тезисов, Выпуск 5 - Санкт-Петербург: Изд-во СПбГУ ИТМО, 2010. - С.32.

26. Якимов П.Ю. Исследование эффективности применения технологии CUDA в задаче обработки цифровых изображений // Всероссийская молодёжная научная конференция с международным участием, Самара, 6-8 октября 2009 года: Тезисы докладов. - Самара: Изд-во Самарского государственного аэрокосмического университета 2009. - С. 324.

27. Якимов, П.Ю. Автомобиль, который знает дорожные знаки // Журнал «Суперкомпьютеры». - 2013. - Том 3, № 15. - М.: МГУ. - с. 38-41.

Полученные свидетельства о РИД:

28. Пат. 2488164 Российская Федерация / Способ локализации дорожных знаков и распознавания их групп и подгрупп [текст] / П.Ю. Якимов. С.А. Бибиков, A.B. Никоноров,

B.А. Фурсов; заявитель и патентообладатель «Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)» (RU). - № 2012112965; заявл. 03.04.2012; опубл. 20.07.2013

29. Якимов, П.Ю. Программный комплекс «Автобезопасность» / П.Ю. Якимов, С.А. Бибиков // Свидетельство о государственной регистрации программы для ЭВМ №2013661046,2013

30. Якимов, П.Ю. Программный комплекс «Пешеход» / A.A. Иванов, П.Ю. Якимов // Свидетельство о государственной регистрации программы для ЭВМ № 2012614071, 2012

Подписано в печать 29.08.2014 Формат 60 х 84/16. Бумага ксероксная. Печать оперативная.

Объем - 1,0 усл. п. л. Тираж 100 экз. Заказ № 136.

Отпечатано в типографии ООО «Инсома-пресс» 443080, г. Самара, ул. Санфировой, 110 А; тел.: 222-92-40