автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Разработка и анализ алгоритмов цифровой обработки телевизионных изображений для задач позиционирования в помещении по маякам с цветовой кодировкой

На правах рукописи

Тюкин Александр Леонидович

РАЗРАБОТКА И АНАЛИЗ АЛГОРИТМОВ ЦИФРОВОЙ

ОБРАБОТКИ ТЕЛЕВИЗИОННЫХ ИЗОБРАЖЕНИЙ ДЛЯ ЗАДАЧ ПОЗИЦИОНИРОВАНИЯ В ПОМЕЩЕНИИ ПО МАЯКАМ С ЦВЕТОВОЙ КОДИРОВКОЙ

Специальность: 05.12.04 Радиотехника, в том числе системы и устройства телевидения

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

28 ОКТ 2015

Владимир-2015

005563778

Работа выполнена на кафедре динамики электронных систем ФГБОУ ВПО «Ярославский государственный университет им. П.Г. Демидова».

Научный руководитель: Брюханов Юрий Александрович

доктор технических наук, профессор, заведующий кафедрой динамики электронных систем ФГБОУ ВПО «Ярославский государственный университет им. П.Г. Демидова», г. Ярославль.

Официальные оппоненты: Орлов Алексей Александрович

доктор технических наук, доцент, заведующий кафедрой физики и прикладной математики Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых», г. Муром, Владимирская обл.

Сергеев Евгений Владимирович

кандидат технических наук, инженер-конструктор ОАО «Ярославский радиозавод».

Ведущая организация: ФГБОУ ВО «Вятский государственный

университет», г. Киров.

Защита диссертации состоится «23» декабря 2015 г. в 12 часов на заседании диссертационного совета Д 212.025.04 при Владимирском государственном университете имени Александра Григорьевича и Николая Григорьевича Столетовых по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВлГУ корн 3 ФРЭМТ, ауд. 301. ' '

С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета имени Александра Григорьевича и Николая Григорьевича Столетовых и на сайте http://diss.vlsu.ru.

Автореферат разослан «21» октября 2015 г.

Отзывы на автореферат, заверенные печатью, просим направлять по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВлГУ, корп. 3, ФРЭМТ.

Ученый секретарь диссертационного совета (

доктор технических наук, профессор VЩ/У, А.Г. Самойлов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы и состояние вопроса. На сегодняшний день разработка систем, решающих проблемы позиционирования внутри зданий, является перспективной и актуальной задачей. Для её решения требуется создание карт на основе планов помещений, выбор эффективных алгоритмов позиционирования и создания соответствующей инфраструктуры здания для уверенного позиционирования.

Создание систем определения местоположения внутри помещений с приемлемой точностью может сильно продвинуть существующие технологии и привести к решению задач, таких как навигация внутри помещения, обеспечение пользователя контекстной информацией в текстовом, аудио- или видеоформате, замена человеческих ресурсов в простых или опасных для жизни и здоровья задачах, а также при работе в помещении с использованием автономных мобильных платформ. Например, это могут быть задачи автоматизации работы складских терминалов для перемещения необходимого товара из одной точки склада в другую. Таким образом, данная сфера науки и техники имеет большой потенциал для создания и развития систем позиционирования внутри помещений.

В настоящее время для решения вопросов позиционирования в помещении создано больше количество систем, работающих на основе разных принципов и с использованием различных типов опорных точек. Но достаточно универсального решения, как, например, в вопросах глобальной спутниковой навигации (GPS, ГЛОНАСС, Galileo, BeiDou и др.), пока не найдено.

Анализ существующих систем показал, что наиболее интересной технологией является работа с использованием систем прикладного телевидения. Такие системы работают в видимом диапазоне электромагнитного спектра, который удобен для практического использования в зоне прямой видимости, позволяет четко ориентироваться в пространстве, обладает неплохой помехозащищенностью и в общем случае лишен проблемы переотражения сигнала. Кроме того, для работы в данном диапазоне можно обойтись простой и недорогой телекамерой.

В область разработки алгоритмов цифровой обработки телевизионных изображений внесли вклад как отечественные ученые - Ю.Б. Зубарев, М.И. Кривошеев, В.П. Дворкович, A.B. Дворкович, М.К. Чобану, В.Н. Безруков, A.C. Крылов, Ю.С. Бехтин, Ю.С. Радченко, А.Л. Приоров, так и зарубежные -R. Gonzalez, R. Woods, A. Bovik, Y. Neuvo, J. Astola, К. Egiazaiyan, M. Nikolova.

Сегодня системы прикладного телевидения применяются во многих сферах жизни. В научной литературе обнаружены следующие системы позиционирования и ориентации в помещении с использованием методов прикладного телевидения: сопровождения ориентира мобильным роботом (1), ориентирования по предметам интерьера (2), ориентации в помещении по QR-кодам (3), локализации роботов с цветовыми маяками для управления в киберфутболе (4), ориентации по цветовым меткам, расположенным на однородном по цвету фоне методами триангуляции (5).

Все перечисленные системы, использующие методы прикладного телевидения, так или иначе, имеют сильную зависимость от внешних условий. В методе 1 решаются задачи сопровождения, т. е. контроль движущейся метки. Система 2 зависит от предметов интерьера, которые могут меняться независимо от системы, что нарушит её работу, также от внешних условий зависят система 4 (от игрового поля) и система 5 (от монотонного фона). Работа системы 3 основана на распознавании границ между черными и белыми областями двумерного штрих-кода, который читается только при неподвижном изображении, иначе «смазывание» изображения приводит к ошибкам чтения.

На основании проведенного анализа установлено, что наиболее надежным каналом во многих случаях, особенно при работе в помещении, является оптический. Несмотря на большое количество наработок в данной области, автономной системы позиционирования, которая сможет работать в реальной обстановке без подготовленного фона, не обнаружено.

В связи с этим предложена система прикладного телевидения на основе цифровой обработки изображения для решения задач позиционирования в помещении автономной мобильной роботизированной платформы (МРП). В ней в качестве опорных точек предложено использовать специальные маяки с цветовой кодировкой известного размера с заданными координатами. Цветовая кодировка представляет собой набор областей разного цвета, находящихся в непосредственной близости друг от друга. В отличие от системы, разработанной Hala М. Ebeid, такая кодировка является устойчивой к изменению цветности и текстуры фона. В сравнении с ультразвуковыми, инфракрасными и лазерными маяками маяки с цветовой кодировкой просты в изготовлении и не требуют источников питания, что позволяет им оставаться работоспособными неограниченное время, а приемником оптического сигнала от маяков может служить обычная цветная телевизионная камера.

Целью работы является разработка алгоритмов цифровой обработки телевизионных изображений для задач позиционирования в помещении с помощью монокулярной системы прикладного телевидения по маякам с цветовой кодировкой для работы в условиях неоднородного фона и изменения освещенности.

Для достижения указанной цели в диссертационной работе решаются следующие задачи:

- Разработка алгоритма реального времени по обнаружению областей заданного цвета на телевизионном изображении методами цифровой обработки в условиях изменения внешнего освещения.

- Разработка алгоритма по распознаванию маяков с цветовым кодом в условиях неоднородного фона для работы в реальном времени.

- Разработка алгоритма цифровой обработки телевизионного монокулярного изображения по расчету расстояния до маяков с цветовым кодом для работы в реальном времени.

- Разработка алгоритма реального времени по расчету трехмерных координат телекамеры на основе опорных маяков на изображении.

- Исследование устойчивости разработанного алгоритма позиционирования

к изменению условий внешнего освещения.

- Исследование устойчивости разработанного алгоритма позиционирования к влиянию шума.

- Определение границ работоспособности и применимости алгоритмов. Объектом исследования являются алгоритмы предобработки

изображения, применяемые для обнаружения объектов и изменения их параметров с помощью телевизионной измерительной системы.

Предметом исследования являются разработка и анализ телевизионной измерительной системы с алгоритмами цифровой обработки изображения для создания системы позиционирования в помещении.

Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, технического зрения, распознавания образов, телевизионных измерений, математического анализа и математической статистики. Для практической реализации алгоритмов применялись современные численные методы и методы программирования на языках Matlab и С++.

Научная новизна

Получены следующие новые научные результаты:

- Разработан алгоритм по распознаванию маяков с цветовым кодом на телевизионном изображении.

- Разработан алгоритм по расчету координат телекамеры в системе координат помещения методами телевизионных измерений с использованием модели перспективной проекции.

- Исследовано влияние условий внешнего освещения на работу алгоритма распознавания цветовых маяков.

- Исследовано влияние шума на телевизионную измерительную систему при решении задачи позиционирования в помещении. Практическая значимость

- Предложенный алгоритм предобработки изображения с построением цветовой маски позволяет распознавать маяки с цветовым кодом при сложном фоне, содержащем сходные по оттенку с маяками цвета.

- Предложен алгоритм работы телевизионной измерительной системы для задач позиционирования в помещении на основе модели перспективной проекции, позволяющий достигнуть точности позиционирования 2,8 ± ± 0,6 мм. Точность сравнима с получаемой при использовании лазерных и инфракрасных опорных маяков при значительной экономии временных и материальных ресурсов на этапе реализации системы.

- Проведено усовершенствование алгоритма распознавания маяков для минимизации влияния низкой освещенности сцены и цветовой неоднородности фона. Определены параметры фильтрации: для насыщенности системы HSV: кривизна сигмоида к = 0,3; смещение пороговой точки сигмоида А = 30; для яркости системы HSV: кривизна к = 0,1, смещение Д = 50; для оттенка дисперсия D = 10. Кроме того, определены параметры распознавания маяка: порог разницы в длинах векторов маяка - 10%, максимальный угол между векторами - 7°.

- Получены результаты по влиянию шума на систему позиционирования. ПОСШ работоспособности - 16,6 ± 0,1 дБ.

Разработанные алгоритмы требуют для их практической реализации относительно небольших вычислительных ресурсов, что позволяет использовать их в системах реального времени.

Результаты работы внедрены в разработки ООО «А-ВИЖН», г. Ярославль и ООО «ПАНТЕОН», г. Ярославль. Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им. П.Г. Демидова в рамках дисциплин «Цифровые телевизионные системы» и «Цифровая обработка изображений», а также в научно-исследовательские работы при выполнении исследований в рамках фанта РФФИ №15-08-99639-а и в рамках выполнения государственного задания Минобрнауки России на оказание государственных услуг №1060. Результаты внедрения подтверждены соответствующими актами. Получено свидетельство о государственной регистрации программы для ЭВМ.

Достоверность полученных научных результатов обусловлена применением адекватного математического аппарата, подтверждается их совпадением с результатами работы в реальных условиях и сопоставлением с рядом результатов из литературных источников.

Апробация работы. Результаты работы докладывались и обсуждались на следующих научно-технических конференциях и семинарах:

- 15-я, 16-я и 17-я Международные конференции «Цифровая обработка сигналов и ее применение», Москва, 2013-2015.

- 7-й Всероссийский Форум студентов, аспирантов и молодых ученых «Наука и инновации в технических университетах», Санкт-Петербург, 2013.

- 5-я и 6-я Всероссийская научно-техническая конференция «Техническое зрение в системах управления», Москва, 2014,2015.

- 4-я Всероссийская конференция «Радиоэлектронные средства получения, обработки и визуализации информации», Нижний Новгород, 2014

- 15 -я Всероссийская научно-практическая конференция «Проблемы развития и применения средств ПВО на современном этапе. Средства ПВО России и других стран мира, сравнительный анализ», Ярославль, 2014.

- 9th Open German-Russian Workshop on Pattern Recognition and Image Understanding (OGRW2014), Koblenz, Germany, 2014.

- 16th Conference of Open Innovation Association FRUCT, Oulu, Finland, 2014.

- 13-я Всероссийская научная конференция «Нейрокомпьютеры и их применение», Москва, 2015.

- 17th Conference of Open Innovation Association FRUCT, Yaroslavl Russia, 2015.

Публикации. По теме диссертации опубликовано 22 научные работы, из них 3 статьи в журналах, рекомендованных ВАК для публикации основных научных результатов диссертаций на соискание ученых степеней доктора и кандидата наук, 16 докладов на международных и всероссийских научных конференциях; 2 публикации проиндексированы в SCOPUS; получено свидетельство о государственной регистрации программы для ЭВМ.

4

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 91 наименование. Она изложена на 152 страницах машинописного текста, содержит 71 рисунок и 11 таблиц.

Основные научные положения и результаты, выносимые на защиту

1. Алгоритм предобработки телевизионного изображения, построения цветовой маски изображения и распознавания маяков с цветовым кодом.

2. Алгоритм работы телевизионной измерительной системы для позиционирования в помещении на основе модели перспективной проекции.

3. Усовершенствование работы алгоритма распознавания цветовых маяков в условиях неоднородного цветового фона и изменения освещения. Личный вклад автора. Выносимые на защиту положения предложены и

реализованы автором самостоятельно в ходе выполнения научно-исследовательских работ на кафедре динамики электронных систем Ярославского государственного университета им. П.Г. Демидова.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной темы, сформулированы цель и задачи исследования, изложены основные положения, выносимые на защиту, показаны научная новизна и практическая значимость работы.

В первом разделе рассматриваются существующие системы прикладного телевидения, применяемые в задачах позиционирования и ориентации в помещении. Описывается информативность оптического изображения, в частности, параметры объектов, которые могут быть определены по оптическому изображению: линейные размеры, угловая скорость, координаты, освещенность, яркость, цветовые параметры (например, системы RGB) и др. Приводятся соотношения для определения геометрических параметров объекта (рис. 1): линейный размер - h = h,n / М, где М - масштаб изображения; угловой размер - со = 2arctg (/;„,/ (2/)), или ш = h„J (2/), при/" » hul\ площадь -S = SlrJ / Xf; координаты по горизонтали -Х=Х„, / М= Y tga, и по вертикали - Z = Y,JM= Ytgp и др.

Рис. 1. Формирование оптического изображения объекта

Приводится описание фильтрации телевизионных изображений и рассматривается применение широко используемого фильтра Гаусса:

g(x у) = ехр

2а'

142л с

(О

гДе d - л!(х~хУ +(y-ycY - расстояние пикселя [х, у] от центрального пикселя окрестности [х с, Ус] на выходном изображении, для формирования которого применяется фильтр. Показано преимущество работы в системе цветового пространства HSV по сравнению с распространенной системой RGB и др.

Описан метод аффинных преобразований, применяемый в разработанной системе для перехода из системы координат телекамеры С в мировую систему координат W. Метод аффинных преобразований может быть представлен в виде трёх последовательных действий. 1. Масштабирование, в случае однородности которого одинаковым образом изменяются значения всех координат:

(2)

где л: и у - координаты исходной точки, сх и су - масштабные коэффициенты. 2. Поворот. Примером такого преобразования является поворот точки [.г, у]

"У" ~сх 0 " X ~схх~

0 суУ

X COS в -sin0 X XCOSÖ-J'Sini?

1 .У. sinö COS в ..У_ xsinö+jcosi?

(3)

3. Перенос. Сдвиг точек на заданное расстояние. Это преобразование эквивалентно замене начала координат. В результате преобразования точки [.г, у]

х' "1 0 V X ~X+XQ~

у' = 0 1 УО У = У+УО

1_ О 0 1 1 1

(4)

Во втором разделе представлена методика работы системы позиционирования в помещении по маякам с цветовой кодировкой. Введено понятие такого маяка, который представляет собой комбинацию трех цветных областей, расположенных в непосредственной близости друг от друга на одной линии (рис. 2). На цветовые маяки накладываются следующие ограничения, определяющие работоспособность алгоритма: все три цвета на маяке должны быть визуально хорошо различимы, центры цветных областей должны располагаться на одной прямой и должны быть равноудалены друг от друга; поверхность маяков должна быть матовой (не бликовать).

Приведено описание этапов работы системы позиционирования, работа которой может быть разбита на 6 основных этапов: получение изображения с телекамеры, применение фильтра Гаусса, конвертация изображения из цветовой системы RGB в систему HSV, распознавание цветовых маяков, позиционирование и определение местоположения мобильной роботизированной платформы (МРП).

Представлена структурная схема системы, блок-схема и описание работы алгоритма распознавания цветовых маяков (рис. 3). На этапе классификации пикселей входного изображения применяются гладкие непрерывные функции. Работа ведется с каждым каналом цветовой схемы HSV

п

Рис. 2. Пример цветового маяка

отдельно: для насыщенности и яркости применяется логистический сигмоид с

25 5

варьируемой кривизной к и смещением А: /(*)= — —, (5)

1+ехр(-А(л-т+Д))

для оттенка — гауссов колокол с варьируемой дисперсией D:

/(дг)=255ехр(-

{х-тУ 2D

(6)

где т - значение насыщенности, яркости или оттенка, полученное из заранее заданных цветов, используемых на маяках; х — значение пикселя. Использование плавно изменяющихся функций вместо «пороговых» оправдывается повышением стабильности и устойчивости работы алгоритма. На выходе функции получается три изображения в градациях серого со значениями пикселей от 0 до 255.

На следующем этапе работы алгоритма распознавания три полученные изображения в градациях серого от каждого канала цветового пространства HSV попиксельно усредняются для получения одного изображения, учитывающего все три

характеристики выбранного цвета: оттенка, насыщенности и яркости. Это изображение - «цветовая маска» для одного конкретного цвета, и оно представлено в оттенках серого (рис. 4).

11

Рис. 4. Маска одного из цветов в оттенках серого

Начало

. Получение отфильтрованного HSV изображения

2. Выбор одного цвета маяка для обработки

. Классификация пикселей

Загрузка 3-х каналов HSV цветовой области

4. Построение «цветовой маски»

5. Заливка областей «цветовой маски»

6. Поиск геометрического центра залитой области

Нет

7. Все цвета маяка перебраны?

Да

8. Распознавание маяка

i

9. Завершение работы алгоритма

г

Конец

Рис. 3. Блок-схема алгоритма распознавания маяков

Рис. 5. Распознанные цветные области и их геометрические центры

Рассмотрены различные методы усреднения. Приведены преимущества выбора среднего геометрического взвешенного в качестве усреднения в связи с тем, что при этом способе усреднения учитываются особенности цвета: оттенок берется с большим весом, чем насыщенность и яркость (н-7/ > иг), а последние - с весами, равными: = 2 м>у. х - хн№" ■ х/5 • ху"'г.

После этого на «цветовой маске» определяется пиксель с максимальным значением интенсивности и вокруг него «заливается» область из пикселей, значение интенсивности которых удовлетворяет условию 1<х<хтах+200, где л; - интенсивность данного пикселя, хтт - интенсивность пикселя, с которого начинается «заливка» (интенсивность пикселей нормирована на максимальную величину 255). Далее вычисляются координаты центра каждой залитой области и записываются в память (рис. 5). Этапы со 2 по 6 (рис. 3) повторяются для каждого из заданных цветов, принадлежащих маякам системы.

Описана процедура распознавания маяка, которая связана с анализом обнаруженных цветовых областей. После определения всех возможных центров цветовых областей маяков, находящихся в кадре, вычисляются длины и углы наклона (относительно друг друга) векторов, соединяющих центры залитых областей (рис. 6 и рис. 7).

Далее определяется, какая из найденных комбинаций подходящая: об этом можно судить по разнице в длинах и углах двух векторов, соединяющих три цветовых области маяка. Если эти разности меньше заданного порога, то цветовые области, относящиеся к этим векторам, помечаются как искомый маяк.

Рис. 6. Возможные комбинации векторов Рис. 7. Пример работы алгоритма

распознавания на сложном фоне Представлена блок-схема и описание работы алгоритма позиционирования (рис. 8). Описаны процессы расчета относительных (ОтК) и абсолютных координат (АбК) объектов в помещении, построения относительной и абсолютной карты. Относительная карта представляет собой систему координат телекамеры, на которой точками отмечается местоположение цветных маяков и их ОтК (в системе координат телекамеры). Далее, ОтК маяков вычисляются алгоритмом в декартовой системе координат, исходя из относительного размера маяков на входном изображении. Для вычисления трехмерных ОтК маяков необходимо задать несколько априорных величин - высоту маяка, равную расстоянию между центрами двух крайних цветных областей, угол обзора объектива и разрешение телекамеры.

Приведен вывод формулы, с помощью которой измеряется расстояние от объектива телекамеры до маяка:_

с

Л/2

где Я

Начало

X

3

Получение изображения с распознанными маяками

Угол раскрьша объектива

Определение относительных координат

Высота мажа ! Разрешим е !

Абсолютные координаты маяков

Преобразование относительных координат в абсолютные

X

Методы преобразования

Построение абсолютной карты с координатами камеры

X

Анализ текущего положения камеры в помещении

С

х

Конец

3

2) кри - разрешение (число пикселей)

изображения по

высоте в пикселях; Ир/Х— относительная

высота маяка в пикселях, измеренная по входному

изображению; к — реальная высота

маяка, м; ц> - угол

обзора объектива, градус' с1 — Рис- Блок-схема алгоритма позиционирования

расстояние камера-маяк, м. Расстояние с1 - это ОтК у рассматриваемого маяка.

Также описан расчет ОтК х иг.

Приведено описание по переходу от ОтК маяков к АбК. Для этого в системе рассматриваются два метода - метод аффинных преобразований (МАП) и метод градиентного спуска (МГС). Данные преобразования позволяют перейти из системы координат телекамеры в мировую систему координат. Благодаря априорно заданным трём координатам для каждого маяка, путем преобразования относительных координат, определяются реальные координаты телекамеры (МРП). По результатам строится абсолютная карта - изображение с планом помещения или пространства, по которому движется автономная МРП. К ней жестко «привязывается» декартова система координат.

Описана настройка параметров фильтрации для усовершенствования алгоритма распознавания цветовых маяков. Для части алгоритма, отвечающей за цветовое обнаружение, найдены адекватные параметры, позволяющие усовершенствовать работу алгоритма в условиях изменения освещенности. В частности, установлен вид кривых обнаружения по оттенку (гауссов колокол) и насыщенности, яркости (два логистических сигмоида).

Значение варьируемой дисперсии для формулы (5) определено, как 0=10. Для функции логистического сигмоида, которая применяется для насыщенности, в формуле (6) определены значения: кривизна логистического сигмоида к = 0,3; смещение пороговой точки на логистическом сигмоиде А = 30. Для яркости определены отличные от насыщенности условия, поскольку данный канал Н5У-пространства меньше всего влияет на цветность: кривизна логистического сигмоида к = 0,1; смещение пороговой точки А = 50 (рис. 9).

Для второй части алгоритма, отвечающей за распознавание маяков, определены такие значения порогов для расстояний между цветными областями и углами между векторами, соединяющими их, которые позволяли максимально снизить вероятность ложных распознаваний, тем самым позволяя сохранить

9

работоспособность алгоритма распознавания маяков при наличии неоднородного разноцветного фона. Установлено, что пороговой разницей между длинами векторов Ут и У^ (рис.6) является значение в 10%, а пороговым углом СО между векторами установлено значение в 7°.

300 250

Щ 200

g

0 150

1

£ loo

I

50

О -

0 50 100 150 200 250 "0 50 100 150 200 250

Значение насыщенности цветовой модели HSV Значение яркости цветовой модели HSV

(а) (б)

Рис. 9. Вид логистического сигмоида с настроенными параметрами: а) для насыщенности; б) для яркости

В третьем разделе представлены исследования разработанной системы позиционирования. Исследовано влияние параметров освещения на работу алгоритма распознавания маяков. Рассмотрен анализ пространственных параметров, влияющих на работу алгоритма распознавания. Проанализирована работа алгоритма позиционирования, оценена стабильность и точность его работы. Приведена оценка производительности системы позиционирования.

При исследовании алгоритма распознавания цветовых маяков установлено, что на точность определения относительных координат влияет точность определения геометрического центра маяка С на входном телевизионном изображении, который определяется в пикселях. Поэтому показателем качества для большинства исследований выбрана дисперсия координат геометрического центра маяка, измеряемая в пиксель2. Исследована зависимость уровня распознавания (в %) от различных условий и параметров.

Описаны опыты по исследованию влияния типа внешнего освещения на работу алгоритма распознавания маяков, в котором для освещения сцены использованы: прямые солнечные лучи, естественное освещение в облачную погоду, лампа накаливания, люминесцентная лампа холодного белого цвета и ртутная кварцевая лампа. Для всех источников света алгоритм сохранил свою работоспособность с различными значениями дисперсии и средним уровнем распознавания 97%.

Рассмотрено влияние уровня освещенности на работу алгоритма распознавания маяков. Установлены причины нарушения работоспособности алгоритма, определен порог работоспособности по уровню освещенности, который составил 22 лк.

Описаны исследования алгоритма на зависимость способности распознавания маяка от угла поворота маяка, рассмотрены результаты исследования влияния расстояния между камерой и маяком на алгоритм

10

Пороговая функция _JTo гнстнч ескнн сигмоид

распознавания. Приведены исследования влияния скорости движения маяка в кадре (опыты проведены для исследования угловой скорости маяка).

Приведены результаты экспериментов по определению точности определения абсолютных координат (точности позиционирования). Исследовались два метода преобразования координат: МАП и МГС, при попадании в кадр 2-х и 3-х маяков. На рис. 10 приведены гистограммы отклонений расчетных АбК камеры от истинных для двух методов преобразования координат (построены по результатам всех опытов при 3-х маяках в кадре).

Метод аффннньк преобразований

Метод градиентного спуска

Опотонетше х от нет. тн., см

Откпоненнеу от ист. '¡п., см

Метод градиентного спуска

Рис. 10. Отклонение координат камеры от истинных значений при использовании грех маяков

При ориентации по двум маякам, находящимся в кадре, и использовании метода аффинных преобразований отклонение абсолютных координат камеры от истинных составило 4,2 ± 0,7 мм. При схожих условиях работы и использовании метода градиентного спуска отклонение - 6,1 ± 1,0 мм. При наличии трёх маяков в кадре телекамеры данные значения в среднем составили 2,8 ± 0,6 мм и 3,1 ± 0,7 мм соответственно.

Описано исследование производительности системы позиционирования. При исследовании алгоритма позиционирования проведены эксперименты по определению его производительности. За основной параметр взята частота кадров выходной видеопоследовательности (на входе алгоритма частота 30 кадр/с). Результаты исследования приведены в табл. 1.

Таблица 1. Производительность системы

3 маяка 2 маяка 1 маяк

Метод аффинных преобразовании 10.2 кадр/с 13.7 кадр/с 24.4 кадр/с

Метод градиентного спуска 10.1 кадр/с 13.5 кадр/с

Установлено, что показатели производительности алгоритмов позволяют системе работать в режиме реального времени, что является важным фактором для автономного функционирования МРП.

В четвертом разделе рассмотрены результаты исследования по влиянию шумов различного типа на работу системы позиционирования. Описаны причины возникновения шумов в системе прикладного телевидения, предназначенной для системы позиционирования. Для исследования влияния шума на предложенный алгоритм позиционирования исследованы следующие модели шумов: аддитивный белый гауссовский шум (АБГШ) -ё (х, у) =/(х, у)+ф, у), где /(х, у) - исходное изображение, г](х, у) -независящий от сигнала АБГШ: мультипликативный шум:

8 (х> У) ~1(х, У)'П(х, У) ~ Ц(х,у) - мультипликативный шум, зависящий от исходного сигнала изображения; шум «соль и перец»: Ш (х, У) = (1 ~р)/(х, у)+р-Нх, у), где 1(х, у) — модель импульсного шума, р — бинарный параметр со значениями 1 и 0, который отражает максимальные и минимальные значения пикселя - «соль» и «перец». Описан ход проведения исследований по влиянию шума. При проведении эксперимента на видеопоследовательность отдельно накладывались все три вида шума с различной интенсивностью. Снимались значения ПОСШ и дисперсии абсолютных координат камеры. По полученным данным построены соответствующие графики (рис. 12). Исследования проведены отдельно для двух методов преобразования координат: МАП и МГС. Для сравнения полученных результатов построена табл. 2.

Дисперсия в зависимости от шума (2 маяка)

Рис. 12. Зависимость дисперсии абсолютных координат телекамеры от шума при использовании МАП и распознавании двух маяков

Проведен анализ полученных данных. Установлено, что при увеличении количества маяков в кадре ситуация качественно не изменяется и устойчивость к влиянию шума существенно не увеличивается. Следовательно, для повышения устойчивости алгоритма к влиянию шума использование четырех и более маяков для позиционирования нецелесообразно, поскольку это приведет в большей степени к понижению производительности алгоритма.

Таблица 2. Границы работоспособности алгоритмов

Кол-во маяков

Метод преобразования

МАП

МГС

МАП

МГС

Гауссов шум (ПОСШ/дисперсия определения центра)

16 дБ/0.073 пике2

16 дБ/0.38 см2

16 дБ/0.39 см~

16.3 дБ/0.34 см2

16.6 дБ/0,33 см2

Мультипликативный (ПОСШ/ дисперсия определения центра)

15,1 дБ / 0,22пикс2

15.1 дБ/0.35 см2

14.9 дБ/0.064 см2

15.1 дБ/0,33 см2

15.9 дБ / 0.062 см2

«Соль и перец» (ПОСШ/ дисперсия определения центра)

7,8 дБ / 1.2пикс2

8.3 дБ / 9.6 см2

8,6 дБ /1,2 см2

8.3 дБ / 9.7 см2

9.1 дБ/0.9 см2

Выяснено, что алгоритм наименее устойчив к влиянию гауссова шума и при уровне ПОСШ ниже 16,6 ±0,1 дБ теряет свою работоспособность. При влиянии мультипликативного шума границей работоспособности является уровень 15,9 ± 0,1 дБ. Наиболее низкий порог работоспособности алгоритм показал при воздействии на него шума «соль и перец» - 9,1 ±0,1 дБ при распознавании трёх маяков. Причем, высокая устойчивость к воздействию шума «соль и перец» сопровождается резким возрастанием дисперсии абсолютных координат камеры. Значение дисперсии на пороге работоспособности более чем на порядок превышает среднее значение дисперсии при различных уровнях ПОСШ.

Сравнение результатов работы алгоритмов преобразования координат показывает, что при использовании МГС система ведет себя более стабильно и показывает низкие значения дисперсии определения координат в сравнении с результатами при использовании МАП.

В заключении подводятся итоги выполненной работы. В приложении приведены копии актов о внедрении результатов работы и свидетельства о государственной регистрации программы для ЭВМ.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Предложены алгоритмы обработки изображений для задач позиционирования МРП в помещении с использованием прикладной телевизионной системы. Позиционирование происходит по маякам с цветовым кодом.

2. Разработан алгоритм распознавания маяков с цветовым кодом методами цифровой обработки телевизионных изображений, способный работать в условиях неоднородного фона и при изменении освещенности.

3. Разработан алгоритм позиционирования в помещении по маякам с цветовой кодировкой на основе телевизионной измерительной системы. Действие алгоритма основано на модели перспективной проекции. Данный подход позволяет достигнуть точности позиционирования порядка 2,8 ± 0,6 мм. Точность сравнима с получаемой при использовании лазерных и инфракрасных опорных маяков при значительной экономии временных и материальных ресурсов на этапе реализации системы.

4. По результатам исследования проведено усовершенствование алгоритма распознавания маяков для минимизации влияния низкой освещенности сцены и цветовой неоднородности фона. Определены параметры фильтрации: для насыщенности системы HSV - кривизна сигмоида к = 0,3; смещение пороговой точки сигмоида А = 30; для яркости системы HSV -кривизна к = 0,1, смещение А = 50; для оттенка - дисперсия D = 10. Определены параметры распознавания маяка: порог разницы в длинах векторов маяка - 10%, максимальный угол между векторами - 7°.

5. Исследовано влияние различных типов внешнего освещения на работу алгоритма распознавания маяков. Для исследования использованы пять различных типов освещения. Для всех источников света алгоритм сохранил свою работоспособность при среднем уровне верного распознавания 97%.

Исследовано влияние уровня освещенности на работу алгоритма распознавания маяков. При проведении исследований определен порог работоспособности на уровне освещенности в 22 люкса. Исследована зависимость работы алгоритма распознавания от угла поворота маяка. Причиной потери работоспособности алгоритма является понижение относительной площади цветовой области маяка на входном изображении ниже порогового значения в 100 пикселей. Данный порог устанавливается для фильтрации изображения от ложных срабатываний на мелкие цветовые области фона.

Исследована зависимость работы алгоритма распознавания от расстояния между телекамерой и маяком. При разрешении телекамеры 640x480 и размере стороны квадратной цветовой области 1 см максимальное расстояние составило 1,81 м, что подтвердило теоретические расчеты. При изменении размера цветовой области маяка до 10 см максимальное расстояние увеличивается до 16 м при таком же разрешении. При тех же условиях, но с разрешением РиПНЭ (1920x1080), максимальное расстояние работы системы увеличивается до 48,03 м.

Исследовано влияние скорости движения маяка на работу алгоритма распознавания. Установлено, что алгоритм работает надежно при угловой скорости ниже 25 °/с, при скоростях выше этого значения распознавание происходит нестабильно, а при скорости выше 35 % алгоритм теряет свою работоспособность.

Исследована точность работы алгоритма позиционирования. Максимальная точность достигнута при использовании метода аффинных преобразований и при ориентации по трем опорным маякам - отклонение абсолютных расчетных координат от истинных - 2,8 ± 0,6 мм. При работе по двум маякам - 4,2 ± 0,7 мм.

Исследования производительности показали сильное снижение частоты кадров выходной видеопоследовательности с увеличением количества маяков в кадре: 1 маяк - 24,4 кадр/с, 2 маяка - 13,7 кадр/с, 3 маяка -10,2 кадр/с при условии входной частоты кадров в 30 кадр/с. Показатели производительности алгоритмов позволяют системе работать в режиме реального времени.

Исследовано влияние шума на работу алгоритма позиционирования. Из анализа полученных результатов установлено, что количество маяков в кадре телевизионного изображения практически не влияет на устойчивость системы к влиянию шумов. Алгоритм показал наибольшую устойчивость к влиянию шума «соль и перец» - порог работоспособности при ПОСШ 9,1 ± 0,1 дБ. Наименьшая устойчивость зафиксирована при влиянии гауссовского шума - порог ПОСШ 16,6 ± 0,1 дБ.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в журналах из перечня ВАК" 1. Тюкин А.Л., Лебедев И.М., Приоров А.Л. Разработка и оценка качества работы алгоритма цифровой обработки телевизионных изображений для

задач позиционирования в замкнутом пространстве // Нелинейный мир.

2014. Т. 12, № 12. С. 26-30.

2. Лебедев И.М., Тюкин А.Л., Приоров А.Л., Разработка и исследование системы навигации внутри помещений для мобильного робота с возможностью детектирования препятствий // Информационно-измерительные и управляющие системы. 2015. Т. 13, № 1. С. 53-61.

3. Лебедев И.М., Тюкин А.Л., Приоров А.Л., Прозоров A.B. Адаптивная система прикладного телевидения определения препятствий на подстилающей поверхности для мобильной роботизированной платформы // Электромагнитные волны и электронные системы. 2015. № 5. С. 64-69.

Материалы российских и международных конференций

4. Тюкин А.Л. О скорости цифровой обработки телевизионного изображения для алгоритма позиционирования в помещении // Доклады международной конференции «Радиоэлектронные устройства и системы для инфокоммуникационных технологий-2015». М., 2015. С. 300-304.

5. Prozorov A., Tyukin A., Lebedev I., Priorov A. Self-localization of mobile robot in unknown environment // Open Innovations Association (FRUCT17),

2015. 17th Conference of, vol., no., pp. 173-178, 20-24 April 2015, doi: 10.1109/FRUCT.2015.7117989.

6. Tyukin A., Lebedev I., Priorov A. The development and research of the indoor navigation system for a mobile robot with the possibility of obstacle detection // Open Innovations Association (FRUCT16), 2014. 16th Conference of, vol., no., pp. 1 15-122, 27-31 Oct. 2014, doi: 10.1109/FRUCT.2014.7000939.

7. Тюкин А.Л., Брюханов Ю.А. Алгоритм позиционирования в помещении по изображению телевизионной прикладной системы с использованием цветовых маяков // Перспективные технологии в средствах передачи информации: Материалы 11-й международной научно-технической конференции / Владим. гос. университет; редкол.: А.Г. Самойлов (и др). Владимир: ВлГУ, -2015.

8. Лебедев И.М., Приоров А.Л., Тюкин А.Л. Анализ алгоритмов обработки телевизионного изображения для задач позиционирования и беспрепятственного передвижения мобильного робота в помещении // Доклады 17-й международной конференции «Цифровая обработка сигналов и ее применение» (DSPA-2015). Москва. 2015. Т. 2. С. 605-609.

9. Тюкин А.Л. Исследование динамических характеристик телевизионной системы позиционирования в помещении // Сборник трудов Международной конференции «СИНХРОИНФО 2015». СПб. 2015.

10. Lebedev I., Tyukin A., Prozorov A., Priorov A. The Development of the Obstacle Detection Monocular TV System in Virtual Environment for a Mobile Robot // 17th Conference of Open Innovations Association FRUCT: Publishing house of Research University of Information Technologies, Mechanics and Optics "ITMO", Saint-Petersburg, Russia. 2015. 388 p.

11. Tyukin A., Lebedev I. The Development and Research the Digital Image Processing Algorithm on Television Picture for Indoor Positioning // Paulus D.,

Fuchs С., Droege D. (eds.) 9th OGRW 2014 on Pattern Recognition and Image Understanding, Electronic on-site Proceedings, Germany, 2014.

12. Тюкин A.JI., Лебедев И.М. Проверка производительности алгоритма цифровой обработки изображений для позиционирования мобильного робота в помещении // Распознавание-2015: сб. материалов XII Междунар. науч.-техн. конф. / редкол.: B.C. Титов и др.; 2015. С. 378-381.

13. Тюкин А.Л., Лебедев И.М., Приоров А.Л., Анализ алгоритмов навигации и беспрепятственного передвижения автономных мобильных роботов в ограниченном пространстве // Доклады 16-й междун. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2014). М., 2014. С. 614-618.

14. Прозоров A.B., Приоров А.Л., Тюкин А.Л., Лебедев И.М. Метрики различий в локальной задаче вычисления стереосоответствий в системах реального времени при высокой зашумленности изображения // Доклады. Серия: Научные всероссийские конференции (выпуск III) РНТОРЭС им. A.C. Попова, М., 2013. С. 254-256.

15. Тюкин А.Л., Лебедев И.М., Приоров А.Л. Анализ телевизионного изображения для работы системы позиционирования мобильного робота в помещении по маякам с цветовой кодировкой // Тезисы научно-технической конференции «ТЗСУ-2015». М., 2015. С. 77-78.

16. Лебедев И.М, Приоров А.Л, Тюкин А.Л. Разработка и анализ монокулярной системы детектирования препятствий для мобильной роботизированной платформы // Тезисы научно-технической конференции «ТЗСУ-2015». Москва. 2015. С. 32-33.

17. Тюкин А.Л. Анализ цифрового изображения с телекамеры для определения местоположения мобильной платформы //XIII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М, ГБОУ ВПО МГППУ, 2015. С. 58-59.

18. Прозоров A.B., Приоров А.Л, Тюкин А.Л, Лебедев И.М. Оценка траектории движения мобильного робота в задаче одновременной локализации и построения карты пространства с применением монокулярного зрения // XXI Междунар. науч.-тех. конф. «Радиолокация, навигация, связь». Воронеж. 2015. С. 1240-1249.

19. Тюкин А.Л, Лебедев И.М. Исследование качества работы алгоритма навигации, использующего оптический канал передачи данных // Сборник трудов Международной научно-технической конференции «СИНХРОИНФО 2014». Воронеж. 2014. С. 54-56.

20. Лебедев И.М, Тюкин А.Л. Разработка и анализ алгоритма распознавания препятствий на основе цветовой информации // Оптика-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание - 2015: сб. материалов XII Междунар. науч.-техн. конф. / редкол.: B.C. Титов (отв.ред.) [и др.]; Юго-Зап. гос. ун-т. Курск. 2015. С. 211-213.

21. Лебедев И.М, Тюкин А.Л. Виртуальная среда для тестирования и исследования алгоритмов компьютерного зрения // Наука и инновации в

технических университетах: материалы 8-го Всероссийского форума. -СПб: Изд-во Политехи, ун-та, 2014. 160-163 с.

Свидетельство о государственной регистрации программы для ЭВМ 22. Тюкин А.Л., Лебедев И.М., Приоров А.Л. 1СВ-РозМопищ - система позиционирования в помещении// Свидетельство о государственной регистрации программы для ЭВМ № 2015618779 от 18 августа 2015 г.

Подписано в печать «20» октября 2015 г. Формат 60x84 1/16. Тираж 100 экз.

Ярославский государственный университет 150000, Ярославль, ул. Советская, 14.