автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Разработка методов и алгоритмов обработки данных систем машинного зрения в реальном масштабе времени

На правах рукописи

КРУПЕННИКОВ ИЛЬЯ ВЛАДИМИРОВИЧ

Разработка методов и алгоритмов обработки данных систем машинного зрения в реальном масштабе времени

Специальность 05.13.15 - Вычислительные машины, комплексы и компьютерные сети

4849794

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва-2011

1 6 И ЮН 2011

4849794

Работа выполнена на кафедре «Информационные технологии» в Московском авиационном институте (государственный технический университет).

Научный руководитель: доктор технических наук, профессор

Шаронов Анатолий Васильевич

Официальные оппоненты: доктор технических наук, профессор

Митрофанов Сергей Александрович

доктор физико-математических наук, профессор Михайлюк Михаил Васильевич

Ведущая организация: Федеральное государственное унитарное

предприятие «Государственный центр системных исследований», г. Москва

Защита состоится «28» июня 2011 г. в 12 часов на заседании диссертационного совета Д 212.133.03 в Московском государственном институте электроники и математики (техническом университете) по адресу: 109028, Москва, Б. Трехсвятительский пер., д. 3.

С диссертацией можно ознакомиться в библиотеке МИЭМ (ТУ). Автореферат разослан «Х7» гонг.

Ученый секретарь диссертационного совета, доктор технических наук, доцент

Ю.Л. Леохин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы В последние годы увеличилось число задач, относящихся к различным областям, таких как авиационные комплексы, интеллектуальные робототехнические комплексы, комплексы дистанционного зондирования и системы автоматического управления движущимися объектами, требующих автоматизации обработки визуальной информации, осуществляемой цифровыми вычислительными машинами. Для решения этих задач создаются системы обработки визуальной информации. Их проектирование в настоящее время является сложной и актуальной проблемой. Одним из основных направлений создания таких систем является построение наземных бортовых видеоинформационных комплексов, предназначенных для оценки местоположения движущихся объектов.

Функционирование наземных подвижных комплексов, в целях надежности выполнения поставленной задачи, не должно быть автономным, однако возникают задачи, когда принятие решений следует осуществлять, непрерывно анализируя большой массив информации. Для таких целей должны использоваться бортовые системы, автономно функционирующие в реальном масштабе времени.

Характерной чертой существующих бортовых систем является обработка видеоинформации, позволяющая получать сведения о геометрии препятствий (координаты вершин и координаты нормалей), с дальнейшей привязкой их к текстурным координатам изображения. Требование обработки в реальном масштабе времени играет важную роль при использовании результатов в формировании законов управления подвижными объектами.

Другой характерной чертой существующих видеоинформационных систем является наличие в их составе устройств специального подсвета, облегчающего извлечение информации из изображений. Однако такие устройства преимущественно используются на стационарных комплексах.

В этой связи актуальной является постановка и решение задачи обработки данных видеоинформациоиной вычислительной системы, что при достаточном быстродействии позволит обеспечить задачу формирования управляющих сигналов в реальном масштабе времени. Решение такой задачи требует нахождения новых подходов.

Целью диссертации является повышение эффективности видеоинформационной вычислительной системы машинного зрения, позволяющей осуществлять в реальном масштабе времени оценку местоположения подвижного объекта относительно препятствий на подстилающей поверхности.

Для достижения поставленной цели решены следующие задачи:

• разработана структура многомодульной высокопроизводительной вычислительной системы обработки данных стереоизображений в реальном масштабе времени по информации, получаемой с двух видеодатчиков;

• разработан многоэтапный алгоритм функционирования модуля стереоотождествления изображений;

• разработан алгоритм функционирования модуля определения трехмерных координат точек, задающих образ препятствий;

• разработан алгоритм функционирования модуля вычисления оценки местоположения препятствий на подстилающей поверхности относительно видеоинформационной системы объекта;

• создан метод формирования данных о появлении препятствий в области подстилающей поверхности.

Методы исследований. В работе использовались теоретические и экспериментальные методы исследования.

Теоретические методы основаны на методах теории компьютерного зрения, математической обработки изображений, цифровой фотограмметрии, корреляционной теории, математической статистики, теории оптимизации и функционального анализа, основы которых были заложены в работах Желтова С.Ю., Красилыцикова М.Н., Себрякова Г.Г., Визильтера Ю.В., Путятина Е.П., Форсайта Д.А. и др.

Экспериментальные методы исследования базировались на положениях теории статистического и полунатурного моделирования.

Научная новизна диссертации состоит в том, что в ней впервые решается задача построения трехмерной модели изображения подстилающей поверхности корреляционными методами с подвижной платформы, снабженной видеоинформационной системой, в реальном масштабе времени. При этом система располагает лишь двумя ПЗС-камерами и вычислительным модулем и не использует устройств специального подсвета, облегчающих извлечение информации из изображений, которые входят в состав стационарных комплексов технического зрения. Также система способна производить обнаружение всех находящихся в зоне наблюдения, протяженностью от 5 до 150 метров и шириной до 10 метров, подвижного средства препятствий, рассчитывая расстояние до них и вычислять их положение относительно подстилающей поверхности с точностью до 8 мм.

Практическая ценность рез ультатов диссертации заключается в создании алгоритмического и программного обеспечения модулей видеоинформационной вычислительной системы, входящих в состав систем оперативного получения информации о наблюдаемой местности.

Достоверность результатов проведенных исследований подтверждена большим объемом математического и полунатурного моделирования на серии тестовых изображений, полученных со стереосистемы, установленной на подвижной платформе.

Внедрение результатов работы

Результаты, полученные в диссертационной работе, были использованы при выполнении:

• НИР «Скорость», по Федеральной целевой программе «Национальная технологическая база» (раздел «Информационные технологии»),

• НИОКР «Топаз», по заказам ФГУП «МНИИ Интеграл» и Правительства г. Москвы,

• НИОКР «Создание программно-аппаратных средств для обучения контролеров навыкам идентификации личности», по заказу ПНИЦ ФСБ России,

• НИР «Формат», «Монитор», «Калибр».

Также, алгоритмы функционирования модулей использовались в составе систем безопасности подвижных средств для оценки их собственного положения и

обнаружения препятствия и при решении задач контроля геометрических характеристик изделий, в реальном масштабе времени, в системах автоматизации производственных процессов.

На защиту выносятся:

1. Результаты разработки алгоритмического и программного обеспечения многомодульной высокопроизводительной вычислительной системы обработки данных стереоизображений, включающие:

- многоуровневый алгоритм функционирования модуля быстрого стереоотождествления снимков, на основе яркостного и градиентного представлений изображений с пирамидальной структурой,

- алгоритм функционирования в реальном масштабе времени модуля, построения облака точек подстилающей поверхности.

2. Метод формирования области нахождения препятствий относительно видеоинформационной системы и заданной подстилающей поверхности.

Апробация работы. Основные результаты работы докладывались на следующих конференциях:

Конференция РОФДЗ МИИГАИК «Фотограмметрия в задачах получения и управления данными», Москва, декабрь 2005 г.

Конференция молодых специалистов ГосНИИАС, Москва, февраль 2006г.

XIV международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации» Алушта, сентябрь 2005г.

XV международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, сентябрь 2006г.

XVI международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, сентябрь 2007г.

Вторая международная Российско-китайская конференция "Проектирование аэрокосмической техники" г.Москва 2007г.

Всеросийская выставка «Системы машинного зрения», Москва, февраль 2008г.

Выставка VIT Expo 2008 "Машинное зрение и системы обработки изображений и системы автоматической идентификации", Москва, март 2008г.

Всеросийская выставка «Системы машинного зрения», Москва, февраль 2008г.

Международный научно-технический семинар "Визуальный компьютинг в фундаментальной науке и академических исследованиях", Москва, 2009г.

Публикации. По теме диссертационной работы опубликовано 13 печатных работ, в том числе две статьи в издании из Перечня ВАК. Общий объем печатных работ - 12 печатных листов, в том числе личный вклад - 6 печатных листов. Результаты исследования отражены в отчетах по НИР.

Объем и структура работы. Диссертационная работа состоит из введения, четырех разделов, выводов и списка литературы из 90 наименований. Общий объем 134 страницы, 3 таблицы, 57 рисунков.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационного исследования, кратко характеризуется состояние проблемы, сформулированы цели и задачи исследования, научная новизна и практическая ценность полученных результатов, приведены основные положения, выносимые на защиту.

В первой главе проведен анализ состояния проблемы и обоснована актуальность направления исследований. Результаты этого анализа показали, что для её решения необходимо разработать видеоинформационную вычислительную систему, определяющую трехмерные координаты точек препятствий в зоне наблюдения со скоростью, которая позволит обеспечить задачу движения в реальном масштабе времени. Задача построения такой видеоинформационной вычислительной системы требует создания алгоритмов функционирования модулей для быстрой обработки данных. Представлена структурная схема разрабатываемой вычислительной системы оценки местоположения движущегося объекта по последовательности стереоизображений, которая отличается от взятой за основу существующей системы, наличием дополнительных блоков.

Во второй главе сформулирована задача стереоотождествления точек снимков, которая является одной из основных в разрабатываемой видеоинформационной системе. Для решения этой задачи создаются алгоритмы (удовлетворяющие возможностям выбранных аппаратных средств), осуществляющие обработку информации для поиска искомой точки на изображениях со скорость, позволяющей решать задачу в реальном масштабе времени (рис. 1).

Рис. 1. Место задачи стереоотождествления в общей схеме определения местоположения подвижной платформы относительно подстилающей поверхности

Для их формирования были решены несколько задач, возникающих при стереоотождествлении двух изображений, при этом выбор метода решения производился по результатам анализа реальных изображений подстилающей поверхности, и с учетом основных факторов, затрудняющих стереоотождествление:

• наличие на изображениях областей с малой вариацией яркости,

• возникновение при съемке поверхности объектов под разными углами существенных яркостных различий изображений стереопары,

• возникновение, вследствие потенциально сложного рельефа подстилающей поверхности, существенных геометрических искажений.

Разработанный многоэтапный алгоритм стереоотождествления на начальной стадии редуцирует изображение, уменьшая размер исходного изображения по вертикали и горизонтали.

Алгоритм функционирования модуля стереоотождествления, после получения первой пары изображений с левой и правой камеры, производит масштабирование изображений для построения пирамиды. Использование пирамидальной структуры изображения на этапе работы модуля стереоотождествления точек левого снимка на

правом, позволяет осуществлять поиск стереосоответствия на изображении, которое составляет 1/20 от исходного (5%) (размер верхнего уровня при разрешении камеры 640x480 пикселей будет составлять 40x30 пикселей).

Количество уровней пирамиды определяется детализацией изображения, на которых функционирует алгоритм определения стереосоответствия точек, причем на каждом последующем уровне изображение уменьшается в 2 раза. При выбранном количестве уровней пирамиды осуществляется быстрый переход на другой уровень, при этом обработка проводится только в области поиска этой точки. Каждая ячейка (пиксель) изображения на более высоком уровне пирамиды изображений преобразуется в четыре, увеличиваясь вдвое по оси X и вдвое по оси_у.

Поиск характерной точки изображения с левой камеры на изображении с правой камеры проводится по 5 уровням пирамиды:

1-й уровень - 40x30 пикселей

2-й уровень - 80x60 пикселей

3-й уровень - 160x120 пикселей

4-й уровень - 320x240 пикселей

5-й (исходный) уровень - 640x480 пикселей.

Для нахождения стереосоответствия точек левого снимка точкам правого снимка осуществляется процедура корреляционного стереоотождествления точки снимка с использованием яркостных признаков. Чтобы найти некоторый пиксель (ячейку) Р левого изображения с координатами (хр,ур) на правом изображении, вся область перекрытия правого изображения должна быть проверена на наличие пикселя Р.

Каждая точка прямоугольной области поиска на правом изображении выбирается в качестве центра изображения, которое сравнивается с выбранным участком на левом изображении, при этом мера сходства задается корреляционной функцией

к(х,у)-

_(*о0_

N1/2/ N,1/2

\

(*,У)

где

(хь координаты центра выбранной прямоугольной области на левом

изображении;

> У я ) ■ координаты центра прямоугольной области, выбранной на правом изображении;

- функция яркости выбранной прямоугольной области на левом изображении;

+ Хя,у + уд) - функция яркости на искомом (правом) изображении;

Я = "^тах' Ушш ~Уя~ Углах} " Прямоугольная область

поиска на правом изображении;

N- количество ячеек в выбранной области левого изображения,

v={-Xv(x + xL>y + yL)>' g=-jj1Zg(x + xR>y + yR)-средние

Я (х.У) N (*.У)

значения яркостей.

Значения искомых координат (^.Уд), при которых корреляционная функция достигает максимума, являются решением экстремальной задачи

(4» Ук) = ar8 тах к(хн> Ул)

xR<yR£R

Её решение может быть найдено методом субпиксельной корреляции, разработанным Желтовым С.Ю. и Себряковым Г.Г.

Однако, для решения поставленной задачи, в диссертационной работе использован и метод наименьших квадратов, который эквивалентен методу субпиксельной корреляции и, кроме того, он позволяет ещё и вычислять ковариационную матрицу оценки параметра сдвига левого изображения относительно правого, которая характеризует степень достоверности полученного результата.

Пусть координаты любых точек, принадлежащих выбранной области в системах координат левого снимка ОХу и правого снимка Oj,Xi,yi связаны преобразованиями Ф и У с точностью до неизвестного параметра h

х, = ф(х, у, И),

yt=V(x,y,h), (1)

где h - неизвестный векторный параметр, задающий начало системы

координат ; xi > Уi в системе координат 0ХУ.

Этот вектор определяется значениями горизонтального и вертикального

сдвигов, которые последовательно принимают все значения (XRi > Ущ) из допустимого диапазона, которые необходимо определить

XRm\n ~ XRl ~XRmm, XRi = XRmin + Z ' ^R ,

УÄmin ^ yRj ^ Уяmax , Уя, = УЯтin + j ' AFr ,

Заметим, что в идеальных условиях, в отсутствии геометрических и яркостных искажений

v0y) = g(x.,y.)i Х= хь У= УI

Однако, в реальных условиях, в предположении о независимости геометрических и яркостных искажений левого и правого изображений

v{x, = wg(x, ,yt) + е(х, у) + Ь,

М? ,Ъ - мультипликативный и аддитивный параметры яркостных искажений, б(х,у) еЫ(0, сге) - аддитивный гауссовский шум,

.У) - функция яркости выбранной прямоугольной области на левом изображении,

ё(х1 'У:') - функция яркости на искомом (правом) изображении.

В качестве меры сходства двух изображений принимается квадрат длины вектора невязки

я = Е^'^)-^^.'^))2-

Тогда задача поиска оценок неизвестных координат центров пикселей правого изображения, сводится к стандартной задаче метода наименьших квадратов

(*;,>>;)=агётт - ^(х,^,))2 {2)

Для учета искажения формы участков в качестве (1) используется аффинное преобразование вида

Ах, = Ах,., + Ахах + Дг,.3 у, АУ/ = АУп + + ДУ/з З'»

где

ОЛ и

Ау,

- приращение областей искажения изображения,

Дхп, Ахп, Ахп, Ауп, Ау¡2, АУп . неизвестные параметры аффинного преобразования, образующие вектор

(Ахп, Аха,Лх,з, А^п, Ауа, Ауп)т .

Для определения неизвестных параметров обозначим ё (х, у) распределение яркости на участке правого изображения, а его положение пусть задается начальным вектором линейного преобразования с принятыми координатами

(Дхя,1ДДуЛД1)г.

Линеаризуем функцию £ (^.У/) в окрестности точки (Х>У) . Тогда ё (хр у, ) примет следующий вид

8\х„у,)» г' + + 8'ххАх,г + 8хуАхв +

+ ё'уАУп + ё"ухАуп + ¿ууАув

(х,,Уi)«wg' + + ё'*хАхп + ё'хУАхв + + з'у&Уп + 8'ухАуп + ¿ууЬуа =ётк

= g*, уё'Х

кт = (к, м>Ахп, м>Аха, \\>Ахп, м>Ауп, ыАуп, м>Ауп).

В функциях g аргумент для простоты написания упущен.

В матричной форме уравнение измерений имеет вид

=СИ + е,

где

У0Т = (V],У2,...,Уд,) - вектор наблюдений, ет = (е1,е2,...,еи) - вектор ошибки,

Ст =

(ёи ёп • ■ ё1256

ё21 ёи • ■ ёг25в

&31 ёъг • • &3256

&41 §42 • ёл256

§51 ё52 • ■ §5256

ёб1 ёб2 ■ ё6256

ёу2 • §1256)

- матрица измерении.

МНК-оценкой для к является оценка вида

Л = (СгСГ'Сгу0.

При этом точность оцениваемого параметра /г определяется ковариационной матрицей

К,=а20(СтСГ\

где

д ч

И-п

- апостериорная оценка дисперсии,

<7 — СИ — У0 _ оценка вектора невязки,

п = 1 - число параметров, Для уточнения координаты найденной точки, разработанный алгоритм функционирования модуля стереоотождествления осуществляет сравнение значений яркостей для каждой ячейки области поиска левого изображения {аи,Ьц) из областей поиска правого изображения (а^Ьщ) вдоль эпиполярной линии, где а -номер строки области поиска, Ь - номер столбца области поиска.

Поиск искомой точки на правом изображении осуществляется последовательным смещением области размером 5x5 пикселя, относительно центрального пикселя (рис. 2).

s \ \ s

ч X

\ /

/ \

\ \ \ \ / \

5x5

Рис. 2. Смещение области поиска точки

При этом сравниваются девять областей правого снимка с исходной областью левого снимка. Поскольку значениями областей являются яркости пикселей, то ищется такая область размерами 3x3 пикселя на правом снимке, яркость которой в наименьшей степени отличается от значений яркостей области той же размерности левого снимка, содержащего исходную точку. Рис. 3 иллюстрирует процесс сравнения, где Ai„ — матрица, содержащая значения яркости исходной области, а Вкп~ матрица, содержащая значения яркости искомой области.

Левое

Чм А,2 А\,з )

> il ¿2,1 л ¿2,2 4 ¿2,3

Аз,2 Аз.з J

BR =

Правое

1 вт Bm BR4,\ BR5,

BRl,2 BR2,2 BR3,2 BR4,2 4-5,2

Вт,з BR2,3 ; BR3,3 BR4,3 BR5,3

BR\,4 BR2,4 BR3A BR4,4 BR5,4

BR2,5 BR3,5 BR4,5 BR5,Sy

Рис. 3. Сравнение областей левого изображения с областью правого Процедура сравнения осуществляется в соответствии с критерием

Л=1

где

К— коэффициент, характеризующий совпадение яркостей областей, п - количество областей размером 3x3 пикселей, А ¡г- матрица значений яркости элемента области поиска левого изображения,

Вя - матрица значений яркости элемента области поиска

правого изображения,

г, ] - номер строки и столбца.

Чем больше будет число совпавших значений яркости ячеек изображения для каждой области, тем меньше будет значение коэффициента К, которое и будет решением задачи уточнения координаты искомой точки.

Анализ большого количества снимков подстилающей поверхности, полученных камерами стереосистемы, использующий яркостные признаки, показал, что их использование для отождествления может привести к случаям неверного определения искомой точки левого снимка на правом.

Для исключения такого явления производится преобразование изображений к градиентному виду в соответствии с правилом

где

Р^хЬуЬ ~ пиксели левого изображения, Р1Ххк,уа- пиксели правого изображения,

и - нормы (длина) векторов градиентов в точке (х,у)

на левом и на правом снимках.

Вычисление значений градиентов осуществляется с использованием сверток изображений с маской Собеля.

Предположим, что каждое значение градиента присутствует на изображениях с одной и той же вероятностью. Известно, что на области поиска размером М) х N1 ячеек, при работе с черно-белыми изображениями, будет в среднем М^ 1/256 отождествлений ячейки Р, из которых только одно правильное. Для нечетких изображений вырастает вероятность ложных отождествлений. Как правило, вероятность ложного отождествления коррелирует с вероятностью пропуска события (ошибки второго рода).

Для устранения ошибок первого и второго рода при отождествлении используются эталоны с размерами большими, чем одна ячейка. Чем больше размеры эталона, тем сильнее он отличается от других участков изображения, тем самым обеспечивается однозначность отождествления точки.

Для уточнения границ препятствий на изображении, разработанный алгоритм функционирования модуля стереоотождествления, производит сравнение норм

и Ц^кляЦ векторов градиентов яркостей точек (х,у) на левом и на правом

изображениях, что позволяет достигать субпиксельной точности нахождения стереосоответствия точек на изображениях

Размер области поиска выбирается экспериментальным путем с учетом размера низшего уровня пирамиды. Значения ячеек области поиска правого изображения, через которые проходит эпиполярная линия, сопоставляются со значениями ячеек исходной области поиска точки на левом изображении.

В разработанном алгоритме стереоотождествления проводится сравнение пар значений скалярных произведений градиентов для каждой ячейки, области поиска левого изображения, относящейся к проходящей через неё эпиполяре из областей поиска правого изображения. При этом, чем больше произведение, тем выше сходство между ячейками левого и ячейками правого изображений.

Для каждой точки в некоторой области левого снимка, с использованием эпиполярной геометрии, находится нескольких точек на правом снимке вдоль эпиполярной линии.

Минимальное значение скалярного произведения градиентов между любой точкой А левого изображения и каждой из обнаруженных точек в области правого снимка на эпиполярной линии А], А2, А3, А4, А5 является тем значением, которое принимается за верное при поиске стереосоответствия.

После нахождения искомой точки на уровне наименьшего размера пирамиды, осуществляется переход на следующий уровень, большего размера.

Для выполнения требования решения задачи в реальном масштабе времени, была проведена оценка временных затрат и построена зависимость времени Г(мс) стереоотождествления точки от количества уровней N в пирамиде изображений (рис. 4).

—-1

Рис. 4. Зависимость времени, затрачиваемого на стереоотождествление, от количества уровней пирамиды (/V)

Результатом работы алгоритма стереоотождествления является определение точек правого снимка по точкам на левом снимке.

В третьей главе представлено решение задачи вычисления пространственных координат точек препятствий, и реконструкции трехмерной модели подстилающей поверхности, по которой движется платформа, с установленной на ней видеоинформационной системой.

Пространственные координаты препятствий вычисляются при заданном положении и ориентации (угловое положение) съемочных камер, а также координат изображения точек на снимках, соответствующих одной и той же точке объекта.

Система координат выбирается таким образом, что её начало помещается в левый верхний пиксель изображения, ось Ор[хХр-к направлена вправо вдоль строк изображения, а ось Ор,хУр\х вниз. Единицей измерения координат в этой системе является пиксель.

При вычислении пространственных координат (X У 2 )Т искомой точки

Р, учитывается её возможное смещение в момент наблюдения, из-за особенностей камер и условий наблюдения.

Рис. 5 иллюстрирует частную задачу нахождения координат точки для плоского случая.

X ' 16* уд ..... Г. / 1 г нЧ X

2

4-> f 1

Рис. 5. Геометрическая иллюстрация поиска координаты точки Р

Для нахождения пространственных координат точки Р, вычисляется координата Х5 точки Р\ являющейся её изображением в фокальной плоскости, и расстояние до начала координату.

Смещение (невязки) ех и еу удовлетворяют следующим соотношениям

аих + а22у-а33 аих + агъу — аъъ

где

фокусное расстояние камеры, ац ,..., азз - элементы матрицы направляющих косинусов, определяющей угловое положение камеры относительно фотограмметрической системы координат,

х$ ~ ^ " координата точки съемки в фотограмметрической системе координат,

у-/

у* =

7 - расстояние до точки съемки в фотограмметрической системе координат,

X, У, 2,- координаты точки объекта в фотограмметрической системе координат.

Соотношения для вычисления невязок могут быть приведены к виду

ех=кх1Х + кх2У+кх32-Ьх; еу=куХХ + ку2Г + куЪ1-Ъу,

Ьх, Ьу,- пиксельные координаты точки снимка,

X XX

К\ =aU+JaiV kx2=a\2+Jai2> kX2=an+Ja32>

у у У

ку\=а2\+-^аг\> ку2=а22+уа32', куЪ=а2Ъ+уаЪЪ>

Оценка пространственных координат любой точки препятствия на изображении удовлетворяет системе нормальных уравнений

АТА

Z

V У

= ATL

где

x2i

\ / N

кхЪ i ;>о= ЪХ1

kyV К

У )

гy\i Лу21

X, Y,Z - оценка координаты искомой точки Р.

В четвертой главе методами математического и полунатурного моделирования процесса решения поставленной задачи, осуществлена проверка работоспособности сформированных алгоритмов.

Формируется структура видеоинформационной системы оценки местоположения движущегося объекта по последовательности стереоизображений, которая включает разработанные модули:

• блок редукции изображения,

• модуль уменьшения размеров изображения,

• модуль определения меры сходства изображений,

• модуль градиентного уточнения по яркостным признакам,

• модуль вычисления оценок трехмерных координат,

• модуль формирования информационного файла.

При проведении математического и полунатурного моделирования использовались данные, полученные с двух видеокамер Basler А60If (разрешением 640x480 пикселей и скоростью съемки 30 кадров/с), установленных на подвижной платформе (автомобиль), двигающейся со скоростью, не превышающей 60 км/ч.

Разработанные алгоритмы обработки видеоинформации были реализованы на персональном компьютере с процессором Intel Core 2 Duo.

Вычисление оценки местоположения движущегося объекта по последовательности стереоизображений проводилось при скорости съемки камер 30 кадров/с. При этом время обработки каждого второго кадра не должно превышать 65 мс.

Для проверки выполнения этого требования был проведен расчет временных затрат на получение информации с обрабатываемого кадра (сумма времени работы всех алгоритмов и модулей), результаты которого сведены в Таблицу 1. Расчет суммарных временных затрат осуществляется исходя из количества получаемых точек с обрабатываемой тестовой стереопары, равной ~1 тыс. точек.

Результаты, сведенные в таблицу 1 показывают, что временные затраты на обработку одной стереопары составили 63 мс, что на 2 мс меньше максимально допустимого.

Таблица 1. Время, затрачиваемое на работу модулей

№ Наименование модуля мс

1 Модуль редукции изображений 1

2 Модуль уменьшения размеров изображения 3

3 Модуль свертки изображения 3

4 Модуль стереоотождествления 36

5 Модуль градиентного уточнения 14

6 Модуль расчета трехмерных координат 5

7 Модуль сохранения информации в Х-файле 1

Суммарные временные затраты 63

Результаты обработки изображения стереопары образуют информационный текстовый файл, содержащий информацию по каждой найденной точке изображения (рис. 6). Информация, содержащаяся в этом файле, является исходной для принятия решений о появлении в контролируемой области объектов, которые могут быть отнесены к классу препятствий. Критерием принадлежности к классу препятствий является превышение среднеквадратического отклонения СГ от заданной базовой плоскости, а, следовательно, и для формирования управляющих воздействий системы управления подвижной платформы. Подобный формат не является конечным и единственно удобным вариантом, но в рамках данной работы он приведен для демонстрации работоспособности всех разработанных алгоритмов и методик.___

stereo_points1 .txt - Блокнот

Файл ймвка Формат |£ид ¿правка 2

5 ж

-0.586634; -0.571024; -0.570241; -0.608669; -0.606496;

■ -1.286;

' -1.29474;

■ -1.04469;

■ -0.884724;

■ -0.775252;

2 - -9.82132; 2 - -11.0272; 2 - -11.1547; 2 - -11.6736; 2 - -11.064 5;

0.0376685 (метры) 0.000855366 (метры) 0.2 53829 (метры) 0.433811 (метры) 0.520069 (метры)

6 X - 0.0917015;

7 X - 0.252796; у . - 1.38666; у .

9 х - 1.604 51; у .

10 х - 0.82106; у ■

11 X - 0.835751;

у - -1.69627; 2 - -22.4295; h - 0.0224264 (метры) -1.28839; 2 - -21.6598; h - 0.398852 (метры) -1.27294; 2 - -21.8621; h - 0.40827 (метры) -1.73396; 2 - -22.4498; h - 0.0327157 (метры) -1.55163; 2 - -22.0368; h - 0.14326 (метры)

у - -0.989482; Z - -21.7377; h - 0.693438 (метры)

12 X - 0.0647425;

13 X - 2.39589; у .

14 х - 3.68289; у .

15 X - 3.6626; у .

16 X - 2.89557; у ■

у - -1.10895; 2 - -22.1078; Ь - 0.597401 (метры) -1.64681; 2 - -20.0324; И - 0.0468813 (метры) -1.67592; 2 - -19.4284; И - 0.114403 (метры) -1.21046; 2 - -18.8289; И - 0.328187 (метры) -1.51617; 2 - -19.692; И - 0.0647158 (метры)

Рис. 6. Информационный текстовый файл с координатами найденных точек

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В диссертационной работе решены следующие задачи

1. Разработана многомодульная высокопроизводительная вычислительная система, позволяющая повысить эффективность обработки данных стереоизображений в реальном масштабе времени.

2. Разработан новый алгоритм функционирования модуля обработки изображений, позволяющий осуществлять их последовательное стереоотождествление (до 15 раз в секунду находить точки изображения с субпиксельной точностью, без использования аппаратных средств, формирующих подсвет наблюдаемой сцены) в реальном масштабе времени.

3. Разработан новый алгоритм функционирования модуля определения в реальном времени трехмерных координат точек препятствий, который позволил учитывать возможное смещение искомой точки в момент наблюдения.

4. Разработан алгоритм функционирования модуля оценки местоположения объектов на подстилающей поверхности относительно видеоинформационной системы. Преимуществом такого алгоритма является возможность определять наличие сразу нескольких препятствий в зоне наблюдения камер стереосистемы. Полученная информация должна использоваться для формирования управляющих воздействий при целенаправленном движении объекта.

5. Создан метод формирования массива данных об области нахождения препятствий относительно видеоинформационной системы и заданной подстилающей поверхности, позволяющий производить классификацию препятствий.

6. Выработаны рекомендации по применению созданных алгоритмов при создании видеоинформационных вычислительных систем машинного зрения.

7. Результаты диссертационной работы, в частности методы и алгоритмы функционирования модулей стереоотождествления и нахождения трехмерных координат точек, использовались в нескольких НИОКР («Топаз», «Скорость», «Формат»), выполненных в ГНЦ ФГУП ГосНИИАС, а также при выполнении научно-исследовательской и опытно-конструкторской работы «Монитор» по контракту с Минпромторг, что подтверждено соответствующими актами внедрения.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Князь В.А., Крупенников И.В., Шаронов A.B. Видеоизмерения и решение

задачи корреляционного стереоотождествления, использующей градиентный подход и пирамиды стереопар. - Вестник МАИ, 2008, №3, с.98-101.

2. Крупенников И.В., Князь В.А., Шаронов A.B. «Корреляционное

стереоотождествление изображений, получаемых с видеоинформационной системы». // - Научный вестник МГТУ ГА, 2011, №164, с.72-78

3. Крупенников И.В. Фотограмметрия в задачах получения и управления данными

// Тезисы доклада. Конференция РОФДЗ МИИГАИК, М.: 2005 г. - с.21-22.

4. Крупенников И.В. Разработка методов обнаружения объектов при подвижном

видеодатчике // Тезисы доклада. Конференция молодых специалистов ГосНИИАС, М.: 2006г. - с.18-19.

5. Князь В.А., Крупенников И.В., Шаронов A.B. Разработка методов построения

трехмерных компьютерных моделей крупногабаритных сцен. // Труды XIV

международного научно- технического семинара

«Современные технологии в задачах управления, автоматики и обработки информации». Алушта: 2005 г. с.251-252.

6. Князь В.А., Крупенников И.В., Шаронов A.B. Обнаружение движущихся

объектов видеоинформационной системой при помощи разностных алгоритмов сегментации. // Труды XIV международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации». Алушта: 2006 г. с.258-259.

7. Князь В.А., Крупенников И.В., Шаронов A.B. Использование

видеоинформационной системы для оценки собственного положения автомобиля относительно дороги. // Труды XIV международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации», Алушта: 2007 г. с.283-284.

8. Князь В.А., Крупенников И.В., Шаронов A.B. Использование корреляционного

стереоотождествления при помощи пирамиды стереопар для видеоинформационной системы автомобиля. // Труды Российско-Китайской международной Конференции по проектированию Аэрокосмической техники. М.: 2007г. с.155.

9. Князь В.А., Крупенников И.В. Системы обработки изображений и

автоматическая идентификация // Тезисы Всероссийской выставки «Системы машинного зрения». М.: 2008 г. с.201

10. Князь В.А., Крупенников И.В. Машинное зрение и системы обработки

изображений и системы автоматической идентификации. // Тезисы выставки «VIT Expo 2008». М.: 2008г. с. 106.

11. Князь В.А., Крупенников И.В. Разработка технологий автоматизированного

контроля в реальном масштабе времени геометрических параметров деталей, изготавливаемых методом лазерного послойного синтеза // Тезисы Международного научно-технического семинара «Оптические измерения и визуализация - для проектирования, производства, контроля изготовления». М.: 2009г.-с.7-10

12. Князь В.А., Крупенников И.В., Шаронов A.B. Корреляционное

стереоотождествление по видеоизмерениям, использующее пирамиды стереопар с градиентным уточнением. // Труды XV международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации». Алушта: 2008 г. с.232-233

13. Князь В.А., Крупенников И.В. Визуальный компьютинг в фундаментальной

науке и академических исследованиях. // Международный научно-технический семинар, М.: 2009г. - с.91-92

Подписано в печать 25.05.11. Объем 1,5 усл.печл. Бумага офсетная. Печать цифровая.

_Тираж 110 экз. Заказ 305._

Отпечатано в типографии ФГУП «ГосНИИАС» 125319, г.Москва, ул. Викторенко, д. 7

Введение.

Степень разработанности темы.

На защиту диссертации выносится.

Методы исследования.

Реализация и внедрение.

Апробация работы.

Структура и объем диссертации.

1 АНАЛИЗ ПРОБЛЕМЫ ОБНАРУЖЕНИЯ И ВЫДЕЛЕНИЯ ОБЪЕКТОВ ПО ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ.

1.1 Вводные замечания и качественная постановка задачи обнаружения объектов .21 /. 1.1 Алгоритмы обработки изображений и их основные цели.

1.1.2 Фотограмметрические системы получения трехмерного изображения.

1.1.3 Определение и классификация корреляционно-экстремальных систем.

1.1 4 Использование корреляционной функции для задачи стереоотождествления.

1.2 Формализация решаемой задачи.:.

1.2.1 Процедура калибровки и взаимного ориентирования камер, расположенных на подвижной платформе.

2 РАЗРАБОТКА АЛГОРИТМА ОБРАБОТКИ ИЗОБРАЖЕНИЙ, ОСУЩЕСТВЛЯЮЩЕГО СТЕРЕООТОЖДЕСТВЛЕНИЕ В РЕАЛЬНОМ ВРЕМЕНИ.

2.1 выбор решения для проблем, возникающих при стереоотождествлении.

2.2 применение корреляционных методов стереоотождествления в решаемой задачи

2.3 выбор области поиска точки на изображении.

2.4 представление информации об изображении в виде значений и направлений градиентов

2.4.1 Определение перепадов.

2.4.2 Вычисчение первой производной измерения яркости.

2.5 выбор метода решения задачи стереоотождествления.

2.5.1 Экспериментальный выбор количества уровней пирамиды изображений.

2.5.2 Процедура уточнения координат найденной точки по яркостным признакам.

2.5.3 Схема работы алгоритма стереоотождествления.

2.6 корреляционное стереоотождествление для верхних уровней пирамиды.

3 НАХОЖДЕНИЕ ТРЕХМЕРНЫХ КООРДИНАТ ПРЕПЯТСТВИЙ И ПОЛУЧЕНИЯ МОДЕЛИ ПОДСТИЛАЮЩЕЙ ПОВЕРХНОСТИ.

3.1 алгоритмы решения подзадач расчета трехмерных координат препятствий.

3.1.1 Расчет трехмерных координат точки на изображении.

4 ПРОВЕРКА РАБОТОСПОСОБНОСТИ СФОРМИРОВАННЫХ АЛГОРИТМОВ.

4.1 структура системы машинного зрения в задачах обработки в реальном времени на подвижной платформы.

4.2 Работа алгоритма поиска соответствующей точки изображения.

4.3 Получение экспериментальных данных по видеопоследовательности.

4.4 Экспериментальная проверка работоспособности в реальных условиях наблюдения подстилающей поверхности с подвижной платформы.

Актуальность работы

В «последние годы увеличилось число задач, требующих автоматизации обработки! визуальной информации, осуществляемой цифровыми, вычислительными машинами в реальном масштабе времени, и* относящихся» к различным прикладным областям, таким как авиационные бортовые комплексы, интеллектуальные робототехнические комплексы, комплексы дистанционного зондирования и системы автоматического управления движущимися объектами. Для решения этих задач создаются специализированные вычислительные системы обработки визуальной информации. Их проектирование в настоящее время является сложной и актуальной проблемой. Одним из основных направлений создания таких систем является построение наземных бортовых видеоинформационных вычислительных комплексов, предназначенных для оценки местоположения движущихся объектов.

Функционирование наземных подвижных объектов и комплексов, в целях надежности выполнения поставленной задачи, не должно быть автономным, однако возникают задачи, когда принятие решений следует осуществлять, непрерывно анализируя большой массив информации. Для таких целей должны использоваться бортовые системы, автономно функционирующие в реальном масштабе времени.

Характерной чертой существующих бортовых систем является обработка видеоинформации, позволяющая получать сведения о геометрии препятствий (координаты вершин и координаты нормалей), с дальнейшей привязкой их к текстурным координатам изображения. Требование обработки в реальном масштабе времени играет важную роль при использовании результатов в формировании законов управления подвижными объектами.

Другой характерной чертой существующих видеоинформационных систем является наличие в их составе устройств, специального подсвета, облегчающего извлечение информации из изображений. Однако такие устройства преимущественно используются на стационарных комплексах.

Одной из. наиболее, актуальных проблем, связанных с разработкой бортовых систем технического зрения, является проблема обнаружения и выделения объектов, находящихся- в поле зрения датчика изображения. Примерами таких объектов могут служить подвижная техника, самолеты, вертолеты, автотранспорт, суда, люди. При этом информация- о характеристиках объектов, которые требуется выделять, обычно включает в себя лишь приблизительные размеры объекта или местности.

Область использования технологий автоматического обнаружения, выделения объектов и построения виртуальной модели движения« не ограничивается узким кругом задач, и включает в себя анализ движения транспортных средств, контроль движения воздушного транспорта, обнаружение объектов в системах обеспечения безопасности и т.д. Обнаружение и выделение объектов часто лежит в основе алгоритмов распознавания и понимания сцен.

Существуют источники изменения условий наблюдения изображения. Во-первых, это преломление световых лучей в атмосфере. Во-вторых, движение и изменение пространственной ориентации датчика изображений. Движение и изменение обусловлено тем, что датчик размещается на подвижном объекте, таком как мобильная техника, вездеход или устройство позиционирования. В таком случае используются методы оценки параметров преобразования на основе анализа изображений видеопоследовательности. Вычислив оценки параметров смещения и искажения, можно компенсировать их влияние, но лишь частично, так как эти параметры всегда будут оцениваться с некоторой погрешностью.

Проблема обработки видеоинформации, относится к классу задач, известному под названием «понимание изображений». Понимание изображений, это переход от низкоуровнего, яркостного описания к высокоуровневому, смысловому описанию. Система, реализующая данный:; переход, называется системой понимания изображений.

Эволюция методов обнаружения? яркостно-геометрических структур продолжается около двадцати лет по пути от простого к сложному/ Наиболее: разработанной1 областью^ является обнаружение простых структур типа "пятно'1, "точка", "край", "угол", "линия".

При этом одна из центральных проблем, отличающих, теорию обработки изображений, например от теории обработки сигналов, заключается в разработке методов обнаружения объектов^ слабо чувствительных к разнообразным видам изменчивости, характерных« только для изображений; таких как различные виды искажений^ включая искажения оптических сенсоров^ блики, затенения, загораживания, искажения формы, ракурсные искажения; шумовые компоненты. На этом пути были предложены робастные схемы обнаружения более сложных объектов, заданных аналитически щ в частности, обобщенное преобразование Hough, которому посвящены многие сотни публикаций в зарубежной печати^ морфологический подход Ю.П.Пытьева, различные виды комбинированных корреляционных алгоритмов, Красильщиков М.Н., Себряков Г.Г., Желтов С.Ю., Визилыер Ю.В. и др.[12] [15] [16].

Обработка видеоинформации должна производится для целей получения информации о геометрии- объекта (координаты вершин: и координаты нормалей), с дальнейшей привязкой к текстурным координатам изображения.

Степень разработанности темы

Вопросы обнаружения, выделения и построения,трехмерных моделей объектов по данным видеонаблюдения достаточно широко представлены в отечественных и зарубежных источниках. Значительный вклад в разработку методов И'алгоритмов решения данной задачи■ внесли Б.А. Алпатов, С.Ю. Желтов, М.Н. Красильщиков, Г.Г. Себряков, В.Д. Курганов, В:К. Баклицкий, А. Shashua, Р. Stein. [9] [10] [*11][74]

Несмотря на большое количество работ по данной тематике, в результате их анализа не было выявлено публикаций, в которых в полной мере решается и исследуется задача оценки собственного положения движущихся объектов- по построенной цифровой модели рельефа подстилающей поверхности на основе серии изображений видеоинформационной системы. В ряде работ, [1] [6] [77], рассматривается возможность оценки положения подвижной платформы относительно других объектов движения, однако в них при разработке алгоритмов выделения! не принимается во внимание информация о характере подстилающей поверхности по которойдвижется объект.

Поскольку одним из основных условий обработки изображений считается работа в реальном масштабе времени, то рассматривались такие задачи [16], [29], [42], но их решение было направлено либо на фактическое обнаружение заранее ожидаемых (подучетных) объектов, либо они располагались неподвижно, что давало возможность иметь все необходимые априорные данные о.местности и вести наблюдение лишь за изменениями.

Изменение наблюдаемого изображения ^ может говорить о том, что происходит смещение пространственной ориентации датчика изображений. Движение и изменение обусловлено тем, что датчик может быть размещен на подвижном объекте. В этом случае используются методы оценки параметров преобразования на основе анализа изображений видеопоследовательности.

Существующие системы анализа изображений широко представлены, например, в автомобильной промышленности, где в настоящее время* есть несколько фундаментальных направлений «понимания изображений» с целью полученияшнформации о характере подстилающей поверхности при движении видеодатчика.

Одним из решений представляется устройство, следящее за линиями разметки полосы движения автомобиля (HONDA, Toyota, PSA). Наблюдение осуществляется с помощью единственной камеры, установленной в верхней части лобового стекла, и исполнительного модуля, подключенного к общему питанию автомобиля. В конкретном случае не решается задача распознавания изображения с камеры, а проводится только обнаружения линий разметки на ширине обзора 3,5м. Для обнаружения линий на поверхности дороги применяется алгоритм, в котором создан массив данных о положении линий, имитирующих дорожную разметку. Такой массив является априорной информацией при обнаружении линий на яркостном изображении. Таким образом, сравнивая найденный на изображении линии с образцами линий из массива данных, система может формировать управляющие воздействия, подавая сигнал блоку, отвечающему за контроль величины углов поворота, управляющих колес автомобиля. Величина различия, заданная оператором, позволяет системе отличать белые полосы на сером фоне. Однако, «запас надежности» таких систем не рассчитан на эксплуатацию на дорогах с плохой разметкой.

Существуют определенные методы для сравнения изображений, основанные на сопоставлении знаний об изображениях в целом, такие как SURF-алгоритм и SIFT-алгоритм. В них для каждой точки изображения вычисляется значение определённой функции, на основании этих значений можно приписать изображению определённую характеристику, тогда задача сравнения изображений сводится к задаче сравнения таких характеристик. К достоинства этих методов можно отнести скорость реализации и хорошие результаты стереоотождествления точек, но для надежной работы, SURF-алгоритма изображение должно иметь значительные перепады яркостей на* большинстве участков, а SIFT-алгоритм успешно работает лишь если детали сцены неоднородны, а искажения* вызванные аффинными преобразованиями минимальны. К тому же оба метода запатентованы, что накладывает ограничение на их применение и модернизацию.

Следующий вид систем, позволяющих работать с изображениями при подвижном видеодатчике, был разработан для слежения за- дорожной обстановкой. С помощью двух камер и вычислительного модуля производится обнаружение объекта, попавшего в область пути движения системы, а также осуществляется расчет расстояния до впередиидущего препятствия. Стоит отметить, что и в этом варианте систем не ставится задача «понимания изображений», поскольку аппаратные средства, участвующие в решении задачи, пользуются набором заданных прототипов объектов (MobilEye). При этом системы, имеющие в своем составе аппаратные средства, такие как лазерный дальномер или ИК-датчик (BMW, GM, AUDI), является дорогостоящей, что ограничивает её широкое применение.

Также стоит отметить тот вид систем, из разработанных ныне, которые позволяют подвижной платформе ориентироваться на местности в полностью автоматическом режиме при помощи набора аппаратных средств и программного обеспечения. Под автоматическим режимом подразумевается «понимание изображения» и обстановки для движения по подстилающей поверхности, избегая при этом ситуаций, когда может произойти столкновение или прекращение движения. Примерами таких систем могут служить робот ASIMO (Honda) и прототипы мобильных

10 роботов > конкурса БАИРА [81] по созданию транспортных средств, способных передвигаться без участия, водителя: Стоимость подобных систем и- трудоемкость создания не может рассматриваться' в рамках? одной диссертационной? работы, поскольку такой' вариант системы представляет многозадачные операции! с целым1 набором- средств слежения, подкрепленным.большой группой разработчиков, насчитывающей-несколько десятков; человек, и отдельным бюджетом, на создание образца. Последний факт относится к невозможности применения в ближайшем, будущем столь многоэлементных систем для^установки на серийные транспортные средства для гражданского потребления.

В этой связи возникает необходимость в; постановке и решении^ задачи обработки данных видеоинформационной' вычислительной системы^ которая при достаточном быстродействии позволит обеспечить задачу формирования управляющих сигналов в реальном масштабе времени Видеоинформационная система должна состоять из минимального набора аппаратных средств для. обеспечения; дешевизны и надежности при её внедрении; Система должна быть компактной, малозаметно® и не использовать устройств формирования отраженных, сигналов или устройств подсвета объектов; Необходимо иметь возможность получать данные о наблюдаемой сцене на расстоянии от 5 до 150 метров в реальном масштабе времени. Система должна обнаруживать все находящиеся в области наблюдения препятствия^ вычисляя их трехмерные координаты и определяя! собственное местоположение относительно них.

Для достижения этой цели, в диссертации решается комплекс основных теоретических задач, объединяющий выбор аппаратных средств для получения и обработки информации, определение начала- системы координат, задание базовой плоскости подстилающей поверхности, разбивки изображений на уровни: для достижения, большей скорости обработки и определения пространственных координат точек на получаемых изображениях со стереосистемы.

Целью диссертации является повышение эффективности видеоинформационной вычислительной системы машинного зрения при помощи методов и алгоритмов организации специальной обработки данных, позволяющей осуществлять в реальном масштабе времени* оценку местоположения подвижного объекта относительно препятствий на подстилающей поверхности.

Для достижения поставленной цели решены следующие задачи:

• разработана структура многомодульной высокопроизводительной вычислительной системы обработки данных стереоизображений в реальном масштабе времени по информации, получаемой с двух видеодатчиков;

• разработан многоэтапный алгоритм функционирования модуля стереоотождествления изображений;

• разработан алгоритм функционирования модуля определения трехмерных координат точек, задающих образ препятствий;

• разработан алгоритм функционирования модуля вычисления оценки местоположения препятствий на подстилающей поверхности относительно видеоинформационной системы объекта;

• создан метод формирования данных о появлении препятствий в области подстилающей поверхности.

Научная новизна диссертации состоит в том, диссертации состоит в том, что в ней разработаны алгоритмы № методы, позволяющие осуществлять обработку данных вычислительной системы машинного зрения в реальном масштабе времени, располагающую двумя цифровыми ПЗС-камерами, обеспечивать ввод-вывод и сохранение информации за 65 мс при темпе обработки 15 кадров в секунду. При этом в отличие от известных систем, в ней впервые используется корреляционный подход к обработке видеоинформации в реальном масштабе времени, что позволяет системе с вычислительным модулем не использовать устройств специального подсвета, облегчающих извлечение информации из изображений, которые входят в состав стационарных вычислительных комплексов технического зрения. Также система способна производить обнаружение всех находящихся в зоне наблюдения, протяженностью от 5 до 150 метров и шириной до 10 метров, подвижного средства препятствий, рассчитывая расстояние до них и вычислять их положение относительно подстилающей поверхности с точностью до 8 мм.

На защиту диссертации выносится

1. Результаты разработки алгоритмического и программного обеспечения многомодульной высокопроизводительной вычислительной системы обработки данных стереоизображений, включающие:

- многоуровневый алгоритм функционирования модуля быстрого стереоотождествления снимков, на основе яркостного и градиентного представлений изображений с пирамидальной структурой,

- алгоритм функционирования в реальном масштабе времени модуля, построения облака точек подстилающей поверхности.

2. Метод формирования области нахождения препятствий относительно видеоинформационной системы и заданной подстилающей поверхности.

Методы исследования

В работе использовались теоретические и экспериментальные методы исследования.

Теоретические методы основаны на методах теории компьютерного > зрения, математической обработки изображений, цифровой фотограмметрии, корреляционной теории, математической статистики, теории оптимизации и функционального анализа, основы которых были заложены в работах Желтова С.Ю., Красилыцикова М.Н., Себрякова Г.Г., Визильтера Ю.В., Путятина Е.П., Форсайта Д.А. и др.

Экспериментальные методы исследования базировались на положениях теории статистического и полу натурного моделирования.

Реализация и внедрение

Предполагается использование разработанных алгоритмов в составе систем безопасности подвижных средств. К ним могут относиться мобильная техника, самолеты, вертолеты, вездеходы, транспортные средства и другая техника, в том числе беспилотная. Оценивая собственное положение подвижной платформы, система управления может подавать сигнал на исполнительные системы в случае обнаружения препятствия, будь то препятствие на пути следования подвижной платформы или посторонний предмет на пути следования. Система должна позволять задавать условия для формирования управляющих сигналов, такие как высота препятствия относительно подстилающей поверхности и расстояние до объекта.

Результаты, полученные в ходе работ над диссертацией, были использованы: - в рамках выполнения НИР «Скорость», по Федеральной целевой программе «Национальная технологическая база» (раздел «Информационные технологии»).

- в- НИОКР "Топаз", по заказам ФГУП «МНИИ Интеграл» и Правительства г. Москвы

- в ОКР «Создание программно-аппаратных средств для обучения контролеров навыкам идентификации личности», по заказу ПНИЦ ФСБ России, - в НИОКР «Формат», «Монитор», «Калибр».

Кроме того,, алгоритмы функционирования модулей использовались в составе ■ систем безопасности подвижных средств, для оценки их собственного положения и обнаружения препятствия.

Разработанные модули видеоинформационной системы были использованы также для задач контроля геометрических характеристик изделий, в реальном масштабе времени, в системах автоматизации производственных процессов.

Апробация работы

Основные результаты работы печатались в журналах и докладывались на следующих конференциях, семинарах:

1. Конференция РОФДЗ МИИГАИК «Фотограмметрия в задачах получения и управления данными», Москва, декабрь 2005 г.

2. Конференция молодых специалистов ГосНИИАС, Москва, февраль 2006г.

3. Труды XIV международного научно-технического' семинара «Современные технологии в задачах управления, автоматики и обработки информации» // Алушта, сентябрь 2005 г., с. 121

4. Труды XIV международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации», // Алушта, сентябрь 2006 г. с. 128

5. Труды XIV международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, сентябрь 2007 г.

6. Вторая международная Российско-Китайская конференция "Проектирование аэрокосмической техники" г.Москва 2007г.

7. Всеросийская выставка «Системы машинного зрения», Москва, февраль 2008 г.

8. Выставка VIT Expo 2008 "Машинное зрение и системы обработки' изображений и системы автоматической идентификации", Москва, март 2008г.

9. Международный научно-технический семинар "Оптические измерения и визуализация - для проектирования, производства, контроля изготовления", Москва, 2009г.

10.Труды XV международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, сентябрь 2008 г.

11.Видеоизмерения и решение задачи корреляционного стереоотождествления, использующей градиентный подход и пирамиды стереопар. // - Вестник МАИ, 2008, №3, с.98-101

12.Международный научно-технический семинар "Визуальный компьютинг в фундаментальной науке и академических исследованиях", Москва, 2009г.

13. Корреляционное стереоотождествление изображений, получаемых с видеоинформационной системы. // - Научный вестник МГТУ ГА, 2011, № 164, с. 72

14. Российско-Австрийский Научный Семинар "Теория и наилучшее применение визуализации и взаимодействия", Австрия, Вена, 2011г.

Публикации.

По теме диссертационной работы опубликовано 13 печатных работ, в том числе две статьи в издании из Перечня ВАК. Общий объем печатных работ - 16 печатных листов, в том числе личный вклад - 6 печатных листов. Результаты исследования отражены в отчетах по НИР.

Структура и объем диссертации

Диссертация состоит из введения, четырех глав, заключения, списка литературы, изложенных на 134 страницах, содержит 57 рисунков, 3 таблицы и 90 источников литературы:

5 Выводы по работе

Диссертационная работа посвящена повышению эффективности видеоинформационной вычислительной' системы машинного зрения при помощи методов и* алгоритмов организации специальной обработки данных, позволяющей осуществлять в реальном масштабе времени оценку местоположения подвижного объекта относительно препятствий на подстилающей поверхности.

В её рамках проводилась разработка методов и алгоритмов функционирования модуля и, программного обеспечения для осуществления обработки результатов видеоизмерений вычислительной системой.

Наиболее существенные новые научные результаты, полученные лично соискателем, состоят в следующем:

1. Структура многомодульной высокопроизводительной вычислительной системы обработки данных стереоизображений в реальном масштабе времени по информации, получаемой с двух видеодатчиков.

2. Новый алгоритм функционирования модуля обработки изображений, позволяющий осуществлять их последовательное стереоотождествление (до 15 раз в секунду) в реальном масштабе времени.

3. Новый алгоритм функционирования модуля определения в реальном времени трехмерных координат точек препятствий, который позволил учитывать возможное смещение искомой точки в момент наблюдения.

4. Новый алгоритм функционирования модуля оценки местоположения объектов на подстилающей поверхности относительно видеоинформационной системы. Преимуществом такого алгоритма является возможность определять наличие сразу нескольких препятствий в зоне наблюдения камер стереосистемы. Полученная информация должна использоваться для формирования управляющих воздействий при целенаправленном движении объекта.

5. Новый метод формирования массива данных об области нахождения препятствий относительно видеоинформационной системы и заданной подстилающей поверхности, позволяющий производить классификацию препятствий.

6. Выработаны рекомендации по применению созданных алгоритмов при создании видеоинформационных вычислительных систем машинного зрения.

7. Результаты диссертационной работы, в частности методы и алгоритмы функционирования модулей стереоотождествления и нахождения трехмерных координат точек, использовались в нескольких НИОКР («Топаз», «Скорость»), выполненных в ГНЦ ФГУП ГосНИИАС, а также при выполнении научно-исследовательских и опытно-конструкторских работ «Формат» и «Монитор» по контракту с Минпромторг РФ, что подтверждено соответствующими актами внедрения.

1. АЛПАТОВ Б.А., БАБАЯН П.В., БАЛАШОВ O.E., СТЕПАШКИН А.И. Методы автоматического^ обнаружения и сопровождения объектов. Обработка изображений и управление. М.: Радиотехника, 2008 г., 176 с.

2. АЛПАТОВ. Б.А. Системы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. М.: Радиотехника, 2008. - 176 с.

3. БЕЛОГЛАЗОВ И.Н., ТАРАСЕНКО В.П. «Корреляционно-экстремальные системы». -М.: «Сов. Радио», 1974, 392 с.

4. ВАТОЛИН Д., РАТУШНЯК А., СМИРНОВ М., ЮКИН В., Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. М.: Диалог-МИФИ, 2002.

5. ВИЗИЛЬТЕР Ю.В., ЖЕЛТОВ С.Ю., КНЯЗЬ В.А., ХОДАРЕВ А.Н., МОРЖИН A.B. «Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision», -М.: ДМК Пресс, 2007 г., 464 с.

6. ВИЗИЛЬТЕР Ю.В., ЖЕЛТОВ С.Ю., СТЕПАНОВ A.A. // Статья "Новые методы обработки изображений". / печ. НЗНТ, Серия: Авиационные системы, №4; ГосНИИАС, 1992. с.21.

7. ВИШНЯКОВ Б.В., ВИЗИЛЬТЕР Ю.В., ЛАГУТЕНКОВ A.B. Использование модифицированного метода оптических потоков в задаче обнаружения и межкадрового прослеживания движущихся объектов.// Сборник М.: Машиностроение, №5, 2007 г.124

8. ЖЕЛТОВ С.Ю. Разработка теории, методов и алгоритмов машинного зрения в задачах обнаружения объектов: Диссертация д-ра техн. наук: 05.13.01 -М.:, 2002.

9. ЖЕЛТОВ С.Ю. Фотограмметрия и машинное зрение на рубеже тысячелетий. / Тезисы докладов I Научно-практической конференции Общества содействия развитию фотограмметрии и дистанционного зондирования. -М:, 1-2 III 2000, с.4-5.

10. ЖЕЛТОВ С.Ю., СТЕПАНОВ' А. А., ВИЗИЛЬТЕР Ю.В., МОРЗЕЕВ Ю.В. Объектно-ориентированный фреймовый подход в обработке изображений и управления данными, получаемыми от датчиков различной физической природы // SPIE Proceedings, Volume 2587. 6.

11. КНЯЗЬ В. А., КРУПЕННИКОВ И.В., ЖЕЛТОВ С.Ю. «Стереосистема реального времени обнаружения препятствий на автомагистралях» / Издательство Технологического института ЮФУ Таганрог, Материалы Пятой Международной конференции ВПВС-2008, -М.:2008 г.

12. МАКСИМОВ H.A., ВАСИЛЕВСКИЙ A.C. Алгоритмы цифровой обработки изображений : Учеб. пособие; М. Изд-во МАИ, 1995, 31 с.

13. МИРОШНИЧЕНКО С.Ю., ТИТОВ B.C. Программная оптимизация оператора Собеля с использованием SIMD-расширений процессоров семейства х86. Телекоммуникации. 2006. № 6. С. 12-16. (2006).

14. МУБАРАКШИН Р.В., КИМ Н.В., КРАСИЛЬЩИКОВ М.Н., САБЛИН Ю.А., ШИНГИРИЙ И.П. Бортовые информационно-управляющие средства оснащсния летательных аппаратов: Учебник Москва: МАИ, 2003-.380 с.

15. ПОЗИН А.Г. Пространственный подход к решению задачи построения 3D поверхности, -Нск.: Сибирский журнал вычислительной математики, Том 9, 2006 г., с. 315-323.

16. ПРОНЕНКО В.Д., МАКСИМОВ H.A., СИНЧА Д.П. Оценка эффективности разработанного программного комплекса, использующего-поиск визуальной информации в базе данных при принятии решений. // Рязань, Вестник РГРТУ №4 (выпуск 30), 2009.

17. ПУТЯТИН Е.П. Нормализация и распознавание изображений. Кафедра Применения ЭВМ. ХТУРЭ, 2000.

18. СЕМЕНОВ С. С. Исследование неадаптивных операторов дискретной свертки для обработки изображений. Журнал Радиоэлектроники, №9,2001.

19. СКВОРЦОВ A.B. Триангуляция Делоне и ее применение/Томск: Изд-во Томск, ун-та, 2002. 128 с.

20. ФОРСАЙТ Д., ПОНС Ж. "Компьютерное зрение. Современный подход" Москва ИД "Вильяме" 2004.

21. ЧЕГОЛИН П.М., ЛЕОНОВИЧ Э. Н., Савенков В. И. Автоматизация преобразования сложных форм графической информации. -Минск: Наука и техника, 1973, 183 с.

22. ШАРОНОВ A.B. Методы и алгоритмы обработки результатов экспериментальных исследований. Учебное пособие. Москва: МАИ, 2004.

23. BALAGUER В., FERNANDO J, CARPIN- S. Quantitative validations of robotic simulators: a case study with microsoft robotics studio. 2009.

24. BLUME H., AMER A., Parallel Predictive Motion Estimation using Object Recognition Methods. Proceedings of the European Workshop and Exhibition on Image Format Conversion and Transcoding, March 22 23, 1995, Berlin, Germany.

25. BRASPENNING R. and DE HAAN G., Efficient Motion Estimation with Content-Adaptive Resolution. Proceedings of ISCE'02, Sep. 2002, pp. E29-E34.

26. BRAUNL Т., "EyeBot: A Family of Autonomous Mobile Robots", 6th Intl.Conf. on Neural Inf. Proc. ICONIP'99, Perth, Nov. 1999, pp. 645-649a

27. BRENNER C., BÖHM J., GÜHRING J. Photogrammetric calibration and accuracy evaluation of a cross-pattern stripe projector. In: 'Photonics West, Videometrics VI', Vol. 3641, SPIE, San Jose, USA, 1999.

28. CARPENTER L., "The A-buffer, an Antialiased HiddenSurface Method" Proceedings of SIGGRAPH *84 , July 1984

29. COHEN-STEINER D., DA F. A greedy Delaunay based surface reconstruction algorithm. Rapport de recherché 4564, ESTRIA, 2002.

30. COSTIS T., HUGEL V., BONNIN P. A New Fast Multi-Layer Line Detection For Embedded Robotic Application. IECON 2006 32nd Annual Conference on IEEE Industrial Electronics, Nov. 2006. pp.: 3434- 3439.

31. CURLESS B., LEVOY M. A volumetric method for building complex models from range images. In SIGGRAPH 96 Conference Proceedings, pages 303312, ACM SIGGRAPH, Addison Wesley, August 1996

32. DA VIES E.R. Application of the generalized Hough transform to corner detection. IEEE Proc., 1988a, E 135, pp. 49-54.

33. DAVIES E.R. A modified Hough scheme for general circle location. -PattenrRecogn., 1988b, №7, pp. 34-37.

34. DAVIES E.R. Machine Vision: Theory, Algorithms, Practicalities. Academic Press, 2-nd Edition, San Diego, 1997, pp.750.

35. DAVIS J., MARSCHNER S., GARR M., LEVOY M. Filling holes in complex surfaces using volumetric diffusion. In First International Symposium on 3D Data Processing, Visualization, and Transmission, pages 428-861, June 2002.

36. DE HAAN G. and SCHÜTTEN R.J., Real-time 2-3 pull-down elimination applying motion estimation«/ compensation on a programmable device. Digest of the ICGE'98, Jun. 1998, Los Angeles, pp.356-357.

37. DEY T., AMENTA N., CHOI S., LEEKHA N. A simple algorithm for homeomorphic surface reconstruction. ACM Symposium on Computational Geometiy, pages 213-222, 2000.

38. DEY T.K., GOSWAMI S. Tight cocone: a water-tight surface reconstructor. In Proc. of the 8th ACM Symp. on Solid Modeling and Applications, ACM Press, New York, 2003, pp. 127-134.

39. DEY T.K., JOACHIM GIESEN. Detecting undersampling in surface reconstruction. Symposium on Computational Geometry, pp. 257-263, 2001.

40. DORAI C., WENG J., JAIN A. K. Optimal registration of object views using range data. IEEE Trans. Pattern Anal. Machine Intell., Vol. 19, No. 10, pp. 1131-1138, 1997.

41. DUDA R.O., HART P.E. Use of the Hough transformation to detect lines and curves in pictures. Comm. ACM 15, 11-15, 1972, pp.11-15.

42. ECK M., DEROSE T.D., DUCHAMP T., HOPPE H., LOUNSBERY M., STUETZLE W. Multiresolution Analysis of Arbitrary Meshes // SIGGRAPH'95 Proceedings. 1995. pp. 173-182.

43. FINKELSTEIN A., SALESIN D.H. Multiresolution Curves // SIGGRAPH'94 Proceedings. 1994. pp. 261-268.

44. FISHER R. B., NAIDU D. K. A Comparison of Algorithms for Subpixel Peak Detection, in Sanz (ed.) Advances in Image Processing, Multimedia and Machine Vision, Springer-Verlag, Heidelberg, 1996.

45. GALLANT M. et al., An Efficient Computation-Constrained Block-Based Motion Estimation Algorithm for Low Bit Rate Video Coding. IEEE Transactions on Image Processing, vol. 8, no., 12, Dec. 1999.

46. GELFAND N., IKEMOTO L., RUSINKIEWICZ S., LEVOY M. Geometrically Stable Sampling for the ICP Algorithm. Proc. International Conference on 3D Digital Imaging and Modeling, pp. 260-267, Banff, October 2003.

47. GODIN G., BERALDIN J.-A., RIOUX M., LEVOY M., COURNOYER L., BLAIS F. An Assessment of Laser Range Measurement of Marble Surfaces. Proc. Fifth Conference on optical 3-D measurement techniques, Vienna University of Technology, Vienna, Austria, 2001.

48. GÜHRING J., BRENNER C., BÖHM J., FRITSCH D. Data processing and calibration of a cross-pattern stripe projector. In: 'ISPRS Congress 2000', I APRS 33(5), Amsterdam, Netherlands, 2000.

49. HALL-HOLT O., RUSINKIEWICZ S. Stripe boundary codes for real-time structured-light range scanning of moving objects. In Proceedings of the Eighth International Conference on Computer Vision, pages 359-366, 2001

50. HOPPE H. Progressive meshes. In Computer Graphics Proceedings, Annual Conference Series, 1996 (ACM SIGGRAPH '96 Proceedings), pages 99108, 1996.

51. HOPPE H. Efficient Implementation of Progressive Meshes. Computers & Graphics Vol. 22 No. 1, pp. 27-36, 1998

52. HOPPE H. New quadric metric for simplifying meshes with appearance attributes. In Proceedings IEEE Visualization, pages 59-66, Conference held in San Francisco, CA, USA, October 1999. IEEE Computer Society Press.

53. LEE C.-H., CHEN L.-H. A Fast Motion Estimation Algorithm Based on the Block Sum Pyramid. IEEE Trans. Image Processing, vol. 6, pp. 1587-1591, Nov. 1997.

54. MARR Dl, HIEDRETH E. Theory of edge detection. Proc. R: Soc. (London), 1980, B207, pp.187-217.

55. MEMIN E., PEREZ P. Hierarchical estimation and segmentation of dense motion fields. International Journaliof Computer Vision 46 (2002) 129-155

56. MURRAY R., Pachles: A method of interpreting of correlation stereo 3D data, A thesis submittet of partial fulfillment of the requirements for the degree of Doctor of Philisophy, The university of British Columbia, 2003.

57. OLIVIERI S., DE HAAN G., and ALBANI L., Noise-robust recursive motion estimation for H:263-based videoconferencing systems. Proc. Int. Workshop on Multimedia Signal Processing, Sep, 1999, Copenhagen, pp. 345-350.

58. PAJDLA, T., WERNER T., HLAVAC V. Correcting Radial Lens Distortion without Knowledge of 3-D Structure. Technical report TR97-138, FEL CVUT, Karlovo namest 13, Praha, Czech Republic.

59. ROGERS D. Introduction to NURBS: With Historical-Perspective. // SanFrancisco: Morgan Kaufmann, 2000.

60. SAL VI J., ARMANGUE X., BATTLE J. A comparative review of camera calibrating methods with accuracy evaluation, Pattern Recognition 35, 2002, pp. 1617-1635.

61. SEEGER U.AND SEEGER R. Fast corner detection in grey-level images. Pattern Recogn. Lett., 1994, №15(7), pp.669-675.

62. SHARR H. Optimal operators in digital image processing, Interdisziplinäres Zentrum für Wissenschaftliches Rechnen (IWR), Germany, 2000.

63. STEGER C. An Unbiased Detector of Curvilinear Structures. IEEE Transactions on Pattern Analysis and Machine Intelligence 20(2), pp. 113-125, 1998.

64. STEIN G.P. Lens distortion calibration using point correspondences. In IEEE Conference on CVPR, pp. 602-609, 1997.

65. SHIRAI Y. Three-dimensional Computer Vision. Springer-Verlag, Berlin. 1987.

66. YOSHIDA E.; BLAZEVIC P.; HÜGEL V. Pivoting Manipulation of a Large Object: A Study of Application using Humanoid Platform. Proceedings of the 2005 IEEE International Conference on Robotics and Automation. 2005. pp. 1040 1045.

67. WANG D., Unsupervised video segmentation based on watersheds and temporal tracking. IEEE Trans. Circuits Syst. Video Technol., vol. 8, pp. 539— 546, Sept. 1998.

68. WIORA G. High Resolution Measurement of Phase-Shift Amplitude and numeric Object Phase Calculation. In Proceedings SPIE Proceedings Vision Geometry IX, pp 289-299.

69. WONG S., VASSILIADIS S., and COTOFANA S. A Sum of Absolute Differences Implementation in FPGA Hardware. Delft University of Technology, 2002.

70. ZENG S., BAE H., LITKOUHI B., NIICKOLAOU J. Tartan Racing: A Multi-Modal Approach to the DARPA Urban Challenge. Carnegie Mellon University, 2007.y