автореферат диссертации по машиностроению и машиноведению, 05.02.05, диссертация на тему:3D система обнаружения пространственных объектов с помощью манипуляционного робота

На правах рукописи УДК 004.;

НГУЕН АНЬ ВАН

ЗБ СИСТЕМА ОБНАРУЖЕНИЯ ПРОСТРАНСТВЕННЫХ ОБЪЕКТОВ С ПОМОЩЬЮ МАНИПУЛЯЦИОННОГО РОБОТА

Специальность 05.02.05 - Роботы, мехатроника и робототехнические системы

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 0 ПАЯ 2015

005569190

Москва-2015

005569190

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный технический университет им. Н.Э. Баумана»

Научный руководитель:

Официальные оппоненты:

Михайлов Борис Борисович,

кандидат технических наук, доцент кафедры «Робототехнические системы и мехатроника» МГТУ им. Н.Э. Баумана.

Афонин Вячеслав Леонидович,

доктор технических наук, профессор, главный научный сотрудник ИМАШ РАН.

Ведущая организация:

Трипольский Павел Эдуардович,

кандидат технических наук доцент кафедры «Проблемы управления» МГТУ МИРЭА.

ГНЦ РФ «Центральный научно-исследовательский и опытно-конструкторский институт «Робототехники и технической кибернетики», г. Санкт-Петербург.

Защита состоится 23 июня 2015 г. в 14 часов 30 минут на заседании диссертационного совета Д 212.141.02 при Московском государственном техническом университете им. Н.Э. Баумана по адресу: 105005, г. Москва, Госпитальный переулок, д. 10, ауд. 613м

С диссертацией можно ознакомиться в библиотеке МГТУ им. Н.Э. Баумана и на сайте www.bmstu.ru.

Отзывы и замечания по автореферату в двух экземпляре, заверенный печатью организации, просим направить по вышеуказанному адресу на имя ученого секретаря диссертационного совета.

Автореферат разослан «_» апреля 2015 г.

Ученый секретарь диссертационного совета, к.т.н., доцент

И.В. Муратов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Мир пережил несколько войн, большое количество бомб, мин и взрывных устройств по-прежнему остаются на полях сражений. Именно они до сих пор ежедневно угрожают жизни людей. По мнению экспертов при использовании существующих технологий на разминирование всей планеты потребуется около тысячи лет и до ста миллиардов долларов; при этом на каждые 5000 обезвреженных мин приходится один погибший и двое покалеченных саперов. Поэтому в настоящее время, большое внимание уделяется задаче разработки робототехнических систем обнаружения мин для замены человека в экстремальных и опасных условиях работы. Для автономного решения таких сложных задач требует разработка современных робототехнических систем, обладающих широкими функциональными возможностями. При этом робототехнические системы обязательно используют системы технического зрения (СТЗ), что обеспечивает существенное расширение их технологических и функциональных возможностей. Раньше для решения задачи распознавания объектов обычно использовали 2D системы зрения. Но эти системы не позволяют обнаруживать объекты, которые располагаются на сложном фоне, частично перекрыты другими объектами, не полностью видны или камуфлированы. При использовании систем объемного технического зрения (СОТЗ) для анализа и обработки визуальной информации о текущем состоянии рабочей сцены робота можно решить эту проблему. Применение СОТЗ, во-первых, повышает информативность и упрощает фильтрацию зашумленных изображений, обеспечивая высокое качество описания рабочей сцены и, во-вторых, дает потенциальную возможность построить эффективные алгоритмы обнаружения объектов, работающие в условиях помех, вызванных изменениями освещенности и тенями.

Интенсивные исследования систем объемного зрения имеют многолетнюю историю и связаны с роботами. Здесь следует отметить работы Стэндфордского университета (США), Оксфордского университета (Великобритания), Военной академии NATO (Бельгия). В России в этом направлении работают: ЦНИИ РТК, ИПМ им. Келдыша, МГТУ им. Н.Э. Баумана, НПО "Информация". Примером такой системы является устройство KINECT ХВОХ 360 Microsoft Corporation для игровых приложений. Большинство исследований посвящены использованию систем объемного зрения в задачах управления движением роботов, а применение системы зрения для поиска 3D объектов встречается крайне редко.

Результаты исследования типовых опасных объектов (мин), которые многократно использовались в различных странах, показали, что они имеют достаточно большие размеры и выглядят как многогранные пространные объекты. Обычно они располагаются на сложном фоне и плохо видны (частично находятся в грунте, закрыты другими объектами или камуфлированы). Поэтому в диссертационной работе предлагается использовать современную подвижную 3D телекамеру со структурированной подсветкой, установленную на манипуляционном роботе для обнаружения многогранных пространственных объектов. Наличие манипулятора позволяет анализировать рабочую сцену из разных точек наблюдения, а после обнаружения объекта манипулировать с ним в автоматическом режиме.

Цель и задачи работы. Целью диссертации является разработка системы объемного технического зрения манипуляционного робота для обнаружения многогранных пространственных объектов и определения их координат.

В соответствии с целью работы в диссертации были решены следующие задачи:

- Разработан алгоритм обработки и представления изображений рабочей сцены робота, поступающей от ЗБ телекамеры.

- Исследованы способы сегментации ЗБ изображения.

- Разработан метод выделения характеристических точек многогранных пространственных объектов.

- Предложен способ описания пространственных объектов на основе анализа взаимного расположения характеристических точек и их параметров.

- Разработан метод для обнаружения многогранных пространственных объектов на основе сравнения параметров характеристических точек объекта и его модели.

- Предложен способ вычисления координат следующей точки наблюдения рабочей сцены робота путем совмещения параметров модели и объекта по результатам поиска в данной точке.

- Определена траектория движения манипулятора робота с ЗБ телекамерой в следующую точку наблюдения с учетом его кинематической схемы.

Методы исследования. Поставленная цель диссертации была достигнута с помощью предложенного метода обнаружения ЗО объектов, основанного на сравнении параметров характеристических точек модели и объекта. Проверка работоспособности разработанных алгоритмов выполнялось путем математического моделирования и экспериментальных исследовании на разработанном лабораторном стенде. Для обработки полученных результатов использовались методы математической статистики, теории измерений и распознавания образов.

Научная новизна работы заключается в следующем:

- предложен способ описания рабочей сцены манипуляционного робота по ее изображению с помощью характеристических точек - точек пересечения трех плоскостей (трех сегментов).

- разработан новый способ описания ЗО объектов сцены на основе анализа взаимного расположения характеристических точек в пространстве.

- разработан новый метод обнаружения ЗО объектов на основе анализа пространственного расположения характеристических точек объекта и его модели.

- предложен способ определения координат невидимых точек объекта по его модели.

Практическая ценность и внедрение. В работе предложена информационно-измерительная система зрения, использующая метод структурированной подсветки и предназначенная для обнаружения многогранных пространственных объектов, расположенных на сложных сценах. Объемное описание рабочей сцены робота дало возможность построить алгоритм для 2

автоматического обнаружения объектов по известным моделям. Использование 3D изображения позволило находить пространственные объекты, которые произвольно расположены на рабочей сцене и плохо видны. Наличие манипуляционного робота обеспечивает возможность осмотра объекта с разных сторон, что существенно повышает вероятность обнаружения. В процессе поиска определяются реальные размеры объектов и их координаты в пространстве рабочей сцены, что позволяет манипулировать с найденными объектами в автоматическом режиме.

Результаты экспериментального исследования системы свидетельствуют об эффективности предложенных алгоритмических и технических решений, которые могут быть использованы при создании робототехнических комплексов обнаружения опасных для жизни объектов.

На защиту выносятся:

- результаты исследования методов сегментации 3D изображений;

- разработанный метод выделения характеристических точек многогранных пространственных объектов и определения их параметров;

- предложенный способ описания пространственных объектов на основе анализа расположения характеристических точек;

- разработанный метод обнаружения многогранных 3D объектов на основе сравнения пространственного расположения характеристических точек объекта и модели;

- предложенный способ расчета координат следующей точки наблюдения рабочей сцены робота по результатам обнаружения;

- разработанный пакет программ для исследования работоспособности предложенных алгоритмов.

Апробация работы. Основные результаты работы докладывались и получили положительную оценку на:

Всероссийской научно-технической конференции «Экстремальная робототехника» (Санкт-Петербург, 2012);

- 7th IARP RISE-ER'2013 «Robotics for Risky Environment - EXTREME ROBOTICS» (Saint-Petersburg, 2013);

- Научно-технической конференции кафедры «Робототехнические системы», МГТУ им. Н.Э. Баумана (Москва, 2013);

- International Scientific and Technological Conference «EXTREME ROBOTICS» (Saint-Petersburg, 2014);

- Научно-технической конференции «Техническое зрение в системах управления - 2015» (Москва, 2015);

- Научных семинарах НУЦ «Робототехника» МГТУ им. Н.Э. Баумана (Москва, 2011-2015 г.г.).

Публикации. Результаты диссертационной работы нашли отражение в 6 научных трудах, в том числе 2 публикации в изданиях из перечня ВАК РФ.

Структура и объем работы. Диссертационная работа состоит из введения, 5-ти глав, заключения, списка использованных источников и приложений. Объем работы составляет 175 печатных страниц (включая 20 страниц приложений), 114 рисунков, 14 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, определены цель и задачи исследования, сформулированы научная новизна и практическая значимость работы, изложена краткая структура диссертации, приведены положения, выносимые на защиту.

В первой главе рассмотрена актуальность проблемы создания роботов для замены человека в опасных условиях работы. Выполнен анализ нескольких типов опасных объектов (мин), которые многократно использовали в военных конфликтах. Дана оценка достоинств и недостатков использования 2В и ЗБ изображений для решения задачи обнаружения опасных пространственных объектов в реальных условиях. В результате показано, что использование ЗБ изображений для поиска и обнаружения таких объектов имеет существенные преимущества.

Автор предложил типовой сценарий работы манипуляционной системы обнаружения многогранных пространственных объектов (Рис. 1), в которой используется ЗО телекамера, установленная на схвате.

Рис. 1. Система обнаружения пространственных объектов Пусть на сцене расположено несколько пространственных объектов различной конфигурации. База моделей объектов, которые мы должны обнаружить на этой сцене показана на Рис. 2а. Например, мы хотим найти 4

параллелепипед. Для этого строится его модель с использованием характеристических точек - точек пересечения трёх граней. На Рис. 26 показана модель параллелепипеда, имеющая восемь таких точек (Вь В2,-.-,В8).

В начальной точке наблюдения (точка 1 на Рис. 1) система формирует текущее описание сцены (Рис. 2в), на нем выделяются характеристические точки, и выполняется поиск параллелепипеда. Если степень похожести найденного объекта на его модель достаточна, то процесс закончен. И тогда объект можно взять манипулятором или отмаркировать. Если из начальной точки наблюдения степень похожести мала, то манипулятор выполняет гностические движения. Для этого по полученному результату, система рассчитывает координаты следующей точки наблюдения, и манипулятор автоматически передвигает телекамеру в эту точку (точку 2 на Рис. 1). Если из второй точки наблюдения степень похожести тоже мала, то процедура повторяется в третьей точке наблюдения и т.д. Этот процесс повышает надёжность обнаружения, особенно, для случаев, когда ЗО объекты частично перекрыты другими объектами или камуфлированы.

а) б) в)

Рис. 2. Пример базы моделей (а), модель параллелепипеда (б) и изображение сцены от 3D телекамеры (в)

В этой главе, автором также рассмотрены несколько оптических методов описания 3D сцен в системах очувствления робототехнических комплексов. Проанализированы достоинства и недостатки известных систем объемного зрения: сканирующих лазерных дальномеров, стереосистем, систем со структурированной подсветкой. На основе сравнительного анализа сделан вывод о целесообразности использования системы зрения со структурированной подсветкой для манипуляционного робота обнаружения объектов и приведена её математическая модель.

Во второй главе разработан метод описания рабочей сцены робота. В системе обнаружения была использована 3D телекамера Artec L™ со структурированной подсветкой, которая обеспечивает получение трёх координат каждой точки рабочей зоны робота. При этом каждая точка является вершиной элементарного треугольника. Массив данных телекамеры используется для описания сцены. Пример пространственного объекта показан на Рис. За.

Для каждого элементарного треугольника составляем уравнение плоскости в виде: Ах + By + Cz + D = 0, определяем нормальный вектор N - (А, В, С) треугольника (Рис. 36) и углы между нормалью и осями координат (Рис. Зв).

Vi (Xi.Yi, Zi) / fj-r

Nf(Af. Bf, Cf)

V

1Z

Vi (Xi, Yi, Zi)

ß,

'f

Y

Vi ~~

±L

7 Vk

fXk, Yk, Zk)

(Xj, Yj, Zj)

О

а)

б)

в)

Рис. 3. Пространственный объект (а), положение вектора ЩАр В/, С}) (б) и углы направляющих косинусов вектора Ы/ (в)

Подстилающие поверхности реальных сцен всегда не идеальны, а грани (стороны) объектов обычно имеют неоднородности и дефекты, особенно в местах соединений (швы при сварке, головки болтов и гайки при сборке и т.д.). В результате входной 3D массив видео данных содержит много небольших областей, которые по сути являются помехами. В диссертации предложен способ фильтрации исходных данных от 3D телекамеры. Для этого рассчитывается площадь каждой отдельной области на исходном изображении. Если площадь полученной области меньше заданного значения, программа исключает её.

В этой главе исследованы три способа сегментации 3D изображения.

- Первый способ - использование направляющих косинусов. При этом подходе мы разделяем все данные (треугольники) на несколько классов, задавая ориентацию направляющих косинусов.

- Второй способ - анализ параллельности треугольников. Мы анализируем расположение плоскостей треугольников исходного изображения. Все треугольники, имеющие одинаковую ориентацию в рабочем пространстве, относятся к одному классу.

- Третий способ - последовательный анализ соседних треугольников. В этом способе последовательно проверяются значения углов наклона между нормальными векторами соседних треугольников. Если значение углов меньше заданного порога, то эти треугольники собираются в одном классе.

Для оценки результатов сегментации было использовано несколько сцен различной сложности: простая, средней сложности и сложная. Результаты сегментации показали, что для анализа простых сцен целесообразно использовать первый способ сегментации, а если рабочая сцена состоит из нескольких объектов, которые расположены на сложном фоне, необходимо использовать третий способ.

Выполнен обзор методов выделения характерных точек на 2D изображениях: рассмотрены алгоритмы Харриса, SIFT и SURF и т.п. Предложен новый способ выделения характеристических точек многогранных пространственных объектов на 3D изображении.

Характеристическая точка - точка пересечения трёх граней (трёх сегментов) при условии её расположения на объекте, который содержит три эти грани (Рис. 4а). В качестве примера на Рис. 46 показаны три точки А, В, и С. Точка А - точка пересечения трёх плоскостей (i), (j), (к) первого объекта. 6

Рис. 5. Характеристические точки на простой сцене (а), сцене средней сложности (б) и на сложной сцене (в)

Точка С - точка пересечения трёх плоскостей (т), (п), (О второго объекта. Точка В также точка пересечения трёх плоскостей (1), (к), (О, но она не является характеристической точкой потому, что она расположена вне объекта.

а) б)

Рис. 4. Расположение точек пересечения трёх плоскостей

Координаты характеристических точек определяются путем решения системы уравнения трёх плоскостей (трёх сегментов). Для этого, в работе предложен способ определения уравнения плоскости сегмента. Поскольку каждый сегмент состоит из нескольких элементарных треугольников, для него можно составить свое уравнение плоскости в виде ++ С.г + Д =0. Используя эти уравнения составляем уравнение плоскости сегмента в виде:

Атх+В1ту + С1тг + 01т = 0,

У" а, V" ви У" с,. у" д,

где: а,„=- ; в,„, — ; —; —, п - число треугольников

" п п п п

в сегменте. Каждый сегмент состоит из большого числа треугольников, поэтому плоскость аппроксимирует сегмент объекта с высокой точностью: среднее квадратическое отклонение точек не превышает 0,4.

Для подтверждения работоспособности алгоритма выделения характеристических точек использовались сцены различностей сложности

А=а)П0)п(к)

С=(1)Г\(тУу(п) ¿„=г«л т.-

4=й'1[1),' ¿Й- 1к)л(0;

Как видно из приведенных результатов, предложенный алгоритм выделения характеристических точек пространственных объектов показал хорошие результаты при анализе сцен различной сложности.

Следует подчеркнуть, что у реальных объектов характеристические точки конечно есть, а на изображениях объектов они обычно отсутствуют. Система сама добавляет найденные точки на изображение и затем использует их для описания объектов. По характеристическим точкам вычислялись геометрические размеры объектов (длина, высота и ширина), что обеспечило высокую вероятность обнаружения объектов сцены и определение их пространственных координат.

В третьей главе предложен алгоритм обнаружения многогранных ЗГЗ объектов путем сравнения пространственного расположения характеристических точек реальных объектов и их моделей.

Характеристическими точками являются точки пересечения трёх плоскостей (трех граней или трёх ребер) одного объекта; при этом, каждая точка имеет свои параметры, которые инвариантны к расположению объектов в пространстве. Например, углы между двумя ребрами, длины ребер и др. Поэтому, в диссертационной работе предлагается использовать их значения в качестве параметров характеристической точки. Например, на Рис. 6 показано взаимное расположение восьми характеристических точек параллелепипеда в пространстве (В,...В8).

В?2'=Вб Вз мГ.мГ К-\ „, г<мв-

Рис. 6. Модель параллелепипеда и его характеристические точки Каждая характеристическая точка модели, например Вь имеет 12 параметров, которые ниже разделены на четыре группы:

три грани: Щ

М

, на пересечении которых находится точка В].

три линии (ребра) пересечения двух плоскостей: с1

В1

п >

лй

"23 .

<!\ъ — линии

пересечения плоскостей М,

и М

м2В| и М3т ,

М,в> и М

соответственно;

три точки, с которыми соединяется точка В^

1 -

-- В6 по ЛИНИИ А;

ТОЧКОЙ £>23 = В2 ПО ЛИНИИ ¿23 , С ТОЧКОЙ £>!3 = вл по ЛИНИИ с1{з ;

три угла: ап , а2{

аи - углы между прямыми ¿в и <¡$1,

и ^

„ ,в\ ®12 и «23 •

соответственно;

Параметры характеристической точки модели показаны на Рис. 7а.

а)

ш < ¿п 731 Огг л5' б/, з п" 12 П31 13 м"' м? м?

- -V-- - 4- --У-- -' - А

Группа углов Группа линий Группа точек Группа граней

б) Щ /,

а.

: ■.

<4,

О*

й1

М?

М?

м;

Рис. 7. Группы параметров характеристических точек Для описания объекта, определяем такие же параметры и еще добавляется одна группа - группа координат точки на сцене (Рис.7б). При заполнении значений параметров характеристических точек модели все они имеют конкретные значения, а для объекта - значения групп могут быть определены не полностью потому, что некоторые точки объекта обычно не видны.

Предложенный алгоритм обнаружения объектов показан на Рис. 8. В диссертации подробно рассмотрены все процедуры алгоритма.

Рис. 8. Алгоритм обнаружения многогранных пространственных объектов Сначала система зрения сравнивает значения углов одной характеристической точки объекта с углами каждой точки модели. Если значения углов совпадают, то система определяет вид совпадения. Поскольку группа углов имеет три значения (а/2, а2з, а]з), существует 6 возможных видов совпадения между двумя точками, которые показаны ниже.

Вид 1:

<=< к а£=а£;Вид2:|о£=<3; ВидЗ:

Вид4:

= Вид6:

<ъ=<

Иллюстрация второго вид совпадения показана на Рис. 9а. Пусть точка А объекта совпадает с точкой В модели на одном виде из шести возможных. Система проверяет наличие точек, связанных с точкой А на одном объекте. Если они существуют, то определяется вариант связи этих характеристических точек объекта. Поскольку характеристическая точка находится на пересечении трех граней, существует 18 вариантов связи между двумя точкам. Иллюстрация 1-ого, 7-ого и 13-ого вариантов связи между токами А и А/ одного объекта показана на Рис. 10.

(М, - м")

(М* = И1') 4 ;

' 3 |: (М* м?)

5

М»

; У. и, п., Д............................"

\ М,Л V М*3(ха3 = 1:2;2;3:1:3)

\ М"= М®3(*ЬЗ = 1й;2;3;1;3)--

М*'(га3 = 2;|;3;2;3:1)\;; М*- М <ха1 = 1;2;2;3:1;3)

М°3,(1ЬЗ = 2;1;3:2:3:1) М" = М'", <хЫ = 1;2;2;3;1;3)

¿ЬЗ I хы

В А«

М,Л М (га2 = 2;1:3:2;3;1) м" = М™(гЬ2 = 2:1:3;2;3;1)-.

2" М*',(уа1=2;]:3:2;3;1)

* =. м^&ы-ыдазда -

2~ М*22Суа2=1;2;2;3;1;3)

а)

б)

Рис. 9. Второй вид совпадения характеристических точек (а) и их 18 вариантов связи (б)

а) б) " в)

Рис. 10. Иллюстрация 1-ого (а), 7-ого (б) и 13-ого (в) вариантов связи Далее проверяется соответствие точек модели и объекта, т.е. система ищет точку модели, совпадающую с найденной точкой объекта и вид совпадения. Для решения этой задачи анализируется 18 вариантов связи для каждого вида совпадения. Например, иллюстрация второго вида совпадения, имеющего 18 вариантов связи, показана на Рис. 96.

В третьем разделе рассмотрен пример, когда точка А объекта совпадает с точкой В модели по второму виду. Тогда, соседняя точка (точки А) должна совпадать с соседней точкой о,® (точки В). При этом, пусть точка А связана 10

сточкой А] по первому варианту, т.е. Л/,лги/1 или ха1=1 и уа1=2

(Рис. 96). Если точка В связана с точкой .В; по второму варианту, то значения хЫ -2 и уЬ 1 = 1. В данном случае точка А, должна совпадать с точкой В/ по второму виду, и для параметров группы углов должно выполняться условие «¡2 = «п и а2з = ап и «13 = ап ■ С помощью этой процедуры система проверяет условия совпадения всех точек, которые находятся на одном объекте, с соответствующими точками модели.

Совпадение параметров группы углов показывает только тип объекта и в общем случае его недостаточно, когда на сцене находятся однотипные объекты разных размеров (например, два параллелепипеда с разными длинами ребер). Поэтому далее проверяется соответствие длин ребер объекта и модели (Рис. 11):

КАДА2) _ 1(А,А3) __ 1(А1Л4) 1(В,В2) 1(В,В4) 1(В,В6)

(1)

Вб

Г

В?

Вз

\/в Л ' 58 \1в

".. \

В1 с

Г 178 В '8 '

V 27 7В '•• ,в 12 (Модель) \/3 8

Г

ЧВ4

Вз

В2

Рис. 11. Соответствия точек совпадения объекта и модели Если условие (1) выполнено, можно оценить степень похожести (Ь) и масштаб (^ объекта и модели по формулам:

Ь= (число точек совпадения)/(общее число точек модели)* 100%;

д _ 1 (/(А]А2) | 1(Мъ) , |

и[/(В,В2) /(В,В4) /(В ,В6)

где п - число совпавших граней.

В четвертой главе решается задача получения изображения рабочей сцены из следующей точки наблюдения.

При обнаружении объекта на ЗО изображении телекамеры из данной точки наблюдения, система определяет степень похожести объекта на его модель. Если степень похожести достаточна, то процесс поиска закончен. И тогда объект можно отмечать маркером или взять манипулятором. Если степень похожести мала, то манипулятор с телекамерой выполняет гностические движения для повышения достоверности обнаружения. В диссертации предложен "осмысленный" выбор каждой следующей точки на основе определенного критерия. В данном случае таким критерием является число одновременно наблюдаемых граней, невидимых из предыдущей точки наблюдения. Для этого система зрения сама рассчитывает координаты следующей точки наблюдения и получает однородную матрицу

11

перехода от первой точки наблюдения во вторую. Далее система совмещает два изображения и уже по совмещенному изображению решает задачу обнаружения.

На первом этапе выполняется пространственное совмещение модели и объекта, на основе результатов, полученных в данной точке наблюдения. Это необходимо потому, что объект может находиться на сцене в произвольном положении. В результате совмещения определяются координаты всех характеристических точек объекта по его модели, в том числе невидимых точек. Этапы совмещения пространственной модели с реальным объектом показаны на Рис. 12.

Сначала по результатам обнаружения в данной точке наблюдения, выполняется перенос начальной точки совпадения модели (точки В,) в найденную точку объекта (точку А]) и масштабирование модели. Затем, модель поворачивается так, чтобы совпали линии пересечения граней модели и объекта.

Рис. 12. Последовательность совмещения модели и объекта

После совмещения модели и объекта можно определить параметры невидимых характеристических точек реального объекта по его модели (Рис 12г) и его возможное расположение в пространстве.

Для решения задачи выбора новой точки наблюдения в качестве критерия предложено использовать количество связей каждой невидимой характеристической точки. Следует отметить, что каждая точка имеет не менее трёх связей. Однако, если учитывать связи только невидимых точек, то их число уменьшается.

Как видно из Рис. 12г после совмещения точка А8 связана с точками А3 и А7. Но, при этом А3 и А7 являются невидимыми точками, а точка А/ - видимая. 12

(Хк, Тк, гк)

Поэтому число связей точки А8 равно двум (пА8=2). Аналогично точка А3 имеет связи с тремя невидимыми точками А4, Аб и As, т.е. пАЗ = 3. В данном случае выбираем точку A3. Для определения направления телекамеры на выбранную точку реального объекта предлагается следующий подход: выбираем три точки А34, А36 и Ajs на линях пересечения А3А4, АзА6 и А3А8 так, чтобы выполняюсь условие АзАз4= АзАзв= АзА38=с1, где d - заданное значение (Рис. 12д). Для определения координат точки G центрального треугольника А34АзбАз8, находим средние точки М/, М2, М3 на прямых А36А38, А34А38 и А34Аз6. Координаты следующей точки наблюдения рассчитываются с учетом параметров телекамеры: угла поля зрения, фокусного расстояния, глубины резкости и т.д. Например, среднее расстояние до плоскости рабочей сцены для телекамеры Artec L™ равно 1 м. Тогда на линии A3G выбираем точку К2, так, чтобы выполнялось условие: К2А3 = 1м. Следовательно, координаты точки К2 - это координаты следующей точки наблюдения, а прямая К2А3 - направление наблюдения телекамеры (Рис. 12д).

Очевидно, что для правильной ориентации телекамеры необходим манипулятор, имеющий шесть степеней подвижности. Он может иметь любую кинематическую схему, в которой есть три линейных и три угловых степени перемещения схвата с телекамерой. При выполнении экспериментальных исследования в диссертационной работе использовался антропоморфный манипулятор РМ-01 модели "PUMA-560".

y«(S)

T.(q)

w-

Рис. 13. Положение захвата манипулятора с ЗО телекамерой относительно объекта в первой (К,) и второй (Кг) точке наблюдения На Рис. 13 показаны первая и вторая точки наблюдения. Для перемещения телекамеры манипулятор должен выполнить движение от точки К) в точку К2. Для этого была решена обратная задача кинематики для манипулятора РМ-01, что позволило планировать траекторию движения манипулятора в пространстве обобщенных координат. Эта задача решалась с использованием тригонометрического подхода. Далее были получены выражения связи между обобщенными координатами манипулятора и положением и ориентацией его схвата в декартовых координатах. В новой точке наблюдения система получает

13

еще одно изображение сцены. Далее система зрения совмещает два изображения, полученные из двух точек наблюдения, и выполняет обнаружение объектов.

Пятая глава посвящена разработке программного обеспечения манипуляционной 3D системы обнаружения многогранных объектов. Предложена архитектура программного обеспечения и разработан интерфейс оператора.

Для проведения экспериментальных исследований предлагаемых алгоритмов, был разработан и изготовлен стенд в рамках НИР, выполненной в НУЦ «Робототехника». Стенд состоял из: манипулятора "РМ-01"; стойки управления "Сфера 36"; персонального компьютера "Processor Intel Core i5-4200CPU 2.3GHz"; 3D телекамеры "Artec L

Структура экспериментального стенда показана на Рис. 14а, а внешний вид системы обнаружения - на Рис. 146.

Персональный компьютер

Алгоритм обяаружи

Алгоритм вычисления координат

а) 6)

Рис. 14. Структура экспериментального стенда (а) и внешний вид системы

обнаружения (б)

С использованием этого стенда была проверена работоспособность системы обнаружения с реальными объектами из разных точек наблюдения при произвольном расположении объектов.

3D телекамера

Манипулятор РМ-01

Систем управления Сфера 36

а) б) в) г)

Рис. 15. Обнаружение противотанковой мины Топфмона4531 Например, для обнаружения противотанковой мины Топфмина 4531, был использован ее макет (Рис. 15а) и построена модель (Рис. 156). На Рис. 15в показано изображение мины в начальной точке наблюдения. Из него была получена степень похожести - 37.5% по шести найденным характеристическим

точкам (видимым точкам). Использование совмещенного изображения из двух точек наблюдения позволило получить степень похожести - 75% по 12-ти найденным характеристическим точкам (Рис. 15г). Это достаточно надежный результат обнаружения, по которому можно принимать окончательное решение.

Проведенные экспериментальные исследования с другими типами объектов подтвердили эффективность предложенных алгоритмов обнаружения и работоспособность системы с реальными объектами.

Была исследована работоспособность системы обнаружения при различных условиях работы: при изменении освещенности, при наличии зеркальных поверхностей, с камуфлированными объектами и т.д. Результаты показали, что качество работы системы практически не зависит от внешних условий работы.

В последнем разделе главы приведены результаты измерения размеров и координат объектов на рабочей сцене. На Рис. 16а показаны значения погрешности измерения координат при перемещении объектов в поле зрения телекамеры, а на Рис. 166 - результаты измерения размеров объектов. Эксперименты показали, что ошибка измерения координат объекта составляет не более 2,1%, погрешность измерения размеров объектов - не более 2%.

90 100 110 120 130 140 150 160

"Прёмешение по оси г (см)

О. г

и 100

1 90

5

а> 80

I 70

си

1 60

3 50

....................................................... 2%........... .

\

60 65 70 75 80 85 91

Реальные длнные ребер

95 100 105

а) б)

Рис. 16. Результаты оценки погрешности измерения

Результаты экспериментов показали высокую достоверность обнаружения, что свидетельствует о возможном использовании предложенных алгоритмических и технических решений для создания реальных робототехнических комплексов поиска опасных для жизни объектов.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ

В диссертационной работе получены следующие основные результаты:

1. Выполнен анализ методов описания пространства рабочей сцены робота. Показано, что для достижения поставленной цели целесообразно использовать 30 систему технического зрения со структурной подсветкой.

2. Исследованы три способа сегментации ЗО-изображений на основе анализа пространственного расположения элементарных треугольников. Показана работоспособность этих способов на реальных рабочих сценах различной сложности. Даны рекомендации по их применению.

3. Разработан новый метод описания объекта и его модели, использующий характеристические точки - точки пересечения трех плоскостей. При описании

учитывается взаимное расположение характеристических точек, поскольку оно инвариантно в пространстве рабочей сцены.

4. Предложены математические выражения для определения параметров характеристических точек, которые используются для обнаружения пространственных объектов.

5. Разработан метод обнаружения многогранных пространственных объектов на основе сравнения параметров характеристических точек объекта и его модели. Количественные результаты сравнения позволили определить масштаб и степень совпадения объекта с моделью.

6. Предложен способ определения координат следующей точки наблюдения рабочей сцены, если вероятность обнаружения из данной точки мала.

7. Разработан стенд для исследования работоспособности предложенных алгоритмов. Проведены экспериментальные исследования 3D системы обнаружения пространственных объектов с помощью манипуляционного робота, которые подтвердили эффективность предложенных алгоритмов при работе с реальными сценами.

8. Исследована работоспособность системы обнаружения с разными объектами при различных условиях работы: при изменении освещенности, на зеркальной поверхности, с камуфлированными объектами и т.д. Полученные результаты показали, что систему можно использовать для обнаружения пространственных объектов в реальных условиях.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1.Нгуен А.В. Система распознавания объектов с использованием 3D системы зрения // А.В. Нгуен, Б.Б. Михайлов. Сборник докладов Всероссийской научно-технической конференции. СПб.: Изд-во «Политехника-сервис», 2012. С. 196-200. (0,3 п.л./0,15 п.л.)

2. Nguyen A.V. Method récognition of polygonal 3D objects // A.V. Nguyen, B.B. Mikhaylov. Proceedings of the Th International Workshop IARP RISE-ER'2013. Saint-Petersburg: «Politechnika-servise», 2013. P. 449-454. (0,5 п.л./0,25 п.л.)

3. Нгуен А.В. Способ распознавания многогранных пространственных объектов // А.В. Нгуен, Б.Б. Михайлов. Информатика. Телекоммуникации. Управление Т5(181). СПб.: Изд-во Политехнического университета, 2013. С. 125-131. (0,8 п.л./0,4 п.л.)

4. Нгуен А.В. Современный алгоритм распознавания пространственных объектов // Сборник представления материала докладов III международной научно-практической конференции "21 век: фундаментальная наука и технологии". М. 2014. С. 168-171. (0,25 п.л./0,25 п.л.)

5. Нгуен А.В. Метод распознавания многогранных 3D объектов // А.В. Нгуен, Б.Б. Михайлов. Робототехника и техническая кибернетика. СПб. 2014. №1. С. 65-70. (0,4 п.л./0,2 п.л.)

6. Михайлов Б.Б. Использование характеристических точек для распознавания 3D-объектов // Б.Б. Михайлов, А.В. Нгуен. Мехатроника, автоматизация, управление. 2014. №11. С. 27-32. (0,7 п.л./0,35 п.л.)

Подписано к печати 07.04.15. Заказ № 156 Объем 1 печ.л. Тираж 100 экз. Типография МГТУ им. Н.Э. Баумана 105005, Москва, 2-я Бауманская ул., д.5,стр. 1 (499) 263-62-01