автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Методы и алгоритмы определения пространственных характеристик стационарных объектов при навигации мобильного робота с монокулярной системой технического зрения

Работа выполнена в ФГБОУ ВПО «Пензенский государственный технологический университет» на кафедре «Информационные компьютерные технологии».

Научный руководитель - кандидат технических наук, доцент

Роганов Владимир Робертович.

Официальные оппоненты: Михеев Михаил Юрьевич,

доктор технических наук, профессор, заведующий кафедрой «Информационные технологии и системы» ФГБОУ ВПО «Пензенский государственный технологический университет»; Урнёв Иван Васильевич, доктор технических наук, главный научный со грудник научно-исследовательского отдела ФГБОУ ВПО «Пензенский государственный университет».

Ведущая организация — ОАО «Пензенский научно-

исследовательский электротехнический институт», г. Пенза.

Защита диссертации состоится 19 декабря 2013 года в 13 часов, на заседании диссертационного совета Д 212.337.01 на базе ФГБОУ ВПО «Пензенский государственный технологический университет» по адресу: 440039, г. Пенза, пр. Байдукова / ул. Гагарина, д. 1а/ 11, корпус 1, конференц-зал.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Пензенский государственный технологический университет».

Автореферат разослан 18 ноября 2013 года.

Ученый секретарь 11 (Ь,

диссертационного совета Иг * Чулков Валерий Александрович

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. На сегодняшний день автономные мобильные роботы и роботы, управляемые дистанционно, находят всё более широкое применение в таких областях как исследование космического пространства и океанских глубин, опасные производства, устранение последствий техногенных катастроф. Основным требованием, предъявляемым к таким роботам, является их точная ориентация в процессе перемещения в пространстве относительно неподвижных препятствий и подвижных объектов.

Одной из важных задач, решаемых в процессе перемещения мобильного робота, является определение его текущих координат. Для решения этой задачи необходимо предусматривать ввод и обработку визуальной информации об окружающей среде, полученной при навигации робота с помощью систем технического зрения.

Работа систем технического зрения, использующих несколько видеокамер, основана на сопоставлении изображений внешней среды, полученных с двух и более пространственно, разнесенных точек мобильного робота. Благодаря пространственному разделению полученных изображений в подобных системах технического зрения определяется необходимая информация о пространственных характеристиках объекта.

Системы технического зрения, использующие одну расположенную на мобильном роботе видеокамеру, располагают единственным изображением и не получают информацию об объёме и удалении окружающих объектов, поэтому их использование предполагает наличие априорных сведений об окружающем их пространстве. Однако получение данных о пространственных характеристиках окружающих объектов также возможно за счёт сопоставления изображений, полученных в различные моменты времени при изменении взаимного положения наблюдателя и объектов (т.е. при наблюдении системой окружающего пространства и отслеживании изменений получаемых визуальных характеристик объектов с течением времени).

При определении навигационной системой местонахождения мобильного робота в пространстве, и направления его перемещения требуется определять расстояния до подвижных и неподвижных объектов. Во многих случаях практического использования мобильных роботов оказывается достаточным определять расстояние до неподвижных объектов.

При проектировании мобильного робота, как и других мобильных устройств, особое внимание уделяется снижению массогабаритных показателей базирующихся на них приборов, в том числе и относящихся к системе технического зрения. Однако требования надежности и жизнестойкости вынуждают предусматривать в системе технического зрения специальную отдельную видеокамеру для определения дистанции до неподвижных объектов.

В работах научных коллективов ОАО «НИКОИ», группы «Транзас», Massachusetts Institute of Technology, Canadian Aviation Electronics, Defense Advanced Research Projects Agency, а также отечественных и зарубежных ученых Овечкиса Ю.Н., Роганова В.Р., Roberts L., посвященных моделированию

где 114' входные данные, полученные на основе наблюдения за объектами О'. Учитывая (10), получаем

I)). (12)

Таким образом, база данных должна быть темпоральной, то есть ее данные существенно зависят от времени.

С учетом (10), (12) задача, поставленная ранее, распадается на ряд подзадач.

Первая подзадача. Используя формулы (3)-(8) необходимо определить метод т°, который бы мог, в общем случае с учетом базы данных, входных данных, характеристик среды и состояния робота определить пространственные характеристики объекта XV. То есть необходимо определить метод т, для которого, исходя из (1), выполняется

XV =//*>,, V,., щ,-, «л 11Ч,&),/я°еМ. (13)

Заметим, что XV является обратной функцией к функции /г2(/г'(\¥, /)), то есть т°(Г1(Г](\У,1))=

В (13) /я°еМ, поэтому в первую очередь необходимо найти множество М, то есть множество алгоритмов, определяющих пространственные данные объекта в зависимости от состояния среды и робота.

Вторая подзадача. Так как в А? хранится информация, полученная о ранее наблюдавшихся объектах О', а входные данные Ш получены в результате наблюдений за новыми объектами в реальном времени, то в общем случае Ш Ф 114'. Поэтому следующей подзадачей является нахождение функции, интерполирующей данные Ш данными 114'.

Третья подзадача. Обрабатывая информацию из базы данных Вз, после выполненной интерполяции можно хранящиеся характеристики объектов О' поставить в соответствие характеристикам новых объектов из 0\0'. То есть можно выполнить преобразование

о о'; Що)->Що'), О'; ое 0\0', (14)

тем самым находя функцию т. Однако для этого необходимо определить, какие зависимости Р3 должны храниться в базе данных.

Четвертая подзадача. Так как в процессе движения мобильной платформы возможно отклонение от выбранного курса, то возникает следующая подзадача. Необходимо определить метод и реализующий его алгоритм У*4, определяющий по изменяемым во времени входным данным ПЧ угол отклонения от заданного курса ф для управляющего воздействия по корректировке курса, где ср#0. То есть необходимо определить функцию Iдля которой

Ф=^(Ш). (15)

Прежде чем приступать к решению первой и второй подзадач, необходимо определить тип и характер зависимостей, хранящихся в базе данных, то есть решить третью подзадачу.

Зависимость величины размера проекции объекта на изображении х от фокусного расстояния/ размера объектах и дистанции Ъ вычисляется по следующей формуле:

*-/{!). (16) 12

Видеокамера

Подвижная платформа

Получить управляющее воздействие

Математический аппарат

Рисунок 1 - Use-Case диаграмма предлагаемого метода

Рисунок 2 - Activity диаграмма алгоритма 15

стационарного объекта по ряду разнесенных во времени его образов, описывающая работу монокулярной системы технического зрения в условиях помех и искажений изображений.

6. Изготовлен и апробирован экспериментальный стенд, реализующий разработанный алгоритм нейросетевой идентификации и определения пространственных характеристик выделенного стационарного объекта с выработкой управляющих воздействий по корректировке курса робота.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в изданиях, рекомендованных ВАК:

1. Бабич, A.M. Использование монокулярной системы технического зрения при оценке расстояния до препятствий [Текст] / A.M. Бабич, В.Р. Роганов // Вопросы радиоэлектроники. Серия «Электронная вычислительная техника». -2008.-Вып. 5.-С. 107-111.

2. Бабич, A.M. Один из подходов к созданию монокулярной системы технического зрения [Текст] / A.M. Бабич // Вопросы радиоэлектроники. Серия «Электронная вычислительная техника». - 2010. - Вып. 5. - С. 124—129.

3. Бабич, A.M. Алгоритм использования нейронной сети в системе технического зрения мобильного робота [Текст] / A.M. Бабич // Вопросы радиоэлектроники. Серия «Общетехническая».-2011. - Вып. 2.-С. 116-122.

4. Бабич, A.M. Методы определения характеристик окружающего пространства при помощи монокулярных систем технического зрения [Текст] / A.M. Бабич // Вопросы радиоэлектроники. Серия «Системы отображения информации и управления спецтехникой».-2012. - Вып. 1.-С. 156-162.

5. Бабич, A.M. Анализ погрешности определения пространственных характеристик объекта бинокулярными системами технического зрения [Текст] / A.M. Бабич // Радиопромышленность. - 2011. - Вып. 4. - С. 68-72.

Глава в коллективной монографии:

6. Бабич, A.M. Математические и компьютерные методы в медицине, биологии, экологии: монография [Текст] / В.И. Левин, A.M. Бабич, Е.Ю. Бур-кина, Я.А. Гельфандбейн, В.Я. Гельфандбейн, A.A. Казанцев, Т.Г. Копченко,

A.B. Крошилин, C.B. Крошилина, Е.Г. Крушель, П.А. Набродов, А.Н. Пылькин,

B.Р. Роганов, Э.В. Роганова, A.A. Смирнов, О.Н. Смирнова, И.В. Степанченко, О.В. Степанченко, А.Ю. Чемерисов, Р.П. Шиповский. - Пенза - Москва: Приволжский Дом знаний, 2012. - С. 78-90.

Публикации в других изданиях:

7. Бабич, A.M. Подход к классификации систем ввода информации мобильных роботов [Текст] / A.M. Бабич, В.Р. Роганов // Современные методы и средства обработки пространственно-временных сигналов: сб. ст. VI Всеросс. науч.-техн. конф. - Пенза, 2008. - С. 75-78.

8. Бабич, A.M. Подходы к разработке систем навигации мобильных роботов [Текст] / A.M. Бабич, В.Р. Роганов // Проблемы развития боеприпасов,

ФБГОУ ВПО «ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ»

На правах рукописи

04201 453519

БАБИЧ АНДРЕЙ МИХАЙЛОВИЧ

МЕТОДЫ И АЛГОРИТМЫ ОПРЕДЕЛЕНИЯ ПРОСТРАНСТВЕННЫХ ХАРАКТЕРИСТИК СТАЦИОНАРНЫХ ОБЪЕКТОВ ПРИ НАВИГАЦИИ МОБИЛЬНОГО РОБОТА С МОНОКУЛЯРНОЙ СИСТЕМОЙ ТЕХНИЧЕСКОГО ЗРЕНИЯ

Специальность 05.13.17 - теоретические основы информатики

Диссертация на соискание учёной степени кандидата технических наук

Научный руководитель: кандидат технических наук, доцент Роганов В.Р.

ПЕНЗА-2013

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ..............................................................................................................4

ГЛАВА 1. ОБЗОР СОВРЕМЕННОГО СОСТОЯНИЯ МОДЕЛЕЙ И МЕТОДОВ, ИСПОЛЬЗУЕМЫХ В СИСТЕМАХ НАВИГАЦИИ МОБИЛЬНЫХ РОБОТОВ....................................................................................13

1.1 Методы, используемые при разработке систем навигации мобильных роботов................................................................................................................13

1.2 Основные подходы к определению искусственного интеллекта, используемые при решении задач навигации мобильных роботов.............18

1.3 Модели систем распознавания, используемые в монокулярных системах технического зрения.........................................................................29

1.4 Формальные языки описания систем........................................................32

1.5 Мобильные роботы......................................................................................36

1.6 Выводы по главе 1.......................................................................................41

ГЛАВА 2. МЕТОДИКА ОПРЕДЕЛЕНИЯ ПРОСТРАНСТВЕННЫХ ХАРАКТЕРИСТИК ОБЪЕКТА С УЧЁТОМ СОСТОЯНИЯ СРЕДЫ И АВТОНОМНОГО МОБИЛЬНОГО РОБОТА.....................................................43

2.1 Определение и постановка задачи.............................................................43

2.2 Распознавание формы поверхности объекта по затенению....................47

2.3 Определение локальной ориентации поверхностей путём анализа искажения ракурса текстуры объекта.............................................................51

2.4 Распознавание формы поверхности по степени размытия объекта при изменении фокуса видеокамеры......................................................................55

2.5 Распознавание формы поверхности при взаимном перемещении объекта и видеокамеры.....................................................................................58

2.6 Сопоставление рассматриваемых методов...............................................63

2.7 Выводы по главе 2.......................................................................................67

ГЛАВА 3. МЕТОД ОПРЕДЕЛЕНИЯ ПРОСТРАНСТВЕННЫХ ХАРАКТЕРИСТИК ВЫДЕЛЕННОГО СТАЦИОНАРНОГО ОБЪЕКТА МОНОКУЛЯРНОЙ СИСТЕМОЙ ТЕХНИЧЕСКОГО ЗРЕНИЯ МОБИЛЬНОГО РОБОТА.....................................................................................68

3.1 Общая задача определения пространственных характеристик выделенного стационарного объекта монокулярной системой технического

зрения..................................................................................................................68

2

3.2 Решение подзадачи определения типа зависимостей, хранящихся в базе данных.................................................................................................................71

3.3 Решение подзадачи определения интерполирующей функции входных данных и определения соответствия между полученной информацией и информацией в базе данных.............................................................................80

3.4 Решение подзадачи определения пространственных характеристик объекта и формирования управляющего воздействия для корректировки курса....................................................................................................................90

3.5 Использование нейросетевой адаптивной модели для определения пространственных характеристик выделенного стационарного объекта и управления мобильной платформой................................................................96

3.6 База данных разработки системы технического зрения........................100

3.7 Применение нечёткой математики..........................................................107

3.8 Выводы по главе 3.....................................................................................117

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА РАБОТОСПОСОБНОСТИ РАЗРАБОТАННОГО МЕТОДА.........................................................................119

4.1 Моделирование работы разработанного алгоритма средствами 3D Studio Мах и среды Matlab..............................................................................119

4.2 Разработка аппаратной части экспериментального стенда...................126

4.3 Разработка программной части экспериментального стенда...............130

4.4 Практическое использование...................................................................136

4.5 Выводы по главе 4.....................................................................................138

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ.......................................................140

СПИСОК СОКРАЩЕНИЙ И АББРЕВИАТУР................................................142

СПИСОК ЛИТЕРАТУРЫ...................................................................................143

1 1

з

ВВЕДЕНИЕ

Актуальность темы исследования. На сегодняшний день автономные мобильные роботы и роботы, управляемые дистанционно, находят всё более широкое применение в таких областях как исследование космического пространства и океанских глубин, опасные производства, устранение последствий техногенных катастроф. Основным требованием, предъявляемым к таким роботам, является их точная ориентация в процессе перемещения в пространстве относительно неподвижных препятствий и подвижных объектов [1], [2].

Ранее решение задач навигации возлагалось на человеко-машинные системы. Например, при навигации летательных аппаратов использовалась способность подготовленного человека-штурмана ориентироваться в пространстве, используя для этого показания отдельных приборов навигационной системы (магнитного компаса, радиокомпаса, специальных систем «Радиостанция ближней навигации» и т.д.) и счисление пути (длина пути и направление перемещения летательного аппарата с момента начала движения) [3]. Отличительной особенностью таких систем являлось восстановление местонахождения летательного аппарата при полёте по маршруту и выход в заданную точку только в исключительных случаях - при заходе на посадку, или при выполнении спецзадания [4].

В наиболее развитых системах навигации летальных аппаратов

задействовано большое разнообразие датчиков навигационной информации,

использующих большое число систем координат (CK), что объясняется

необходимостью обеспечить решение всех навигационных задач с требуемой

точностью. В целом, используемые системы координат зависят от масштабов

перемещения летательного аппарата в пространстве и их можно разделить на

глобальные, местные и астрономические. В разработке систем координат для

решения штурманских задач самолётовождения большое влияние оказали

работы Красовского A.A. и Каврайского В.В. [5],[6]. В рассматриваемых

4

нами задачах будем считать необходимым определение дистанции и пространственных характеристик объектов, видимых с использованием систем технического зрения, что позволяет ограничиться использованием местной прямоугольной системой координат.

В истории развития машинного зрения можно выделить следующие этапы [7]:

1955 г. - профессор Массачусетского технологического института (МТИ) Оливер Селфридж опубликовал статью «Глаза и уши для компьютера» в которой впервые была выдвинута идея возможности оснащения ЭВМ средствами распознавания изображения и звука.

1958 г. - в Корнелльском университете Фрэнком Розенблаттом впервые разработана компьютерная реализация персептрона - устройства, моделирующего распознавание образов человеческим мозгом.

1960-е гг. - разработка первых программных систем обработки и распознавания изображений и текста.

1970-е гг. - аспирантом МТИ Лавренсе Робертсом предложена концепция воссоздания трёхмерных моделей объектов реального мира на основе анализа набора их 2Б-изображений. Начало активного развития различных подходов распознавания объектов на изображении.

1979 г. - профессором Ганс-Хельмут Нагелем Гамбургского университета разработаны основы теории анализа динамических сцен, позволяющие распознавать движущиеся объекты в видеопотоке.

1990 гг. - создание Д. Марром модульной парадигмы, утверждающей, что обработка изображений должна опираться на несколько последовательных уровней восходящей информационной линии: от «иконического» представления объектов (неструктурированная информация) - к их символическому представлению (векторные и атрибутивные данные в структурированной форме, реляционные структуры и т. п.) и должна осуществляться по модульному принципу посредством следующих этапов обработки [8]:

- предобработка изображений;

- сегментация;

- выделение геометрической структуры;

-определение относительной структуры и семантики.

Из отечественных работ можно выделить труды сотрудника ОАО «НИКОИ» Овечкиса Ю.Н., которым были разработаны методологические основы стереокомпьютерных методов восстановления ЗЭ-изображения и их применение [9].

Известны также системы дистанционного управления мобильными роботами; их отличительной особенностью также является использование способности подготовленного человека-штурмана ориентироваться в пространстве и дистанционно задавать управляющие сигналы на перемещение мобильного робота в том или ином направлении. Примером такой системы могут послужить различного рода планетоходы [10]. В ряде случаев используются мобильные роботы перемещающиеся по реперным точкам, расположенным вдоль всей дистанции. Известны решения перемещения мобильных роботов от старта к финишу полностью в автономном режиме. Один из известных проектов - DARPA Grand Challenge, гонки автомобилей в США, перемещающихся в автономном режиме из одного пункта в другой [11]. В 2011 году была поставлена задача создать автономный мобильный робот на базе шасси грузового такси «Газель», способного перемещаться по дорогам вокруг озера Селигер, соблюдая правила дорожного движения, в полном объёме эта задача не решена [12], в основном из-за проблем с созданием систем навигации способной решать задачи быстрого восстановления ориентации в пространстве (установить его местонахождение) и прогнозировать возможность удачного перемещения управляемого её мобильного робота в заданном направлении.

Таким образом, задача определения координат мобильного робота в пространстве является актуальной.

Системы технического зрения делятся на использующие одну (монокуляры) и более одной видеокамеры [15], [16]. Работа систем технического зрения, использующих несколько видеокамер, основана на сопоставлении изображений внешней среды, полученных с двух и более пространственно разнесенных точек мобильного робота. Благодаря пространственному разделению полученных изображений в подобных системах технического зрения определяется необходимая информация о пространственных характеристиках объекта.

Системы технического зрения, использующие одну расположенную на мобильном роботе видеокамеру, располагают единственным изображением и не получают информацию об объёме и удалении окружающих объектов, поэтому их использование предполагает наличие априорных сведений об окружающем их пространстве. Однако получение данных о пространственных характеристиках окружающих объектов также возможно за счёт сопоставления изображений, полученных в различные моменты времени при изменении взаимного положения наблюдателя и объектов (т.е. при наблюдении системой окружающего пространства и отслеживании изменений получаемых визуальных характеристик объектов с течением времени).

При определении навигационной системой местонахождения мобильного робота в пространстве и направления его перемещения требуется определять расстояния до подвижных и неподвижных объектов. Во многих случаях практического использования мобильных роботов оказывается достаточным определять расстояние до неподвижных объектов. При проектировании мобильного робота, как и других мобильных устройств, особое внимание уделяется снижению массогабаритных показателей базирующихся на них приборов, в том числе и относящихся к системе технического зрения. Однако требования надежности и жизнестойкости вынуждают предусматривать в системе технического зрения специальную

отдельную видеокамеру для определения дистанции до неподвижных объектов [17].

В работах научных коллективов ОАО «НИКОИ», группы «Транзас», Massachusetts Institute of Technology, Canadian Aviation Electronics, Defense Advanced Research Projects Agency, а также отечественных и зарубежных ученых Овечкиса Ю.Н., Роганова В.Р., Roberts L., посвященных моделированию визуально наблюдаемых трёхмерных объектов с качеством, достаточным для профессиональной тренировки глазомера наблюдателя, показана возможность использования безочковых одноканальных систем визуализации [18], [19]. По сравнению с системами визуальной ориентации на основе нескольких видеодатчиков монокулярные системы обладают простотой, надежностью, их применение позволяет сократить производственные и эксплуатационные расходы. Однако многие вопросы, связанные с получением и обработкой визуальной информации в процессе управления движением автономного мобильного робота, использующего монокулярную систему навигации для определения дистанции до выделенных объектов в условиях помех и искажений изображений, остаются недостаточно проработанными. Это не позволяет расширить масштабы практического применения таких систем. В этой связи тема диссертационного исследования является актуальной.

Объектом исследования являются методы навигации мобильных роботов, оборудованных монокулярной системой технического зрения.

Предмет исследования - математические и имитационные модели процессов навигации и определения дистанции до выделенного стационарного объекта с использованием монокулярной системы технического зрения.

Целью диссертационной работы является повышение надежности и помехоустойчивости систем технического зрения автономных мобильных роботов при определении пространственных характеристик стационарных объектов в процессе навигации.

Для достижения поставленной цели сформулированы и решены следующие задачи.

1. Разработка методики определения пространственных характеристик объекта с учетом условий окружающей среды и состояния автономного мобильного робота, оборудованного монокулярной системой технического зрения.

2. Выявление критериев сопоставления динамических визуальных данных монокулярной системы технического зрения мобильного робота с пространственными характеристиками хранимых образов стационарных объектов.

3. Разработка метода определения пространственных характеристик выделенного стационарного объекта и алгоритмов расчета отклонения робота от заданного курса для формирования управляющего воздействия по корректировке его курса.

4. Разработка модели процесса автоматической локализации и определения пространственных характеристик наблюдаемого выделенного стационарного объекта по ряду разнесенных во времени его образов, обеспечивающей устойчивую работу монокулярной системы технического зрения в условиях помех и искажений изображений.

Научная новизна полученных результатов:

1. Разработана методика определения пространственных характеристик объекта, отличающаяся анализом условий среды и состояния автономного мобильного робота, оборудованного монокулярной системой технического зрения, и комплексным подходом, что обеспечивает повышение помехоустойчивости системы технического зрения.

2. Разработан метод определения пространственных характеристик выделенного стационарного объекта на основе анализа последовательности изображений, полученных при помощи монокулярной системы технического зрения мобильного робота.

3. Разработан метод автоматической коррекции курса мобильного робота во время движения, отличающийся возможностью определения пространственных характеристик выделенного стационарного объекта и вычисления по изменяемым во времени входным данным угла отклонения от заданного курса.

4. Разработана нейросетевая адаптивная модель автоматического определения пространственных характеристик наблюдаемого выделенного стационарного объекта по его изменяющимся во времени изображениям, отличающаяся использованием двух независимых подсистем нейронных сетей, обеспечивающая устойчивую работу монокулярной системы технического зрения в условиях помех и искажений изображений.

Практическая значимость работы.

Разработанная методика определения пространственных характеристик объекта позволяет расширить возможности использования монокулярных систем технического зрения за счёт совместного использования методов определения пространственных характеристик с учетом условий окружающей среды и состояния автономного мобильного робота.

Использование нейросетевой адаптивной модели дает возможность определять пространственные характеристики выделенного стационарного объекта и корректировать курс автономного мобильного робота с повышенной устойчивостью к воздействию помех.

Внедрение результатов работы.

Результаты теоретических и экспериментальных исследований

использованы в ООО «ВидеоЗ» (информационно-ресурсный центр по

Пензенской области программы «Ро�