автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Метод распознавания бинарных изображений дорожных сцен в системе управления движением автономного транспортного робота

Р Г 5 ОА з ;глп 1995

Государстве, шшя институт фяэако- технических проблем

На, и^и.иил рукописи Клямолтович Андрей Владимирович

МЕТОД РАСПОЗНАВАНИЯ БИНАРНЫХ ИЗОБРАЖЕНИЙ ДОРОЖНЫХ СЦЕН Б СИСТЕМЕ УПРАВЛЕНИЯ ДВИЖЕНИЕМ АВТОНОМНОГО ТРАНСПОРТНОГО РОБОТА

Специальность 05.13.16 — Применение вичислятеяыю! техники, математического моделирования и математических методов в научяых исследованиях

АВТОРЕФЕРАТ диссертации: яа. соискание ученой степени кандидата технических наук

Соискатель — А.В. Климоитоия'г

Москва 1995

Работа выполнена в Государственном Институте физико-технических проблей

Научный руководитель: к.ф.-м.н. К.И. Кий

Официальные оппоненты: д.ф.-м.н., профессор E.H. Орел

к.ф.-м.н. В.П. Андреев

Ведущая организация: Институт прикладной математики РАН

Защита состоится " "_ 1995 г. в_час.

на заседании диссертационного совета ССД-109.02.01 при ГосИФТП

по адресу: 119121, г.Москва, ул.Пречистенка, д.13/7

С диссертацией можно ознакомиться в библиотеке Государственного Института физико-технических проблем

Автореферат разослан " "_ 1995 г.

Ученый секретарь диссертационного совета, к.т.н.

B.U Придорогин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Неблагоприятные и опасные для человека условия, имеющие место на. производстве, ведения современных боевых действий, работе в космосе, на дне океала и на зараженной местности, требуют применения автономных роботе технических систем. Во многих случаях нет возможности структурировать среду функционирования мобильного робота или такая структуризация обходится слишком дорого. Это касается, например, таких приложений, кал военные, борьба с пожарами, обслуживание атомных электростанций и химических предприятий, работа в зонах аварий и стихийных бедствий и т.д. Мобильные роботы для работы в неструктурированных средах оснащаются одометркческнмк и инерциальнымн датчиками, ультразвуковыми, инфракрасными и лазерными дальномерами, телевизионными системами зрения. Наиболее богатую, но и наиболее трудно поддающуюся анализу, информацию поставляют телевизионные камеры (так же как и у человека основной сенсорной системой, дающей информацию о внешнем мире, является зрение). Актуальность задачи разработки автономных мобильных роботов подтверждается большим вниманием, которое уделяется этой проблеме в таких странах как США, Германия, Япония, Франция. Кроме чисто практической пользы, которую может принести внедрение автономных мобильных роботов, задача автовождения является тестовой на пути исследований в области искусственного интеллекта. В ходе ее решения рассматриваются такие ключевые для искусственного интеллекта проблемы, как распознавание образов и анализ сцен, принятие решений при неполной и неточной информации, организация знаний и др. Одной из задач, решаемых автономным мобильным роботом, является задача движения по дороге из одного пункта в другой. При этом основным источником информации о дорожной ситуации служат изображения дорожной сцены, получаемые от борт-

овой телевизионной камеры. Отсюда вытекает актуальность задачи анализа телевизионных изображений с целью извлечения информации о дорожной сцене и о положении робота на дороге.. Подученное в результате такого анализа описание дорожной сцены служит основой для принятия решений по управлению курсом и скоростью робота. При решении задачи управления движением на основе зрительной информации возникают трудности, связанные с неполнотой и неточностью полученных данных, а также с неизвестной априори реакцией машины на поданные команды управления.

Цель работы. Целью работы является разработка подсистемы управления движением автономного транспортного робота по дороге на основе анализа телевизионных изображений дорожных сцен.

Методы исследования. В работе использованы методы и понятия теории графов, проективной геометрии, теории нечетких множеств и нечеткой логики, математического моделирования.

Научная новизна работы. Научная новизна работы заключается в следующем:

- разработал метод анализа последовательностей бинарных изображений дорожных сцен, основанный на представлении выделенных границ области дороги в виде взвешенного графа и поиске видимых участков дороги как максимальных паросоче-таний минимального веса в этом графе;

- разработаны методы и структуры данных для представления описаний дорожных сцен, которые могут быть использованы как для анализа последующих изображений, так и для управления;

- разработан алгоритм управления движением робота по дороге, основанный на нечетком описании дорожной ситуации и нечетком логическом выводе.

- разработана комплексная модель управляемого движения робота по дороге, служащая для исследования и отработки методов и алгоритмов анализа изображений, управления и отладки реализующих их программ.

Практическая ценность диссертационной работы определяется тем, что разработаляые методы и алгоритмы используются в системе управления движением автономного робота. Работа выполнялась в рамках проводимых в ГосИФТП плановых работ по научно-исследовательским темам "Курс-МП", "Роботизация", "Клен-ОБ", "Клык", направленных на изучение возможностей создания автономных мобильных роботов. Исследования по данным темам привели к созданию действующего макета, автономного робота, который успешно прошел натурные испытания. Программное обеспечение, реализующее предложенные методы и алгоритмы, эффективно по быстродействию, работает на бортовом вычислительном комплексе в реальном времени и обеспечивает движение робота по бетонным дорогам со скоростью до '20 км/час. и по грунтовым дорогам со скоростью до 7 км/час. Практическое применение результатов работы подтверждено соответствующим актом.

Апробация работы. Основные результаты диссертационной работы докладывались на V Всесоюзном совещании по робототех-ническим системам (Геленджик, 1990 г.), на семинарах Института физико-технических проблем и на семинаре в Институте Прикладной Математики РАН.

. Публикации. По результатам выполненных исследований опубликовано 9 печатных работ.

Структура и объем работы. Работа состоит из введения, четырех глав и заключения; содержит 152 страницы, 5 таблиц, 38 рисунков, список литературы из 87 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность темы исследования, сформулирована цель работы и задачи, которые решаются для ее достижения. Дается общая характеристика работы, ее научной и практической значимости.

Глава 1 носит обзорный и постановочный характер. Описаны основные зарубежные проекты по созданию автономных подвижных роботов, работа над которыми ведется в лабораториях США и Германии. Проанализировано состояние этих проектов и достигнутые результаты. Наиболее трудной задачей, которая должна быть решена при построении системы управления движением робота по дороге с обратной связью по зрению, является задача распознавания изображений дорожных сцен. Эта задача разбивается на две большие подзадачи:

- задача сегментации изображения, т.е. выделения ца нем областей дороги не дороги;

- задача идентификации на сегментированном изображении отдельных участков дороги, определение их взаимного расположения и определение положения робота на дороге.

В диссертации решается вторая задача. Трудность заключается в том, что результаты сегментации не могут быть точными из-за различных условий освещенности, состояния дороги и окружающей местности. В результате, в область, отнесенную в процессе сегментации к дороге, могут попасть участки, которые в действительности не лежат на дороге — кусты, участки обочины и т.д. С другой стороны, некоторые части дороги могут быть помечены во время сегментации как не лежащие на дороге. Это могут быть лужи, тени,

загрязненные участки и т.п. Путем анализа взаимного расположения сегментов границы области дороги необходимо найти среди них истинные и ложные участки краев дороги.

В §1.2 приведено общее описание объекта и системы управления. Робот представляет собой транспортное средство на гусеничном шасси. Для получения информации о внешней среде робот снабжен черно-белой телекамерой и датчиками курса, крена, дифферента и пройденного пути. Система управления роботом представляет собой иерархическую трехуровневую систему. Верхний (стратегический) уровень вырабатывает маршрутное задание на основе априорных знаний о местности и знаний о возможностях робота. Средний (или тактический) уровень отрабатывает элементы маршрутного задания, такие, например, как "двигаться из точки А по дороге ширины на расстояние ¡1 со скоростью не более затем на перекрестке свернуть направо и двигаться по дороге ширины и>2 на расстояние ¡2 со скоростью не более ь?". Второй уровень управляет выполнением элемента маршрутного задания, опираясь на данные системы технического зрения и показания датчиков. При этом выдаются макрокоманды управления скоростью и поворотом. Эти макрокоманды реализуются на третьем (нижнем или исполнительном) уровне системы управления, который непосредственно управляет исполнительными механизмами робота — коробкой передач, тормозами и т.д.

В диссертационной работе решаются задачи второго уровня системы управления, возникающие при движении по дороге.

Глава 2 посвящена методу анализа последовательностей бинарных изображений дорожных сцен. В первом параграфе главы рассмотрено перспективное преобразование, получены формулы для коэффициентов уравнений прямых при таком преобразовании. Показано, что при восстановлении геометрии плоской дороги с прямыми

краями по ее перспективному изображению можно пренебречь углом поперечного наклона дорожного полотна, если ои не превышает 3°.

В §2.2 подробно проанализированы условия применимости допущения о плоском характере дороги. Проведено сравнение моделей дороги, используемых в различных работах по анализу дорожных сцен для восстановления геометрии дороги. Это модели "нулевого крена", "холм-долина" и "плоская дорога". Сделан вывод о том, что модель нулевого крена дает наилучшие результаты, но ценой значительного увеличения вычислительной сложности. В то же время модель плоской дороги, имея меньшую вычислительную сложность, обеспечивает достаточную точность на небольшом расстоянии от камеры, что как раз и требуется для движения с небольшими скоростями. Принимая во внимание указанные соображения, в диссертации используется модель плоской горизонтальной дороги.

Далее в §2.2 дана оценка ошибки в определении положения робота на плоской дороге, имеющей продольный наклон 7, которая возникав ет, когда наклон не учитывается при проведении обратного перспективного преобразования. Показано, что при малых отклонениях по углу от осевой линии дороги (<?) ошибки в определении углового и поперечного отклонения робота от осевой линии дороги и Ар) имеют вид

' Д* = £7

<

„ ДР =

где Н — высота камеры над дорогой. При характерных значениях р < 2, Яг = 2иу>< 10° такой точности достаточно для обеспечения управления движением по дороге с невысокими скоростями.

В §2.3 обсуждается общая схема анализа серий изображений дорожных сцен. В процессе обработки последовательно получаются все более сжатые описания исходного изображения и в результате

появляется фрейм ДС, содержащий лишь небольшое число параметров, который можно использовать как для принятия решений по управлению роботом, так и для анализа последующих изображений.

Полученное после сегментации бинарное изображение и его контур могут иметь довольно значительные искажения из-за наличия на дороге луж, теней, неравномерного освещения различных частей ДС. Соответственно, некоторые участки контура могут действительно представлять границы дороги, а другие — быть границами таких объектов, как лужи, тени и т.п. Сама граница дороги может быть фрагментирована на отдельные участки. Возникает задача анализа взаимного расположения участков контура и выявления среди них действительных границ дороги. Необходимо провести определенные геометрические рассуждения и выделить те элементы контура области дороги, которые соответствуют наиболее существенным элементам ДС. Это границы того участка дороги, на котором находится робот в момент восприятия изображения, границы отвепвлений от основной дороги, границы дороги после поворота и т.д. Чтобы участок дороги считать идентифицированным, необходимо найти два его края, т. е. два таких отрезка контура дороги, которые лежали бы на противоположных (левом и правом) краях дороги, были примерно параллельны друг другу и расстояние между ними было бы близко к ожидаемой ширине дороги. Такие отрезки называются соответствующими друг другу. В некоторых ситуациях, например вблизи поворота, один из краев дороги может быть не виден. При плохих условиях освещения один или даже оба края дороги могут не быть идентифицированы. Такие ситуации должны быть выявлены и недостающие крал восстановлены по результатам анализа предыдущих изображений и показаниям навигационной системы робота.

В ходе геометрического анализа рассматривается взаимное расположение отрезков контура дороги и ДС представляется в виде графа,

вершинами которого являются отрезки койтура, а ребрами связаны соответствующие друг другу вершины (отрезки). Как правило, один отрезок контура имеет несколько потенциально соответствующих ему отрезков на противоположном краю дороги и поэтому возникает задача выбора оптимальных пар. Это — классическая комбинаторная задача о построении паросочетаяжя двудольного графа. Каждая связанная между собой пара вершин паросочетания представляет некоторый прямолинейный участок дороги.

Далее анализируется взаимное расположение выделенных участков дороги и отыскивается тот из них, на котором расположен робот в момент восприятия изображения. Для него необходимо определить ширину и положение робота относительно его осевой линии. Эти параметры непосредственно определяют решения на тактическом уровне управления роботом, задачей которого является обеспечение движения по центру дороги. Остальные пары вершин паросочета-ния представляют такие элементы ДС, как повороты, перекрестки и т.д. Для них важно прежде всего выявить качественную информацию, убедиться в их правильной идентификации, анализируя серию последовательных изображений, и оценить расстояние до них. Это позволяет получить описание ДС примерно в таком виде, каким пользуется человек-водитель при управлении автомобилем. Такую информацию сообщает штурман водителю во время автогонок. Нал пример, в 100 м крутой поворот направо. Эта информация используется для подготовки к предстоящему маневру. Например, можно снизить скорость, переключить передачу.

Полученное описание ДС записывается в специальную структуру — фрейм ДС, который используется как для управления роботом, так и для анализа последующих изображений.

В §§2.4-2.6 рассмотрены построение контура области дороги, его аппроксимация ломаной и перевод контура в подстилающую плос-

кость на основе подели плоской дорог*

В §2.7 предложено описание контура области дороги двудольным взвешенным графом, называемым далее графом дорожной сцены. Каждый отрезок контура на основе взаимного положения его начала и копца классифицируется как левый (т.е. лежащий на левом краю дороги), правый или неизвестный. Каждому левому отрезку ставится в соответствие вершина в левой части графа, каждому правому — вершина в правой части, а каждому неизвестному — по одной вершине и в левой и в правой частях. Каждая вершина из левой части графа связывается ребром с каждой вершиной в правой части. Ребру приписывается вес

Ш = ¿1 БН1 6 ■+■ >

где 6 — угол между отрезками, с£, — относительное расстояние между ними, ¿1 и ¿з — постоянные коэффициенты. Относительное расстояние между отрезками вычисляется по формуле

где £> — ожидаемая ширина дороги, а </ — расстояние между отрезками, измеряемое как расстояние от центра более короткого отрезка до более длинного. Для параллельных отрезков, нахоцяшихся на расстоянии Б друг от друга, вес ребра равен 0. Таким образом, вес ребра служит мерой соответствия данной пары отрезков модели прямолинейного участка дороги ширины I). Чем меньше вес, тем лучше данная пара отрезков соответствует модели.

Возникает задача о выборе оптимального подмножества ребер графа ДО, в некотором смысле наилучшим образом представляющего видимые участки дороги. Критерием оптимальности служит суммарный вес ребер, который должен быть минимизирован. Это — классическая комбинаторная задача о построении налбольшего паросочетаяия минимального веса в двудольном графе. Учитывая

небольшой размер графа (обычно не более 5 вершин в каждой доле), для ее решения использован метод перебора в глубину с отсечением ветвей и границ.

Каждая пара вершин построенного паросочетакия соответствует некоторому видимому на изображении участку дороги, причем вес ребра служит мерой степени соответствия данного участка идеальной модели дороги с параллельными краями.

В §2.8 показано, как полученная информация может быть представлена в виде фрейма дорожной сцены, который используется как для управления роботом, так и для анализа последующих кадров.

§2.9 посвящен вопросу анализа последовательности изображений. Для сопоставления фрейма ДС, полученного при анализе серии предыдущих кадров, с результатами анализа текущего кадра повторно применен метсд представления ДС двудольным графом. Теперь вершины одной доли графа соответствуют участкам дороги, обнаруженным на серии предыдущих изображений и представленных во фрейме ДС, а вершины другой доли — участкам, обнаруженным на текущем изображении. Как и ранее, снабдим ребро, связывающее каждую пару вершин в левой и правой долях графа весом

к 17 + + кгОт,

где , к2, к3 — постоянные коэффициенты, у — угол между осевыми линиями участков, ¿, — относительное расстояние между осевыми и От — относительная разность ширины участков. Если & — расстояние между осевыми линиями участков, £>1 и О? — соответственно ширина участков во фрейме ДС и на текущем изображении, то относительное расстояние ¿г вычисляется как

Л.-—Л— * ~ (А+ХЪ)"

Относительная разность ширины участков вычисляется как

п

' (£>1 + Ра) '

Чем больше вес ребра, графа, тем хуже два участка дороги, представленные па текущем изображении и во фрейме ДС, соответствуют друг другу. Решая, как и ра.нее, задачу о наибольшем паросочета-ляд минимального веса в двудольном графе, получим паросочетание, в котором связанные вершины представляют один и тот же участок дороги, видимый как на текущем, так и на предыдущих изображениях. Для таких участков увеличивается уверенность в их правильной идентификации (т.е. коэффициент достоверности).

Использованный уже дважды м°тод представления дорожной едены двудольным графом может быт;, применен еще раз для восстановления невидимых краев некоторых участков дороги. После построения паросочетаяия в графе ДС, описывающем текущее изображение, остаются вершины, не вошедшие в паросочетание. Они могут быть интерпретированы как отрезки границ, которым не нашлось соответствия на противоположной стороне дороги. В этом случае строим двудольный граф, в котором вершины одной доли представляют непарные отрезки текущего изображения, а вершины другой доли — границы участков дороги из фрейма ДС (с учетом смещения робота между двумя последними кадрами), которым не нашлось соответствия при сопоставлении участков дороги, обнаруженных на текущем и на серии предыдущих изображений. Веса ребер определяются так же, как и ранее — в виде линейной комбинации угла между отрезками и расстояния между ними. Построив в этом графе наибольшее паросочетание минимального веса, мы можем считать отождествленными те отрезки границ дороги, которые соединены ребром в этом паросочетаяии. Теперь можно восстановить вторую

границу участков дороги, для которых на текущем изображении была идентифицирована лишь одна граница, пользуясь описанием этой границы во фрейме ДС и показаниями навигационной системы робота.

В §2.10 рассматривается вопрос о вычислении коэффициента достоверности распознавания дорожной сцены. Если вес ребра графа, представляющего некоторый участок дороги, равен и>, то коэффициент достоверности правильной идентификации данного участка можно считать равным 1 — го. Пусть теперь некоторый участок дороги уже присутствовал в описании дорожной сцены и этот участок также обнаружен на текущем изображении. В этом случае его коэффициент достоверности следует увеличить. Здесь мы, по существу, имеем дело с двумя свидетельствами, которые подтверждают присутствие в изучаемой дорожной сцене данного участка дороги. Для вычисления коэффициента достоверности гипотезы, подтвержденной двумя независимыми свидетельствами, использована формула Демпстера-Шефера. Коэффициент достоверности используется для управления скоростью — его уменьшение вызывает снижение скорости движения. С другой стороны, коэффициент достоверности позволяет "очищать" фрейм ДС от лишних элементов, а именно тех, у которых он оказался ниже некоторого фиксированного уровня.

В §2.11 показало, как среди всех идентифицированных на изображении участков дороги найти основной, т.е. тот, по которому в настоящий момент движется робот. Для этого для каждого из участков вычисляется угол между его осевой линией и курсом робота, а также отклонение от осевой. Эти параметры сравниваются с ожидаемыми для текущего участка дороги и выбирается ближайший. Целью управления становится поддержание малых отклонений робота от осевой линии основного участка по ширине и по углу.

Предлагаемый метод выьора основного участка дороги позволяет

системе управления организовать поворот на перекрестке или выбрать одну из возможных дорог на развилке. Для этого достаточно идентифицировать приближающийся элемент ДС, оценить расстояние до него и в нужный момент сменить основной участок дороги, поставив тем самым новую цель управления.

Глава 8 посвящена управлению движением робота по дороге на основе описания дорожных сцен, полученных в результате анализа телеизображений. Для преодоления трудностей, связанных с возможными ошибками в определении положения робота на дороге и с невозможностью точно предсказать реакцию машины на ту или иную команду управления из-за труднопрогнозируемого взаимодействия с грунтом, избран метод нечеткого управления, основалный на нечетком описании дорожной ситуации и нечеткой логике.

В §3.1 вводятся основные понятия теории нечетких множеств и нечеткой логики. Изложены общие принципы построения нечетких регуляторов.

В §3.2 рассмотрено управление курсом робота. В результате анализа последовательности изображений дорожной сцены получены два параметра, характеризующие положение машины на дороге: относительное отклонение от осевой линии по ширине 6 и по углу у. Теперь эти параметры представляются в виде двух нечетких множеств типа 2, которые интерпретируются как нечеткое описание дорожной ситуации. Каждый из параметров 5 и 7 может принимать одно из лингвистических значений {ОБ, ОС, ОМ, Н, ПМ, ПС, ПБ}, где буквы обозначают: О — отрицательный; П — положительный; Н — нулевой; Б — большой; С — средний; М — малый. Например, лингвистическое значение ОС означает отрицательный средний и т.п. Функции принадлежности лингвистических значений получены путем подбора на модели управляемого движения по дороге (см. главу 4 диссертации). Вычисляя степень принадлежности (гх-(х) четкого

значения каждого из двух параметров 6 и 7 каждому возможному лингвистическому значению х*, получаем два нечетких множества вида

{< (1-3, ОБ >, < ,ц_2ОС >, < ОМ >, < >, < /хх, ПМ >,< /12,ПС >,< ПБ >}.

Команда управления поворотом может принимать одно из следующих лингвистических значений:

и = {ЛБ, ЛС, ЛМ, ПРЯМО, ПМ, ПС, ПБ},

где Л означает левый, П — правый, Б, С и М, как и ранее, означают большой, средний и малый.| Каждой из команд соответствует поворот с радиусом, значение которого зависит от взаимодействия машины с грунтом и точно неизвестно, но во всяком случае поворот по команде ЛБ будет круче, чем по команде ЛС, а по команде ЛС круче, чем но команде ЛМ. Для вывода команды управления поворотом из нечеткого описания ситуации используется нечеткий логический вывод. Правила вывода сосредоточены в базе правил управления курсом, сформированной экспертным способом с испытанием на модели управляемого движения по дороге. Правила вывода имеют вид:

если (6 есть А) и (у есть В) то (и есть (/),

А, В — лингвистические значения параметров д ж у соответственно, и — лингвистическое значение управления. Всего в базе правил управления курсом 49 правил вывода.

Результат логического вывода из БП представляет собой нечеткое множество |

и^жяу = {< м_з,ЛБ >,< м-2,ЛС >,< /х_х,ЛМ >, < /¿о,ПРЯМО >,

< Мх,ПМ >,< ^2,ПС>,< ^3,ПБ >}.

Степень принадлежности д, определяется кале ограниченная сумма истинности посылок всех правил вывода., у которых следствием является и,. В качестве четкого значения управления выбирается то, для которого степень принадлежности максимальна.

Для выяснения зависимости качества управления, которое обеспечивает регулятор с нечеткой логикой, от ошибок измерения параметров положения робота, на дороге и от ошибок в реализации заданных радиусов поворота была, проведена серия экспериментов на специально созданной компьютерной модели. Из приведенных в диссертации результатов моделирования видно, что алгоритм управления демонстрирует хорошую устойчивость.

В §3.3 рассмотрено управление скоростью. Здесь также использован регулятор с нечеткой логикой. В качестве нечетких параметров состояния использовались, кроме уже упомянутых выше отклонений по ширине и по углу, также коэффициент достоверности распознавания дорожной ситуации, расстояние до поворота и индекс, показывающие соответствие видимого поворота маршрутному заданию — всего пять параметров. В базе правил управления скоростью 13 правил.

В §3.4 рассмотрена организация поворотов на перекрестках, которая достигается путем замены цели управления, т.е. путем изменения того участка дороги, по хоторому должен двигаться робот.

В главе 4 рассмотрена реализация алгоритмов анализа изображений и управления.

В §4.1 охарактеризована программная реализация методов и алгоритмов, разработанных в диссертации. Программы написаны на языке программирования С. Время работы программы анализа одного изображения размера 64x64 пиксела на процессоре 80286/80287 с тактовой частотой 12 Мгц не превышает 0,2 с. Время вычисления управления — не более 0,02 с.

В §4.2 описана. комплексная модель управляемого движения робота по дороге. Она создана для разработки и изучения алгоритмов анализа бинарных изображений дорожных еден и управления движением робота по дороге, а. также для отладки реализующих эти алгоритмы программ- Модель позволяет поместить программы управления движением и программы, анализа изображений в программное окружение, имитирующее их взаимодействие с внешними подсистемами робота, и тем самым повысить качество отладки программ в лабораторных условиях. Комплексная модель вдючает: модель дороги; модель телекамеры; модели робота; модели бортовых датчиков робота; программы анализа изображений; программы управления курсом к скоростью робота; средства визуализации результатов моделирования; средства для оценки качества прохождения роботом модельных дорог.

В §4.3 проведено исследование алгоритмов анализа изображений дорожных сцен и управления движением на комплексной модели. Приведены результаты определения положения робота на модельной дороге, из которых видно, что наиболее важные параметры — отклонение от середины ж угол между курсом робота и направлением . дороги.определяются с точностью 20 см до ширине и 1° по углу, если отклонение курса робота от направления дороги находится в пределах 10°. Когда угон с направлением дороги достигает 15°, оценка отклонения от центра резко ухудшается в случае, когда отклонение по ширине направлено в ту же сторону, что и по углу. Однако качественно она остается верной ж требует выполнить резкий поворот к центру дороги. Ошибка в определении ширины дороги носит систематически характер — она все время занижена. Нейтрализадия ее достигается подбором правил управления.

Приведены результаты оценки расстояния до поворота дороги и угла поворота, полученные программой без использования резуль-

гатов анализа предыдущих кадров (каждый кадр анализировался индивидуально] и с использованием серии изображений. Проиллюстрирована эффективность использования при анализе последовав тельности изображений.

Приведены результаты модельных заездов по дорогам с поворотами различной крутизны.

В §4.4 описалы результаты натурных экспериментов на макете автономного транспортного робота. Выло проведено около 50 экспериментальных заездов в автономном режиме по бетонной и различным грунтовым дорогам. Заезды проводились при различных условиях освещения — утром, днем и вечером; в ясную и пасмурную погоду; на сухой и влажной дороге. Заезды проводились на скорости около 7 км/час. по грунтовым дорогам и до 20 км/час. по бетонной дороге без регулирования скорости. Изображения снимались 1 раз в секунду. В большинстве заезды были успешными и имели длину до 300 м на грунтовых дорогах и более 1 км на бетонной дороге.

В диссертации приведены фрагмент одного из заездов с восстав новлекными по последовательности изображений краями дороги и с траекторией движения робота, восстановленной по записям показаний датчиков курса и пройденного пути. Также приведены результаты анализа реальных изображений дорожных сцен.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

В диссертации получены следующие основные результаты:

1. Проанализированы условия допущения о плоском характере дороги, которое используется для восстановления геометрии дорожной сцены. Показано, что это допущение применимо для дорог, построенных в соответствии со стандартами, т.е. дорог,

у которых поперечный наклон не превышает 3°, а продольный наклон — 5°.

2. Разработан метод анализа, бинарных изображений дорожных еден, основанный на представлении границ области дороги двудольным взвешенным графом. При этом задача поиска видимых на данном изображении прямолинейных участков дороги сводится к задаче построения наибольшего паросочетанжя минимального веса в графе. Метод позволяет идентифицировать перекрестки, развилки, крутые повороты дороги, а также обнаруживать отсутствие дороги в кадре.

3. Разработан метод сопоставлении изображений дорожных сцен в последовательности изображений, также основалный на представлении сцен двудольными взвешенными графами. Метод позволяет уточнять описание дорожной сцены и положение робота на дороге по мере получения новых изображений в процессе движения. При этом для каждого идентифицированного участка дороги получается коэффициент достоверности его распознавания. Этот коэффициент используется для управления скоростью робота. Алгоритмы, построенные на основе предложенных методов, реализованы в виде программ для бортового вычислительного комплекса и работают в реальном времени.

4. Разработан алгоритм управления движением робота по дороге, опирающийся нечеткое описание дорожной ситуации и нечеткий логический вывод. Правила вывода представлены в базе правил, содержащей 49 правил для управления курсом и 13 правил для управления скоростью. Путем компьютерного моделирования показана устойчивость алгоритма к помехам в определении положения робота на дороге и к помехам в реализации команд управления поворотом.

5. Построена комплексная модель управляемого движения по дороге с обратной связью по зрению. Модель включает модели телекамеры, дороги, робота, датчиков пути и скорости, средства визуализации: результатов моделирования, а также использует бортовые программы анализа изображений и управления. Благодаря этому модель служит мощным средством настройки алгоритмов и отладки реализующих их программ.

Полученные в работе результаты были использованы в макете системы управления автономного робота. Проведенные натурные испытания продемонстрировали работоспособность предложенных методов и алгоритмов и обеспечили автономное движение робота по бетонной дороге со скоростью до 20 км/час. и по грунтовым дорогам — со скоростью до 7 км/час.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Агафонов В.И., Баклунов В.А., Климонтович A.B. Многоуровневое планирование маршрута с использованием картографических данных// Управление движением и техническое зрение автономных транспортных роботов: Сб. науч. тр. —М.: ИФТП,

1989. С.19-29.

2. Кий К.И., Климонтович A.B., Распопин А.Н. Алгоритмы обработки телевизионного изображения и управления движением

автономного транспортного робота по дороге// Многопроцессорные вычислительные структуры: Сб. науч. тр. вып. XX. —Таганрог.: 1989. С. 56-59.

3. Григорьева Е.С., Кий К.И. и др. Аппаратно- алгоритмические средства управления движением по дорогам// Управление движением и техническое зрение автономных транспортных роботов: Сб. науч. тр. М.: ИФТП, 1989. С.48-61.

4. Klüt К.И., Климонтович A.B. Алгоритмы обработки монотеле-визиониых изображений дорожных сцен и планирование движения автономного транспортного робота по дороге// V Всесоюзное. по робототехн. системам: Тез.докп.—М.,1990. С.178-179

5. Климонтович A.B. Метод анализа и описания изображений дорожных сцен.// сб. Прикладные проблемы искусственного интеллекта,— М.: ИФТП, 1991. С.13-27.

6. Билаонов В.Ю., Климонтович A.B. Распопин А.Н. Траекторное управление транспортным роботом.// сб. Прикладные проблемы искусственного интеллекта,— М.: ИФТП, 1991. С.94-105.

7. Климонтович A.B. Применение нечеткой логики для управления движением автономного робота// Обработка динамической информации в интеллектуальных системах: Сб. науч. тр. М.: ИФТП, 1992. С.120-133.

8. Буйволов Г.А., Билаонов В.Ю., Калачев В.М., Климонтович A.B. Исследование функционирования комбинированной системы управлении транспортного робототехнического комплекса: Сб. науч. тр. М.: ИФТП, 1993. С.3-19.

9. Климонтович A.B. Тенденции развития систем управления движением автономных роботов по дорогам// Проблемы обработки информации в робототехнических системах: Сб. науч. тр. М.: ИФТП, 1993. С.27-47.