автореферат диссертации по машиностроению и машиноведению, 05.02.05, диссертация на тему:Разработка интеллектуальной системы управления мобильными роботами на основе следящей системы технического зрения и нечёткой логики

На правах рукописи

Баранов Дмитрий Николаевич

РАЗРАБОТКА ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ УПРАВЛЕНИЯ МОБИЛЬНЫМИ РОБОТАМИ НА ОСНОВЕ СЛЕДЯЩЕЙ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ И НЕЧЁТКОЙ ЛОГИКИ

Специальность 05 02 05 Роботы, мехатроника и робототехнические системы

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

о 5 ^ЮЧ 2008

Москва, 2008 г

003171652

Работа выполнена на кафедре «Робототехника и Мехатроника» ГОУ ВПО Московский государственный технологический университет «СТАНКИН»

Научный руководитель доктор технических наук, профессор

Подураев Юрий Викторович

Официальные оппоненты доктор технических наук, профессор

Манько Сергей Викторович

кандидат технических наук, доцент Никишечкин Анатолий Петрович

Ведущая организация Центральный научно-исследовательский

технологический институт (ОАО "ЦНИТИ")

Защита состоится «Л£у> июня 2008 г на заседании диссертационного совета Д 212142,01 при ГОУ ВПО Московский государственный технологический университет «СТАНКИН» по адресу 127055, г Москва, Вадковский пер, д ЗА

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО МГТУ «СТАНКИН»

Ваш отзыв на автореферат, заверенный печатью, просим направлять по указанному адресу

Автореферат разослан уЛЗу> мая 2008 года

Ученый секретарь диссертационного совета

к т н » Волосова М А

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Аюуальность темы исследования:

Современные мобильные роботы предназначены для функционирования

во вредных или опасных для человека условиях Такие условия имеют место

при выполнении технологических операций в экстремальных средах,

ликвидации последствий аварий, при работе с взрывоопасными предметами

Применение мобильных роботов в таких условиях позволяет исключить

угрозу здоровью и жизни человека-оператора Таким образом, актуальной

является проблема создания мобильных робототехнических комплексов,

обладающих развитыми способностями к самостоятельному передвижению

и автомагическому выполнению поставленной задачи Важную роль при

этом имеет проблема создания интеллектуальной системы управления,

позволяющей роботу автономно функционировать в неопределенной

внешней среде при минимальном участии человека

В настоящее время в большинстве случаев управление роботом

осуществляет человек-оператор на уровне движений, при этом от человека

требуется непрерывное наблюдение за роботом и оперативное управление

его действиями Такой подход определяется неспособностью робота

принимать самостоятельные решения и имеет ряд недостатков К ним можно

отнести необходимость организации и постоянной поддержки канала связи с

человеком-оператором (кабельная связь или радиосвязь), что существенно

ограничивает область применения робота При выполнении

технологических операций оператор, получая от системы технического

зрения информацию об объекте и процессе выполняемых работ, непрерывно

осуществляет ручное управление исполнительными механизмами

манипулятора и транспортного средства Сложный процесс управления в

сочетании с характером выполняемых работ, требующих повышенного

внимания и осторожности, приводит к быстрой утомляемости оператора и,

как следствие, увеличению вероятности ошибочных действий. Кроме того,

человек не всегда может правильно оценить обстановку по данным

телеметрии и осуществить адекватное управление Указанных недостатков

3

можно избежать, если управление со стороны человека-оператора будет проводиться не на уровне задания отдельных движений, а на уровне постановки цели В этом случае робот должен самостоятельно (или при минимальном участии человека) выполнять поставленные задачи

Актуальность темы исследования заключается в том, что предложенная в работе интеллектуальная система управления позволяет расширить функциональные возможности мобильных роботов и повысить эффективность выполняемых работ путем обеспечения их автономного выполнения в частично недетерминированных условиях

Диссертационная работа основывается на результатах, достигнутых научными коллективами, руководство которыми осуществляли И М Макаров, С Ф Бурдаков, В Г Градецкий, С Л Зенкевич, И В Мирошник, Ю В Подураев, И В Рубцов, Я Шомло, Е И Юревич, А С Ющенко

Цель работы и основные задачи исследования. Целью диссертационной работы является разработка архитектуры, алгоритмического и программного обеспечения интеллектуальных систем управления мобильными роботами на основе метода нечеткой логики и следящей системы технического зрения для автономного выполнения поставленных задач

В работе были поставлены и решены следующие основные задачи

• Разработка архитектуры и обобщенного алгоритма управления мобильными роботами на основе метода нечеткой логики и следящей системы технического зрения,

• Разработка метода обработки изображения, позволяющего мобильному роботу осуществлять слежение за двигающимися объектами в режиме реального времени,

• Разработка программного обеспечения, осуществляющего автономное управление движением мобильного робота, на основе метода нечеткой логики и следящей системы технического зрения,

• Экспериментальное исследование автономной работы

предлагаемой системы, состоящей из подвижного объекта, мобильного

4

робота и следящей системы технического зрения

Методы исследования. При решении поставленных задач автором были использованы теория автоматического управления, теория дифференциальных уравнений, теория нечетких множеств, математические методы обработки цифровых изображений и метод нечеткой логики Разработка программных приложений велась с использованием технологии объектно-ориентированного программирования в средах Borland С++ Builder и Visual С++ Разработка низкоуровневых программ осуществлялась на языке Assembler Исследование работоспособности разрабатываемых структур и алгоритмов проводилось путем математического моделирования с использованием математических пакетов Matlab, Simulink, FuzzyLogic ToolBox, языка С++ и экспериментальных исследований

Научная новизна работы. В работе получены и выносятся на защиту основные результаты, обладающие научной новизной

• Архитектура системы и алгоритмы управления движением мобильных роботов, позволяющие осуществлять автономное управление на основе комбинации метода нечеткой логики и следящей системы технического зрения,

• Алгоритм работы и структура следящей системы технического зрения, позволяющая контролировать положение подвижного объекта в области прямой видимости системы,

• Метод обработки последовательности кадров потока видеоинформации, позволяющий отслеживать перемещение подвижных объектов в реальном времени

Практическая ценность. Предложенная следящая система технического зрения способна решать широкий круг прикладных задач в автономных мехатронных и робототехнических системах, такие как мобильные и промышленные роботы, подводные и беспилотные летательные аппараты, автомобильные системы парковки, которые функционируют в условиях частичной неопределенности внешней среды

Предложенная архитектура построения систем управления на базе

5

следящей системы технического зрения и метода нечеткой логики может быть использована при создании интеллектуальных систем управления мобильными и промышленными роботами нового поколения с целью расширения их функциональных возможностей и областей применения

Апробация работы. Основные результаты диссертационной работы докладывались на 18-й и 19-й научно-технических конференциях «Экстремальная робототехника» в Государственном Научном Центре ЦНИИ РТК (Санкт-Петербург) в 2007-2008 гг, на научных чтениях "Робототехника новые научные и практические разработки" в Учебном Научно-Техническом Центре «Робототехника» МГТУ им Н Э Баумана в 2008г, на Международной молодежной научной конференции XXXIV "Гагаринские чтения" в Российском государственном технологическом университете им К Э Циолковского в 2008 г, на научных семинарах кафедры «Робототехника и мехатроника» МГТУ СТАНКИН

Публикации. Основное содержание диссертации опубликовано в пяти печатных работах, в том числе в журнале «Мехатроника, Автоматизация, Управление»

Структура и объем работы.

Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы Объем работы составляет 222 печатных страниц, включая рисунки, графики, таблицы и список литературы Библиография содержит 94 наименований, из них 17 иностранных источников

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность исследуемой проблемы, сформулирована цель диссертационной работы, определены задачи исследования, отражена научная новизна и практическая значимость работы, кратко изложено содержание

В первой главе, которая носит обзорный характер, рассматривается вопрос актуальности применения интеллектуальных методов управления для решения задач робототехники Приводится обобщенная структура систем

6

интеллектуального управления, и описываются ее отличительные особенности относительно классических методов управления

Рассматриваются принципы построения и особенности таких интеллектуальных методов как экспертные системы, ситуационное управление, нейронные сети, ассоциативная память и нечеткая логика Приводятся примеры применения данных технологий для решения различных задач управления, в том числе и в робототехнике

На основе проведенного анализа существующих интеллектуальных методов, для решения задачи управления робототехнической системой в частично недетерминированных условиях, принимается решение об использовании метода управления на основе нечеткой логики

Во второй главе приводятся некоторые примеры задач робототехники, при рассмотрении которых мы сталкиваемся с системой, состоящей из следующих базовых элементов подвижная мобильная база, подвижный рабочий орган и подвижный целевой объект Такие системы обладают высокой неопределенностью, которая характеризуется наличием подвижного объекта, движение которого описать алгебраическими, дифференциальными или разностными уравнениями либо очень сложно, либо вовсе невозможно При решении задачи автономного интеллектуального управления мобильным робототехническим комплексом (РТК) относительно подвижного целевого объекта в качестве информационно-измерительной системы предлагается применять мехатронный модуль (ММ) на базе следящей системы технического зрения (ССТЗ) Данный модуль имеет две вращательные степени подвижности, что позволяет осуществлять слежение не только за счет алгоритмов обработки последовательности видео кадров, а также за счет перемещения поля зрения видеокамеры вслед за движущимся объектом слежения

Разработана обобщенная структура построения системы управления робототехническими устройствами на основе следящей системы технического зрения и нечеткой логики (рис 1) В начальный момент действия робототехнической системы оператор (либо система управления

верхнего уровня) определяют целевой объект слежения и последовательность выполнения элементарных операций для каждого объекта

Рис 1 Обобщенная структура системы управления робототехническими системами на основе метода нечеткой логики и ССТЗ

Нечеткий регулятор в соответствии с заданной операцией и соответствующим набором продукционных правил из базы знаний выполняет необходимые действия

В главе приводятся варианты расположения модуля ССТЗ в комплексе с мобильными и промышленными роботами, рассматриваются их характерные особенности

В соответствии с предложенной структурой (рис 1) разработан пример системы управления мобильным РТК на основе нечеткой логики и ССТЗ Основной задачей разработанной системы является автономное слежение за подвижным целевым объектом Для обеспечения функций автономного управления движением мобильного робота был разработан нечеткий регулятор (рис 2), состоящий из двух частей нечеткого контроллера линейной скорости и нечеткого контроллера угловой скорости

Входными сигналами нечеткого регулятора являются дистанция с1 между роботом и подвижным целевым объектом и угол а - угол между направлением движения мобильного робота и прямой, определяющей

8

дистанцию между роботом и подвижным целевым объектом Выходными -линейная V и угловая со скорости движения мобильного робота

Рис 2 Нечеткий регулятор

Для того, чтобы удерживать некоторое фиксированное положение относительно подвижного объекта, необходимо, чтобы скорости движения робота и объекта были одинаковые, т е скорость движения робота относительно объекта должна быть равна нулю Контроллер должен сам устанавливать необходимую скорость движения робота и изменять ее в соответствии с изменением скорости объекта Поскольку в каждый момент времени нам известна дистанция между роботом и объектом, можно рассчитать скорость движения робота относительно подвижного целевого объекта. Таким образом, задача управления линейной скоростью движения робота сводится к задаче регулирования ускорения (рис 2)

Функции принадлежности нечеткого контроллера ускорения представлены на рис 3, нечеткого контроллера угловой скорости на рис 4

Нечеткий логический вывод осуществлялся по методу Мамдани, при этом для нечеткого контроллера линейной скорости и нечеткого контроллера

лингвистической переменной Уа, б - выходной лингвистической переменной ассе1

Рис. 4а. Функции принадлежности нечёткого множества входной лингвистической переменной а , б - выходной лингвистической переменной со

угловой скорости было составлено по пять продукционных правил.

Для оценки работы нечёткого регулятора составлена математическая модель системы. Мобильный робот перемещается по плоскому рельефу, имея спереди два ведущих колеса радиуса р и одно ведомое сзади. Колеса вращаются без проскальзывания, и оси вращения ведущих колёс совпадают с линией ЬЫ (рис. 5). Это условие устанавливает ограничения на координаты и скорости и представляет собой одно из уравнений связи, геометрическая интерпретация которого состоит в том, что вектор скорости V = (х'у')1 перпендикулярен орту .>>„. Таким образом, налагаемая связь является неголономной.

Динамическая модель движения мобильного робота с учётом управления от двигателей постоянного тока представляет собой систему нелинейных дифференциальных уравнений седьмого порядка с фазовым вектором (х, у, V, <р, со, гтц)1 и вектором управления (ии 11ц) . Для предварительной проверки разработанной системы управления применялась упрощённая модель движения целевого объекта и блока эмуляции работы ССТЗ.

Результаты проведённого моделирования показали приемлемое качество автономного управления движением мобильного робота на основе нечёткого регулятора и информации, получаемой от ССТЗ (рис. б).

Рис. 5. Движение мобильного робота под воздействием системы сил

ХУРМ ХУРМ

Рис 6 а - произвольная траектория движения целевого объекта; б - траектория движения мобильного робота под управлением нечеткого регулятора

В третьей главе приводятся примеры российских и зарубежных разработок робототехнических комплексов с применением СТЗ при решении различных задач робототехники Рассматривается обобщенная структура СТЗ и некоторые базовые понятия, применяемые при обработке изображений

Подробно рассмотрена задача слежения за движущимися объектами Показаны различные формы представления объекта слежения и методы описания его внешнего вида Приведены некоторые характерные признаки объектов Рассмотрено несколько методов и алгоритмов, применяемых при обработке цифровых изображений, осуществляющих слежение за подвижными объектами.

При разработке алгоритмического обеспечения системы применен метод локального слежения, позволяющий реализовать обработку цифровых изображений при осуществлении слежения за движущимися объектами в режиме реального времени

Основная идея предлагаемого метода заключается в том, что определение положения подвижного целевого объекта в области кадра изображения осуществляется путем отслеживания перемещения характерных признаков объекта в пределах некоторой локальной области, содержащей эти признаки Обобщенная структурная схема данного метода представлена на рис 7

Рис 7 Обобщенная структурная схема метода локального слежения На основе предложенного метода разработаны три алгоритма цифровой обработки изображения (цифровых фильтра), реализующих слежение за подвижным целевым объектом

Фильтр определения положения целевого объекта на полутоновых изображениях, в дальнейшем именуемый как фильтр], работает с полутоновым изображением, функция яркости которого /(х,у) может принимать значения в диапазоне 0-255 Входными данными для фильтра являются кадр видеопотока и координаты объекта, полученные на предыдущем шаге или указанные оператором В основе определения координат местоположения объекта на кадре лежит расчет его центра масс

О&ьект /

\Мас ка

X.

Изображение

\Маска

Рис 8 Основные элементы фильтра 1

Рассмотрим последовательность шагов, которые осуществляет фильтр при обработке кадра

1) На вход фильтра поступает кадр f(x,y) и координаты положения объекта Хр,Ур в координатной системе кадра, полученные после обработки предыдущего кадра,

2) В соответствии с координатами Хр, Yp происходит копирование части кадра с объектом в маску М(хт, ут), где Dm - размерность маски

M[X-(Xf-^-\Y-{Yf-^)} = f[X,Y\ (1)

при этом

X-^-<X<XD+^-,Y„~^-<Y<Y+^- (2)

" 2 р 2 р 2 р 2

3) Далее осуществляется перебор всех пикселей маски М(хт,ут) Те пиксели, значение яркости которых меньше установленного порога Threshold определяются как пиксели, принадлежащие объекту XvbJ,YobJ, остальные пиксели определяются как фоновые

V Q<Xm<D„,Q<Ym<Dm M{Xm,Ym) ¿Threshold 3 Х^ = Xm,Yobj =Ym (3)

4) По пикселям, принадлежащим объекту, рассчитываются координаты центра масс объекта в координатной системе маски

X О Ь)

Хс=^-, --(4)

п п

5) Осуществляется пересчет координат центра масс объекта из координатной системы маски в координатную систему кадра

х'р=хр-^хс, y;=Yp-^+Yc (5)

где X J - входные данные для следующего кадра из видео потока, который будет обрабатываться фильтром

Необходимо отметить, что использование фиксированного порога в процессах слежения желательно избегать. Для этого необходимо модифицировать алгоритм и реализовать автоматическую подстройку порога, например, путем бинаризации гистограммы яркости по методу Отсу

Одним из недостатков данного фильтра является то, что он работает с полутоновыми изображениями, те часть получаемой от видео камеры

13

информации теряется Это накладывает определенные ограничения на его применение Эффективность процесса слежения полутонового фильтра всегда заведомо ниже, по сравнению с фильтром, работающим с цветным изображением Данный факт послужил предпосылкой для разработки следующего фильтра

Фильтр определения положения целевого объекта на цветных изображениях (фильтр 2) работает с цветными кадрами Видеоизображение представляет собой последовательность 24- X Изображение

том, что расчет координат центра масс

объекта осуществляется по трем цветовым маскам Каждый объект обладает цветом, который можно разложить на RGB составляющие, в результате мы можем узнать какова интенсивность цвета объекта для каждой составляющей Установив небольшой диапазон, в котором может варьироваться яркость каждого цвета, мы перебираем все пиксели маски Пиксели, RGB составляющие которых попадают в соответствующие диапазоны, определятся как пиксели, принадлежащие объекту, другие как пиксели фона

Рассмотрим последовательность действий, которые осуществляет фильтр при работе

1) На вход фильтра поступает цветной кадр f(x,y,c) и координаты положения объекта Хр, Ур в координатной системе кадра, полученные после обработки предыдущего кадра,

2) В соответствии с координатами Xp,Yp осуществляется запись цветовых диапазонов

х битных кадров в формате RGB24 Функция, описывающая исходное изображение имеет вид f(x,y,c), где x,yeF (F - множество пикселей изображения), а 'с' может принимать значения R = Red, G = Green, В = Blue

Y

MdLKH

Рис 9 Основные элементы фильтра 2

Основная идея данного алгоритма в

Rnmt=Maxlf[x,y,R)]. Rm=Mnif[x,y,R)] (6)

G„x=Max[f(x,y,G)], Gmm = Min[f(x,y,G)] (7)

Bm%=Max[f(x,y,B)\, Bmin = Mi,if(x,y,B)] (8) где \x-Xp\<\, |v-7p|<l

3) В соответствии с координатами X ,Y осуществляется запись RGB масок, где £>„ - размерность масок

MR[X - (Xf - ~-),Y- (Yp - 5a.)] = f[X, Y, R] (9)

MG[X - (Xp (X, ~ ф)] = f[X,Y,G] (10)

MB[X - {Xp - Y - (Yp - = /IX, Y, B] (11)

где X-^-<X<X„+^, (12)

p 2 p 2 p 2 p 2

4) Далее осуществляется перебор всех пикселей масок MR(xm,y,„), MG(xm, >>„,), МВ(х„, у,„) Те пиксели, значение яркости которых удовлетворяют условиям

'R^^MR(xm,yJ<RmT„

Gmt,<MG(xm,ym)<Gmtl, где xm,ymzW (13)

ВтйМВ{хя,уя)йВ,т,

определяются как вероятные пиксели объекта X'ohi,Y'abl Все остальные пиксели определяются как фоновые,

5) Все вероятные пиксели объекта X'obJ, Y,'tJ записываются в список List,

6) Для исключения влияния на результат обработки точек выпадения, которые время от времени появляются при фильтрации, применяется правило трех сигм, позволяющее исключить их из списка List,

7) Расчет координат центра масс объекта по пикселям из списка List в координатной системе маски

-, --(14)

п п

8) Осуществляется пересчет координат центра масс объекта из координатной системы маски в координатную систему кадра

х'=х-^-+ХС, + К (15)

где Хр ,Yp - входные данные для следующего кадра из видео потока,

который будет обрабатываться фильтром

При работе фильтра с одноразовой начальной инициализацией цветовых диапазонов было выявлено достаточно приемлемое качество процесса слежения Но в случаях высокой отражательной способности объекта слежения и значительной смене его освещенности объект терялся

Необходимо отметить, что, несмотря на возможность осуществления перезаписи цветовых диапазонов на каждом последующем кадре, эффективность этой операции очень низка и зачастую приводит к патере объекта слежения

Решение данной проблемы заключается в адаптации цветовых диапазонов к изменению освещенности объекта Эта задача является относительно не сложной и может быть реализована различными способами

Быстродействие работы рассмотренных выше фильтров определялось на портативном компьютере со следующими характеристиками процессор Intel Pentium М с рабочей частотой 1,6 ГГц, ОЗУ 512 Мбайт, жесткий диск 60 Гбайт При работе в автономном режиме слежения и установленном времени обработки одного кадра 20 мс (частота обработки кадров 50 Гц) средняя загрузка процессора составила 70%

Филыпр определения положения объекта путем сопоставления с шаблоном (фильтр 3) осуществляет поиск явно выраженных элементов

объекта (таких как углы, края, контрастные цветовые переходы) Основная идея данного алгоритма заключается в том, что поиск положения каждого характерного признака осуществляется путем расчета взаимной корреляции шаблона и некоторой локальной области обрабатываемого изображения, в которой, предположительно, находится данный признак

Г

Изображение

<

X»

—

шаблоны

Рис 10 Основные элементы фильтра 3

х.,

FT

Рассмотрим последовательность шагов, которые осуществляет фильтр при обработке кадра

1) На вход фильтра поступает полутоновый кадр f{x,y), шаблоны ^ (•*'>/) и координаты положения характерных признаков объекта Xп, Уп в координатной системе кадра,

2) В соответствии с координатами Х„,У„ осуществляется запись

локальной зоны поиска L„(x,y) для п-го характерного признака, при этом

размерность L„ не может быть меньше размерности шаблона искомого

признака (в рассматриваемом алгоритме размерность L„ равна 2Dsh x2Dsh, где

Dsh - размерность шаблона)

L,[x - (Х„ - D,h), у - (У, - Da)] = f[x,у] (16)

при этом

X,-Ds,<x<X„+Dsh,Y„-D,h<y<Y„+Dlh (17)

3) Далее выполняется расчет значений взаимной корреляции для всех положений шаблона в пределах локальной области поиска

\ с XlLAx + x',y + /)-Z;(x,y)] [тп(х\у')~т] (18)

где 0 < jc < Dsh, Q<y<Dsh,0<x'< Dsh, 0 < У < Вл (19)

При этом для каждого положения поиска (х, у) в соответствии с выражениями (20) и (21) рассчитываются значения L(x,y), Sj

S, ^Щх + зГ.у+Я-Цх.у)]1, Sw = £[Г(У,/)-Г]2 (20)

L(x,y)=^i{X + X''y + y,), T = (21)

s s

4) По условию максимума определяются новые координаты положения искомого характерного признака

МАХ[С"„(х,у)] (22)

= (23)

5) Уточняются значения п-го характерного признака объекта

Тп(х',у') = f[x[ + + /j (24)

17

6) Положение целевого объекта слежения определяется как центральная точка всех положений признаков объекта

где Х'оЬ],У'оЬ) - полученные координаты целевого объекта слежения в системе координат изображения

Быстродействие работы данного фильтра определялось на портативном компьютере с аналогичными параметрами При работе в автономном режиме слежения и установленном времени обработки одного кадра 50 мс (частота обработки кадров 20 Гц) средняя загрузка процессора составила 80%

Отличительной особенностью данного алгоритма заключается в том, что операция вычисления корреляционной функции осуществляется по модифицированному алгоритму Т е обход эталонного шаблона по некоторой локальной области поиска осуществляется путем частичной перезаписи краевых значений предполагаемого места положения искомого признака Это приводит к значительному ускорению процесса расчета корреляционной функции и как следствие ускорение работы всего фильтра

Достоинством этого фильтра является его инвариантность к изменению масштаба и уровня освещенности целевого объекта слежения Недостатком - его работа с полутоновыми изображениями

В главе также приводится структура (рис 11) и алгоритм работы следящей системы технического зрения

В начальный момент времени осуществляется инициализация интересуемого объекта слежения и перевод ССТЗ в автономный режим слежения При этом кадры видео изображения начинают поступать на вход цифрового фильтра После выполнения обработки изображения на выходе фильтра мы получаем координаты положения целевого объекта в координатной системе кадра (х,у) Далее выполняется расчет смещения координат объекта относительно центра кадра (Ах, Ау) В соответствии с разрешением кадра получаемого видео изображения тх-п и углом обзора

видеокамеры g определяются приращения углов поворота видео камеры для горизонтальной и вертикальной оси Л а и, Аау

ДаА = Дх = = £-,Ау = у~— (26)

п 2 т 2

В соответствии с полученными значениями Аа^, Ааг блок управления вращением сервоприводов осуществляет поворот горизонтальной и вертикальной оси относительно текущего положения видеокамеры В результате этого система будет отрабатывать такое состояние, при котором главная оптическая ось объектива камеры будет проходить через рассчитываемый центр объекта слежения

Рис 11 Структурная схема ССТЗ

Таким образом, при автономной работе ССТЗ можно контролировать

положение подвижного объекта слежения и, используя метод опорной

поверхности, оценить расстояние до него

В четвертой главе приводится общая структура разработанного

мобильного РТК (рис 12), который включает в себя мобильный робот

Pioneer 3-DX, следящую систему технического зрения (рис 13) и

портативный персональный компьютер для удаленного контроля и

управления системой

Описываются экспериментальные исследования автономной работы

разработанной ССТЗ Для проведения экспериментов разработан тестовый

стенд и создана специальная программа, основной задачей которой являлось

19

сстз

Мобильный робот

Ряс. 12. Общая структура мобильного РТК Рис. 13. Основные элементы ССТЗ

Видео камера

Рис. 14. Структурная схема сервера управляющей программы

моделирование движения различных объектов с различными скоростями,

и на различных фонах Для реализации нечеткого управления мобильным роботом на основе ССТЗ разработано программное приложение, которое позволяет получать и обрабатывать видеоизображение, управлять серводвигателями видеокамеры, осуществлять нечеткий логический вывод и управлять движением мобильного РТК Приложение состоит из двух частей серверной (рис 14) и клиентской (рис 15) части

Рис 15 Структурная схема клиента управляющей программы

Для подтверждения достоверности, предлагаемых в данной работе методов и подходов, было проведено ряд практических экспериментов, демонстрирующих полную работоспособность разработанного образца мобильного РТК

Основной целью проведенного эксперимента являлась проверка автономной работы комплекса Перед мобильным РТК была поставлена задача, которая заключалась в реализации автономного движения мобильного робота вслед за подвижным целевым объектом на некотором определенном расстоянии от него При этом траектория движения объекта имела произвольный характер В случае, если объект приближался к роботу ближе заданной дистанции, то робот удалится от него для восстановления необходимого расстояния Необходимо отметить, что единственным источником информации для системы управления является следящая система технического зрения

Результаты проведенных экспериментов автономного движения мобильного РТК за различными подвижными объектами наглядно продемонстрировали работоспособность разработанной системы с приемлемым качеством процесса слежения

В заключении приведены основные научные результаты диссертации и общие выводы по проделанной работе

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Решена актуальная научно-техническая задача в области робототехники и мехатроники, состоящая в анализе интеллектуальных технологий и разработке интеллектуальной системы управления мобильными роботами на основе комбинации метода нечеткой логики и следящей системы технического зрения при решении задачи слежения за движущимися объектами

2 По результатам проведенного анализа обоснована перспективность использования метода нечеткой логики для осуществления управления робототехническими устройствами на основе данных, получаемых от информационно-измерительной системы на базе следящей системы технического зрения (ССТЗ)

3 Обоснована эффективность применения в мобильных робототехнических комплексах информационных систем на базе видеокамер При построении интеллектуальных систем управления в качестве информационно-измерительной системы предложена следящая система технического зрения, состоящая из видеокамеры и мехатронного модуля с двумя вращательными степенями подвижности Предложены варианты структуры и компоновок ССТЗ

4 Разработана архитектура и обобщенный алгоритм управления мобильными и промышленными робототехническими системами на основе метода нечеткой логики и следящей системы технического зрения при решении задачи слежения за движущимися объектами

5 Составлена математическая модель и проведено компьютерное

моделирование движений мобильного робота с нечеткой системы управления и ССТЗ по типовым траекториям Предложены упрощенная модель подвижного объекта слежения и блок эмуляции работы следящей системы технического зрения

6 Предложен метод обработки последовательности кадров потока видеоинформации, который позволяет мобильному роботу отслеживать перемещение подвижных объектов в реальном времени

7 На основе данного метода разработаны три алгоритма цифровой обработки изображения (цифровых фильтра), позволяющие на основе определенной последовательности математических действий реализовать слежение за подвижным целевым объектом Основным достоинством разработанных фильтров является высокая скорость обработки одного кадра изображения при приемлемом качестве процесса слежения

8 Разработан мехатронный модуль, осуществляющий слежение за

движущимися объектами При этом были решены следующие задачи

• Реализована аппаратная часть системы, осуществляющая вращение видеокамеры по двум степеням подвижности,

• Реализован контроллер, осуществляющий управление сервоприводами видеокамеры,

• Реализовано программное приложение, осуществляющее обработку изображений и управление процессом слежения

9 Проведено экспериментальное исследование автономной работы ССТЗ, по результатам которого построены характеристики, демонстрирующие возможности разработанной системы При этом были решены следующие задачи

• Разработан тестовый стенд, позволяющий провести экспериментальные исследования,

• Разработана специальная программа, моделирующая движения подвижных объектов с заданными скоростями на различных фонах,

10 Разработан экспериментальный образец мобильного

робототехнического комплекса (РТК), оснащенного следящей системой технического зрения

11 Разработано программное обеспечение, осуществляющее нечеткое управление мобильным робототехническим комплексом на основе данных, получаемых от следящей системы технического зрения

12 Проведено экспериментальное исследование автономной работы мобильного РТК при решении задачи слежения за движущимися объектами

По теме диссертации опубликованы следующие работы:

1 Баранов Д Н, Ермолов И Л, Подураев Ю В , Плешаков Р В Повышение автономности мобильного робота «Вездеход ТМЗ» на основе бортовой системы навигации // Мехатроника, автоматизация, управление №5, 2008, С 49-54

2 Баранов Д Н, Подураев Ю В Интеллектуальное управление робототехническими системами на основе следящей системы технического зрения и нечеткой логики // Экстремальная робототехника Труды 19-ой Всероссийской научно-технической конференции - СПб, 2008

3 Баранов Д Н, Подураев Ю В Разработка мехатронной системы слежения за движущимися объектами // Мехатроника, Автоматизация, Управление - 2007 Материалы международной научно-технической конференции -Таганрог ТТИЮФУ, 2007, С 325-332

4 Баранов ДН Управление манипуляционными и мобильными роботами на основе следящей системы технического зрения и нечёткой логики // XXXIV Гагаринские чтения Научные труды Международной молодежной научной конференции - М МАТИ, 2008 - Т 2, С 5-6

5 Баранов Д Н, Ермолов И.Л, Подураев Ю В , Плешаков Р В Повышение автономности мобильного робота «Вездеход ТМЗ» на основе бортовой системы навигации // Экстремальная робототехника Труды 18-ой Всероссийской научно-технической конференции - СПб, 2007, С 274283

Автореферат диссертации на соискание ученой степени кандидата технических наук

Баранов Дмитрий Николаевич

Разработка интеллектуальной системы управления мобильными роботами на основе следящей системы технического зрения и нечеткой логики

Подписано в печать 20 05 2008 Формат 60 х 80 1/16 Бумага 80 г Уч изд л 1 Тираж 100 экз Заказ № 76

Отпечатано в Издательском центре

ГОУ ВПО Московский государственный технологический университет «Станкин» 127055, Москва, Вадковский пер , 3-а

Оглавление.

Введение.

Глава 1. Интеллектуальные методы управления роботами.

1.1. Постановка задачи интеллектуального управления роботами.

1.2. Экспертные системы.

1.3. Искусственные нейронные сети.

1.4. Технология ассоциативной памяти.

1.5. Технология нечёткой логики.

1.6. Анализ и постановка задачи.

1.7. Выводы.

Глава 2. Разработка систем управления робототехническими системами.

2.1. Постановка задачи управления робототехническими системами в неопределённых условиях.

2.2. Информационно-измерительная система интеллектуальных робототехнических комплексов.

2.2.1. Аберрация и определение расстояния до целевого объекта.

2.2.2. Варианты компоновки ССТЗ, из достоинства и недостатки.

2.3. Разработка обобщённой архитектуры и обобщённого алгоритма управления робототехническими системами на основе метода нечёткой логики и следящей системы технического зрения.

2.4. Разработка системы управления движением мобильного робота на основе нечёткой логики и ССТЗ.

2.4.1. Разработка модели мобильного робота.

2.4.1.1. Кинематическая модель мобильного робота.

2.4.1.2. Динамическая модель мобильного робота.

2.4.2. Разработка модели нечёткого регулятора.

2.4.3. Разработка модели движущегося объекта и модуля ССТЗ.

2.4.4. Моделирование работы нечёткого регулятора.

2.5. Выводы.

Глава 3. Разработка следящей системы технического зрения.

3.1. Применение систем компьютерного зрения в робототехнике.

3.2. Построения систем компьютерного зрения.

3.2.1. Некоторые основные понятия, применяемые при обработке изображения.

3.2.1.1. Окрестностные операторы.

3.2.1.2. Понятие о не рекурсивных и рекурсивных окрестностных операторах.

3.2.1.3. Определение не рекурсивного оператора.

3.2.1.4. Линейные операторы и взаимная корреляция.

3.2.2. Линейные фильтры.

3.2.3. Основные принципы поиска краёв и контуров на изображении.

3.2.4. Контурные фильтры.

3.2.5. Градиентные контурные фильтры.

3.2.6. Частотная фильтрация.

3.3. Постановка задачи и обзор существующих методов слежения за движущимися объектами на основе систем компьютерного зрения.

3.4. Разработка метода обработки изображений, позволяющего осуществлять слежение за движущимися объектами.

3.4.1. Фильтр определения положения целевого объекта на полутоновых изображениях.

3.4.2. Фильтр определения положения целевого объекта на цветных изображениях.

3.4.3. Фильтр определения положения подвижного объекта путём сопоставления с шаблоном.

3.5. Структура и алгоритм работы следящей системы технического зрения.

3.6. Выводы.

Глава 4. Практическая реализация нечёткой системы управления мобильным роботом на основе следящей системы технического зрения.

4.1. Общая структура мобильного робототехнического комплекса.

4.2. Описание мобильного робота.

4.3. Аппаратная реализация следящей системы технического зрения.

4.4. Экспериментальное исследование автономной работы ССТЗ.

4.5. Разработка программного обеспечения для реализации нечёткого управления мобильным роботом на основе ССТЗ.

4.6. Экспериментальное исследование автономной работы мобильного РТК.

С наступлением нового тысячелетия робототехнические системы начали активно внедряться во все сферы деятельности человека. С одной стороны данная тенденция продиктована стремительным скачком в развитии компьютерной и микропроцессорной техники. С другой - стремление всего мирового сообщества к рыночной модели экономических отношений, что в значительной степени позволило расширить область применения робототехнических систем, вплоть до детских игрушек, ярким примером которых является собака AIBO фирмы Sony. Таким образом, можно с уверенностью сказать, что роботы входят в нашу повседневную жизнь как в качестве бытовых систем, так и в качестве комплексов, от которых, порой, зависит наша жизнь и здоровье. Также стоит отметить, что в последнее время к робототехническим системам повысился интерес со стороны государственных структур, таких как МЧС, ФСБ и др.

Ежегодный мониторинг МЧС состояния защиты населения и территорий Российской Федерации от чрезвычайных ситуаций показывает, что Россия по своему географическому положению подвержена воздействию широкого спектра опасных природных явлений и процессов. В настоящее время существует угроза возникновения крупных техногенных катастроф и аварий в связи с неизбежным старением оборудования и интенсивным снижением уровня технологической дисциплины на опасных производствах. В результате этих чрезвычайных ситуаций значительную часть аварийно-спасательных работ по их ликвидации приходится проводить в условиях загрязнения территорий и атмосферы радиоактивными, химическими и биологически-опасными веществами.

При проведении таких работ неотъемлемой задачей является снижение риска для жизни спасателей. Актуальным решением является освоение и более широкое применение современных робототехнических систем, способных повысить эффективность аварийно-спасательных, противопожарных, неотложно-восстановительных и других специальных работ [1].

Необходимость применения робототехнических комплексов при ликвидации чрезвычайных ситуаций наиболее остро встала уже при ликвидации аварии на чернобольской АЭС. В этот период в экстренном-порядке были разработаны и изготовлены отечественные, а также закуплены импортные робототехнические средства.

В 1997 году была разработана и утверждена программа создания и внедрения робототехнических систем для решения задач МЧС России. Программа, была пролонгирована до 2010 года с учетом изменений и дополнений, отражающих потребности Министерства в оснащении робототехническими системами, в том числе противопожарными и воздушными [1].

Существующие тенденции развития мирового сообщества не могут надежно обеспечить безопасность своим гражданам. Это вызвано- как нечёткостью политики, проводимой в различных странах, неготовностью различных отдельных политических групп идти на разумный компромисс, так и ростом благосостояния различных слоев населения, в том числе и недовольных текущей социально-экономической ситуацией. С ростом информационного обеспечения всех слоев населения (прежде всего за счёт дальнейшего развития Интернет), технологии, ранее бывшие достоянием только военных и спецслужб, сегодня становятся доступными многим.

Террористические акты, произошедшие в России, странах Европы и США показали, что терроризм в его сегодняшнем проявлении может атаковать любую группу населения, в любом месте и в любое время.

Эти тенденции ведут к осознанию- необходимости обеспечения большей защиты граждан от таких атак. Причём такую защиту необходимо обеспечить в широком географическом спектре. Фактически каждый крупный город должен иметь группы быстрого реагирования, способные оперативно сработать в случае внезапной террористической атаки.

В современной концепции обеспечения безопасности значительная роль уделяется применению мобильных робототехнических средств. Это вызвано как возможностью круглосуточной готовности таких роботов, возросшей ценностью человеческой жизни в сознании общества, так и удешевлением самих роботов.

В той или иной степени применение мобильных роботов в интересах спецслужб возможно при проведении операции любого типа. Однако наиболее целесообразно использование роботов при проведении взрывотехнических работ и антитеррористических операций, а также при охране важных объектов.

При этом применение роботов возможно для решения следующих тактических задач: при проведении взрывотехнических работ

- поиск и диагностика взрывных устройств

- уничтожение или эвакуация взрывных устройств

- расснаряжение или обезвреживание взрывных устройств

- проведение химической и радиационной разведки объектов и территорий при проведении антитеррористических операций

- постановка радиоэлектронных помех, дымовых и специальных завес

- доставка и применение спецсредств нелетального действия

- скрытое проникновение на захваченные и охраняемые объекты

- ведение радиоэлектронной аудио- и видеоразведки объектов и территорий

- разрушение преград (двери, стены) при охране объектов

- патрулирование территории или периметра объекта

- пресечение попыток проникновения на объект

- нейтрализация нарушителей.

Указанные операции проводятся на разных объектах и в разнообразных условиях:

- на объектах общественного транспорта (городской транспорт, железнодорожный, авиационный, морской, автомобильный);

- в местах проживания и жизнедеятельности людей (квартиры, дома, офисы и др.);

- на промышленных объектах (объекты химической промышленности, ядерного технологического цикла и пр.);

- на объектах городской инфраструктуры (канализация, теплостанции, водопровод и т.п.);

- на открытой местности, на сильно пересеченной местности, в лесах и т.д.

Специфика операций, условия эксплуатации и функциональное назначение мобильного робота определяют его конструктивные особенности, степень сложности системы управления, массогабаритные характеристики и состав специального оборудования [2].

В подводной робототехнике начало XXI можно охарактеризовать как время перехода от традиционных технических решений к новым, основанным на современных достижениях биологии, химии, информатики и-теории управления. Внедрение этих технологий позволило не только пересмотреть концепцию использования подводных технических систем при исследовании океанских глубин, но и поднять на более высокий уровень безопасность «взаимоотношения» человек-океан [1].

В первую очередь применение подводных роботов обеспечило возможность сократить до минимума угрозу для жизни людей, участвующих в экстремальных подводных операциях, таких как [1]:

- спасательные работы;

- ликвидация экологических катастроф;

- исследование сейсмоопасных районов океанов и морей;

- обследование сложного рельефа дна.

Также отметим, что подводные роботы, используемые в технологически развитых странах, как Япония, США, Канада, Италия, Англия, Россия, Исландия и др., способны выполнять не только вышеперечисленные, но и другие разнообразные задачи такие как [1]:

- участие в первоочередных спасательных (подводно-водолазных) работах в экстремальных ситуациях (при радиационных, химических и бактериологических загрязнениях;

- проведение геологоразведочных работ (обеспечение нефте- и газоразведки на морском шельфе и на больших глубинах, исследование придонных аномальных явлений и активных геологических образований океанского дна);

- осуществление мониторинга состояния сырьевых, биологических ресурсов и экологической ситуации в районах промысла в целях долгосрочного прогнозирования изменчивости рыбопродуктивности важнейших промысловых районов;

- океанографические исследования и экологический мониторинг водной среды;

- фотовидеосъемка, картографирование и акустическое профилирование морского дна;

- обзорно-поисковые работы (проведение работ по поиску и обследованию затонувших объектов);

- инспекция подводных объектов (обследование сооружений и коммуникаций), выполнение аварийно-ремонтных, восстановительных (прокладка кабеля) и подледных работ (освещение подводной обстановки);

- работы военного назначения, включающие, в частности, противолодочную разведку, патрулирование, обеспечение безопасности объектов военной техники, поиск и обезвреживание мин. В 2007 году общая численность населения в мире достигла 6,6 миллиарда, что более чем в два с половиной раза превышает показатель 1950 года - 2,5 миллиарда. К 2050 году на Земле будут жить почти 9,3 миллиарда человек. Такие данные представлены в докладе американской неправительственной статистической организации "Бюро данных о населении" (PRB) [51]. Согласно прогнозу экспертов, численность населения нашей планеты к 2050 году увеличится на 45%. Но при этом население планеты будет не только расти, но и стареть. Число людей в возрасте старше 60 лет к 2050 году составит почти два миллиарда [52].

Приведённые выше данные свидетельствуют, что потребность населения нашей планеты в продуктах питания будет продолжать расти. При этом современное состояние сельскохозяйственного производства характеризуется снижением эффективности, которая возникает по ряду объективных и субъективных причин, к числу которых в первую очередь, необходимо отнести повышение цен на энергоносители. Также отметим, что для выполнения наиболее трудоёмких сельскохозяйственных операций, таких как уход за растениями, прополка и уборка используется наёмный труд приезжих из ближнего и дальнего зарубежья, что ведёт к снижению интенсификации сельскохозяйственного производства, возрастанию стоимости продукции и снижению её качества.

В сложившейся ситуации, с учётом будущей перспективы роста населения является целесообразно разрабатывать и применять робототехнические системы для выполнения сельскохозяйственных операций таких как:

- проведение землепашных работ;

- посевные операции;

- прополка и полив;

- уборка урожая.

В нашей стране разработка таких робототехнических систем ведётся в Волгоградской государственной сельскохозяйственной академии, где был создан многозвенный шагающий робот волнового типа. В Шведском университете Хальмстада был разработан колёсный мобильный робот "Лукас" (Lukas), способный безошибочно идентифицировать сорняки и автоматически выдёргивать их с корнем [53]. Шведы подсчитали, что прополка вручную поля, засаженного сахарной свёклой, может стоить сельхозпроизводителю 1,3 тысячи долларов. Причём желающих заниматься прополкой год от года всё меньше, и многим фермерам приходится сокращать производство. Разработанный ими робот, в теории, может сократить "прополочные" расходы фермеров на 50%.

Также отметим, что применение в сельском хозяйстве робототехнических систем позволит отказаться от использования химических средств для борьбы с сорной растительностью, что внесёт вклад в охрану окружающей среды и повысит качество производимой продукции.

Актуальность темы исследования:

Большая часть мобильных роботов разрабатывается для работы во вредных или опасных для человека условиях. Такие условия имеют место при ликвидации последствий аварий, при разминировании или при работе на других планетах. Применение мобильных роботов в таких условиях позволяет исключить человеческие жертвы. Таким образом, актуальной является проблема создания мобильных робототехнических комплексов, обладающих возможностью самостоятельного передвижения и выполнения поставленной задачи. Важную роль при этом имеет проблема создания интеллектуальной системы управления, позволяющей роботу автономно выполнять поставленную задачу при минимальном участии человека.

В настоящее время в большинстве случаев управление роботом осуществляет человек-оператор на уровне движений, при этом от человека требуется непрерывное наблюдение за действиями робота и оперативное управление его действиями. Такой подход определяется неспособностью робота принимать самостоятельные решения и имеет ряд недостатков. К ним можно отнести необходимость постоянного канала связи с человеком (кабельная связь или радиосвязь), что существенно ограничивает область применения робота. Также, при выполнении технологических операций оператор, используя информацию об объекте и ходе выполнения работ, полученную с телекамер и выведенную на экраны мониторов, непрерывно управляет исполнительными механизмами манипулятора и транспортного средства в режиме ручного управления. Сложный процесс управления в сочетании с характером выполняемых работ, требующих повышенного внимания и осторожности, приводит к быстрой утомляемости оператора и, как следствие, увеличению вероятности ошибочных действий. Кроме того, человек не всегда может правильно оценить обстановку по данным телеметрии и осуществить адекватное управление. Указанных недостатков можно избежать, если управление со стороны человека-оператора будет проводиться не на уровне движений, а на уровне постановки цели. В этом случае робот должен самостоятельно или при минимальном участии человека выполнять поставленные задачи. Это остро востребовано в тех случаях, когда участие человека в процессе управления мобильным роботом затруднительно или невозможно, например, при работе в опасных условиях.

Актуальность темы исследования заключается в том, что предложенная в работе архитектура построения системы управления, позволит повысить эффективность выполняемых работ и расширит сферу применения мобильных роботов за счет обеспечения их автономной работы в частично недетерминированных условиях. Также упрощается задача человека-оператора, который, будучи освобожденным от управления роботом на уровне действий, получает возможность лучше сосредоточиться на задачах более высокого уровня. Кроме того, снижаются требования к квалификации оператора, поскольку отсутствует необходимость его обучения управлению элементарными движениями робота.

Целили задачи»работы.

Целью диссертационной работы является разработка архитектуры, алгоритмического и программного обеспечения интеллектуальных систем управления мобильными роботами на основе метода нечёткой логики и следящей системы технического зрения для автономного выполнения поставленных задач.

В работе были поставлены и решены следующие задачи:

• Разработка архитектуры и обобщённого алгоритма управления мобильными роботами на основе метода нечёткой логики и следящей системы технического зрения;

• Разработка метода обработки изображения, позволяющего осуществлять слежение за двигающимися объектами в.режиме реального времени;

• Разработка программного обеспечения, осуществляющего автономное управление движением мобильного робота, на основе метода нечёткой логики и следящей системы технического зрения;

• Экспериментальное исследование автономной работы предлагаемой системы, состоящей из, подвижного объекта, мобильного робота, следящей системы технического зрения. >: Методы исследования.

При решении поставленных задач автором были использованы теория автоматического управления, теория дифференциальных уравнений, теория нечетких множеств, математические методы обработки цифровых изображений и технология нечёткой логики. Разработка программных приложений велась с использованием технологии объектно-ориентированного программирования в средах Borland С++ Builder и Visual С++. Разработка низкоуровневых программ осуществлялась на языке Assembler.

Исследование работоспособности разрабатываемых структур и алгоритмов проводилось путем математического моделирования с использованием математических пакетов Matlab, Simulink, FuzzyLogic ToolBox, языка С++ и экспериментальных исследований. Научная новизна работы.

В работе получены и выносятся на защиту основные результаты, обладающие научной новизной:

• Архитектура системы и алгоритмы управления движением мобильных роботов, позволяющие осуществлять автономное управление на основе комбинации метода нечёткой логики и следящей системы технического зрения;

• Алгоритм управления и структура следящей системы технического зрения, позволяющая контролировать положение подвижного объекта в области прямой видимости системы;

• Метод обработки последовательности кадров потока видео информации, позволяющий отслеживать перемещение подвижных объектов в реальном времени.

Практическая ценность.

Предложенная следящая система технического зрения способна решать широкий круг прикладных задач в современных мехатронных и робототехнических системах, такие как мобильные и промышленные роботы, подводные и беспилотные летательные аппараты, автомобильные системы парковки, функционирующие в условиях частичной неопределённости внешней среды.

Разработан алгоритм работы и программное обеспечение для интеллектуальной системы управления мобильными роботами, позволяющие осуществлять автономное управление при выполнении задач относительно движущихся объектов.

Предложенная архитектура построения систем управления на базе следящей системы технического зрения и метода нечёткой логики может быть использована при создании интеллектуальных систем управления мобильными и промышленными роботами нового поколения с целью расширения их области применения.

Апробация работы.

Основные результаты диссертационной работы докладывались на 18-й и 19-й научно-технических конференциях «Экстремальная робототехника» в Государственном Научном Центре ЦНИИ РТК (г. Санкт-Петербург, Россия) в 2007-2008 гг., на научных чтениях "Робототехника: новые научные и практические разработки" в Учебном Научно-Техническом Центре1 «Робототехника» в МГТУ им. Н.Э.Баумана в 2008г., на Международной молодежной научной конференции XXXIV "Гагаринские чтения" в 2008 г, на научных семинарах кафедры «Робототехника и мехатроника» МГТУ «СТАНКИН».

Публикации.

Основное содержание диссертации опубликовано в пяти печатных работах, в том числе в журнале «Мехатроника, Автоматизация, Управление».

Объем работы.

Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Объем работы составляет 222 печатных страниц, включая рисунки, таблицы и список литературы. Библиография содержит 104 наименования, из них 19 иностранных источников.

Основные результаты диссертации можно сформулировать следующим образом:

1. Решена актуальная научно-техническая задача в области робототехники и мехатроники, состоящая в анализе интеллектуальных технологий и разработке интеллектуальной системы управления мобильными роботами на основе комбинации метода нечёткой логики и следящей системы технического зрения при решении задачи слежения за движущимися объектами.

2. По результатам проведённого анализа обоснована перспективность использования метода нечёткой логики для осуществления управления робототехническими устройствами на основе данных, получаемых от информационно-измерительной системы на базе следящей системы технического зрения (ССТЗ).

3. Обоснована эффективность применения в мобильных робототехнических комплексах информационных систем на базе видеокамер. При построении интеллектуальных систем управления в качестве информационно-измерительной системы предложена следящая система технического зрения, состоящая из видеокамеры и мехатронного модуля с двумя вращательными степенями подвижности. Предложены варианты структуры и компоновок ССТЗ.

4. Разработана архитектура и обобщённый алгоритм управления мобильными и промышленными робототехническими системами на основе метода нечёткой логики и следящей системы технического зрения при решении задачи управления относительно движущихся объектов.

5. Составлена математическая модель и проведено компьютерное моделирование движений мобильного робота с нечёткой системой управления и ССТЗ по типовым траекториям. Предложены упрощённая модель подвижного объекта слежения и блок эмуляции работы следящей системы технического зрения.

6. Предложен метод обработки последовательности кадров потока видеоинформации, который позволяет мобильному роботу отслеживать перемещение подвижных объектов в реальном времени.

7. На основе метода локального слежения разработаны три алгоритма цифровой обработки изображения (цифровых фильтра), позволяющие на основе определённой последовательности математических действий реализовать слежение за подвижным целевым объектом. Показано, что важным достоинством разработанных фильтров является высокая скорость обработки одного кадра изображения при приемлемом качестве процесса слежения.

8. Разработан мехатронный модуль, осуществляющий слежение за движущимися объектами. При этом были решены следующие задачи:

• Реализована аппаратная часть системы, осуществляющая вращение видеокамеры по двум степеням подвижности;

• Реализован контроллер, осуществляющий управление . сервоприводами видеокамеры;

• Реализовано программное приложение, осуществляющее обработку изображений и управление процессом слежения.

9. Проведено экспериментальное исследование автономной работы ССТЗ, по результатам которого построены характеристики, демонстрирующие возможности разработанной системы. При этом были решены следующие задачи:

• Разработан тестовый стенд, позволяющий провести экспериментальные исследования;

• Разработана специальная программа, моделирующая движения подвижных объектов с заданными скоростями на различных фонах;

10. Разработан экспериментальный образец мобильного робототехнического комплекса (РТК), оснащённого следящей системой технического зрения.

11. Разработано программное обеспечение, осуществляющее нечёткое управление мобильным робототехническим комплексом на основе данных, получаемых от следящей системы технического зрения.

12. Проведено экспериментальное исследование автономной работы мобильного РТК при решении задачи слежения за движущимися объектами.

Заключение

Данная диссертационная работа посвящена решению актуальной проблемы создания интеллектуальных систем управления автономными робототехническими устройствами на базе многофункциональной информационно-измерительной системы. В последние годы интерес к такого рода системам возрос как со стороны коммерческих фирм, так и со стороны различных государственных структур.

1. Экстремальная робототехника // Труды Девятой Всероссийской научно-практической конференции, Санкт-Петербург, 2006

2. Юревич Е.И. Основы робототехники. 2-е изд., перераб. и доп. — СПб.: БХВ-Перебург, 2005

3. Каляев И.А., Лохин В.М., Макаров И.М., Манько С.В., Романов М.П., Юревич Е.И. / под общей ред. Юревича Е.И. Интеллектуальные роботы. — М.: Машиностроение, 2007

4. Модели и методы, Искусственный интеллект. В 3 кн.: Справочник // Под ред. Д.А. Поспелова. М.: Радио и связь, 1990. Кн. 2.

5. Кандрашина Е.Ю., Литвинцева Л. В., Поспелов Д.А. Представление знаний о времени и пространстве в интеллектуальных системах // Под ред. Д.А. Поспелова. М.: Наука, 1989.

6. Осуга С. Обработка знаний // Пер. с яп. М.: Мир, 1989.

7. Лорьер Ж.Л. Системы искусственного интеллекта. М.: Мир, 1991.

8. Советский энциклопедический словарь // Гл. ред. A.M. Прохоров. 3-е изд. М.: Сов. энциклопедия, 1984.

9. Ожегов С.И., Шведова Н.Ю. Толковый словарь русского языка. 4-е изд., доп. М.: Азбуковник, 1997.

10. Новые методы управления сложными системами. М.: Наука, 2004

11. Лохин В.М., Макаров И.М., Манько С.В. Романов М.П., Организация интеллектуального управления сложными динамическими объектами // X научно-техническая конференция «Экстремальная робототехника», 1999

12. Хабаров С.П., Экспертные системы, http://firm.trade.spb.ru/serp/maines.htm

13. Системы искусственного интеллекта, http://www.mari-el.ru/mmlab/home/AI/78/index.html

14. Убейко В. Н., Экспертные системы.- М.: МАИ, 1992.

15. Элти Д., Кумбс М., Экспертные системы: концепции и примеры. М.: Финансы и статистика, 1987

16. Ющенко А.С., Орлов А.В., Управление движением мобильного робота с использованием экспертной системы/ Материалы 15-й научно-технической конференции "Экстремальная робототехника", 2004

17. Поспелов Д. И. Ситуационное управление: теория и практика. М.: Наука, 1986.

18. Яковлев А.И. Интеллектуальные системы принятия решений и управления в условиях конфликта. Курс лекций, 2007

19. Захаров В.Н. Базовые архитектуры интеллектуальных систем управления/ Проблемы теории и практики управления. СПб.: 2005, № 5

20. Симанков B.C., Шопин А.В., Ситуационное управление сложным объектом в условиях нечеткой исходной информации // Труды ФОРА, 2004, №9

21. Ющенко А.С. Киселев Д.В., Ситуационный подход к организации поведении мобильного робота в условиях неопределенности/ Труды XI научно-технической конференции «Экстремальная робототехника. — СПб.: 2001

22. Ющенко А.С., Киселев Д.В. Ситуационное управление мобильным роботом на основе нечеткой логики // журнал Мехатроника, 2000, №5

23. Прохоренков A.M., Никитенко А.А., Ерёменко Д.С. Применение ситуационных моделей в системах управления технологическими процессами // Всероссийская научно-техническая конференция «Наука и образование», 2002

24. Яхъяева Г.Э. Нечёткие множества и нейронные сети. -М.: БИНОМ, 2006.

25. Круглов В.В. Нечеткая логика и искусственные нейронные сети. Физматлит, 2001

26. Основы искусственных нейронных сетей. http://www.intuit.ru/department/ds/neuronnets/

27. Нейрокибернетика, нейроиформатика, нейрокомпьютеры http://www.bi-grouplabs.ru/Library/neurinf

28. Рутковская Д., Рутковский JL, Пилиньский М. Нейронные сети, генетические алгоритмы и нечеткие системы. "Горячая Линия Телеком",2004 г.

29. Гаврилов А.В., Гибридная модель нейронной сети на основе моделей персептрона и ART-2/ VII Всероссийская научно-техническая конференция,2005

30. Сиротенко М.Ю., Нейросетевой 3D планировщик перемещений автономных мобильных роботов/ Материалы 15-й научно-технической конференции "Экстремальная робототехника", 2004

31. Сыцко А.В., Система управления автономным мобильным роботом на основе адаптивного резонанса

32. Гаврилов А.В., Губарев В.В., Джо К.Х., Ли Х.Х., Архитектура гибридной системы управления мобильного робота/ Научный вестник НГТУ, 2004, №2

33. Добрынин Д.А., Карпов В.Э., Моделирование некоторых форм адаптивного поведения интеллектуальных роботов/ Информационные технологии и вычислительные системы, 2006, №2

34. Системы с ассоциативной памятью, http://www.zsu.zp.Ua/lab/mathdep/apmath/arcosdbms/l 10 .pdf

35. Бенционович Б. А. Самообучение на основе ситуационного управления и ассоциативной памяти, http://www.intuit.rU/department/ds/logneuronnets/7/

36. Устюжанин А.Е. Разработка ассоциативной памяти для систем автономного адаптивного управления на основе систем детерминированного хаоса. Автореф дис канд техн наук. М, 2007

37. Горбань А.Н., Миркес Е.М. Нейронные сети ассоциативной памяти, функционирующие в дискретном времени. — Красноярск / ВЦК СО.РАН. — 1997.

38. Леонов А.В. Нечёткое моделирование в среде MatLab и fuzzyTech. СПб.: БХВ-Петербург, 2005

39. Борисов В.В., Круглов В.В., Федулов А.С. Нечёткие модели и сети. М.: Горячая Линия - Телеком, 2007

40. Аверкин А.Н., Батыршин И.З., Блишун А.Ф., Силов В.Б., Тарасов В.Б. Нечёткие множества в моделях управления и искусственного интеллекта// под ред. Поспелова Д.А. М.: Наука, 1986

41. Гриняев С. Нечеткая логика в системах управления// Журнал «Компьютерра» №38, 2001

42. Макаров И.М., Лохин В.М., Романов М.П., Аналитическое конструирование нечётких регуляторов сложных динамических объектов, IX научно-техническая конференция «Экстремальная робототехника», СПбГТУ,1998

43. Манько С.В., Трипольский П.Э., Особенности применения методов нечёткой логики для решения задач интеллектуального управления, IX научно-техническая конференция «Экстремальная робототехника», СПбГТУ, 1998

44. Романов М.П., Нечёткое управление приводом постоянного тока, IX научно-техническая конференция «Экстремальная робототехника», СПбГТУ, 1998

45. Мельников А.Е., Нечёткая логика в управлении мобильным роботом, Труды Девятой Всероссийской научно-практической конференции «Экстремальная робототехника», СПбГТУ, 2006

46. Воронин С.И., Разработка алгоритма управления поведением мобильного робота с помощью методов нечеткой логики, Труды Девятой Всероссийской научно-практической конференции «Экстремальная робототехника», СПбГТУ, 2006

47. Головин В. Ф., Журавлёв В.В., Управление медицинским роботом в условиях неопределенности, Труды Девятой Всероссийской научно-практической конференции «Экстремальная робототехника», СПбГТУ, 2006

48. Цюй Дуньюэ, Разработка системы управления мобильным роботом с использованием нечётких моделей. Автореф дис канд техн наук. М, 2007

49. Прогноз численности населения в регионах планеты http://prognoz.org/article/prognoz-chislennosti-naseleniya-v-regionakh-planety

50. Численность населения планеты http://polit.ru/news/2007/02/06/people.html

51. Сельскохозяйственный робот «Лукас» http://www.membrana.ru/articles/technic/2005/09/21/203200.html

52. Подводные системы, МГТУ им. Баумана http://www.aqua.sm.bmstu.ru/intexr.htm

53. Аберрация объектива, http://www.photoweb.ru/lensworkl.htm#3856.' Цифровая коррекция аберрации объектива телекамеры, http://robot-rad.narod.ru/correct.html

54. Евстигнеев Д.В., Применение систем технического зрения для автономных робототехнических систем // Труды XI международной научно-технического семинара «Современные технологии в задачах управления, автоматизации и обработки информации», Алушта, 2002.

55. Оптические датчики OMRON, http://www.omron-industrial.corn/ruru/home/

56. Оптический дальномер SHARP, http://www.gotoco.ru/

57. Разработка программно-аппаратных средств навигации мобильных робототехнических комплексов / Труды Десятой Всероссийской научно-практической конференции "Экстремальная робототехника", СПб, 2007

58. Luca Iocchi, Stereo Vision: Triangulation, Dipartimento di Informatica e Sistemistica Universita di Roma "La Sapienza", Italy

59. Подураев Ю.В., Мехатроника: основы, методы, применение. — М.: Машиностроение, 2006

60. Проект по созданию когнетивных систем управления, http://www.ikaros-project.org/articles/2005/outdoors/

61. Манипулятор, осуществляющий слежение за движущимися объектами, http://cmp.felk.cvut.cz/demos/Cyclops/index.html

62. Робот гексапод, сайт компании Micromagic Systems, http://micromagicsystems.com/

63. Сборочный РТК, осуществляющий слежение за целевым объектом, http://cobweb.ecn.purdue.edu/RVL/Projects/LineTracking/index.htm

64. Носков В.П., Рубцов И.В., Романов А.Ю. Системы технического зрения мобильных роботов // Мехатроника, Автоматизация, Управление. Меновые Технологии. - 2007. № 8

65. Михайлов Б.Б. Техническое зрение мобильных роботов // Экстремальная робототехника. Труды 18-ой Всероссийской научно-технической конференции. Санкт-Петербург.: - СПбГТУ, 2007

66. Четвериков Д.Л. Основные алгоритмы для анализа цифрового изображения, курс лекций, 2004

67. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005

68. Zhu S.C., Yuille A. Region competition: unifying snakes, region growing, and Bayes/MDL for multiband image segmentation. // IEEE Trans, on Pattern Analysisand Machine Intelligence, 18(9):884-900, 1996.

69. Elgammal, R. Duraiswami, D. Harwood, L. Davis. Background and Foreground Modeling Using Nonparametric Kernel Density Estimation for Visual Surveillance. // Proc. of IEEE, 90(7), 2002.

70. Comaniciu D., Ramesh V., Meer. P. Kernel-Based object tracking. // IEEE Trans, on Pattern Analysis and Machine Intelligence, 25:564-575, 2003.

71. Fieguth P., Terzopoulos. D. Color-based tracking of heads and other mobile objects at video frame rates. // In IEEE Conf. on Computer Vision and Pattern Recognition, pp. 21-27, 1997.

72. Black M., Jepson. A. EigenTracking: Robust Matching and Tracking of Articulated Objects Using a View-Based Representation. // Int. Journal of Computer Vision, 26(l):63-84, 1998.

73. Avidan. S. Support Vector Tracking. // In IEEE Conf. on Computer Vision and Pattern Recognition, 2001.

74. Veenman C.J., Reinders M.J., Backer. E. Resolving Motion Correspondence for Densely Moving Points. // IEEE Trans, on Pattern Analysis and-Machine Intelligence, 23(l):54-72, 2001.

75. Haritaoglu I., Harwood D., Davis L.S, W4: real-time surveillance of people and their activities. // IEEE Trans, on Pattern Analysis and Machine Intelligence, 22(8):809-830, 2000.

76. Андрюшкин А.А. Анализ, разработка и реализация математических методов и алгоритмов выделения движения на последовательности изображений, Дис канд техн наук, 2000

77. Якушенков Ю.Г., Теория и расчёт оптико-электронных приборов, http://www.ssga.ru/eossib/oepyak/index.htm

78. Алпатов Б.А., Бохан К.А., Алгоритм автоматического обнаружения, выделения и оценки динамических объектов, возникающих в последовательности телевизионных кадров. Доклады 3-й Международной Конференции DSPA-2000, том 3

79. Пытьев Ю.П. Задачи морфологического анализа изображений // Математические методы исследования природных ресурсов Земли из1. Космоса. -М.: Наука, 1984

80. Ляпин А.И., Суворов Е.Ю., Сидоров С.Б. Исследование метода обработки видеоизображений и идентификации объектов, инвариантного к пространственным изменениям анализируемой сцены. Доклады 6-й Международной Конференции DSPA-2004, том 1

81. Алпатов Б.А., Бабаян П.В. Методы обработки и анализа изображений в бортовых системах обнаружения и сопровождения объектов / Цифровая обработка сигналов, 2006, №2

82. Аксенов О.Ю. Обнаружение объектов на изображениях при изменяющихся условиях наблюдения / Цифровая обработка сигналов, 2006, №2

83. Степанова Н.В. Решение целевых и навигационных задач на борту малоразмерного беспилотного летательного аппарата на основе обработки изображения подстилающей поверхности / Автореферат дис. кандидата технических наук, 2007

84. Капылов Ю.В. Алгоритмическое и программное обеспечение адаптивной системы технического зрения для обнаружения подвижных объектов роботом / Автореферат дис. кандидата технических наук, 1999

85. Otsu N. A theshold selection method from gray-level histograms /ЛЕЕЕ Trans, on System, Man and Cybernetics 1979, v.SMC-9, N 1.

86. Мобильные роботы для различных приложений; сайт фирмы MobileRobots http://www.mobilerobots.com

87. Микропроцессорные и электронные платы; для мобильных устройств, сайт фирмы VersaLogic http://www.versalogic.com/

88. Устройство! и описание серводвигателей, применяемых для моделирования www.repairfaq.org/filipg/RC/FServo 101 .html#SERVO001 100. Характеристики портативной веб-камеры, сайт компании Logitech http://www.logitech.com/ v ■

89. Архангельский А.Я. Приёмы программирования в C++Builder 6 и 2006. Механизмы Windows, Сети. М.: ООО «БИНОМ-Пресс», 2006 102: Яценков B.C. Микроконтроллеры Microchip: Практическое.руководство. - М.: Горячая Линия - Телеком, 2002 .

90. Bates М. The PIC 16f84 microcontroller. Edward Arnold, 2000 к

91. Микроконтроллеры,,сайт компании Microchip http://www.microchip.ru/