автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Управление и методы обработки информации при автоматизации извлечения объектов из контейнера с использованием PMD-технологии

60461864? На правах рукописи

МАМАЕВ Ильшат Ринатович

УПРАВЛЕНИЕ И МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ ПРИ АВТОМАТИЗАЦИИ ИЗВЛЕЧЕНИЯ ОБЪЕКТОВ ИЗ КОНТЕЙНЕРА С ИСПОЛЬЗОВАНИЕМ РМБ-ТЕХНОЛОГИИ

Специальность 05.13.01 Системный анализ, управление и обработка информации (в промышленности)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 ЗЛЕН 2010

Уфа-2010

004618647

Работа выполнена на кафедре вычислительной математики и кибернетики ГОУ ВПО « Уфимский государственный авиационный технический университет»

Научный руководитель д-р техн. наук, проф.

ЮСУПОВА Нафиса Исламовна

Официальные оппоненты д-р техн. наук, проф.

ВАЛЕЕВ Сагит Сабитович, Уфимский государственный авиационный технический университет

канд. техн. наук, доц. ПОГОРЕЛОВ Григорий Иванович,

ФГУП «Уфимское научно-производственное предприятие «Молния»

Ведущая организация Институт механики

Уфимского научного центра РАН

Защита диссертации состоится «23» декабря 2010 г. в 10 часов на заседании диссертационного совета Д-212.288'.03 при Уфимском государственном авиационном техническом университете по адресу: 450000, Уфа-центр, ул. К. Маркса, 12

С диссертацией можно ознакомиться в библиотеке университета Автореферат разослан « »_. 2010 г.

Ученый секретарь диссертационного совета д-р техн. наук, проф.

Миронов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Одними из основных задач промышленных роботов на сегодняшний день являются операции сборки, захвата и перемещения объектов, причем манипуляторы в большинстве случаев выполняют действия в условиях известной формы, положения и ориентации объектов. Роботизированная система без сенсорной подсистемы может быть использована только для заранее запрограммированных и повторяющихся задач. Таким образом, существует необходимость в разработке эффективных и гибких роботизированных комплексов, которые позволяют распознавать сложные и неорганизованные объекты с минимальным или без априорного знания о позиции и геометрии объектов.

Задача извлечения объектов из контейнера — задача автоматического разбора неотсортированных объектов с помощью манипулятора. Это очень распространенная задача во всех видах промышленности, где требуется отделить одну деталь от множества других.

Исследования, посвященные аспектам решения задачи автоматического извлечения объектов из контейнера в таких областях, как системный анализ, робототехника, компьютерная графика и автоматизация производства можно найти в работах отечественных и зарубежных ученых (Ю. Г. Козырев, П. Д. Крутько, А. Ф. Кулаков, А. В. Тимофеев, В. И. Васильев, Б. Г. Ильясов, А. Как и J. Edwards, К.. Rahardja и A. Kosaka, К. Ikeuchi, О. Ghita, P. Whelan, Н. Woern и другие). Но, тем не менее, несмотря на десятилетия исследований, данная проблема остается открытой. В современном производстве эта задача решается с помощью сложных производственных линий с применением ручного труда. Тем временем, новые сенсорные технологии, значительные увеличения вычислительной мощности компьютеров, новые алгоритмы и современные инженерные разработки позволяют предлагать новые подходы к решению проблем автоматизации промышленности.

Данная работа посвящена решению задачи автоматического извлечения объектов из контейнера с использованием PMD (Photonic Mixer Device) технологии.

Цель работы

Разработка методов обработки информации и решение задачи управления с помощью системы автоматического извлечения объектов из контейнера с использованием PMD-технологий.

Задачи исследования

Для достижения поставленной цели требуется решить следующие задачи:

1. Провести системный анализ задачи извлечения объектов из контейнера, рассмотреть существующие подходы и оценить эффективность использования PMD-технологии;

2. Разработать метод обработки информации на основе специального математического обеспечения для управления извлечением объектов из контейнера на основе РМО-технологии;

3. Разработать специальное математическое и программное обеспечение для метода реконструкции трехмерной сцены по полученным данным от РМБ-камеры, разрабатываемый метод должен учитывать особенности РМБ технологии и задачи автоматического извлечения объектов из контейнера;

4. Разработать функциональную модель системы извлечения объектов из контейнера РМБ-технологии, алгоритм управления и специальное алгоритмическое и программное обеспечение системы автоматического извлечения объектов из контейнера, реализующее предложенные методы;

5. Разработать методику создания и провести испытания экспериментального стенда для решения задачи автоматического извлечения объектов из контейнера. Провести анализ эффективности предложенных методов и подхода в целом. Разработать модели, методы и алгоритмы по результатам стендовых исследований.

Методика исследования

В работе используются основные положения системного анализа и робототехники, применяются методы обработки изображений, оптимизации и теории принятия решений. При разработке программного обеспечения применялись объектно-ориентированный подход, методы геометрического и имитационного моделирования, машинной графики.

Основные научные результаты, выносимые на защиту:

На защиту выносятся:

1. Результаты системного анализа проблемы автоматического извлечения объектов из контейнера, состоящие из анализа существующих подходов, их классификации и оценки эффективности использования РУГО-технологии в поставленной задаче.

2. Метод обработки информации РМБ-камеры, основанного на адаптированном к РМО-технологии и к поставленной задаче методе определения параметров камеры и на методе обработки данных дальномера с использованием оригинальной математической модели.

3. Метод реконструкции трехмерной сцены по полученным от РМБ-камеры данным, позволяющий проводить реконструкцию по нескольким изображениям дальности;

4. Функциональная модель и алгоритм управления, специальное алгоритмическое и программное обеспечение системы автоматического извлечения деталей из контейнера с использованием робота-манипулятора и РМБ-технологии, реализующее предложенные методы.

5. Методика создания экспериментального стенда и его описание для решения задачи автоматического извлечения объектов из контейнера и результаты анализа эффективности предложенных методов и системы в целом.

Научная новизна результатов

Новыми являются разработанные и исследованные автором:

1. Новизна проведенного системного анализа заключается в том, что разработана классификация существующих систем, определены достоинства и недостатки существующих подходов к решению задачи автоматического извлечения объектов из контейнера и рассмотрены особенности применения РЩ)-технологии в поставленной задаче.

2. Метод обработки информации с РЩ)-камеры, научная новизна которого включает:

• метод определения внутренних и внешних параметров РМБ-камеры, который, в отличие от существующих, адаптирован для использования в поставленной задаче, так как позволяет компенсировать низкое разрешение РМБ-камеры и учитывает ориентацию камеры относительно шаблона;

• метод обработки данных дальномера. Новизна разработанного метода состоит в том, что представляемая модель учитывает особенности сложного и слабо исследованного процесса отображения данных о расстоянии до объекта РМБ-камеры. Предложенные метод позволяет компенсировать недостатки РМО-технологии, что позволило эффективно применить ее в решении поставленной задачи.

3. Новизна разработанного метода реконструкции трехмерной сцены обуславливается новизной технологии, особенности которой учитываются в предлагаемом подходе, что позволяет повысить эффективность решения задачи, а также в том, что представленный метод позволяет проводить реконструкцию сцены по нескольким изображениям. Использование предложенного метода позволило решить проблемы низкого разрешения и малого угла обзора РМЛ-камер;

4. Новизна предложенной функциональной модели и алгоритма управления заключается в том, что в отличие от известных, они позволяют решать задачу автоматического извлечения объектов из контейнера с использованием РМР-камеры на основе ситуационного подхода. Новизна разработанного алгоритмического обеспечения обуславливается новизной предложенных методов;

5. Новизна методов создания экспериментального стенда и анализа эффективности обусловлена новыми моделями и методами, а также учетом ограничений на операционные характеристики аппаратно-программного комплекса, вытекающими из существа задачи управления.

Практическая значимость

Практическую значимость имеют полученные автором следующие результаты:

1. Разработанное прикладное программное обеспечение на базе языка С++, реализующее предложенный подход к решению задачи с использованием РМБ-камеры, который отличается гибкостью и модульной архитектурой позволяет проводить моделирование и анализ эффективности.

2. Разработанный программно-аппаратный комплекс для решения задачи

автоматического извлечения объектов из контейнера с помощью робота-манипулятора и PMD-камеры.

Внедрение и связь исследования с научными программами

Работа выполнена в рамках совместных научных проектов Уфимского государственного авиационного технического университета и Института управляющих вычислительных систем и робототехники технологического института г. Карлсруэ (Германия), поддержанных грантом РФФИ № 06-08-01180-а «Интеллектуальные методы поиска траекторий многозвенных манипуляторов в сложном рабочем пространстве» (2006-2008) и грантом № 16SV2307 Министерства образования Германии.

Основные результаты диссертационной работы используются в виде программного обеспечения в научно-производственной фирме «РД-Технология» и в учебном процессе на кафедре ВМиК УГАТУ.

Разработанный программно-аппаратный комплекс успешно внедрен в систему автоматического извлечения объектов из контейнера фирмы KUKA Robotics - Lynkeus.

Апробация работы и публикации

Основные научные и практические результаты диссертационной работы докладывались на:

• IX-X Международных научных конференциях "Компьютерные науки и информационные технологии" (Уфа, 2007; Анталия, Турция, 2008);

• семинарах в Институте управляющих вычислительных систем и робототехники технологического университета Карлсруэ (Германия, 2008,2009);

• семинарах на кафедре ВМиК УГАТУ;

• ежегодных международных зимних школах аспирантов (Уфа, 2007,

2008).

Результаты работы отражены в публикациях

Основные материалы диссертационной работы опубликованы в 8 статьях, в том числе в 1 статье в рецензируемом журнале из перечня ВАК. Разработанное программное обеспечение защищено свидетельством Роспатента № 2010615109 об официальной регистрации программ для ЭВМ.

Объем и структура работы

Диссертация состоит из введения, 4 глав, заключения, списка литературы и приложений. Объем основной части диссертации составляет 117 страниц.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении к диссертации обосновывается актуальность решаемой научной задачи, формулируются цель и задачи исследования, перечисляются подходы и методы решения задач, приводятся результаты, выносимые на защиту, отмечается их научная новизна и практическая значимость.

Приводятся сведения о внедрении результатов, апробации работы и публикациях.

Первая глава посвящена анализу современного состояния проблемы автоматического извлечения объектов из контейнера и ее актуальности.

Проводится анализ задачи автоматического извлечения объектов из контейнера, рассматриваются принципиальные компоненты системы. Исследуются существующие подходы, анализируются их достоинства и недостатки, определяется области их применения. Проводится классификация рассматриваемых систем по типу используемой сенсорной подсистемы.

Проведенный сравнительный анализ различных подходов показал, что на сегодняшний день не существует универсального подхода к решению задачи автоматического извлечения объектов из контейнера, позволяющего эффективно решать поставленную задачу и соответствующего высоким требованиям к промышленным системам. Каждый подход обладает рядом присущих ему недостатков, ограничивающих область его применения, например:

• зависимость от условий освещения, цвета и отражающих свойств объектов (монокулярные и стерео камеры);

•.недостаточная скорость получения изображения (лазерные дальномеры);

• высокая сложность и медленная скорость трехмерной реконструкции сцены (стереокамеры, системы БРИ);

• недостаточная точность измерений;

• высокая стоимость;

• большие размеры.

Проводится обзор возможностей применения РМБ технологии в задаче извлечения объектов из контейнера, рассматриваются ее достоинства и недостатки с точки зрения поставленной задачи.

На основе проведённого анализа формулируются цель и задачи исследования, решаемые в диссертационной работе.

Во второй главе проводится анализ РМБ-технологии, выделяются ее достоинства и разрабатываются методы компенсации ее недостатков для возможности эффективного применения РМБ-камеры в поставленной задаче.

Вначале описывается математической модель РМБ-технологии и ее принцип, который заключается в том, что сравнение полученного оптического сигнала с начальным сигналом непосредственно на пикселе РМО-матрицы позволяет определить сдвиг сигнала по фазе, т.о. определить расстояние за время полета луча.

Проводится анализ возможностей применения РМБ-технологии в рамках задачи автоматического извлечения объектов из контейнера. В сравнении с другими, РМБ - очень компактная система, которая позволяет получать данные в реальном времени и, благодаря использованию собственных источников света и автоматическому подавлению фонового света, не зависит от условий освещенности.

Проведенный анализ также позволил выявить следующие недостатки РМО-технологии:

• низкое разрешение и малый угол обзора камеры, что осложняет трехмерную реконструкцию сцены и распознавание объектов;

• искажения и ошибки измерения расстояния.

Для компенсации указанных недостатков и для эффективного использования РМО-камеры в задаче автоматического извлечения объектов из контейнера требуется разработать методы обработки информации и реконструкции трехмерной сцены.

Далее рассматривается формальная постановка задачи обработки данных, выделяется 2 подзадачи: определение внутренних и внешних параметров РМБ-камеры и обработка данных дальномера РМО-камеры. Анализируется известные методы и подходы.

В качестве особенностей постановки и решения этих задач отмечаются:

• необходимость адаптации метода определения внутренних и внешних параметров с учетом низкого разрешения и малого угла обзора РМО-камеры, а также с учетом задачи автоматического извлечения объектов из контейнера -возможности применения метода непосредственно в процессе решения задачи;

• необходимость разработки метода обработки информации, который посредством компенсации искажений и ошибок измерений позволил бы снизить погрешность РМО-камеры и эффективно использовать ее в рамках поставленной задачи.

Для определения внутренних и внешних параметров РМО-камеры используется модель перспективной проекции камеры-обскуры. Несмотря на то, что проблема определения внутренних и внешних параметров камеры, описываемой моделью камеры-обскуры - хорошо исследованная область, особенности РМО-камеры не позволяют получить хороших результатов при использовании известных методов. Для компенсации низкого разрешения камеры были рассмотрены методы масштабирования изображения и выявлено, что билинейная интерполяция позволяет получать хорошие результаты. Таким образом был предложен метод, который проводит предварительное масштабирование изображений.

Другим важным фактором является то, что определение параметров проводится посредством сопоставления точек в плоскости изображения с абсолютными и важную роль играет ориентация реального шаблона в пространстве. Для возможности применения разрабатываемого метода непосредственно в процесс решения задачи автоматического извлечения объектов из контейнера необходимо разработать метод определения ориентации шаблона в пространстве.

Предложенный метод использует специальные метки в центре доски -круги инвертированного по отношению к клетке цвета. Алгоритм состоит в следующем: сначала определяется расположение кругов на доске, потом рассчитывается их взаимное расположение и определяются 2 базовых вектора, которые задают координатную плоскость на доске. Далее определяются

квадранты, в которых находятся 4 угловые точки доски, после чего можно определить какая из 4 возможных ориентации на данной фотографии и правильно отсортировать найденные точки пересечения.

Помимо определения внутренних и внешних параметров камеры, требуется также обработка данных дальномера PMD камеры. Анализ PMD-технологии выявил, что в данные о дальности вносятся искажения следующими источниками:

• периодические ошибки: причина заключается в том, что расчет расстояния основывается на предположении, что модулированный сигнал является идеальным синусоидальным, что не соответствует реальности на практике;

• ошибки, возникающие из-за задержки при передаче сигнала с сенсора (пикселя матрицы) на процессор. Ошибка зависит от относительного расположения пикселя внутри матрицы;

• ошибки, возникающие из-за интенсивности (яркости) оптического сигнала, так как расчет дальности зависит от количества отраженного света. В случае слабой интенсивности сигнала, ухудшается отношение сигнал-шум, что вносит случайную ошибку в измерения. В противоположном случае, когда интенсивность высокая, то появляется дополнительная систематическая ошибка, которая может быть компенсирована калибровкой;

• ошибки, зависящие от времени выдержки при съемки изображения. При длинных выдержках изображение сдвигается к камере (расстояния сокращаются);

• ошибки, зависящие от внутренней температуры камеры, а также температуры окружающей среды.

Далее формализуется задача обработки данных дальномера PMD-камеры: Обозначим через D1 карту дальности для -го изображения, а через Dp — измеренное расстояние для р-го пикселя матрицы на i-м изображении. Пусть Р(...) — оператор проекции изображения, функция от внутренних параметров fx,fyCx,Cy и кс, которые были определены на первом этапе определения внутренних параметров:

P:RxR2->R3, (1)

тогда глобальные координаты точки Xсоответствующей пикселю р на /'-том изображении выражаются:

Ц = WTtcp X ТСРТС ХРФ1- Elv, р) , (2)

где wTj-CP — матрица трансформации из TCP в мировые координаты, ТСРТС — матрица трансформации из координат камеры в TCP.

Выражение (2) описывает общую модель обработки данных дальномера.

Рассмотрим более подробно ошибку измерения дальности Ер. Положим, что эта ошибка зависит от трех факторов: ошибка, зависящая от расстояния до объекта; ошибка, зависящая от задержки распространения сигнала; и ошибка, зависящая от интенсивности. Таким образом, модель искажений будет выглядеть так:

Е^ = D + Р + /. (3).

Так как в задаче автоматического извлечения объектов из контейнера измеряемые расстояния находятся в пределах двух метров, то можно проигнорировать периодичность ошибки, что позволяет использовать для моделирования полином третьей степени вместо синусоидальной функции:

= (4).

Ошибка задержки распространения сигнала зависит от относительного расположения пикселя в CMOS матрице, поэтому ее можно описать линейной функцией от координат пикселя в матрице:

Р{г,с) =р0+р1г + р2с. (5)

Предполагается, что ошибка задержки минимальна в одном углу изображения и максимальна в диагонально противоположенном углу.

Ошибка интенсивности. Объекты с низким коэффициентом отражения отображаются ближе на изображении к камере. Поэтому, зная значения интенсивности каждого пикселя (изображение интенсивности), можно описать ошибку полиномом второй степени:

i(4) = io + h Ш + hVj,]2. (6)

где /р — значение интенсивности пикселя р на -м изображении интенсивности.

Тогда, задав плоскость нормалью п\ зная положения камеры относительно этой плоскости, при данном расстоянии dL и используя Хр из выражения (2), можно сказать, что выражение

(п;)т4 + dl = 0 (7)

является целевой функцией, которая равна нулю в случае, когда отсутствуют ошибки. Таким образом, задача обработки данных PMD-камеры заключается в поиске оптимальных параметров (рагат) предложенной модели Ер (3). Мы имеем задачу о наименьших квадратах вида:

рагат = mmparameRr. [(пг)ГХ£+^]

Задачи такого вида решаются с помощью соответствующих методов оптимизации.

В завершении второй главы предлагается метод реконструкции трехмерной сцены с использованием PMD-камеры. Разрабатываемый метод должен учитывать особенности PMD-технологии: низкое разрешение, малый угол обзора и позволять эффективно применять данную технологию в задаче автоматического извлечения объектов из контейнера.

Разработанный метод трехмерной реконструкции сцены позволяет компенсировать перечисленные недостатки за счет возможности реконструкции сцены по нескольким изображениям, что в свою очередь возможно благодаря такому преимуществу PMD-

(8)

Рисунок 1 - Схема реконструкции трехмерной едены

камеры, как способность получения изображений в реальном времени.

В рамках разработки метода формулируется общая математическая постановка задачи реконструкции трехмерной сцены по данным с PMD сенсора.

Можно выделить следующие этапы реконструкции трехмерной сцены (рис.1):

1. Получение изображения объекта и соответствующей карты дальности. Данные о расстоянии трансформируются в трехмерные модели относительно системы координат камеры, то есть каждый пиксель с информацией о расстоянии трансформируется в точку в пространстве координат камеры, используя матрицу проекции.

2. Трансформация точек в глобальную систему координат. Каждому пикселю полученного изображения ставится в соответствие значение карты дальности, полученное с помощью PMD принципа. Карты дальности показывают расстояние до объекта относительно сенсора. Для перевода данных в глобальную систему координат необходимо выполнить следующие трансформации:

Vworld ~ Ттср Тса7пета Pcamera (9)

где ТСРТсапега — трансформационная матрица из системы координат камеры в систему координат центра рабочего инструмента манипулятора. warldTTCP — трансформационная матрица из системы координат центра рабочего инструмента в глобальные координаты.

3. Расчет воксельной модели. На базе множества точек в мировой системе координат рассчитывается воксельная модель сцены.

4. Расчет полигональной модели. На базе трехмерной воксельной модели с помощью триангуляции Делоне вычисляется полигональная модель сцены.

5. Сглаживание полигональной модели с помощью оператора Лапласа.

В третьей главе разрабатываются: функциональная модель системы, алгоритм управления, алгоритм обработки информации, включающий в себя определение внутренних и внешних параметров камеры и обработку данных дальномера камеры; алгоритм реконструкции трехмерной сцены по нескольких изображениям с PMD-камеры.

С точки зрения теории автоматического управления, предложенная система автоматического извлечения объектов из контейнера является управляемым комплексом, включающим в свой состав системы автоматического управления роботом, камерой, захватом. Проведенные системный анализ позволил выявить принципиальные элементы системы и структурные связи между переменными и элементами исследуемой системы. Таким образом, проблема автоматического извлечения объектов из контейнера является хорошо структурированной, предлагаемая функциональная модель системы показана на рис.2.

На рис. 2 зеленым цветом отмечены процессы, которые используют разработанные методы обработки информации. Проблема автоматического извлечения объектов из контейнера, помимо представленных методов включает в себя: задачу распознавания объектов (процесс анализа сцены), задачу расчета точек и стратегии захвата, а также задачи планирования траектории движения робота. Более того, для управления процессом решения поставленной задачи

также необходимо иметь интерфейсы взаимодействия с контроллерами камеры, робота и захвата.

Проблемы распознавания образов и планирования траектории движения робота - это отдельные, довольно широкие области исследований. В рамках диссертационной работы указанные проблемы не решаются, для анализа сцены используется иерархический итерационный метод распознавания объектов на основе анализа многомерных данных, а для планирования траектории использованы методы поиска траекторий, разработанные в институте управляющих вычислительных систем и робототехники технического университета Карлсруэ.

| Методы обрабстп* I *нформации

I Метод ] реконструкции

I Методы I распознавания

Реальная Получение изображений интенсивности и дальности \ Обработка." информации .'"■•А2- Обработанные изображения Реконструкция ..;.ЗРсцены ' АЗ ЭО сцена Анализ сиены

сцены А1 А4

1 точен ыхвга

, ,---•------

I | Расчет точек Н захвата объеета

Обьекты | и«оорли*а1и| дд

I Методы ! ппатфввання трэштрнЛ

I Планирование ' траекторий :_

1 робота г^;; I_Аб] »•»

Параметры и I офашченмя

Движение робота А7 Захват объекта АЗ

Результат движений

Рисунок 2 — Функциональная модель системы

Системный анализ задачи автоматического извлечения объектов из контейнера показал, что данная задача является детерминированной и хорошо структурированной. Исходя из этих соображений, при разработке алгоритма управления предложено использовать ситуационный подход. Разрабатываемый метод основан на обнаружении ситуаций из заранее определенного множества и принятия управленческих решений, ассоциированных с ситуациями. Для описания переходов ситуаций используются событийные модели различных видов, в частности, конечные автоматы. Конечные автоматы в настоящее время все шире применяются в различных областях программирования. Их основными достоинствами являются простота и наглядность. На рис. 3 показан конечный автомат, реализующий задачу управления системой автоматического извлечения объектов из контейнера.

Для реализации предложенных методов и алгоритмов было разработано программное обеспечение для системы автоматического извлечения объектов из контейнера с использованием РМО-технологии.

Программное обеспечение разрабатывалось на базе У-Мо<1е1. На стадии анализа требований к системе использовались результаты системного анализа и был разработан сценарий работы. Модель системы и ее архитектура разрабатывалась с учетом требований гибкости и модульности, на стадии проектирования отдельных модулей системы были разработаны стандарты и протоколы обмена информацией, а также необходимые интерфейсы. Также разработанное ПО

прошло необходимые стадии верификации, тестирование системы было проведено на базе разработанного экспериментального стенда, что позволило выявить некоторые ошибки и оптимизировать код.

ОбсгёЁототъ ИНформ2Е*1Ю

Рисунок 3 — Конечный автомат реализующий задачу управления системой

Система состоит из основного модуля, который обеспечивает управление сетевой коммуникацией, обрабатывает XML сообщения от модулей с учетом правил доступа к ресурсам, хранит настройки и т.д.; а также модулей (рис. 3):

• управления роботом: позволяет управлять роботами, используя разработанные интерфейсы и XIRP протокол;

• управления PMD-камерой: позволяет получать и сохранять данные от PMD камеры, осуществляет настройку параметров камеры;

• моделирования: делает реконструкцию сцены, строит воксельную и полигональную модели;

• обработки информации: позволяет автоматически определять параметры и обработку данных дальномера PMD-камеры;

• планирования траектории; вычисляет траекторию робота с учетом препятствий;

• захвата: планирует стратегию захвата объектов с учетом взаиморасположения объектов и управляет механическим захватом;

• расчета точек захвата: рассчитывает точки захвата для извлекаемого объекта.

Каждый модуль системы реализован как отдельный процесс, который имеет XML-интерфейс для внутренней коммуникации с другими модулями или с графическим интерфейсом. Также модуль может состоять из субмодулей, запускаемых в виде отдельных потоков. Тогда один из них является контрольным субмодулем, который организует работу других субмодулей и общается

с другими модулями системы (рис.3). Такая архитектура позволяет добиться гибкости, надежности и быстродействия.

Рисунок 4- Архитектура системы

Четвертая глава посвящена разработке экспериментального стенда и анализу эффективности разработанных методов и подхода к решению задачи автоматического извлечения объектов из контейнера с использованием PMD-технологии.

В качестве объектов для извлечения были выбраны полиэтиленовые трубы из ПВХ (ГОСТ 22689.2-89). Данные трубы обладают однотонной текстурой, что позволяет проверить эффективность разработанной системы на однотонных объектах, которые часто используются в промышленности. Так как сценарий демонстрации также входит сортировка объектов, то использовались два типа труб: прямые и изогнутые.

Робототехническая система была построена на базе промышленного робота Kuka «KR60HA». Данный манипулятор является роботом повышенной точности со средней грузоподъемностью и позволяет оперировать грузами до 60 кг. Серия «НА» (High Accuracy) отличается повышенной точностью.

В качестве рабочего инструмента для манипулятора был выбран двух-пальцевый захват с электроприводом Schunk PG70. Для связи с управляющим компьютером используется интерфейс RS-232. Управление захватом обеспечивает модуль программного обеспечения «Gripper».

Система позволяет работать с двумя моделями PMD камер: ifm o3dl00 (разрешение матрицы 64x50 пикселей) и ifm LynCube (разрешение матрицы 200 х 200 пикселей).

Рабочая сцена была создана в лабораторном помещении и занимает пространство размерами 6м х 7м х 5м (ширина х длина х высота). Помимо манипуляторов (Kuka KR60HA, Kuka KR16 и ReisRobotics RV-6L), их блоков управления и компьютеров, тестовый стенд оборудован рабочим столом, на котором размещается контейнер с неотсортированными объектами и контейнер для классификации объектов; также столом, на котором находятся контейнеры для отсортированных объектов. Для обеспечения безопасности была определена рабочая зона манипуляторов, а операторское место оборудовано кнопками экстренного выключения системы.

Построенная система позволила на практике проверить разработанные методы, модели и алгоритмы, провести эксперименты на реальных деталях, а также выявить и устранить недостатки проектирования ПО на начальных этапах.

Для анализа эффективности предложенных методов была проведена серия экспериментов, для решения задач предварительной обработки использовались различные статистические методы: проверка гипотез, оценивание параметров и числовых характеристик случайных величин и процессов, корреляционный и дисперсионный анализ.

При обработке числовых массивов результатов эксперимента, как случайных величин, применялись следующие выборочные оценки: математическое ожидание и дисперсия.

В таблице 1 показаны параметры РМБ-камер, полученные на первом этапе предложенного метода обработки информации. Для определения параметров было получено 14 изображений шаблона с разных ракурсов.

Таблица 1. Результаты первого этапа калибровки

-------Камера Параметр -—..... оЗШОО ЬупСиЬе

/х//у 80,3/80,7 232,4/231,5

Сх/Су 24,8/32,1 92,9/84,5

Смещение {Х,У,7) 1,8/120,6/69,4 117,7 /32,5 /164,4

Поворот (Ас, Яу. Яг) 0,1/0,4/180,2 0,3/0,1 Л 79,8

Для качественной оценки разработанного метода обработки данных дальномер Р1чГО-камеры было получено по 100 изображений белой калибровочной стены с обеих камер: оЗс1100 и ЬупСиЬс. Для анализа зависимости погрешности РМБ камер от диапазона измерения наблюдения проводились с 4-х разных расстояний: 497 мм, 956 мм, 1461 мм, 1942 мм — для ЬупСиЬе; 485 мм, 938 мм, 1423 мм, 1902 мм — для оЗс1100. Незначительная разница в удалении камер не влияет на точность сравнения и обуславливается особенностями калибровочного стенда и разными размерами камер. В итоге было получено 1600 изображений, по 800 для каждой камеры. Половина изображений (по 50 штук для каждой камеры и каждого расстояния до стены) была выбрана случайным образом в качестве тренировочного набора, на базе которого проводилась обработка данных РМО-камеры. Вторая половина изображений использовалась для анализа эффективности. Погрешность дальномера определялась с помощью расчета математического ожидания для каждого пикселя и стандартным отклонением по всем пикселям. На рис. 4 показаны трехмерные графики дальностей, построенные с помощью программы ¡^пирЫ. Первый график построен по необработанным данным, на нем наблюдается значительное отклонение значений и резкий подъем (удаление от камеры) в одном из углов камеры. Второй график построен по обработанным данным, на нем поверхность не имеет значительных пиков и отклонение по каждому пикселю значительно уменьшено. Таблица 2 позволяет сравнить точность дальномера камеры оЗс1100 до обработки и после нее. Среднее отклонение на данном диапазоне расстояний до калибровки

составило 15,5, а после 6,6 мм.

Как показано в таблице 3, разработанный метод обработки данных РМБ-камеры ЬупСиЬе позволяет получить значительное снижение погрешности измерений дальномера. Среднее отклонение камеры до калибровки составляло около 82,36 мм, а максимальное 173,49 мм. После калибровки среднее отклонение стало 11,34 мм, максимальное — 18,77 мм.

Таблица 2. Точность камеры оЗсПОО.

Расстояние (мм) До калибровки После калибровки

среднее отклонение среднее отклонение

485 494,9 12,0 486,2 6,1

938 943,8 8,5 940,2 4,6

1423 1436,2 14,4 . 1425,8 7,6

1902 1910,9 26,9 1904,4 8,1

Таблица 3. Точность камеры ЬупСиЬе.

Расстояние (мм) До калибровки После калибровки

Среднее отклонение среднее отклонение

497 546,4 38,8 497,1 7,4

956 1028,4 24,5 958,5 4,6

1461 1568,5 92,5 1466,7 14,5

1942 2036,9 173,4 1955,8 18,7

Эффективность метода реконструкции сцены можно проанализировать с помощью количественного показателя - времени реконструкции. Так как разработанный метод реконструкции трехмерной сцены по данным с РМО-камеры априори имеет меньшее число необходимых действий, в отличии, например, от стереокамер, то в сравнение с последними он неизбежно выигрывает. Время реконструкции напрямую зависит от конфигурации системы и вычислительной мощности процессора или графической карты. Качество реконструкции сцены позволило модулю распознавания объектов проводить анализ сцены с точностью, необходимой для решения задачи извлечения объектов из контейнера.

Рисунок 5 — Необработанные (слева) и обработанные (справа) данные о расстоянии Эффективность подхода проверялась испытаниями, в которых система должна была разобрать контейнер с объектами согласно сценарию. В случае разбора всех объектов, система останавливалась, контейнер снова загружался объектами в случайном порядке и процесс возобновлялся. Серии испытаний

показали высокую надежность системы, в подавляющем большинстве случаев контейнер разбирался полностью.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В рамках диссертационной работы разработаны методы обработки информации и решена задача управления в системе автоматического извлечения объектов из контейнера с использованием РМВ-технологии,

1. Проведен системный анализ проблемы автоматического извлечения объектов из контейнера, в рамках которого рассмотрены существующие подходы, их достоинства и недостатки, проведена классификация систем по типу сенсорной технологии, что позволило оценить целесообразность и эффективность использования РМБ-технологии в поставленной задаче;

2. Разработан метод обработки информации, состоящий из метода определение внутренних и внешних параметров РМЭ-камеры и метода обработки данных ее дальномера. В методе определения параметров предложено использовать предварительно масштабирование на основе метода билинейной интерполяции, что позволило компенсировать низкое разрешение РМБ-камеры, также реализовано определение ориентации шаблона, что позволяет автоматизировать процесс определения параметров. В методе обработки данных дальномера РМВ-камеры предложена оригинальная модель ошибок, основанная на анализе физических принципов РМО-технологии, что позволило значительно снизить погрешность измерений.

3. Разработан метод трехмерной реконструкции сцены на основе данных с РМБ-камеры, который, в отличии от известных, позволяет осуществлять трехмерную реконструкцию по нескольким изображениям, что позволяет компенсировать малый угол обзора и низкое разрешение РМБ-камеры и получать более точную реконструкцию сцены.

4. Предложена функциональная модель и алгоритм управления, которые основаны на разработанном подходе к решению задачи автоматического извлечения объектов из контейнера с использованием РМБ-камеры. Разработано алгоритмическое обеспечение, реализующее предложенные методы и программное обеспечение, основанное на У-модели разработки информационных систем, что позволило определить единую процедуру разработки ПО, аппаратного обеспечения и человеко-машинных интерфейсов.

5. Создан экспериментальный стенд для решения задачи автоматического извлечения объектов из контейнера и проведен анализ эффективности предложенных методов и подхода в целом. Показано что: разработанный метод обработки информации позволяет увеличить точность получаемых от РМВ-камеры данных на 50-60 % в случае камеры оЗ(1100 и на 55-65% в случае с камерой ЬупСиЪе, а относительная погрешность измерения дальности снижена до 1,26% и 1,49% соответственно; разработанный метод трехмерной реконструкции позволяет эффективно использовать Р-МБ-технологию в поставленной задаче.

ОСНОВНЫЕ ПУБЛИКАЦИИ В рецензируемых журналах из списка ВАК

1. Программное обеспечение для решения задачи извлечения деталей из контейнера с использованием технологии PMD / Н. Юсупова, X. Вёрн, И. Мамаев // Вестник УГАТУ: науч. журн. Уфимск. гос. авиац. техн. ун-та. Серия "Управление, вычислительная техника и информатика". 2010. Т. 14,

№ 1 (36). С. 148-153.

В других изданиях

2. Поиск пути многозвенного манипулятора в сложном трехмерном пространстве с использование параллельных вычислений / Н. Юсупова, Г. Шахмаметова, А. Камильянов, И. Мамаев // Матер. 8-й межд. науч. конф. CSIT'2006. Карлсруэ, Германия, 2006. Т. 2. С. 1-5. (Статья на англ. яз.).

3. Проблемы поиска траекторий многозвенных манипуляторов в сложном трехмерном пространстве / И.Р. Мамаев, А.Р. Камильянов // Информатика, управление и компьютерные науки : сб. ст. 1-й per. зимн. шк.-сем. аспирантов и молодых учёных. Уфа: УГАТУ, 2006. Т. 2. С. 87-93.

4. Алгоритмы поиска оптимальных траекторий робота / И. Мамаев, М. Венц, X. Вёрн, Н. Юсупова // Матер. 9-й межд. науч. конф. CSIT'2007. Красно-усольск, Россия, 2007. Т. 1. С. 28-33. (Статья на англ. яз.).

5. Об одном подходе к моделированию управления движением манипулятора / И. Р. Мамаев // Сб. ст. 2-й per. зимн. шк.-сем. аспирантов и молодых учёных. Уфа : УГАТУ, 2007. Т. 1. С. 101-107.

6. Система реального времени для решения задачи автоматического извлечения деталей из контейнера при использовании преимуществ PMD технологии / И. Р. Мамаев, К. В. Сафронов, И. М. Чушенков, X. Вёрн // Матер. 10-й межд. науч. конф. CSIT'2008. Анталия, Турция, 2008. Т. 1.

С. 21-26 (Статья на англ. яз.).

7. PMD технология: Особенности калибровки PMD камеры / И. Р. Мамаев, К. В. Сафронов, X. Вёрн // Информатика, управление и компьютерные науки: сб. ст. 3-й per. зимн. шк.-сем. аспирантов и молодых учёных. Уфа: УГАТУ, 2008. С. 154-160.

8. 3D- реконструкция сцены в промышленных задачах с помощью новой трехмерной камеры / X. Верн, Ю. Граф, К. Сафронов, И. Мамаев // Измерительная техника:науч.-техн. журнал. Гейдельберг : Вихманн Ферлаг, 2009. С. 200-206. (Статья на нем. яз.).

9. Свид. об офиц. per, программы для ЭВМ № 2010615109. Система автоматического извлечения объектов из контейнера / И. Р. Мамаев. Роспатент, 2010.

Диссертант

И. Р. Мамаев

МАМАЕВ Ильшат Ринатович

УПРАВЛЕНИЕ И МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ ПРИ АВТОМАТИЗАЦИИ ИЗВЛЕЧЕНИЯ ОБЪЕКТОВ ИЗ КОНТЕЙНЕРА С ИСПОЛЬЗОВАНИЕМ РМО-ТЕХНОЛОГИИ

Специальность 05.13.01 Системный анализ, управление и обработка информации (в промышленности)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Подписано к печати 15.11.2010. Формат 60x84 1/16. Бумага офсетная. Печать плоская. Гарнитура Тайме. Усл. печ. л. 1,0. Усл. кр. - отг. 1,0. Уч.-изд. л. 0,9. Тираж 100 экз. Заказ № 447. ГОУ ВПО Уфимский государственный авиационный технический университет Центр оперативной полиграфии 450000, Уфа-центр, ул. К. Маркса, 12

Введение.

Актуальность темы исследования.

Цель работы.

Задачи исследования.

Методика исследования.

Основные научные результаты, выносимые на защиту:.

Научная новизна результатов.

Практическая значимость и внедрение результатов.

Внедрение и связь исследования с научными программами.

Апробация работы и публикации.

Объем и структура работы.

Глава 1. Анализ задачи извлечения объектов из контейнера.

1.1 Задача автоматического извлечения объектов из контейнера.

1.2 Анализ и классификация известных подходов к решению задачи.

1.2.1 Одна камера.

1.2.2 Стерео камеры.

1.2.3 Лазерные дальномеры.

1.2.4 Обобщение возможностей известных подходов.

1.3 Цели и задачи диссертационной работы.

1.4 Выводы.

Глава 2. Разработка методов обработки информации.

2.1 Задачи обработки информации и реконструкции трехмерной сцены.

2.2 Задача обработки информации с РМБ-камеры.

2.2.1 Формализация задачи.

2.2.2 Разработка метода обработки данных РМБ-камеры.

2.3 Задача реконструкции ЗБ сцены с учетом особенностей.

2.3.1 Формализация задачи.

2.3.2 Известные методы.

2.3.3 Разработка метода реконструкции ЗБ сцены по данным с РМБ-камеры.

2.4 Выводы по главе.

Глава 3. Разработка модели, алгоритма управления, алгоритмического и програмного обеспечения.

3.1 Модель системы и задача управления.

3.2 Разработка алгоритмического обеспечения.

3.2.1 Алгоритм обработки данных РМБ-камеры.

3.2.2 Алгоритм реконструкции ЗБ сцены.

3.3 Разработка программного обеспечения.

3.3.1 Вводная часть.

3.3.2 Разработка архитектуры ПО для задачи извлечения объектов из контейнера.

3.3.3 Внешнее сетевое взаимодействие.

3.3.4 Модули разработанного ПО.

3.4 Выводы по главе.

Глава 4. Экспериментальный стенд и анализ эффективности.

4.1 Система извлечения объектов из контейнера.

4.1.1 Объекты.

4.1.2 Манипулятор.

4.1.3 Захват.

4.1.4 РМБ-камера.

4.1.5 Рабочая сцена и экспериментальный стенд.

4.2 Анализ эффективности.

4.2.1 Методика анализа эффективности и проведения эксперимента

4.2.2 Эффективность метода обработки информации PMD-камеры.

4.2.3 Эффективность метода реконструкции сцены.

4.2.4 Эффективность робототехнической системы по извлечению объектов из контейнера.

4.3 Направление дальнейших исследований.

4.4 Выводы к главе.

Актуальность темы исследования

Одними-из основных задач промышленных роботов на сегодняшний день являются-операции сборки, захвата и* перемещения: объектов, причем, манипуляторы в. большинстве случаев: выполняют действия в условиях известной»формы, положения« и ориентации объектов.* Роботизированная система' без сенсорной подсистемы может быть использована только для-заранее запрограммированных и повторяющихся задач. В1 последние годы, в промышленности происходит сдвиг парадигмы в сторону создания более гибких производственных систем. Это обусловлено тем, что производственные линии, которые раньше работали годами, сейчас усовершенствуются и модифицируются* все в. более короткие циклы, исчисляемые, скорее, месяцами, чем годами. Таким образом, существует необходимость , в разработке эффективных и - гибких роботизированных комплексов, которые позволяют работать со сложными и неорганизованными объектами с минимальным-или без. априорного* знания о позиции и геометрии объектов.

Задача извлечения^ объектов из контейнера - задача автоматического разбора неотсортированных объектов с помощью манипулятора. Это очень распространенная задача во всех видах промышленности, где требуется отделить одну деталь от множества других. Как только деталь отделена, она может быть использована на следующем этапе производственного процесса, например, сборке, упаковке, перемещение или-сортировке.

Исследования, посвященные аспектам решения задачи автоматического извлечения объектов из контейнера в таких областях, как системный анализ, робототехника, компьютерная графика и автоматизация производства можно найти в работах отечественных и зарубежных ученых (Козырева Ю.Г., Крутько П.Д., Кулакова А.Ф., Тимофеева A.B., Васильева В.И., Ильясова Б.Г., Как А. и Edwards J., Rahardja К. и Kosaka А., Ikeuchi К., Ghita О., Whelan Р.,

Woern H. и других). Но, тем не менее, несмотря на десятилетия исследований, данная проблема остается открытой. В современном производстве эта, на первый взгляд, легкая задача решается с помощью сложных производственных линий зачастую с применением ручного труда. Тем временем, новые сенсорные технологии, значительные увеличения вычислительной мощности компьютеров, новые алгоритмы-и современные инженерные разработки позволяют предлагать новые подходы к решению проблем автоматизации промышленности.

Данная работа* посвящена решению задачи* автоматического извлечения объектов из контейнера с использованием PMD (Photonic Mixer Device) технологии.

Цель работы

Разработка методов обработки информации и решение задачи управления в системе автоматического извлечения объектов из контейнера с использованием PMD-технологий.

Задачи исследования

Для достижения поставленной цели требуется решить следующие задачи:

1. Провести системный анализ задачи извлечения объектов из контейнера, рассмотреть существующие подходы и оценить эффективность использования PMD-технологии;

2. Разработать метод обработки информации на основе специального математического обеспечения для управления извлечением объектов из контейнера на основе PMD-технологии;

3. Разработать специальное математическое и программное обеспечение для метода реконструкции трехмерной сцены по полученным данным от PMD-камеры, разрабатываемый метод должен учитывать особенности PMD технологии и задачи автоматического извлечения объектов из контейнера;

4. Разработать функциональную модель системы извлечения объектов из контейнера PMD-технологии, алгоритм управления и специальное алгоритми

4. Разработать функциональную модель системы извлечения объектов из, контейнера РМВ-технологии, алгоритм управления и специальное алгоритмическое и программное обеспечение системы автоматического извлечения объектов из контейнера, реализующее предложенные методы;

5. Разработать методику создания и провести испытания экспериментального стенда для решения задачи автоматического извлечения объектов из контейнера. Провести анализ эффективности предложенных методов и подхода в целом. Разработать модели; методы и алгоритмы по результатам стендовых ис следований.

Методика исследования

В работе используются основные положения системного анализа и робототехники, применяются методы обработки изображений, оптимизации, и теории принятия решений. При разработке программного обеспечения* применялись объектно-ориентированный подход, методы геометрического и имитационного моделирования, машинной графики.

Основные научные результаты, выносимые на защиту:

На защиту выносятся:

1. Результаты системного анализа проблемы автоматического извлечения объектов из контейнера;

2. Метод обработки информацииРМБ-камеры, основанного на адаптированном к РМО-технологии и к поставленной задаче методе определения параметров камеры и на методе обработки данных дальномера с использованием оригинальной математической модели;

3. Метод реконструкции трехмерной сцены по полученным от РМО-камеры данным;

4. Функциональная модель и алгоритм управления, специальное алгоритмическое и программное обеспечения системы автоматического извлечения де

5. Методика создания экспериментального стенда и описание стенда для решения задачи автоматического извлечения объектов из контейнера и результаты анализа эффективности предложенных методов и системы в целом.

Научная новизна результатов

Новыми являются разработанные и исследованные автором:

1. Новизна проведенного системного анализа заключается в том, что разработана классификация существующих систем, определены достоинства и недостатки существующих подходов к решению задачи автоматического извлечения объектов из контейнера и рассмотрены особенности ¡применения РМБ-технологии в поставленной задаче.

2. Метод обработки информации с РМБ-камеры, научная новизна которого включает:

• метод определения внутренних и внешних параметров РМБ-камеры, который, в отличие от существующих, адаптирован для использования в поставленной задаче, так как позволяет компенсировать низкое разрешение РМБ-камеры и учитывает ориентацию камеры относительно шаблона;

• метод обработки данных дальномера. Новизна разработанного метода состоит в том, что представляемая модель учитывает особенности сложного и слабо исследованного процесса отображения данных о расстоянии до объекта РМБ-камеры. Предложенные метод позволяет компенсировать недостатки. РМБ-технологии, что позволило эффективно применить ее в решении поставленной задачи.

3. Новизна разработанного метода реконструкции трехмерной сцены обуславливается новизной технологии, особенности которой учитываются в предлагаемом подходе, что позволяет повысить эффективность решения задачи, а также в том, что представленный метод позволяет проводить реконструкцию сцены по нескольким изображениям. Использование предложенного метода позволило решить проблемы низкого разрешения и малого угла обзора РМБ-камер;

4. Новизна предложенной функциональной модели и алгоритма управления заключается в том, что в отличие от известных, они позволяют решать задачу автоматического извлечения объектов из контейнера с использованием РМВ-камеры на основе ситуационного подхода. Новизна разработанного алгоритмического обеспечения обуславливается новизной предложенных методов;

5. Новизна методов создания экспериментального стенда и анализа эффективности обусловлена новыми моделями и методами, а также учетом ограничений на операционные характеристики аппаратно-программного комплекса, вытекающими из существа задачи управления.

Практическая значимость и внедрение результатов

Практическую значимость имеют полученные автором следующие результаты:

1. Разработанное прикладное программное обеспечение на базе языка С++, реализующее предложенный подход к решению задачи с использованием РМБ-камеры, который отличается гибкостью и модульной архитектурой позволяет проводить моделирование и анализ эффективности.

2. Разработанный программно-аппаратный комплекс для решения задачи автоматического извлечения объектов из контейнера с помощью робота-манипулятора и РМБ-камеры.

Внедрение и связь исследования с научными программами

Работа выполнена в рамках совместных научных проектов Уфимского государственного авиационного технического университета и Института управляющих вычислительных систем и робототехники технологического института г. Карлсруэ (Германия), поддержанных грантом РФФИ № 06-08-01180-а «Интеллектуальные методы поиска траекторий многозвенных манипуляторов в сложном, рабочем пространстве» (2006-2008) и грантом № 16SV2307 Министерства образования Германии.

Основные результаты диссертационной работы используются в виде программного обеспечения в научно-производственной фирме «РД-Технология» и в учебном процессе на кафедре ВМиК УГАТУ.

Разработанный программно-аппаратный комплекс успешно внедрен в систему автоматического извлечения - объектов из- контейнера фирмы KUKA Robotics - Lynkeus.

Апробация работы и публикации

Основные научные и практические результаты диссертационной работы докладывались на:

- IX-X Международных научных конференциях "Компьютерные науки и информационные технологии" (Уфа, 2007; Анталия, Турция, 2008);

- семинарах в Институте управляющих вычислительных систем и робототехники технологического университета Карлсруэ (Германия, 2008, 2009);

- семинарах на кафедре ВМиК УГАТУ;

- ежегодных международных зимних школах аспирантов и молодых ученных (Уфа, 2007, 2008).

Основные материалы диссертационной работы опубликованы в 8 статьях, в том числе в 1 статье в рецензируемом журнале из перечня ВАК. Разработанное программное обеспечение защищено свидетельством Роспатента №2010615109 об официальной регистрации программ для ЭВМ.

Объем и структура работы

Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Объем основной части диссертации составляет 117 страниц.

4.4 Выводы к главе

Четвертая глава диссертации посвящена созданию робототехнической системы автоматического извлечения объектов из контейнера, в ней проанализированы особенности такой системы, описаны основные компоненты и их технические характеристики. Для проведения испытаний представлен сценарий работы системы. Разработанный программно-аппаратный комплекс позволил провести анализ эффективности разработанных методов обработки данных РМБ-камеры, реконструкции трехмерной сцены и представленного подхода в целом.

Анализ эффективности показал, что разработанный метод обработки данных РМБ-камеры позволяет увеличить точность получаемых от РМГ) камеры данных на 50-60 % в случае камеры оЗсИОО и на 55-65% в случае с камерой ЬупСиЬе. Относительная точность измерения дальности - 1,26% и 1,49% соответственно. В заключении четвертой главы определены перспективные направления дальнейших исследований.

Заключение

В рамках диссертационной, работы разработаны методы, обработки; информации^ решена задача управления в» системе автоматического извлечения-объектов из контейнера с использованием РМБ-технологии.

1. Проведен системный анализ проблемы автоматического извлечения объектов из контейнера, в рамках которого рассмотрены .существующие подходы, их достоинства и недостатки; проведена классификация систем по типу сенсорной технологии, что позволилоюценить целесообразность и эффективность использования РМБ-технологии в поставленной задаче;

2. Разработан метод обработки информации, состоящий из метода определение внутренних и внешних параметров РМБ-камеры и метода обработки данных ее дальномера. В методе определения параметров предложено использовать предварительно ^масштабирование на основе метода билинейной интерполяции, что позволило компенсировать низкое разрешение РМБ-камеры, также реализовано определение ориентации шаблона, что позволяет автоматизировать процесс определения параметров. В методе обработки данных дальномера РМБ-камеры предложена оригинальная модель ошибок, основанная на анализе физических принципов РМБ-технологии, что позволило значительно снизить погрешность измерений.

3. Разработан метод трехмерной реконструкции сцены на основе данных с РМБ-камеры, который, в отличии от известных, позволяет осуществлять трехмерную реконструкцию по нескольким изображениям, что позволяет компенсировать малый угол обзора и низкое разрешение РМБ-камеры и получать более точную реконструкцию сцены.

4. Предложена функциональная модель и алгоритм управления, которые основаны на разработанном подходе к решению задачи автоматического извлечения объектов из контейнера с использованием РМБ-камеры. Разработано алгоритмическое обеспечение, реализующее предложенные методы и программное обеспечение, основанное на У-модели разработки информационных систем, что позволило определить единую процедуру разработки ПО, аппаратного обеспечения и человеко-машинных интерфейсов.

5. Создан экспериментальный стенд для решения задачи автоматического извлечения объектов из контейнера и проведен анализ эффективности предложенных методов и подхода в целом. Показано что: разработанный метод обработки информации позволяет увеличить точность получаемых от РМО-камеры данных на 50-60 % в случае камеры оЗс1100 и на 55-65% в случае с камерой ЬупСиЬе, а относительная погрешность измерения дальности снижена до 1,26% и 1,49% соответственно; разработанный метод трехмерной реконструкции позволяет эффективно использовать РМБ-технологию в поставленной задаче.

1. Ю.Г., Козырев. Промышленные роботы. Справочник. 1998 : М.: Машиностроение. Т. 392 .

2. Е.П.Попова, Под ред. Робототехника. Москва : Машиностроение,1984. стр. 285 .3. 25686-86, ГОСТ. Манипуляторы, автооператоры и промышленные роботы. Термины и определения. М: : Госстандарт России : Изд-во стандартов,1985. стр. 8.

3. С.А., Воротников. Информационные устройства робототехнических систем: Учеб. пособие. Москва : Изд-во МГТУ им. Н.Э.Баумана, 2005. стр. 384.

4. И.Б, Челпанов. Устройство промышленных роботов, б.м. : Политехника, 2001.

5. A.B., Тимофеев. Управление роботами. Ленинград : ЛГУ, 1995. стр.240.

6. Вукобратович. М., Стокич Д., Кирчански Н. Неадаптивное и адаптивное управление манипуляционными роботами. Москва : Мир, 1989. стр. 315.

7. Е.С., Шаньгин. Управление роботами и робототехническими системами: Учеб. пособие. Уфа : УГАТУ, 2005. стр. 188.

8. Experimental State of the Art in 3D Object Recognition and Localization Using Range Data. Как, Edwards. Pittsburg, PA : s.n., 1995. Workshop on Vision for Robots in IROS'95 Conference, pp. 1-10.

9. Vision-based binpicking: Recognition and localization of multiple complex objects using simple visual cues. Rahardja, K. and Kosaka, A. Osaka, Japan : б.н., 1996. IEEE Proc. International Conference on Intelligent Robots and Systems, стр. 1448-1457.

10. Recognizing and locating partially visible objects: the local-feature focus method. Cain, R. C. Bolles and R. A. 3, 1982 г., International journal of robotics research, стр. 57-82.

11. A computational approach to edge detection. Canny, J. 6, 1986 г., IEEE Trans, pattern analysis and machine intelligence, стр. 679-698.

12. Generating an Interpretation Tree from a CAD Model for 3D-Object Recognition in Bin-Picking Tasks. Ikeuchi, Katsushi. 1987 г., International Journal of Computer Vision, стр. 145-165.

13. CAD-based 3-D object representation for object vision. B. Bhanu, C.C. Ho. 8, 1987 г., IEEE Comput., T. 20, стр. 19-36.

14. Range image segmentation with applications to robot bin-picking using vacuum gripper. Al-Hujazi, E., Sood, A. 1990 г., SMC, T. 20, стр. 1313-1325.

15. Robust and fast edge detection and description in range images. X.Y. Jiang, H.Bunke. Tokyo : б.н., 1994 г., Workshop on machine vision applications.

16. Классификация и аналитическое региение обратной кинематической задачи шестизвенных манипуляторов /. Васильев* И.А., Ляшин A.M. № 3 , б.м. : Искусств. Интеллект, 2004 г., стр. 679-683.

17. С.О., Озорин. Анализ и проектирование многозвенных манипулятивных систем со значительной кинематической избыточностью. Санкт-Петербург : Балт. Гос. Техн. Ун-т, 2002. Т. 26.

18. Решение обратной задачи кинематики манипуляторов с помощью программных средств. С.В., Савин. Омск : б.н., 2002 г., Механика процессов и машин: Сборник научных трудов, Т. Омск. Гос. Техн. Ун-т., стр. 120-124.

19. Программная среда для имитации процессов управления гибким манипулятором. Тушканов Н.Л., Дерий О. Ю. Кострома : б.н., 2004 г., Сб.: 17 международная научная конференция "математические методы в технике и технологиях", стр. 56-58.

20. Г.Р., Шахмаметова. Интеллектуальные методы поиска траекторий многозвенных манипуляторов в сложном рабочем пространстве. Уфа : Угату, 2000. Т. 148.

21. Юсупова Н.И., Гончар JI.E. и др. Избыточные манипуляторы. Управление. Планирование траекторий. Уфа : б.н., 1998. Т. 47.

22. Yusupova N.I., Gonchar L.E., Nikiforov D.V., Rembold U. Iterative Recursive Algorithm For Path Planning For Redundant Manipulators In Highly Constrained Environment. Turin : IAF-97-u.4.05„ 1997. T. 1-9.

23. Laser ranging and video imaging for bin picking. Boughorbel F., Zhang Y., Kang S., Chidambaram U., Abidi В., Koschan A., AbidMYL 2003 г., Journal of Assembly Automation.

24. Ponce, David A. Forsyth and Jean. Computer Vision, A Modem Approach. б.м.: Prentice Hall, 2003. ISBN 0-12-379777-2.

25. Linda G. Shapiro, George C. Stockman. Computer Vision. New Jersey : Prentice Hall, 2001. ISBN 0-13-030796-3.

26. An assessment of information criteria for motion model selection. Torr, P. 1997 г., IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), стр. 4753.

27. Complete structure from four point correspondences. Dyer, S. Seitz and C. 1995 г., Proc.fifth int. conf. on computer vision, стр. 330-337.

28. Structure fromMotion without Correspondence. Frank Dellaert, Steven M. Seitz, Charles E. Thorpe, Sebastian Thrun. ред. IEEE Computer Society

29. Conference on Computer Vision and Pattern Recognition. Pittsburgh : Carnegie Mellon University, 2000.

30. A bin picking system based on depth from defocus. Ovidiu Gliita, Paul F. Whelan. Dublin: Vision system laboratory, School of electronical engineering, Dublin city university, 2001 r.

31. On Recognizing and Positioning Curbed 3-D Objects from Image Contours. D. J. Kriegman, Jean Ponce. Issue 12, Washington, DC : IEEE computer society, 1990 г., Т. Volume 12 . ISSN:0162-8828 .

32. Saperquadrics and angle preserving transformations. Barr, A. 1981 г., IEEE comput. graphics appl., стр. 11-23.

33. Interpreting line drawings of three-dimensional surfaces. Tenenbaum, H. Barrow and J. 1-3, 1981 г., Artificial Intell., T. 17, стр. 75-116.

34. Description and recognition of complex curved objects. Binford, R. Nevatia and T. 1977 г., Artificial intell., T. 8, стр. 77-98.

35. Visual learning and recognition of 3-d objects from appearance. H. Murase, S.Nayar. 14, б.м. : Kluwer academic publishers, 1995 г., International Journal of computer vision, стр. 5-24.

36. Detectability, Uniqueness, and Reliability of eigen windows for stable verification of partially occluded objects. Ohba K., Ikeuchi K. 19(9), 1997 г., IEEE transaction on pattern analysis and machine intelligence , стр. 1043-1048.

37. The viewpoint consistency constraint. D., Lowe. 1(1), 1987 г., International journal of computer vision, стр. 57-72.

38. Using spin images for efficient object recognition in cluttered 3D scenes. Johnson A., Hebert M. 21(5), 1999 г., IEEE transactions on pattern analysis and machine intelligence, стр. 433-449.

39. A new sense for depth of field. A., Pentland. 9(4), 1987 г., IEEE Transactions on pattern analysis and machine intelligence, стр. 523-531.

40. Depth from defocus: a spatial domain approach. Subbarao M., Surya G. 13, 1994 г., International Journal of computer vision, стр. 271-294.

41. Real-time focus range sensor. Shree K. Nayar, Masahiro Watanabe, Minori Noguchi. 12/ 1996 г., IEEE Transactions on pattern analysis and machine intelligence , T. 18, стр. 1186- 1198.

42. Space-variant approaches to recovery of depth from defocused images. A. N. Rajagopalan, S. Chaudhuri. 3, 1997 г., Computer vision and image understanding, T. 68, стр. 309-329. ISSN: 1077-3142 .

43. Superquadrics for segmentation and modeling range data. Leonardis, A., Jaklic, A. and Solina, F. 11, 1997 г., IEEE Trans, pattern analysis, machine intelligence, T. 19, стр. 1289-1295.

44. Towards a general midti-view registration technique. R. Bergevin, M. Soucy, H. Gagnon, and D. Laurendeau. 18, 1996 г., IEEE Trans, pattern anal, mach. intell, стр. 540-547.

45. A Method for Registration of 3-D Shapes. Paul J. Besl, Neil D. McKay. 14(2), 1992 г., IEEE Trans. Pattern Anal. Mach. Intell, стр. 239-256.

46. Least square fitting of two 3-D point sets. K.S. Arun, T.S. Huang, S.D.Blostein. 5, 1987 г., IEEE Trans, patt. anal, machine intell., T. PAMI-9, стр. 698-700.

47. A versatile camera calibration technique for high-accuracy 3-D machine vision metrology using off-the-shelt TV cameras and lenses. Tsai, Roger Y. 4, 1987 г., IEEE journal of robotics and automation.

48. First steps in enhancing 3D vision technique using 2D/3D sensors. Prasad, Т., Hartmann, K., Weihs, W., Ghobadi, S., Sluiter, А. ред. 11th Computer Vision Winter Workshop 2006. 2006. стр. 82-86.

49. An efficient and accurate camera calibration technique for 3d-machine vision. Tsai, R.Y. Miami: б.н., 1986 г., Proceedings of IEEE conference on computer vision and pattern proceeding, стр. 364-374.

50. Lange, R. 3D time-of-flight distance measurement with custom solid-state image sensors in. University of Siegen : б.н., 2000. ,

51. Lateral and depth calibration of PMD- distance sensors. A. Kolb, M. Lindner. Siegen : б.н., 2006 г., Advances in Visual Computing, Springer, стр. 524533.

52. PMD" технология: Особенности калибровки PMD• камеры. И. P. Мамаев, К. В. Сафронов, X. Вёрн. Уфа, УГАТУ : Информатика, управление и ком-пьютерные науки: сб. ст. 3-й per. зимн. шк.-сем. аспирантов и молодых учё-ных, 2008. стр. С. 154-160.

53. A flexible new technique for camera calibration. Zhang, Z. 2000 г., IEEE Transactions on pattern analysis and machine intelligence, стр. 133-1334.

54. Fusion of stereo-camera and pmd-camera data for real-time suited precise 3D environment reconstruction. Kuhnert, K.D., Stommel, M. 2006 г., IEEE/RSJ international conference on intelligent robots and systems(IROS).

55. Calibration of close range cameras. Brown, D.C. Ottawa: Proc. 12th congress int. soc. photogrammetry, 1972.

56. Direct linear transformation into object space coordinates in close-range photogrammetry. Y.I. Abdel-Aziz, H.M. Karara. Urbana: б.н., 1971 г., ASP symposium on close-range photogrammetry, стр. 1-18.

57. Reinhard Klette, Karsten Schluns, Andreas Koschan. Computer vision: three- dimensional data from images, б.м. : Springer verlag, 1998.

58. A combined corner and edge detector. C. Harris, M.J. Stephens, б.м. : Alvey88, 1988 г., стр. 147-152.

59. Bouguet, J.Y. Visual methods for three-dimensional modeling. PhD thesis.1999;69.- Геометрические свойства нескольких изображений: А., Кону шин. 2006 г., Научно-образовательный сетевой журнал«Графика и Мультимедиа».

60. Gary Bradski, Adrian Kaehler. Computer vision library OpenCV. б.м. : O'Reilly, 2008.

61. Calibration and registration for precise surface reconstruction with TOF cameras. May, Stefan Fuchs and- Stefan: 3/4 , 2008 г., International" journal of intelligent systems^ technologies and applications, T. 5,^ стр. 274-284. ISSN: 17408865 .

62. Incident light related distance error study and calibration of the PMD-range imaging camera. Jochen Radmer, Pol Moser Fuste,,Henning Schmidt, and Jorg Kriiger. б.м. : IEEE Computer society conference on computer vision and pattern recognition , 2008 r.

63. Calibration for increased accuracy of the range imaging camera swissranger. T. Kahlmann, F. Remondino, H. Ingensand. Dresden : б.н., 2006 г., ISPRS Commission V Symposium 'Image Engineering and Vision Metrology', T. 36.

64. Visual perception- the neurophysiologocal foundations. L.Spillmann, J.S. Werner, б.м. : Academic press, Inc. Harcourt Brace Jovanovich, publishers, 1990 r.

65. Wandell, Brian A. Fundations of visions. Massachussets: Sinauer associates, Inc.Sunderland, 1995.

66. Hubel, David H. Eye, brain and vision and vision. New York : Scientific american library, 1995.

67. Besl, Paul. Advances in machine vision, б.м. : Springer-Verlag, 1989, 1.

68. A VLSI smart sensor for fast range imaging. A. Gruss, S. Tada, T. Kanade. б.м. : DARPA93, 1993 г., стр. 977-986.

69. A perspectibe on range-finding techniques for computer vision. Jarvis, R. A. 5, 1983 г., IEEE Trans, pattern analysis mach.intell., стр. 122-139.

70. Trobina, Marjan. Error model of a coded-light range sensor, б.м. : ETH-Zentrum, 1995.

71. Characterizing three-dimensional surface structures from visual images. Wang, Y.F. 13(1), 1991 г., IEEE Transactions on pattern analysis and machine intelligence, стр. 52-60.

72. Faugeras, O.D. Three-dimensional vision, a geometric viewpoint, б.м. : MIT press, 1993.

73. Horn, B. Robot vision, б.м. : MIT press, 1998.

74. Kanade, Carlo Tomasi and Takeo. Detection and tracking of point features, б.м. : Carnegie Mellon university, 1991.

75. An iterative image registration technique with an application to stereo vision. Kanade, B.D. Lucas and Т. б.м. : Conf. on art. intel., 1981.

76. Good features to track. Tomasi, Jianbo Shi and Carlo. 1994 г., IEEE Comput. soc. conf. сотр. vision and pattern recog., стр. 593-600.

77. Performance of optical flow techniques. J. Barron, D. Fleet, S. Beauschemin. 12(1), 1994 г., Int. J. of computer vision, стр. 43-78.

78. SD-реконструкция сцены в промышленных задачах с помощью новой трехмерной камеры. X. Берн, Ю. Граф, К. Сафронов, И. Мамаев. Гейдельберг, Германия : Измерительная техника:науч.-техн. журнал. Вихманн Ферлаг, 2009 г., стр. С. 200-205.

79. К.В., Сафронов. Иерархический итерационный метод распознаванияобъектов на основе многомерных данных. Дис. канд. техн. наук. Уфа : б.н., 2008 г. стр. 165 с.

80. Решение задачи извлечения деталей из контейнера с использованием иерархического umepaif ионного метода распознавания образов. К.В. Сафронов, И.М. Чушенков, X. Вёрн. Мюнхен : Матер, межд. конф. Robotic 2008, 2008. стр. С. 3-6.

81. Поиск пути многозвенного манипулятора в сложном трехмерном пространстве с использование параллельных вычислений. Н. Юсупова, Г. Шахмаметова, А. Камильянов, И. Мамаев. Карлсруэ, Германия : Матер. 8-й межд. науч. конф. CSIT'2006, Т. 2, 2006. стр. С. 1-5.

82. Алгоритмы поиска оптимальных траекторий робота. И. Мамаев, М. Венц, X. Вёрн, Н. Юсупова. Красноусольск, Россия : Матер. 9-й межд. науч. конф. CSIT'2007, 2007. стр. Т. 1. С. 28-33.У

83. Об одном подходе к моделированию управления движением манипулятора. И.Р., Мамаев. Уфа, УГАТУ : Сб. ст. 2-й per. зимн. шк.-сем. аспирантов и молодых учёных, 2007. стр. Т. 1. С. 101-107.

84. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Москва : Финансы и статистика, 1985. стр. 321.103. gnuplot homepage. В Интернете. [Цитировано: 21 June 2010 г.] http://www.gnuplot.info/.

85. Janert, Philipp К. Gnuplot in Action: Understanding Data with Graphs. б.м. : Manning Publications Co., August, 2009. ISBN: 1933988398.

86. Camera models based on data from two calibration planes. H. A. Martins, J. R. Birk, R.B. Keiley. 1981 г., Computer graphics image processing, T. 17, стр. 173-180.