автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Метод, алгоритмы и бинокулярное оптико-электронное устройство с переменным фокусным расстоянием для трехмерного зрения мобильного транспортного робота

На правах рукописи

Полунин Александр Владимирович

МЕТОД, АЛГОРИТМЫ И БИНОКУЛЯРНОЕ ОПТИКО-ЭЛЕКТРОННОЕ УСТРОЙСТВО С ПЕРЕМЕННЫМ ФОКУСНЫМ РАССТОЯНИЕМ ДЛЯ ТРЕХМЕРНОГО ЗРЕНИЯ МОБИЛЬНОГО ТРАНСПОРТНОГО РОБОТА

Специальность: 05.13.05 - Элементы и устройства вычислительной техники и систем управления

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 7 НОЯ 2014

Курск-2014

005556048

005556048

Работа выполнена в Юго-Западном государственном университете

Научный руководитель: доктор технических наук, профессор

заслуженный деятель науки РФ Титов Виталий Семенович

Официальные оппоненты: Жизняков Аркадий Львович,

доктор технических наук, профессор Муромский институт (филиал) Владимирского государственного университета имени Александра и Николая Столетовых, г. Муром, первый заместитель директора;

Коробкова Елена Николаевна, кандидат технических наук, доцент, Белгородский государственный технологический университет им. В.Г.Шухова, г. Белгород, кафедра Технической кибернетики, доцент

Ведущая организация: Поволжский государственный технологический

университет (г. Йошкар-Ола)

Защита состоится 26 декабря 2014г. в 15.00 часов на заседании диссертационного совета Д 212.105.02 при Юго-Западном государственном университете по адресу: 305040, Курск, ул. 50 лет Октября, 94 (конференц-зал).

С диссертацией можно ознакомиться в библиотеке Юго-Западного государственного университета и на сайте swsu.ru.

Автореферат разослан » 14 г.

Ученый секретарь

диссертационного совета Титенко Евгений Анатольевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

Задача пространственного очувствления робототехнических устройств и систем посредством автоматического построения трехмерной рабочей сцены по поступающим с оптико-электронных датчиков двумерным изображениям является востребованной для многих областей практического применения в науке и промышленности.

Данному направлению посвящены исследования российских и зарубежных ученых и научных школ, в частности, В.А.Сойфера, Я.А.Фурмана, В.В.Найханова, Р.Гонзалеса, Р.Харалика, С.Тсаи, П.Ванга, Р.Вудса.

В настоящее время исследованы методы трехмерного очувствления робототехнических устройств на основе принципа бинокулярного зрения с использованием предварительно настроенной посредством калибровки пары идентичных оптико-электронных датчиков (ОЭД), расположенных на известном расстоянии друг от друга и с ориентированными взаимно параллельно главными оптическими осями.

Существенным ограничением, затрудняющим развитие бинокулярных оптико-электронных устройств (ОЭУ), является относительная высокая вычислительная сложность используемых методов, алгоритмов и реализованных на их основе аппаратно-программных средств. В наибольшей степени указанное ограничение характерно для мобильных автономных систем с ограниченными вычислительными ресурсами, особенно при необходимости решения на этих же ресурсах других задач, связанных с очувствлением робототехнической системы. Другим недостатком существующих устройств бинокулярного зрения является относительно низкая точность определения параметров пространственного положения и распознавания объектов на больших расстояниях, что обусловлено необходимостью реализации широкого угла обзора и практически нулевой диспарантностью изображений удаленных объектов.

Путем повышения точности вычисления параметров объектов рабочей сцены является использование длиннофокусных оптических систем (ОС) или ОС с изменяемым фокусным расстоянием. Однако, в случае использования идентичных длиннофокусных ОЭД у бинокулярного оптико-электронного устройства на их основе будет узкое поле зрения и слишком малая область, где получаемые кадры обоих ОЭД имеют общие участки для реализации трехмерного зрения. В случае же использования единственного ОЭД с трансфокатором, перекрывающим и широкий и узкий угол обзора, задача трехмерного восприятия не достаточно исследована.

Современные задачи, возлагаемые на оптико-электронные устройства для пространственного очувствления мобильных транспортных роботов, применяемых для транспортировки грузов внутри цехов, складов, других помещений, а также для решения специальных задач на местности, требуют повышения точности вычислений трехмерных координат и параметров анализируемых объектов в реальном времени (обусловленное частотой поступления кадров в диапазоне от 1/16 до 1/30 секунды и скоростью изменения наблюдаемых объектов).

Экстенсивный путь повышения точности за счет использования матричных приемников изображений с увеличенным разрешением и большим количеством пикселей в большинстве случаев не является оправданным, поскольку имеет конечные ограничения (вследствие роста вычислительной сложности, увеличения шума и падения разрешающей способности). В связи с этим, применение ОЭД с изменяемыми фокусными расстояниями и длиннофокусными объективами имеет неоспоримое преимущество по сравнению с

увеличением количества пикселей.

Таким образом, объективно сложилось противоречие между необходимостью повышения точности вычисления трехмерных координат оптико-электронным устройством на мобильном транспортном роботе для формирования трехмерной модели реальной сцены при его движении при реальном времени обработки и недостаточным развитием соответствующих методов и автономных бинокулярных оптико-электронных устройств, обеспечивающих требуемую точность вычислений.

В этой связи актуальной научно-технической задачей является разработка математического аппарата, метода, алгоритмов и специализированного бинокулярного оптико-электронного устройства для пространственного очувствления, позволяющих снизить погрешности определения трехмерных параметров рабочей сцены и сформировать трехмерную модель пространства с объектами рабочей сцены в реальном времени.

Диссертационная работа выполнена в рамках грантов Президента для поддержки молодых кандидатов наук: МК-1194.2014.8 «Разработка теоретических основ и принципов алгоритмического конструирования адаптивных встраиваемых оптико-электронных устройств в многомерном пространстве признаков»; МК-1099.2012.8 «Разработка научных и реализационных основ создания интеллектуальных оптико-электронных систем при ограниченных вычислительных ресурсах аппаратных средств»; для поддержки научных школ: НШ-2357.2014.8 «Исследование и разработка комплексного анализа видеоизображений для задач управления сложными техническими системами на основе адаптивных нейро-нечетких систем вывода с мягкими вычислениями».

Целью работы является повышение точности вычисления трехмерных координат и построения трехмерной модели анализируемого пространства бинокулярным оптико-электронным устройством, размещенным на подвижном транспортном роботе, создание метода, алгоритмов трехмерного зрения и специализированного бинокулярного оптико-электронного устройства с переменным фокусным расстоянием для их реализации.

Научно-техническая задача и цель декомпозированы на частные задачи диссертационного исследования, которыми являются:

- анализ методов, устройств и аппаратно-программных модулей для очувствления на основе трехмерного технического зрения мобильных транспортных робототехнических устройств;

- разработка математической модели определения параметров трехмерных объектов рабочей сцены при движении бинокулярного оптико-электронного устройства, включающего два оптико-электронных датчика с различными фокусными расстояниями;

- разработка метода и алгоритма формирования трехмерной модели рабочей сцены бинокулярным оптико-электронным устройством;

- разработка аппаратно-ориентированного алгоритма обнаружения объектов рабочей сцены и вычисления их трехмерных координат, предназначенного для реализации в специализированных вычислительных устройствах, таких как программируемые логические интегральные схемы (ПЛИС);

- разработка структурно-функциональной организации бинокулярного оптико-электронного устройства для вычисления параметров объектов и построения трехмерной модели рабочей сцены;

- проведение экспериментальных исследований, анализ полученных результатов.

Методы исследования. Для решения поставленных в работе задач использованы методы распознавания образов, методы обработки и анализа цифровых изображений, статистической обработки результатов измерений, проектирования вычислительных устройств.

Новыми научными результатами и положениями, выносимыми па защиту,

являются:

1) математическая модель построения трехмерной модели рабочей сцены, состоящая в предварительной оценке глубины, декомпозиции входных изображений на отдельные объекты при движении мобильного робота и их сопровождении, позволяющая реализовать функцию трехмерного восприятия с использованием стереопары оптико-электронных датчиков с различными фокусными расстояниями с взаимнонепараллельными главными оптическими осями и повысить точность вычисления пространственных координат наблюдаемых объектов;

2) метод и алгоритм формировании трехмерной модели рабочей сцены с учетом глубины расположения объектов, основанные на локализации и выделении характерных точек на изображении и их последующем сопоставлении, отличающиеся построением предварительной карты дальности расположения объектов, использованием пирамид изображений, а также уточнением координат трехмерных объектов посредством дополнительной процедуры получения изображений длиннофокусным оптико-электронным датчиком;

3) аппаратно-ориекгированный алгоритм обнаружения, сопровождения объектов и вычисления их трехмерных координат, отличающийся совокупным использованием сегментов контуров, характерных точек и их трехмерных координат, применением оптико-электронных датчиков с неидентичными параметрами для реализации бинокулярного восприятия и введением дополнительных функций сопоставления характерных точек объектов и сопровождения объектов, обеспечивающий необходимую точность на больших и малых дальностях при определении координат и границ объемного объекта на рабочей сцене;

4) структурно-функциональная организация бинокулярного оптико-электронного устройства с переменным фокусным расстоянием для трехмерного зрения мобильного транспортного робота, новизна которой заключается во введении модулей: предварительной оценки дальности объектов рабочей сцены; вычисления трехмерных координат объектов по стереопаре изображений с оптико-электронных датчиков с различными параметрами; сопровождения объектов; уточнения собственного пространственного положения; динамической калибровки и связей между ними, позволяющая реализовать трехмерное восприятие с большей, по сравнению с аналогами, точностью в реальном времени.

Объект исследований - вычислительные средства для анализа изображения и трехмерного зрения на безе оптико-электронных устройств транспортных автоматических и автоматизированных систем.

Предмет исследований — методы обработки изображений в вычислительном устройстве для трехмерного зрения.

Практическая ценность работы состоит в следующем:

- предложен и экспериментально проверен новый метод трехмерного зрения мобильного робота на основе бинокулярного оптико-электронного устройства, позволяющий использовать оптико-электронные датчики с изменяемыми фокусными расстояниями и различными внутренними параметрами и обеспечивающий большую

точность получаемых изображений удаленных объектов по сравнению с известными отечественными и зарубежными аналогичными оптико-электронными устройствами трехмерного технического зрения (в зависимости от дальности расположения объекта погрешность вычисления его координат снижена в диапазоне от 1,8 до 4.2 раз);

- выполнена экспериментальная проверка разработанной математической модели, подтвердившая ее адекватность экспериментально полученным в ходе исследований созданного бинокулярного оптико-электронного устройства результатам и возможность использования для решения других задач трехмерного восприятия мобильными робототехническими системами;

- на базе созданных алгоритмов разработано программное обеспечение, которое после соответствующей модификации может использоваться на персональном компьютере для решения задач вычисления трехмерных параметров анализируемых объектов, расположенных в поле зрения оптико-электронного устройства.

Результаты работы внедрены в ЗАО «Пасит», г. Москва, ООО «ТехАргос СпецСистемы», г. Москва и используются в учебном процессе Юго-западного государственного университета по учебным дисциплинам «Цифровая обработка и анализ изображений», «Современные проблемы науки и производства».

Соответствие паспорту специальности. Содержание диссертации соответствует п.1 «Разработка научных основ создания и исследования общих свойств и принципов функционирования элементов, схем и устройств вычислительной техники и систем управления» в части разработки вычислительных моделей для обработки и трехмерного анализа визуальных данных, поступающих с бинокулярного оптико-электронного устройства для очувствления и управления транспортными мобильными роботами и п.2 «Теоретический анализ и экспериментальное исследование функционирования элементов и устройств вычислительной техники и систем управления в нормальных и специальных условиях с целью улучшения технико-экономических и эксплуатационных характеристик» паспорта специальности 05.13.05 - Элементы и устройства вычислительной техники и систем управления в части создания новых математической модели, алгоритмов и устройств для вычисления параметров пространственного положения объектов рабочей сцены для обеспечения технического зрения на мобильном транспортном роботе, а также улучшения эксплуатационных характеристик оптико-электронного устройства посредством увеличения дальности и точности трехмерного восприятия.

Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях, семинарах, симпозиумах: на Всероссийских научно-технических конференциях: «Интеллектуальные и информационные системы» 2007г. (г. Тула), VI, VII и VIII Всероссийской научно-технической конференции в Академии ФСО России (г.Орел) 2009, 2011, 2013гг., научно-технической конференции в Калининградском пограничном институте 2013г.; на Международных научно-технических конференциях: «Информационные технологии и математическое моделирование систем -2013» (г. Москва), «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» «Распознавание-2010, 2012, 2013» (г. Курск), международной научно-практической конференции «Интеллектуальные системы в промышленности и образовании» (г. Сумы, Украина) 2013г., научной сессии ТУ СУР (г. Томск) 2013г.; на научно-технических семинарах кафедры «Вычислительная

техника» Юго-западного государственного университета с 2007 по 2014гг.

Публикации. Результаты проведенных исследований и разработок опубликованы в 16 печатных работах, в том числе 5 статьях в журналах по перечню ведущих рецензируемых журналов и изданий. Получены патент РФ №144820 на полезную модель, два свидетельства №№2014614225, 2014616828 о регистрации программы для ЭВМ. Результаты апробированы на российских и международных научно-технических конференциях.

Личный вклад автора. Все выносимые на защиту научные результаты получены соискателем лично. В работах, опубликованных в соавторстве, лично соискателем разработаны: в [2, 14] - алгоритм обнаружения объектов посредством комплексного анализа их контуров, сегментов и обособленных характерных точек двумерного изображения, в [3, 6, 15] - принципы функционирования бинокулярного оптико-электронного устройства для формирования трехмерной рабочей сцены, в [4] — алгоритм и математические основы получения детализированных изображений объектов посредством дополнительной обработки отдельных участков изображения, [7, 8] -программная реализация разработанных алгоритмов очувствления и формирования модели рабочей сцены, [10] — математические основы и алгоритм сопоставления характерных точек и сопровождения объектов рабочей сцены, [12] - подходы к предварительной обработке изображений, [16] - структурно-функциональная организация и принципы функционирования бинокулярного оптико-электронного устройства для трехмерного технического зрения.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 107 наименований, изложена на 124 страницах и поясняется 22 рисунками и 2 таблицами.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы противоречие, цель и задачи исследований, научная новизна и положения, выносимые на защиту, практическая ценность результатов работы.

В первой главе проведен анализ известных методов и устройств обработки изображений в интересах реализации пространственного (трехмерного) очувствления мобильных робототехнических устройств. Проведена классификация существующих подходов к трехмерному очувствлению на основе технического зрения, показаны достоинства, недостатки и особенности реализации известных методов, алгоритмов и оптико-электронных устройств.

Показано, что несмотря на активное развитие направления трехмерного зрения, остаются не решенными ряд задач, что затрудняет создание мобильных транспортных роботов, оснащенных трехмерным техническим зрением, а именно: не решены вопросы реализации достаточной для практического применения точности определения трехмерных координат объектов рабочей сцены одновременно на близком и на дальних расстояниях; существующие методы и алгоритмы пространственного очувствления характеризуются значительной вычислительной сложностью, что затрудняет их использование на автономной вычислительной базе мобильного робота; не достаточно проработаны вопросы рационального использования вычислительных аппаратных ресурсов элементной базы с учетом особенностей средств получения изображений и самих получаемых изображений в интересах трехмерного технического зрения.

В качестве основного направления совершенствования метода, алгоритмов и устройства, создаваемых в рамках диссертационного исследования, выбран подход,

основанный на использовании бинокулярного ОЭУ. Отличительной особенностью будет являться использование ОЭД с взаимно неравными фокусными расстояниями, один из которых имеет фиксированное фокусное расстояние, а другой - переменное, устанавливаемое в заданное значение в процессе функционирования. Частными задачами являются снижение вычислительной сложности алгоритмического обеспечения, создание специализированных вычислительных модулей на базе программируемых логических интегральных схем для реализации созданных метода и алгоритмов.

Во второй главе разработана математическая модель Мтоу5 обработки изображений в бинокулярном оптико-электронном устройстве с ОЭД с фокусными расстояниями и /2, описывающая процессы обработки непрерывно поступающих изображений и /2 с двух оптико-электронных датчиков при функционировании бинокулярного оптико-электронного устройства, реализующего трехмерное зрение для мобильного транспортного робота, и позволяющая обнаружить объекты [ о,(идекс 1 -порядковый условный номер объекта от 1-го до (У^го) рабочей сцены, описываемые набором трехмерных координат {^¡„д;, хтт<31, утт&, ^„р,, хтахе„ ута.хС(} габаритного контейнера (прямоугольного параллелепипеда) и моментом времени V.

1.-01 — М^^/ь/гУ^Дтах^ЛикГрДтахгр. -Утах2р, Ь, Ч, I),

ш£?Ь Утт£>1' 2щах0Ь Хтах0, Утах£7Ь

где дгтах|р, ^юах1рИ ^тах2р, - ширина и высота цифрового изображения с первого и

второго ОЭД, измеренные в пикселах, ширина фоточувствительной области

первого и второго ОЭД, измеренные в метрах, Ь — величина бинокулярной базы бинокулярного ОЭУ — расстояние между центрами матричных приемников изображений первого и второго ОЭД. Система координат первого ОЭД совпадает системой координат бинокулярного ОЭУ (рис 1). Первый ОЭД жестко зафиксирован относительно общей базы ОЭУ. Второй ОЭД расположен на расстоянии Ь от первого ОЭД, направление его главной оптической оси определяется углом а относительно оси 2 системы координат ОЭУ.

Рис. 1 — Геометрическая схема расположения оптико-электронных датчиков бинокулярного оптико-электронного устройства и отображения точки Т, объекта рабочей сцены на плоскости Рц, Рп изображений Составляющими математической модели М1Ш,5 являются:

- модель М[ ввода изображений 1Ь 12 с оптико-электронных датчиков

бинокулярного оптико-элекгронного устройства:

I(v)(x»y)l*=l..xmax(v)p,}-1.. max(v)p=MI(E(u,w)1>'max(v)p, ¿'„„(vjp, L«(v), f(v)), где I - амплитуда яркости пиксела на изображении, v - индекс, соответствующий первому и второму ОЭД, (х,у) — координаты пикселя на получаемом цифровом изображении, Е - поток излучения непрерывной рабочей сцены из точки с координатами (u,w);

- модель M„s фильтрации шума на изображении, описывающая фильтрацию систематического и случайного шумов:

1щ<у)= Mns(I(v),mnw,mki(v), mu(v)), где Ins(v) - изображение после фильтрации шума, тплл>, - матрица размерностью пххпу, определяющая параметры фильтрации случайного шума, твд^тад,) — коэффициенты радиальной и тангенциальной дисторсии оптической системы v-ro ОЭД;

- модель Hgm сегментации:

'-Sobj-'jvl j- 1..0bjv= Msgm(Ins(v)).

где <sobj>- множество двумерных объектов на двумерном изображении с v-ro ОЭД, полученных в результате сегментации, представляющих собой совокупности координат пикселей текущего сегмента;

- модель Mfut обнаружения характерных точек: <Ft>jv| j, i.Ptv= Mful (Ins (v)),

где <Ft>jv - вычисленные параметры множества характерных точек на каждом изображении, v - индекс ОЭД, с которого поступает изображение;

- модель Mfut2 сопоставления Т характерных точек с условным порядковым номером от 1 до Т:

<Fr>j| j, 1Л= Mfut2 (<Ft>, ,<Ft>2, Ins(v)), где элементы Frj вычисленного множества параметров описывают взаимосвязанные пары характерных точек <Ft>i ,<Ft>2 найденные и сопоставленные на изображениях с первого и второго ОЭД;

- модель MeSU предварительной оценки дальности до элементов рабочей сцены:

Zpr (x,y)Ui ..xmaxl р, у= l..yraaxlp - MestzOnsW ^Sobj^vl j- L.Objv).

где Zpr(x,y) - ориентировочная дальность до области изображения (пиксела) первого ОЭД с координатами (х, у);

- модель Мрт формирования пирамиды изображений посредством уменьшения в п2 раз исходного изображения I{v)k раз:

I(v)kn2 = Mpr(I(V), n2>k));

- модель Мсзо вычисления трехмерных координатору, xFrj, yFlj) особой точки Frj: <2F,XF„ УЙ^ MaDC'ilFri^.yiFrh y2Fri../lj2.*4WKlp> ¿isl Asb U d),

где XiFlj, x2Flj- абсциссы, y1Flj, y2FlJ— ординаты точки Frj на изображения с первого и второго

ОЭД,

/1/2 (~XlFrj^VSlx2maxp + xlmaxp^VS2X2Fr} xlmaxpx2maxpty

2Frj —

xlFrj Lvsix2maxpf2 X2 Frj^VS2xlmaxpf\

хгРпСоза + —^-—т, при я * 0

х2ргр при а = О

(Л+^гу)

Л

(Л+^г;)

Уггу — Угрг/

А

- модель М(} обнаружения множества <0оь,>|| j. 1.01 объектов в пространстве посредством группирования отдельных сегментов в единые объекты с учетом трехмерных координат принадлежащим им характерных точек, карты предварительной оценки дальности:

«ЗоЬ^! ,= 1..01=М0(<гр,ХрфУр^>, <80Ь|>Д I 1 ОЬЛ ,<30щ>]2| j- 1.0ЬЛ,2рг);

- модель сопровождения объектов рабочей сцены посредством сопровождения характерных точек:

«зоь/>]| 1.01 =м05(01рге1, иг, рг_1ргс%.),

где (5^,,, - ранее обнаруженные и сопровождаемые объекты рабочей сцены на предыдущем кадре, Рг - параметры сопоставленных характерных точек текущих кадров, Рг_1ргс>' - параметры сопоставленных характерных точек предыдущего кадра;

- модельМрге(.получения детализированных изображений объектов рабочей сцены посредством ориентации на текущий объект и изменения фокусного расстояния второго ОЭД и интерполяции области изображения объекта по серии его изображений:

= Мргсс (^^оЬ!))! ^ 1. 0Ь

- модельМув уточнения собственных координат:

<*оэу, Уоэу. гоэу>= МУ5(<Рг>^_ ,. т,<0оЬ^| г-1. 0,),

заключающаяся в решении обратной задачи трехмерного зрения и оценки собственного положения по изображению нескольких неподвижных объектов в поле зрения ОЭУ с априори известными или вычисленными в процессе функционирования координатами;

- модсльМса|5 выбора калибровочного объекта цса1:

Чса!= Ос.^ОоЬ,^! 101 );

- подмодсльМсак калибровки параметров ориентации а2, р2и фокусного расстояния Г2второго ОЭД:

<а2, Рг, Мса1с(1ь 12, Яса1>-

С учетом всех перечисленных выше составляющих обобщенная математическая модель обработки изображений в бинокулярном оптико-электронном устройстве с переменным фокусным расстоянием записывается:

..хтах(\)р,у=1.. тах(у)р» Г^пх^у?

(1пз(у),<5оЬ^>), М^.,, П2,к))))).

Предложенная математическая модель позволяет представить процесс обнаружения, сопровождения и вычисления трехмерных координат объектов по входным изображениям с ОЭД бинокулярного ОЭУ в виде единого выражения.

Новизна разработанной математической модели заключается в вычислении предварительной карты глубины, обнаружении характерных точек объектов на основе совокупности сегментов и их сопровождении, использовании различного фокусного расстояния для получения изображений и вычисления пространственных координат

объектов, уменьшении вычислительной сложности расчетов, используемых в математической модели, обеспечивающей их реализацию на ПЛИС. Указанные отличительные особенности обеспечивают реальное время вычисления трехмерных координат объектов с достаточной точностью во всем диапазоне дальностей объектов рабочей сцены.

В третьей главе разработаны: метод и алгоритм формирования трехмерной модели рабочей сцены с учетом глубины расположения объектов; аппаратно-ориентированный алгоритм обнаружения объектов и вычисления трехмерных координат анализируемых объектов; структурно-функциональная организация ОЭУ с переменным фокусным расстоянием для трехмерного зрения мобильного транспортного робота.

Разработанный метод формирования трехмерной модели рабочей сцены включает: фильтрацию изображений от случайных и систематических искажений, предварительную оценку дальности элементов рабочей сцены, соответствующим их проекции на пиксель первого оптико-электронного датчика, обнаружение, сопоставление и сопровождение характерных точек, обнаружение и сопровождение объемных объектов и вычисление их трехмерных координат, уточнение собственного положения и динамическую калибровку бинокулярного оптико-электронного устройства.

Отметим принципиальные шаги метода, характеризующие его новизну: предварительная оценки расстояний до элементов рабочей сцены, позволяющая на начальном этапе с минимальным использованием вычислительных ресурсов оценить дальности до предполагаемых объектов, что позволяет осуществлять, в первую очередь, обработку изображений предположительно приоритетных объектов;

вычисление трехмерных координат точек объектов рабочей сцены при ОЭД с неидентичными параметрами и непараллельной взаимной ориентацией, что обеспечивает повышение точности вычислений на больших дальностях при сохранении широкого угла обзора;

введение функций калибровки без использования эталонного объекта, что обеспечивает подстройку и уточнение внутренних параметров ОЭУ непосредственно в процессе работы, которые в противном случае накапливались бы и приводили к возникновению дополнительных погрешностей;

введение процедуры уточнения собственных координат бинокулярного ОЭУ посредством анализа изображений объектов с известными координатами, позволяющей дополнительно снижать погрешность измеряемых координат объектов;

селекция объектов на первоначально обнаруженные и сопровождаемые, что позволяет дополнительно повысить точность вычислений трехмерных координат ранее обнаруженных объектов.

Алгоритм формирования трехмерной модели рабочей сцены приведен на рис. 2. Новизной алгоритма являются введение дополнительных операций по предварительной оценке глубины до участков рабочей сцены, комплексное использование информации о сегментах и характерных точках объектов и последующее определение границ (габаритов) объектов посредством определения его контуров, вычисление трехмерных координат объектов по стереопарам изображений, полученных ОЭД с различными параметрами. При этом основная часть операций реализована на программируемых логических схемах (показаны на рис. 2 и 3 блоками с двойными линиями), что в конечном итоге обеспечивает реальное время функционирования разработанного ОЭУ.

Блок 13 алгоритма формирования трехмерной модели рабочей сцены является отдельным алгоритмом, представленным на рис. 3, и имеет две составляющие: алгоритм обнаружения объектов и алгоритм сопровождения объектов, операции которых ориентированы на реализацию в программируемой логической интегральной схеме.

Алгоритм сопровождения объектов за счет исключения из обработки ранее обнаруженных объектов позволяет дополнительно уменьшить вычислительную сложность операций анализа изображений разработанным бинокулярным ОЭУ.

Новизна предложенных алгоритмов заключается в комплексном анализе сегментов объектов, характерных точек и их трехмерных координат, использовании оптико-электронных датчиков с неидентичными параметрами для реализации бинокулярного восприятия, что обеспечивает достаточную точность на ближних и дальних расстояниях и позволяет определить координаты и границы объемного объекта на рабочей сцене.

Рис. 2- Алгоритм формирования трехмерной модели рабочей сцены

Лвод литых об ранее Хбнар^жалш!

/аод текуткх мдро»^г ^ ^ псрвого^тороуг

>

С

3

а) б)

Рис. 3 - а) Аппаратио-ориентированный алгоритм обнаружения объектов и определения их трехмерных координат, б) аппаратно-ориентированный алгоритм сопровождения объектов

Структурно-функциональная организация бинокулярного оптико-электронного устройства с переменным фокусным расстоянием для трехмерного очувствления мобильного транспортного робота представлена на рис. 4. Устройство содержит группу отдельных модулей, выполняющих операции, согласно разработанным алгоритмам. Все модули, за исключением контроллера-вычислителя, ОЗУ и ОЭД, реализованы в ПЛИС. Контроллеры ввода изображения содержат в своем составе аналого-цифровые преобразователи, которые являются отдельными компонентами и не входят в состав ПЛИС.

Новизной бинокулярного ОЭУ является введение модулей предварительной оценки глубины объектов рабочей сцены, выбора приоритетных анализируемых объектов, вычисления трехмерных координат объектов по стереопаре изображений с ОЭД с различными параметрами, сопровождения объектов, уточнения собственного пространственного положения, калибровки и связей между ними.

На рисунке 5 представлена структурно-функциональная организация группы блоков (объединенных на рис. 4 пунктиром) разработанного бинокулярного ОЭУ, реализованных в виде модуля обнаружения, сопровождения и вычисления параметров трехмерных объектов объемной рабочей сцены. Данный модуль используется отдельно от

разработанного устройства и позволяет решать задачи по трехмерному очувствлению робототехнических устройств замкнутого цикла различного назначения. Модуль реализован в виде двухкристальной организации: один кристалл — ОЗУ модуля, второй кристалл - непосредственно сам модуль на базе ПЛИС или заказной БИС, что свидетельствует о его компактности и возможности встраивания в малогабаритные робототехнические подвижные системы. Модуль функционирует согласно алгоритмам, представленным на рис. 3.

Объектив Приемник

изображения

3

Объектив с трансфока-

тппо»

Приемник 4=2» изображения

Система ориентации

оэд

Ор нестираемый ОЭД

Модг» фшътршни

МафП грех

Моду.» расчета хдрагт'фшх особдиюстсД

особенностей

Рис. 4 — Структурно-функциональная организация бинокулярного оптико-электронного устройства с переменным фокусным расстоянием (пат. № 144820)

Рис. 5 — ПЛИС-модуль обнаружения, сопровождения и вычисления параметров трехмерных объектов объемной рабочей сцены

ПЛИС-модуль (рис. 5) функционирует следующим образом. Изображения от ОЭД последовательно, пиксель за пикселем, в параллельном коде поступают на контроллер

последовательного ввода, который осуществляет определение текущих координат пикселя и синхронизацию процесса ввода изображений. Далее пиксели поступают на буфер, размером к строк изображения, предназначенный для промежуточного хранения текущих строк для последующей фильтрации изображения непосредственно при приеме, без накопления целого кадра. В процессе получения очередных пар кадров изображений динамически формируются пирамиды изображений заданных масштабов, формируемые блоками «усреднитель» и записываемые в буферное запоминающее устройство уменьшенного кадра. Блоки «определитель различия» формируют матрицы различий для пирамиды кадров с первого ОЭД посредством итерационного поиска схожих участков в окрестности очередной анализируемой точки. Полученные матрицы различий записываются в ОЗУ пирамид различий, откуда по получении всей очередной стереопары считываются модулем оценивания диспарантности, преобразующем полученные данные в совокупность сегментов, расположенных на одинаковых дальностях. Далее модуль сегментации считывает из ОЗУ данные о яркостях пикселей кадров и оценочной дальности из карты глубин и формирует множество сегментов для каждой стереопары. Для области каждого обнаруженного сегмента модуль обнаружения характерных точек осуществляет обнаружение характерных точек. Модуль сопоставления точек осуществляет взаимную привязку пар точек на разных кадрах текущей стереопары. Модуль вычисления трехмерных координат вычисляет трехмерные координаты каждой из обнаруженных характерных точек и записывает их в ОЗУ, из котогого их считывает модуль определения габаритов объектов. Модуль выделения контуров, реализующий алгоритм Собеля, формирует дискретные контурные описания границ каждого из объектов, по которым производится уточнение их трехмерных координат. Параметры объектов за текущий кадр сохраняются в ОЗУ и через выходной буфер передаются для дальнейшего использования.

В четвертой главе приводится описание аппаратно-программного стенда для проверки функционирования созданного бинокулярного ОЭУ с переменным фокусным расстоянием для трехмерного зрения мобильного транспортного робота, а также результаты экспериментальных исследований.

В состав аппаратно-программного стенда входят:

- подвижная платформа, обеспечивающая перемещение разработанного бинокулярного ОЭУ в заданном направлении;

- аппаратный модуль №1а1есЬ, включающий ПЛИС для обработки изображений и реализации вычислений согласно созданным алгоритмам;

- персональная электронно-вычислительная машина (ПЭВМ) для управления аппаратно-программным стендом, анализа изображений, калибровки;

- поворотные сетевые видеокамеры, одна из которых с постоянным фокусным расстоянием, другая - с переменным;

- аналоговая жестко закрепленная видеокамера с фиксированным фокусным расстоянием;

- \ViFi приемопередатчик для сопряжения сетевых видеокамер с ПЭВМ (рис. 6, 7).

Назначение основных компонентов аппаратно-программного стенда следующее:

сетевые видеокамеры - получение с различными параметрами (фокусное расстояние, чувствительность, выдержка) и передача изображений в ПЭВМ; ПЛИС-модуль МаПаихИ - реализация аппаратных модулей и алгоритмов обработки данных непосредственно на ПЛИС.

Поток излучения рабочей диапазона

Поворотная видеокамера с трансфокатором Тгеп<Ше1б12

а.

Поворотная видеокамера

с фиксированным фокусным расстоянием ' ТгспсШе! 422

Аналоговая жсспс закрепленная видеокамера

Подвижная платформа

Рис. 6 - Структурно-функциональная схема аппаратно-программного стенда

Рис.

Методика экспериментальных исследований заключалась в проверке созданного бинокулярного ОЗУ по реальным изображениям и по синтезированным на специальной трехмерной модели. В процессе функционирования по реальным изображениям выполнялись следующие группы действий: осуществлялась первоначальная калибровка бинокулярного ОЗУ, проверялась функция трехмерного зрения для стереопары из двух сетевых видеокамер и затем дополнительно для стереопары из аналоговой и сетевой видеокамеры с изменяемым фокусным расстоянием. Изображения рабочей сцены, поступающие с сетевых видеокамер через \ViFi роутер, подавалось в ПЭВМ. Одновременно изображения записывались в собственную память модуля Ыа11а1есЬ через коммуникационный модуль. Модуль предварительной обработки изображений реализовывал функции фильтрации случайных и систематических искажений. Исправленные изображения вновь записывались в ОЗУ. Модуль выделения геометрических примитивов и характерных точек, согласно блокам алгоритма (рис. 2), находил характерные точки на изображении и передавал их в ПЭВМ для сопоставления. Сопоставленные характерные точки и ранее найденные сегменты затем использовались для обнаружения объектов в модуле обнаружения, сопоставления объектов рабочей сцены и вычисления их координат. При экспериментальном исследовании использовались объекты рабочей сцены с априори известным местоположеним. Полученные координаты объектов использовались для оценки погрешности вычислений. Результаты проведенных экспериментальных исследований представлены в таблице 1.

7 - Фотография аппаратно-программного стенда для проведения испытаний

Таблица 1 - Сравнительная характеристика параметров разработанного бинокулярного РЭУ и ОЭУ-аналогов ____

№ Выполняемая функция и значение характеристики Бинокулярное ОЭУ для очувствления мобильного транспортного робота ОЭУ для автономной навигациис активной лазерной подсветкой ОЭУ определения очага взрыва (г. Бийск) ОЭУ мобильного робота Move Inspect HR Precise ОЭУ мобильного робота (Университет Мексики)

1 Погрешность вычисления трехмерных координат - на дальностях до Юм - на дальностях от 10 до 100м 0,5% дальности 1,3% дальности 3,0-5,0% дальности 6,8% дальности 2,0% дальности 10,0% дальности 1,0% дальности 5,0% дальности

2 Время обнаружения и вычисления координат точки 0,003 мс Нет данных 0,002 с Нет данных Нет данных

3 Время вычисления координат 200 точек 0,012с Нет данных Нет 0,10 с 0,07с

4 Формирование трехмерной карты пространства Да Да Нет Не реализовано Нереализовано

5 Максимальная частота обработки 30 Гц 5 Гц 24Гц 16Гц 10Гц

На рис. 8, 9 представлены зависимости погрешности вычисления дальности г и координаты х точек объектов рабочей сцены и доверительные интервалы погрешностей.

Рис. 8 - Погрешности вычисления дальности г и координаты х точек объектов

Рис. 9 - Погрешности вычисления дальности т. и координаты х точек объектов

Анализ результатов экспериментальных исследований подтвердил адекватность разработанных математической модели, метода и алгоритмов полученным экспериментальным данным. Разработанное устройство позволяет с большей точностью определять координаты трехмерных объектов (в 1,5 - 2,1 раза на дальности до 1 Ом, в 3,8 -4,2 раза на дальности до 100м), обеспечивает построение трехмерной модели рабочей сцены, содержащей расположение и габариты объектов в пространстве, обеспечивает обработку поступающих изображений с частой не менее 30Гц (в 1,8 - 6,0 раз быстрее аналогов), что соответствует реальному времени для задач транспортировки грузов и ориентации на местности мобильного робота с размещенным на нем бинокулярным ОЭУ.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

При решении поставленной в диссертационной работе задачи были получены следующие основные результаты.

1. Разработана математическая модель вычисления параметров трехмерной модели рабочей сцены бинокулярным оптико-электронным устройством, размещенном на мобильном транспортном роботе, отличительной особенностью которой являются предварительная оценка глубины объектов, обнаружение и сопровождение объектов рабочей сцены, позволившая реализовать функцию трехмерного восприятия с использованием стереопары оптико-электронных датчиков с различными параметрами, обработку поступающей визуальной информации в реальном масштабе времени при ограничениях на аппаратно-программную сложность вычислительного устройства.

2. Разработаны метод и алгоритм формировании трехмерной модели рабочей сцены, основанные на локализации и выделении характерных точек на изображении и их последующем сопоставлении, отличительными особенностями которых являются построение предварительной карты глубины объектов, использование пирамид изображений, а также дополнительное уточнение координат трехмерных объектов при движении робота. Дополнительной отличительной особенностью указанного алгоритма является возможность реализации большей части его вычислений на программируемой логической интегральной схеме, что позволяет обеспечить реальное время обработки поступающих изображений.

3. Разработан аппаратно-ориентированный алгоритм обнаружения, сопровождения объектов и вычисления их трехмерных координат, новизной которого являются одновременное использованием сегментов контуров, характерных точек и их трехмерных

координат для обнаружения и сопровождения объектов, использование оптико-электронных датчиков с неидентичными параметрами для реализации бинокулярного восприятия. Новизной алгоритма является повышенная точность вычисления координат удаленных и близких объектов, а также возможность его реализации на программируемой интегральной схеме с целью минимизации массогабаритных характеристик бинокулярного оптико-электронного устройства.

4. Разработана структурно-функциональная организация оптико-электронного устройства с переменным фокусным расстоянием для трехмерного зрения мобильного транспортного робота, отличающаяся введением модулей предварительной оценки глубины объектов рабочей сцены, вычисления трехмерных координат объектов по стереопаре изображений с оптико-электронных датчиков с различными параметрами, сопровождения объектов, уточнения собственного пространственного положения, динамической калибровки, и связей между ними, позволяющая реализовать трехмерное зрение с большей, по сравнению с аналогами, точностью в реальном времени, а также возможность использования устройства применительно к решению различных задач автоматизации транспортировки грузов внутри ограниченных пространств или на местности.

5. Разработанное бинокулярное ОЭУ качественно отличается от аналогов возможностью решения широкого спектра задач трехмерного зрения и очувствления транспортного робота в реальном времени, большей полнотой получаемой информации об объектах рабочей сцены, дополнительными функциями получения детализированных изображений объектов; количественно - снижением погрешности вычисления координат не менее, чем в 1,5-2,1 раза на дальности до Юм и в 3,8 - 4,2 раза на дальности до 100м при поступлении изображений с частотой до 30Гц.

Список основных публикаций Статьи в журналах по перечню ведущих рецензируемых журналов и изданий

1. Полунин, A.B. Алгоритм обнаружения и сопоставления характерных точек при движении видеосенсора/А.В.Полунин//Телекоммуникации.Спецвыпуск. 2012 г. -С. 15-19.

2. Полунин, A.B. Оптико-электронное устройство обнаружения и распознавания объектов городской транспортной инфраструктуры / А.В.Полунин, В.С.Титов, В.В. Вакун//Известия Юго-Западного государственного университета. - 2013 г. -№ 4. -С.40-43.

3. Бинокулярная система технического зрения с видеодатчиком с изменяемым фокусным расстоянием для мобильного робота / А.В.Полунин, B.C. Титов, М.И.Труфанов // Известия ВолГТУ. Серия «Электроника, информационные технологии, радиотехника и связь». - 2014. -№10(137). С.83-86.

4. Способ увеличения разрешения единичною изображения / A.B. Полунин, Е.В. Лукьянчиков, Е.Б.Болецкий // Известия ВолГТУ. Серия «Электроника, информационные технологии, радиотехника и связь». - 2014. - №10 (137). - С. 72 - 74.

5. Полунин, A.B. Подходы к разработке алгоритма декодирования каскадных сигнально-кодовых конструкций / A.B. Полунин // Телекоммуникации. № 10. Москва, 2010 г.-С. 46-51.

Статья в трудах конференций

6. Полунин, A.B. Оптико-электронная система для трехмерного очувствления мобильного транспортного робота / A.B. Полунин, М.И. Труфанов// Информационные технологии и математическое моделирование систем 2013. Труды Международной научно-технической конференции. М.: ФГБУН Центр информационных технологий в проектировании РАН, 2013. - С.136-139.

Свидетельства об официальной регистрации программы для ЭВМ

7. Полунин, A.B. Программа для ЭВМ для построения трехмерной рабочей сцены при движении мобильного робота с бинокулярной системой технического зрения /A.B. Полунин, М.И.Труфанов // Свидетельство №2014614225 от 18.04.2014 по заявке №2014611768 от 4.03.14.

8. Полунин, A.B. Программа для ЭВМ для построения трехмерной рабочей сцены при движении мобильного робота с бинокулярной системой технического зрения /A.B. Полунин, М.И.Труфанов, Н.В. Иванов // Свидетельство №2014616828 от 28.07.2014 по заявке №2014611889 от 05.03.14.

Материалы конференций

9. Полунин, А.В.Повышение точности сопоставления характерных точек на изображении / А.В.Полунин// Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Сборник материалов XI МНТК «Распознавание — 2013». Юго-Западный Государственный Университет. 2013 г. - С. 93 - 94.

10. Полунин, A.B.Сопровождение характерных точек объектов при движении видеосенсора/ А.В.Полунин, В.С.Титов, М.И.Труфанов//«Интеллектуальные системы в промышленности и образовании - 2013». Материалы четвертой международной научно-практической конференции. Сумский государственный университет. Сумы 2013 г. С. 125 -126.

11. Полунин, A.B. ПЛИС-модуль сопровождения движущихся объектов / АВ.Полунин/ Научная сессия ТУСУР. Материалы Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых. Томский государственный университет систем управления и радиоэлектроники. Томск 2013 г. 4.2. — С. 50 - 52.

12. Полунин, А.В.Варианты организации фильтров цифровых изображений на основе нейронных сетей /А.В.Полунин, А.Б. Мишин / Материалы 8-й Всероссийской научной конференции. Орел: Академия ФСО России,- 2013 г. 4.10. - С. 57 — 59.

13. Полунин, A.B. Вопросы идентификации калибровочных объектов в процессе адаптивной калибровки системы технического зрения / A.B. Полунин / Материалы научно-технической конференции. Калининградскийпограничныйинститут. Калининград. -2013г. С. -14-46.

14. Полунин,A.B. Подходы к разработке алгоритма обнаружения и сопоставления характерных точек при движении видеосенсора /А.В.Полунин, А.Б. Мишин// Материалы 8 Всероссийской научн.конф. г.Орел: Академия ФСО России, -2013 г. 4.10. — С. 60 - 62.

15. Полунин,A.B. Вариофокальное бинокулярное оптико-электронное устройство для трехмерного зрения / A.B. Полунин, Е.В. Болецкий, М.И.Труфанов/ Медико-экологические информационные технологии 2014. Сборник материалов 17 МНТК, посвященной 50-летаю ЮЗГУ. Изд-во ЮЗГУ. - С. 116-116.

Патент

16. Полунин, A.B. Патент РФ №144820 на полезную модель, МПК G06K9/00. Оптико-электронное устройство для трехмерного восприятия с оптико-электронным датчиком с трансфокатором /A.B. Полунин, М.И. Труфанов// Заявка №2014114545 от 11.04.2014.-27.08.2014.

Соискатель АВЛолунин ИД №0643 0 от 10.12.01 Подписано к печати 23.10.14_. Формат 60x84 1/16.

Печатных листов 1 Тираж 100 экз. Заказ_.

Юго-западный государственный университет.

305040, г. Курск, ул. 50 лег Октября, 94.