автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Система определения параметров движения необитаемого подводного аппарата на основе обработки видеоинформации

Борейко Алексей Анатольевич

СИСТЕМА ОПРЕДЕЛЕНИЯ ПАРАМЕТРОВ ДВИЖЕНИЯ НЕОБИТАЕМОГО ПОДВОДНОГО АППАРАТА НА ОСНОВЕ ОБРАБОТКИ ВИДЕОИНФОРМАЦИИ

Специальность - 05.13.06 Автоматизация и управление технологическими процессами и производствами (технические системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Владивосток - 2011

1 О ОЕЗ 2011

4854108

Работа выполнена в Институте проблем морских технологий ДВО РАН

Защита состоится "18" февраля 2011 г. в 14 часов на заседании диссертационного совета К 212.055.03 при Дальневосточном государственном техническом университете (ДВПИ имени В.В. Куйбышева) по адресу: 690990, Владивосток, Аксаковский переулок, 3, ауд. Б-107

С диссертацией можно ознакомиться в библиотеке Дальневосточного государственного технического университета (ДВПИ имени В.В. Куйбышева).

Автореферат разослан "января 2011г.

Ученый секретарь

диссертационного совета К 212.055.03

Научный руководитель:

член-корреспондент РАН, доктор технических наук А.Ф. Щербатюк

Официальные оппоненты: доктор технических наук, профессор

А.А. Дыда

кандидат технических наук С.В. Смирнов

Ведущая организация:

Учреждение Российской академии наук Институт автоматики и процессов управления ДВО РАН

кандидат технических наук, доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Потребности в проведении подводных научных исследований, поиске и обследовании подводных объектов, высокоточном картографировании дна, выполнении подледных операций и решении других задач обусловили интенсивное развитие необитаемых подводных аппаратов (НПА). Большой вклад в это направление внесли как российские (М.Д. Агеев, B.C. Ястребов, В.А. Челышев и другие), так и зарубежные (D. Blidberg, A. Healey, Т. Ura, J. Bellingham, A. Pascoal, V. Regard, Т. Austin и многие другие) исследователи.

В настоящее врем* остается нерешенным вопрос точной локальной навигации НПА вблизи объекта работ в условиях воздействия внешних возмущений в виде подводного течения, морского волнения, силовых реакций со стороны кабеля или собственных механизмов (манипуляторов и т. д.). Высокоточное определение параметров движения необитаемого подводного аппарата является важной задачей при проведении операций, связанных с осмотром подводных сооружений, стыковкой с донной станцией, а также выполнением прецизионных измерений.

Основная проблема обеспечения точной локальной навигации связана с отсутствием надежных измерителей локальных перемещений НПА. Попытки использовать в качестве датчиков обратных связей в контуре позиционирования НПА информацию о скорости перемещения от абсолютных гидроакустических лагов или о линейных ускорениях от устройств инерциальной навигации не обеспечивают требуемую точность. Также не обладают необходимой точностью и гидроакустические дальномерные системы подводной навигации. Именно поэтому чрезвычайно актуальны работы по поиску новых принципов построения таких систем.

Одним из наиболее емких источников информации под водой являются видеоизображения. В последние годы проводятся обширные исследования в области использования видеоинформации для решения задачи позиционирования НПА (S. Negahdaripour, J. Santos-Victor, Т. Ura, Н. Singh, А.Ф.Щербатюк и др.). Сложности формирования подводных изображений связаны с сильным затуханием света под водой, что уменьшает дальность действия видеосистем, и необходимостью использовать точечные источники освещения, что приводит к неравномерной подсветке донных объектов. В отличие от подобных сухопутных систем, в которых для навигации, как правило, используются изображения искусственных объектов с четкими границами, на подводных изображениях искусственные объекты заилены и подвержены обрастанию, что искажает их границы и формы. В связи с этим актуально решение поставленной в диссертации задачи определения параметров движения НПА на основе обработки последовательных видеоизображений, содержащих случайные объекты на морском дне, без применения искусственных маркеров. Традиционно применяемый в наземных системах метод оценки оптического потока сложно использовать под

О

водой в условиях невысокой прозрачности воды и невысокой четкости изображений. В работе предложены алгоритмы, основанные на сопоставлении локальных признаков изображений донных объектов, которые более устойчивы к колебаниям освещенности и низкой контрастности объектов на изображениях.

Целью работы является разработка и исследование алгоритмов автоматической локальной навигации НПА на основе обработки видеоинформации.

Основные задачи исследования: анализ современных методов определения параметров движения НПА с использованием видеоданных;

разработка и исследование алгоритмов локальной навигации НПА на основе обработки последовательных видеоизображений с использованием модельных и реальных данных;

разработка комплекса программ, реализующего работу предложенных алгоритмов в составе Сортовой навигационной системы подводного аппарата;

экспериментальная проверка и натурные испытания системы определения параметров движения НПА, основанной на обработке видеоизображений.

Методы исследования. При выполнении работы применялись методы теории управления, распознавания образов, принятия решений, математического моделирования, теории фильтрации, а также производились лабораторные и морские эксперименты.

Положения, выносимые на защиту: алгоритмы локальной навигации НПА на основе обработки последовательных видеоизображений;

программная реализация алгоритмов в составе НПА, обеспечивающая определение параметров движения НПА на основе обработки последовательных видеоизображений;

результаты модельных исследований и натурных испытаний системы определения параметров движения НПА, основанной на обработке видеоизображений.

Научная новизна диссертационной работы заключается в том, что, на основании анализа современных методов и средств, разработаны и исследованы алгоритмы локальной навигации для нового класса транспортных систем - НПА -на основе обработки последовательных видеоизображений, которые характеризуются низкой контрастностью, высокой зашумленностью и отсутствием искусственных эталонных маркеров. Выполнены лабораторные и натурные испытания разработанной системы с использованием НПА ТБЬ, которые выявили ее более высокую точность по сравнению с современными системами определения параметров движения подводных объектов, а также подтвердили возможность определения смещения НПА относительно фиксированного участка дна без накопления ошибки в зависимости от времени.

Практическая значимость работы заключается в разработке и реализации на борту НПА высокоточной системы определения параметров движения на основе обработки видеоинформации. Использование данной системы обеспе-

чивает выполнение прецизионных операций при работе с использованием манипуляторов при применении телеуправляемых НПА, осуществление стыковки автономных НПА, а также их высокоточное маневрирование среди подводных конструкций. Система позволяет с высоким качеством стабилизировать положение НПА и выполнять измерения параметров водной среды и съемку подводных объектов. Работа выполнялась в рамках НИР «Разработка технологии создания интеллектуальных подводных роботов на основе реконфигурируемых системных архитектур и высокоточных методов навигации и управления» N гос. регистрации 01.2006 06513, а также при поддержке грантов N 050833333а, 060807501k, 060896928р_офи и 070800596а.

Достоверность исследований обеспечивается обоснованием выбора используемых теоретических методов и подтверждается результатами модельных исследований и натурных испытаний.

Апробация результатов работы. Основные научные и практические результаты работы докладывались и обсуждались на научно-технических семинарах ИПМТ ДВО РАН, а также следующих международных и отечественных конференциях:

Workshop on Sensors and Sensing Technology for Autonomous Ocean Systems. Hawaii, Oct 29-Nov 03,2000;

"Underwater Technologies -2000", Tokyo, 22-25 May, 2000;

4-я Дальневосточная конференция студентов и аспирантов по математическому моделированию. Владивосток, 2000;

Вторая Международная НТК «Технические проблемы освоения Мирового океана», Владивосток, 2007;

The 8th ISOPE Pacific/Asia Offshore Mechanics Symposium. Bangkok, Thailand, November 10-13, 2008,

Третья Всероссийская НТК «Технические проблемы освоения мирового океана», Владивосток, 2009.

Публикация результатов работы. По теме диссертации опубликовано 14 печатных работ, из которых шесть работ - доклады на российских и четыре работы - доклады на зарубежных конференциях, две работы - в научных сборниках и две работы опубликованы в журналах из списка, рекомендованного ВАК.

Личный вклад автора: Основные научные положения, теоретические выводы, а также практические результаты модельных экспериментов и морских испытаний, содержащиеся в диссертационной работе, получены автором самостоятельно. В совместных работах автор внес следующий вклад: [1-2] - разработка структуры системы технического зрения НПА; [3-4] — программная реализация и компьютерное моделирование совместно разработанного алгоритма,; [6] — алгоритмы предобработки изображений и совместное исследование с использованием модельных и реальных данных; [8] - функциональная структура системы технического зрения (СТЗ) НПА и алгоритмы ее работы; [9-10] - алгоритмы выделения одних и тех же случайных объектов на последовательных кадрах и определения их взаимного перемещения, совместные результаты мо-

делирования их работы и морских испытаний; [11] - результаты совместных морских исследований с использованием разработанной им СТЗ для НПА TSL; [12] - алгоритмы работы программного обеспечения для моделирования и результаты совместных исследований влияния искажения геометрических характеристик изображений донных объектов.

Структура и объем работы: Диссертация состоит из введения, трех глав, заключения и списка литературы. Объём диссертации составляет 121 страницу, в том числе 32 иллюстрации. Список литературы включает 98 наименований.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность направления исследования диссертационной работы, выполнен обзор современных разработок в данной области, сформулированы цель и задачи исследования.

В первой главе производится анализ современных методов определения параметров движения НПА с использованием видеоданных. В общем случае система определения параметров движения НПА, использующая для работы видеоинформацию, должна устойчиво функционировать на основе обработки изображений, содержащих случайные объекты на морском дне, без применения искусственных маркеров. Для решения проблемы определения движения мобильных роботов с использованием обработки видеоизображений, в основном, используются два подхода. Один из них основан на оценке оптического потока. Другой подход заключается в выделении одних и тех же объектов на последовательных изображениях. Метод оценки оптического потока весьма чувствителен к колебаниям яркости и для устойчивой работы накладывает жесткие ограничения на значение перемещения объекта между последовательньми моментами съемки. Метод, использующий выделение объектов, менее чувствителен к колебаниям яркости изображения, так как в нем используются признаки, основанные на геометрических характеристиках объектов. Он не накладывает ограничений на значение перемещения между последовательными тактами работы, необходимо лишь, чтобы объекты, по которым производится сопоставление, присутствовали на двух последовательных кадрах изображения.

Во второй главе представлены разработанные автором алгоритмы определения движения с использованием визуальной информации. Предполагается, что высота движения НПА над дном измеряется с достаточно высокой точностью, и ее программное значение автоматически стабилизируется системой управления подводного аппарата. Рассмотрена задача оценивания перемещения и разворота HELA в горизонтальной плоскости на основе обработки последовательных цифровых фотоизображений. Полагается, что камера расположена в центре связанной системы координат НПА и направлена вертикально вниз, при этом кадр ориентирован по ходу движения НПА.

Аппроксимация границ объектов ломаной линией. Один из подходов основан на использовании информации о форме границ донных объектов для

оценивания движения. При этом фрагмент линии границы аппроксимируется ломаной, состоящей из отрезков одинаковой длины. Ориентация каждого отрезка определяется углом между данным отрезком и осью Ох в заданной системе координат Оху согласно соотношению:

Й=К г,ри(хм-х,)> о, (1)

[çp, -я-signtp, при(хм-х,)<0,

при условии

- *,)2 + (Л+1 - У,)1 = const, (2)

где

р, =arctgyM~y',

(ди (х„„ум) - координаты начала и конца ¿-ого отрезка, / = 1,... ,Ы.

Информация о линии границы объекта на текущем изображении представляет собой последовательность углов <р(1). Данный фрагмент линии границы объекта на предыдущем изображении представляется аналогично в виде у/ = ((е,,...,(0, где — последовательные углы.

Полагается, что измеренные данные о форме линии границы имеют вид:

<? = П+£г+4г, (3)

где % - действительное значение угла, ег~ постоянная ошибка определения угла, а ^ - центрированный гауссовский шум.

В качестве критерия оптимальности выбирается условие максимума апостериорной вероятности правильного определения указанных параметров. При этом оптимальным алгоритмом оценивания с учетом предположения, что шум является гауссовским, служит метод наименьших квадратов. Оптимальное решающее правило состоит в том, что наблюдению у/ ставится в соответствие такое решение /ргь для которого справедливо соотношение:

П. =шах{нс}, (4)

где

и. = 2>(С + А)И*)-«>(С + *)/2], (5)

с - номер фрагмента границы длиной п на текущем изображении.

В качестве оценки местоположения НПА в заданной системе координат принимаются координаты конца фрагмента ломаной, соответствующего фрагменту грс..

Линия границы может быть представлена в виде кусочно-стационарной случайной функции, на которой имеются фрагменты с наиболее благоприятными статистическими характеристиками, позволяющими по фрагменту небольшой длины точно определять вектор состояния НПА, и с менее благоприятны-

ми статистическими характеристиками. Поэтому возникает задача построения алгоритма, позволяющего производить оценивание с указанной точностью по фрагменту линии границы минимальной длины.

Рассмотрен алгоритм оценивания, построенный на основе последовательного анализа из теории статистических решений, в котором в качестве критерия оптимальности выбирается условие достижения заданного уровня для вероятности правильного определения перемещения НПА. Он состоит в следующем:

-выбирается фрагменту, по которому можно определиться с заданной вероятностью в самом благоприятном случае, и в соответствии с (5) определяются два максимальных числа ие. и ис.;

- их разность сопоставляется с заданным числом д, связанным с заданной вероятностью Н правильного определения местоположения, и если она превосходит 5, то перемещение оценивается по отснятому фрагменту, в противном случае фрагмент линии границы наращивается до тех пор, пока неравенство |ис. -ис.\>8 не будет удовлетворено.

Связь между 8 и вероятностью Я правильного определения местоположения НПА определяется следующим соотношением:

Ор и а( — дисперсии углов и шума.

Данный алгоритм не только дает возможность определять местоположение НПА, но и позволяет оптимальным образом построить сам процесс оценивания. При этом на борту НПА нет необходимости решать уравнение (6), достаточно иметь таблицу значений д для различных я, и аг.

При выборе характерных фрагментов также учитывается их взаимное расположение. Предпочтительно, чтобы они были равномерно рассредоточены по всему изображению. Это требование позволяет исключить ситуации, когда область перекрытия двух последовательных кадров изображения не будет содержать характерных фрагментов ломаных.

В процессе сопоставления, все и характерных фрагментов с текущего кадра последовательно сравниваются со всеми возможными ломаными длиной т с предыдущего кадра в соответствии с выражением (5). Все локальные максимумы и, сравниваются с заданным порогом [/„. Те из них, которые не ниже порога, выстраиваются в порядке возрастания и принимаются в качестве кандидатов для решения.

Ф(-в, )(1 - Я) - Ф(-а2 )Я = 0,

(6)

где

1

Ф(А') = |ехр(-г /2)сЬ - интеграл вероятности,

(7)

Для выбора окончательного решения о значении перемещения сначала выявляются те кандидаты (для каждого характерного фрагмента выбирается по одному решению), которые локализованы в окружности заданного радиуса г, где г — максимально возможное перемещение НПА за такт работы системы. При этом сначала для каждого характерного фрагмента рассматриваются кандидаты, которые дают максимальные значения функционала. Если же какой-то из них не попадает в окружность радиуса г, то для данного характерного фрагмента осуществляется перебор других его кандидатов, пока один из них не попадет в указанную окружность.

После выявления кандидатов, по одному от каждого характерного фрагмента, рассчитывается результирующее смещение (Дх/,Ау1), где у номер такта работы системы, в соответствии с выражением:

А(8)

и м и 1=1

где и, - значения функционала, полученные в соответствии с (5), а (&х„Ау, ) -соответствующие им смещения, вычисленные для каждого характерного фрагмента.

Разворот <р определяется по повороту линии, соединяющей концы одного и того же фрагмента границы в предыдущем и текущем кадрах, в соответствии с выражением:

tg<p = (kг-kl)/(\ + k¡k2), (9)

где

= -■*»). *2 = (Л1-Ую)/(*11-*1о). (1°)

(*оо.>оо). (^01.0|с..У|о) и (х,,,>',,) - координаты концов одного и того же фрагмента на двух кадрах.

Перемещение объектов в кадре (Л* , Ду,) связано с перемещением НПА относительно дна (ДХ.ДУ) соотношениями:

2-Дх-й-^) 2-Д

АХ=-АУ=-(11)

а Ь

где а и Ь - размеры кадра по горизонтали и вертикали, <я„ и <рь - углы обзора ТВ камеры по горизонтали и вертикали, А - измеренная высота НПА над грунтом. Полагается, что перепад рельефа и высоты донных объектов существенно меньше высоты НПА над грунтом А.

В процессе лабораторных исследований использовались следующие параметры работы алгоритма: длина элементарного отрезка выбиралась от 7 до 13 пикселов, число элементарных отрезков во фрагменте равнялось т = 5, максимальное число фрагментов сравнения было выбрано равным п = 8. Для испытания алгоритма использовались бинарные градиентные искусственные и естественные изображения (рис. 1) размером 512-512 пикселов, вдоль которых перемещалось окно размером 256-256 пикселов. Искусственные изображения в окне

искажались аддитивным шумом до 5% пикселов изображения, состоящим из темных и белых точек. В процессе обработки серий из 20 последовательных изображений были получены результаты, свидетельствующие о том, что в 85% случаев ошибка определения перемещения не превышает двух пикселов.

Использование детектора Харриса. Процедура вычисления перемещения пары последовательных изображений в данном подходе включает этапы: выделение особенностей на сравниваемых изображениях; определение соответствия этих особенностей; расчет перемещения выбранной пары изображений.

В данной системе для извлечения особенностей используется детектор Харриса, который выделяет угловые элементы границы на изображении. При этом для каждого пикселя изображения вычисляется значение функции отклика, оценивающей степень похожести окрестности точки на угол. Для этого рассчитывается матрица:

М =

/ -лг\2 Г-Т—)

UJ ыы

т faO

\дх) UJ UJ

(12)

где /(х,у) -яркость изображения в точке (х,у).

Рис. i. Последовательные реальные градиентные изображения с границами объектов, которые использовались для испытания алгоритма

Функция отклика записывается в следующем виде: R = detМ - HtraceMf, где г = const (г < 1). Особой считается точка, для которой R больше установленного порогового значения Rm. Так как на подводных изображениях, как правило, отсутствуют объекты искусственного происхождения, то нет и границ с четкими углами. Для того, чтобы количество особых точек лежало в заданном диапазоне, необходимо автоматически формировать разные пороговые значения Rm для различных типов и текстур изображений дна. Также следует отметить, что

поиск точек производится неравномерно по изображению, что приводит к избыточной концентрации особых точек в небольших областях сопоставляемых изображений. Для решения указанной проблемы поиск особых точек производится на локальных областях размером Л'хЛ' (¿У зависит от размера изображения). В каждой локальной области выбирается не более одной точки с максимальным значением Л При избыточном количестве особых точек, превосходящем установленное ограничение, точки с минимальным значением Я отбраковываются. В результате получается набор точек-кандидатов на последовательных изображениях.

Для сопоставления выделенных на двух последовательных изображениях особенностей для всех особых точек первого (т = \,....М) и второго (п = \,...Щ изображений рассчитываются признаки = 1....5), например, с использованием алгебраических инвариантов Ни. Для всех возможных пар точек на сопоставляемых изображениях находятся невязки 0(т,п):

где А, - весовые коэффициенты, характеризующие значимость соответствующих инвариантов.

На основе полученных невязок создается таблица J размером NxM. Для формирования соответствий между точками в таблице выбирается минимальное значение J(m',n), и устанавливается соответствие между точками т и п . Затем из таблицы J удаляются столбец и строка, соответствующие точкам т и л', и аналогичная процедура применяется к получившейся таблице. Данная операция выполняется до тех пор, пока очередное значение J(a',ß') не станет больше заданного порога Jm. Таким образом формируется список пар-кандидатов, для которого требуется произвести проверку на правильность (рис.2).

В данной системе для проверки правильности образованных пар используется модификация метода LMedS (Least Median of Squares). Сначала, определяются все смещения Rf/ между сформированными парами точек на двух изображениях:

Затем определяется медиана для этих смещений Ктес! и выполняется проверка. Если йлег/ * 1,25 > Д,^ > Ктес! 1\,25, то пара у принимается. Далее на основе полученных пар точек производится оценивание смещения изображений (рис.3). Моделирование показало, что для данного алгоритма в 88% случаев ошибка определения перемещения не превышает 2-х пикселов при прочих равных условиях с моделированием первого алгоритма (рис.4).

ß(m,n) = ¿t, -\Ft (xm,yJ-Ft (х„,д)|,

(13)

(14)

В данной главе получены и проанализированы зависимости, связывающие изменения геометрических характеристик изображений донных объектов с колебаниями высоты движения, углов крена и дифферента АНПА (рис. 5), а

Рис. 3. Проверка соответствий (черными квадратами выделены точки, сопоставленные на предыдущем этапе, а белыми - те, которые прошли проверку)

также с трёхмерностью рельефа дна. Выполнена оценка влияние этих искажений на работоспособность алгоритмов системы технического зрения НПА. Выяснено, что изменение высоты движения НПА от кадра к кадру на 5h приводит к пропорциональному Sh изменению линейных размеров объектов на последовательных изображениях, что может быть учтено программным образом на борту НПА. Коэффициент искажения площади фигур при небольших колебаниях крена и дифферента пропорционален (1 + <з2). Коэффициент искажения из-за трехмерности морского дна определяется выражением:

Рис. 4. Результат наложения последовательных изображений на основе полученных оценок перемещения

Искажение будет незначительным, если

/ 2)с/ «М и с! « Н, (16)

т.е. если высота объекта с1, по которому производится оценивание движения, значительно меньше его линейных размеров М и высоты движения НПА над дном Н, где © - угол зрения видеокамеры.

Для оценки влияния параметров движения на работу систем технического зрения был разработан виртуальный стенд, который позволяет получать модельные изображения с учетом влияния крена, дифферента и изменения высоты съемки. Данный стенд был реализован в программной среде трехмерного моделирования и представляет собой ЗБ модель, состоящую из плоскости, на которой размещаются растровые изображения, источника рассеянного света и виртуальной камеры (рис. 6). На плоскости могут размещаться любые растровые изображения, как модельные, так и реальные изображения морского дна. На данном этапе использовался источник рассеянного света, хотя данный стенд позволяет использовать точечные источники света. Влияние движения аппарата воспроизводилось путем изменения положения виртуальной камеры. В данном эксперименте поочередно изменялись расстояние от камеры

Рис. 5. Изменение формы видимого участка дна при наличии дифферента

до плоскости и углы наклона оси зрения камеры в двух плоскостях. Расстояние до плоскости изменялось от 0 до 10 % с дискретность 1 %, а углы крена и дифферента от 0 до 10° с дискретность 1°. Результаты работы системы определения параметров движения с использованием тестовых изображений приведены на рис. 7. Основываясь на данных результатах можно сделать вывод о незначительном влиянии на тестируемую систему изменений крена и дифферента до 5°. Изменение высоты съемки на 5% оказывает более существенное влияние на ^ММ^^^^ДИВЯМДИДИД надежность работы системы

в пия высокоточных перемеще-

¡¿А ^'ЧНР ' ' В ний и зависания над заданным

Рис. 6. Виртуальный стенд для получения тестовых изображений

системы технического зрения, связанные с реализацией системы высокоточного позиционирования на борту НПА TSL.

Как уже отмечалось выше, комплексированная навигационная система НПА, использующая информацию от инер-циальной навигационной системы, бортовой автономной навигационной системы и гидроакустической навигационной системы, не обеспечивает необходимую точность позиционирования для выполнения и оценивания локальных перемещений. Для высокоточного позиционирования над заданным объектом в навигационно-управляющий комплекс НПА введена разработанная система прецизионного определения параметров движения НПА (рис. 8), использующая информацию от цифровой фотосистемы и реализованная в составе системы технического зрения НПА TSL.

20 'T-

IS --

с 16 -

о 14 --

с: 12 -

т~ 10 -

Ю

=1 6 ■-

и 4 --

2 ■ он

'4 "V

—J Г

—j н > 1

-t f -V S 1—1

i—i J <- Г, с

6

8

h—Изменение высоты I — Изменение дифферента L - Изменение крена

а,-; Р,°; ли, %.

Рис. 7. Результаты работы системы с использованием модельных изображений

Предполагается, что комплексированная навигационная система НПА используется для приведения подводного аппарата в локальную окрестность заданного объекта обследования, в которой обеспечивается его визуальная видимость. Для выполнения операций вблизи заданного объекта локальные перемещения оцениваются на основе использования разработанной системы.

НПА Т8Ь представляет собой самоходный объект, оснащенный информационно-командной связью с обеспечивающим судном по оптоволоконному кабелю. Цифровая фотокамера расположена на днище аппарата и ориентирована вертикально вниз. Система из шести движителей обеспечивает произвольные управляемые движения аппарата, в том числе зависание над заданным объектом.

Рис. 8. Элементы навигационно-управляющего комплекса НПА, обеспечивающие выполнение высокоточных перемещений

Цифровая фото система Т8Ь работает под управлением бортового компьютера системы технического зрения. В состав фотосистемы входят цифровая камера и импульсный светильник. Цифровая фотокамера формирует изображение размером 1280* 1024 пикселя и имеет разрешение интенсивности в каждом пикселе 10 бит. Элементы системы технического зрения в составе НПА ТЗЬ показаны на рис. 9.

В третьей главе также приводятся описания экспериментов и результаты натурных испытаний системы высокоточного позиционирования НПА, использующей видеоинформацию. На начальном этапе исследований использовались последовательности перекрывающихся фотоизображений дна, полученные с помощью подводного аппарата ТЗЬ. Предварительно изображения подвергались обработке, предназначенной, в основном, для выравнивания интенсивности и фильтрации шумов.

Результаты обработки изображений показали, что в ситуациях, когда на дне имеются характерные объекты с четко выраженными границами, предпочтительнее применять алгоритм, использующий для оценки параметров движения информацию о форме границ донных объектов. В случае, когда на дне нет объектов с четкими границами, но имеются области разной контрастности, более устойчиво работает алгоритм, основанный на использовании детектора Харри-са. На рис. 10 изображены графики, на которых приведены для сравнения результаты работы описанных выше алгоритмов. График оценок продольной скорости V, =&Х/Т (м/сек) в зависимости от номера кадра приведен на рис. 10, а,

Оптокабель * | Опто ДРК Навигационне пилотажные датчики

модем Компьютер Автопилота

I ENet |

Пульт оператора

| usb| ГОШ буфер

Интерфейс и АЦП

Матрица Sony 285 Цифровая камера ^

Подводный аппарат ТЭЬ

Рис. 9. Элементы системы технического зрения в составе НПА ТЭЬ

где АЛ' вычисляется на основе (11), а Т - период работы системы. Аналогичный график для оценок поперечной скорости Уу-КУ1Т показан на рис. 10, Ь. Оценки изменения угловой ориентации НПА, где за начальное направление принято показание индукционного компаса, отображены на рис. 10, с.

Для оценки точности определения перемещений НПА, последовательные изображения накладывались на основе полученных параметров движения. На рис. 11а показаны несколько последовательных изображений дна, использованных для оценивания движения НПА, а на рис. 11Ь - наложенные изображе-

а).

с).

Рис. 10. Оценки перемещений (а-вдоль продольной оси Оу и Ь - вдоль поперечной оси Ох) и разворота (с) НПА

ния. В наложенных изображениях анализировалась величина нестыковки отдельных объектов в пикселах. При съемке с высоты h = 1 м и угле зрения фотокамеры в воде а = 38 град, размер видимой области составляет L = 2-h-tg(a/2) -0.7 м. При этом один пиксел изображения соответствует 700/1392 = 0,5 мм. Исследования показали, что несоответствие объектов не превышает несколько пикселов (в 95% случаев не более 4 пикселов, что соответствует рассогласованию в 2 мм за такт работы системы).

На заключительном этапе исследований разработанная система определения параметров движения была интегрирована в состав системы технического зрения НПА TSL. Было выяснено, что один такт работы системы на борту НПА TSL занимает в среднем 1,2-1,6 секунды при использовании в качестве бортового компьютера для системы технического зрения PENTIUM LIPPERT 1,4 Ггц.

Для оценки точности определения параметров движения на основе работы системы, использующей последовательные видеоизображения, НПА фиксировался жестко к неподвижному основанию, и производилась запись показаний горизонтальных проекций скорости. Одновременно для сравнения производилось накопление показаний аналогичных значений от доплеров-ского лага /ДЛ/ NavQuest 600 (LinkQuest Inc США), яв-

Рис. 11а. Последовательные перекрывающиеся изображения дна, полученные с помощью НПА ТБЬ

Рис. 116. Результаты наложения нескольких последовательных изображений, полученных с помощью НПА

ляющегося на данный момент одним из со-временньсх высокоточных малогабаритных ДЛ, предназначенных для использования в составе НПА. На рис. 12, а показаны графики ошибки определения скорости и суммарной ошибки в определении местоположения НПА в зависимости от времени с использованием разработанной системы, а на рис. 12, Ъ - аналогичные ошибки с использованием доплеровского лага. Дисперсия ошибки определения модуля скорости для разработанной системы составила 0,07 мм/сек и среднее значение ошибки 0,11

мм/сек, а аналогичные характеристики для ДЛ составили 0,6 мм/сек и I мм/сек соответственно. Таким образом, точность разработанной системы на порядок превосходит точность одного из современных ДЛ.

Важной задачей для НПА является организация автоматического зависания его над заданными объектами в процессе выполнения подводно-

V, Ус

0.01

0,006 0,006 0.004 0.002

К. м; V, у/с

0,08

0,06

0.04

0,02

Л— 0 -0,02

0 10 20 30 40 50 6 - - Я —V 0 70 80 *,с

а)

Ь)

Рис. 12. Графики ошибки определения скорости и суммарной ошибки в определении местоположения НПА в зависимости от времени для разработанной системы (а) и аналогичные ошибки для доплеровского лага (Ь)

технических работ. Разработанная система обеспечивает получение оценки перемещения НПА относительно заданного фиксированного кадра, указанного, например, оператором в процессе работы НПА. При исследовании работы алгоритмов в данном режиме на НПА работала только система технического зрения. Для выполнения эксперимента НПА вывешивался на тали и частично погружался в бассейн. Затем НПА фиксировался в положении равновесия и захватывался кадр, который принимался за исходный. В процессе эксперимента искусственно вводились возмущения в виде отклонения НПА от исходного положения. Результаты эксперимента подтверждают, что данный режим работы системы обеспечивает определение смещения НПА относительно фиксированного участка дна без накопления ошибки в зависимости от времени. На рис.13 показано отклонение местоположения НПА от исходной точки в зависимости от времени в режиме эпизодических искусственных возмущений. Продолжительность эксперимента составила около 20 минут. Видимая в кадре область дна равнялась около 80 см. (диагональ прямоугольника). Максимальные отклонения не превышали 30 см., т.е. область перекрытия последовательных кадров всегда составляла более 50%. После возвращения НПА в положение равновесия, ошибки в определении перемещения относительно исходного кадра составляли несколько миллиметров и не превышали 1 см. Следует отметить, что дорогостоящие прецизионные высокочастотные гидроакустические системы позиционирования, предназначенные для работы на коротких дистанциях (от десятков до единиц метров), обеспечивают точность стабилизации положения НПА порядка нескольких сантиметров.

Я, СМ. 30

25

20

1

1

i, с.

О

200 400 600 800 1000 1200

Рис. 13. Отклонение местоположения НПА от исходной точки в зависимости от времени в режиме эпизодических искусственных возмущений

В диссертационной работе получены следующие основные научные ре-

1. На основе анализа современных подходов к определению параметров движения объектов с использованием обработки видеоинформации, обоснован выбор подхода к определению параметров движения НПА, учитывающий особенности подводных видеоизображений.

2. Разработано и исследовано алгоритмическое обеспечение, предназначенное для решения задачи высокоточного определения параметров движения НПА на основе обработки видеоизображений, содержащих случайные объекты на морском дне, без применения искусственных маркеров. Разработанные алгоритмы устойчивы к колебаниям освещенности и низкой контрастности объектов на подводных изображениях.

3. Создан аппаратно-программный модуль, реализующий разработанное алгоритмическое обеспечение, который интегрирован в навигационно-управляющий комплекс НПА. Это позволило реализовать такие режимы управления, как прецизионное перемещение и зависание подводного аппарата над заданным донным объектом.

ЗАКЛЮЧЕНИЕ

зультаты:

4. В составе НПА TSL выполнены лабораторные и натурные испытания разработанного модуля высокоточного определения параметров движения на основе обработки видеоизображений. Испытания выявили работоспособность и более высокую точность модуля, по сравнению с современными системами определения параметров движения подводных объектов, а также подтвердили возможность определения смещения НПА относительно фиксированного участка дна без накопления ошибки.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. M.D.Ageev, A.A. Boreyko, V.E. Gornak, Yu.V. Matvienko, A.Ph. Scherbatyuk, Yu.V. Vaulin, V.V. Zalotarev. Modernized TSL-Underwater Robot for Tunnel and Shallow-Water Inspection. //Proc. of Intern. Conference. "Underwater Technologies -2000", Tokyo, 2000.

2. М.Д.Агеев, А.А.Борейко, В.Е.Горнак, Ю.В.Матвиенко, Ю.В.Ваулин, В.В.Золотарев, А.Ф.Щербатюк. Модернизированный TSL - подводный аппарат для работы на шельфе и в тоннелях. //В сб. "Морские технологии" Вып.З, Владивосток: Дальнаука, 2000 г. С. 23-38.

3. А.А.Борейко, А.Ф.Щербатюк. Об одном алгоритме определения параметров движения на основе обработки телевизионных изображений. //В сб."Морские технологии" Вып.З, Владивосток: Дальнаука, 2000 г. С. 68-79.

4. A.Ph. Scherbatyuk, A.A.Boreyko, Yu.V. Vaulin. AUV Operation Based on Video Data Processing: Some IMTP Experience. //Workshop on Sensors and Sensing Technology for Autonomous Ocean Systems. Hawaii, 2000.

5. А.А. Борейко Алгоритм определения параметров движения на основе обработки телевизионных изображений. //В сб. 4-я Дальневосточная конференция студентов и аспирантов по математическому моделированию. Тезисы докладов. Владивосток: Дальнаука, 2000. С. 31.

6. А.А. Boreyko, A.V. Zolotarev, A.Ph. Scherbatyuk " Real time digital photo system for semi AUV TSL", Proc. of the 13th Int. Symp. on Unmanned Untethered Submersible Technology, New Hampshire, 2003.

7. А.А. Борейко, Д.Я. Иваненко. Алгоритмы предобработки подводных изображений для СТЗ НПА. //Материалы международной научно-технической конференции «Технические проблемы освоения мирового океана», Владивосток: Дальнаука, 2007 г. С. 308-314.

8. А.А. Борейко, Д.А. Варламов. Формирование гидролокационных изображений дна в системе гидролокатора секторного обзора подводного аппарата. Материалы международной научно-технической конференции «Технические проблемы освоения мирового океана», Владивосток, Дальнаука, 2007 г. С. 315319.

9. Alexey A. Boreyko, Sergey A. Moun, Alexander Ph. Scherbatyuk Precise UUV positioning based on images processing for underwater construction inspection.

The 8th ISOPE Pacific/Asia Offshore Mechanics Symposium. Bangkok, Thailand, 2008.

10. А. А. Борейко, С. А. Мун, А. Ф. Щербатюк. Определение движения подводного аппарата на основе обработки видеоизображений. //"Мехатроника, автоматизация, управление" №8, 2008. С. 2-8 (приложения)

11. Н.Н. Лелюх, А.А. Борейко, Ю.В. Ваулин, С.В.Мальцева, В.И. Дулепов, А.Ф. Щербатюк. Результаты экологических исследований с использованием подводного аппарата в бухте Ларис. // Материалы докладов III Всероссийской науч.-техн. конференции "Технические проблемы освоения Мирового океана ". Владивосток: Дальнаука, 2009. С. 287-292.

12. А.А. Борейко, А.Ф. Щербатюк, А.А. Коваленко. О влиянии параметров движения АНПА и 3-х мерности рельефа дна на работу алгоритмов системы технического зрения. // Материалы докладов III Всероссийской науч.-техн. конференции "Технические проблемы освоения Мирового океана". Владивосток: Дальнаука, 2009. С. 383-387.

13. Е. П. Фомин, И. М. Евдокимов, А. А. Борейко Планирование испытаний подводной оптической измерительной системы. //Труды 2 научно-технической конференции «Инновационные технологии и технические средства специального назначения». Санкт-Петербург: БГТУ «Военмех», 2009 г.

14. Борейко А.А., Воронцов А.В., Кушнерик А.А., Щербатюк А.Ф. Алгоритмы обработки видео изображений для решения некоторых задач управления и навигации автономных необитаемых подводных аппаратов. // «Подводные исследования и робототехника». №1(9), 2010. С. 29-39.

Борейко Алексей Анатольевич

СИСТЕМА ОПРЕДЕЛЕНИЯ ПАРАМЕТРОВ ДВИЖЕНИЯ НЕОБИТАЕМОГО ПОДВОДНОГО АППАРАТА НА ОСНОВЕ ОБРАБОТКИ ВИДЕОИНФОРМАЦИИ

Автореферат диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 13.01.2011 Формат 60x84/16 Усл. печ. л. 1,33 Уч.-изд. л. 1,24 Тираж 100 Заказ 004 Типография ДВГТУ, 690990, г. Владивосток, ул. Пушкинская, 10

СОКРАЩЕНИЯ ЧАСТО ИСПОЛЬЗУЕМЫХ НАЗВАНИЙ.

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ МЕТОДОВ ОПРЕДЕЛЕНИЯ ПАРАМЕТРОВ ДВИЖЕНИЯ НА ОСНОВЕ ОБРАБОТКИ ТЕЛЕВИЗИОННЫХ ИЗОБРАЖЕНИЙ.

1.1. Методы, основанные на выделении признаков.

1.2. Корреляционные методы сопоставления текущего и эталонного изображений.

1.3. Методы, основанные на вычислении оптического потока.

1.4. Выводы по первой главе.

ГЛАВА 2. РАЗРАБОТКА АЛГОРИТМОВ ОПРЕДЕЛЕНИЯ

ПАРАМЕТРОВ ДВИЖЕНИЯ НПА С ИСПОЛЬЗОВАНИЕМ ВИДЕОИНФОРМАЦИИ.

2.1. Алгоритм, использующий информацию о форме границ донных объектов.

2.2. Алгоритм, использующий последовательные решения.

2.3. Алгоритм на основе детектора Харриса.

2.4. Исследование влияния параметров движения НПА и трех мерности рельефа дна на геометрические характеристики изображений донных объектов в системе технического зрения НПА.

2.5. Выводы по второй главе.

ГЛАВА 3. ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ И РЕЗУЛЬТАТЫ

НАТУРНЫХ ИСПЫТАНИЙ СИСТЕМЫ ЛОКАЛЬНОЙ НАВИГАЦИИ НПА

3.1. Структура навигационно-управляющего комплекса, предназначенного для локальной навигации НПА.

3.2. Реализация системы высокоточного определения параметров движения на основе системы технического зрения НПА TSL.

3.3. Результаты натурных испытаний системы высокоточного позиционирования НПА, использующей видеоинформацию.

3.4. Выводы по третьей главе.

Потребности в проведении глубоководных научных измерений, поиске глубоководных объектов, а также исследовании морских полезных ископаемых обусловили появление и развитие необитаемых подводных аппаратов. Наибольшее распространение получили три типа необитаемых подводных аппаратов (НПА): буксируемые, телеуправляемые и автономные. Работы по созданию и использованию автономных НПА в нашей стране были начаты в 1972 году под руководством М.Д. Агеева. Первоначально они велись в Институте автоматики и процессов управления Дальневосточного научного центра, ас 1988 года были продолжены во вновь организованном Институте проблем морских технологий ДВО РАН.

С помощью НПА в настоящее время выполняются обзорно-поисковые, обследовательские и картографические работы на больших глубинах и в условиях сложного рельефа дна, подлёдные работы, прокладка оптических кабелей, мониторинг состояния водной среды и экологической обстановки,, обследование водозаполненных тоннелей и многие другие [63, 2, 3]. Решение указанных задач требует перехода навигационного обеспечения НПА на новый качественный уровень. В связи с этим, актуальной является проблема повышения точностных характеристик бортовой навигационной системы (БНС) НПА. Высокоточное определение параметров движения НПА является важной задачей в процессе выполнения им целенаправленных поисковых движений при наличии внешних возмущений, а также при реализации режима позиционирования. Режим позиционирования предназначен для поддержания определенных местоположения и ориентации НПА и необходим при выполнении им операций, связанных с осмотром подводных сооружений, стыковкой, а также сбором данных вблизи дна [65, 74, 28, 36,

41, 44, 45, 51]. В последнее время все большее внимание разработчиков привлекает задача автоматической сшивки подводных изображений, для решения которой также необходимо прецизионное определение траектории движения НПА [19, 42, 52, 54].

Опыт разработки навигационных систем (НС) для НПА показывает, что в навигационном обеспечении современных многоцелевых аппаратов имеет место устойчивая тенденция к применению навигационных комплексов, в которых точность и надежность навигации обеспечиваются путем интегральной обработки информации от бортовых автономных, гидроакустических и спутниковых систем. Для достижения высокой точности навигации в алгоритмы БНС включаются циклы коррекции координат на основе позиционной информации для устранения накапливающейся погрешности счисления и сглаживания результатов траекторных измерений при наличии случайных и систематических ошибок навигационных данных. При разработке архитектуры бортового навигационного комплекса НПА необходимо учитывать ряд особенностей, в том числе требование минимизации габаритов, веса, энергопотребления и вычислительных ресурсов БНС.

Одним из наиболее емких источников позиционной информации являются системы технического зрения НПА. На сегодняшний день практически все современные НПА оборудованы различными системами технического зрения. В состав системы технического зрения НПА, как правило, входят гидролокаторы бокового, кругового и секторного обзора, фото и видео камеры, лазерные сканирующие системы.

Обычно визуальная навигация подразделяется на три уровня: дальняя, средняя и ближняя [89, 64]. На "дальнем" уровне сначала грубо выбирается маршрут движения с учетом данных о крупномасштабных свойствах местности и наличия вблизи маршрута характерных ориентиров. Далее в процессе движения выполняется сверка маршрута по карте путем визуального выделения характерных ориентиров и сличения их положения с соответствующими метками на карте. Собственное положение определяется относительно этих опознанных характерных ориентиров. Иначе процедуры данного уровня называют ориентированием на местности.

На "среднем" уровне выбирается направление движения на текущем участке местности. Размеры этой зоны ограничены дальностью действия локационных датчиков НПА. При выборе текущей траектории НПА учитываются такие факторы как безопасность движения (выбор зоны свободного пространства), близость к "генеральной" траектории движения и характерным ориентирам.

Ближняя" или локальная навигация подразумевает обеспечение высокоточного определения линейных и угловых скоростей перемещений НПА. Указанные параметры движения НПА определяются на основе анализа видеоинформации и данных от эхолота путем сопоставления последовательных кадров изображения, при этом учитываются микроособенности рельефа и донных объектов, расположенных непосредственно под НПА или вблизи него, этот уровень активизируется для стабилизации положения НПА при выполнении им прецизионных работ, например, при съемке или проведении монтажных работ посредством манипуляторов и т. д.

В настоящее время остается нерешенным вопрос точной локальной навигации НПА вблизи объекта работ в условиях воздействия внешних возмущений в виде подводного течения, морского волнения, силовых реакций со стороны кабеля или собственных механизмов (манипуляторов и т. д.). Высокоточное определение параметров движения необитаемого подводного аппарата является важной задачей при проведении операций, связанных с осмотром подводных сооружений, стыковкой с донной станцией, а также выполнением прецизионных измерений [6, 21].

Основная проблема обеспечения точной локальной навигации связана с отсутствием надежных измерителей локальных перемещений НПА. Попытки использовать в качестве датчиков обратных связей в контуре позиционирования НПА информацию о скорости перемещения от абсолютных гидроакустических лагов или о линейных ускорениях от устройств инерциальной навигации не обеспечивают требуемую точность. Также не обладают необходимой точностью и гидроакустические дальномерные системы подводной навигации. Именно поэтому чрезвычайно актуальны работы по поиску новых принципов построения систем локальной навигации.

В последние годы проводятся обширные исследования в области использования видеоинформации для решения задачи позиционирования НПА (S. Negahdaripour, J. Santos-Victor, Т. Ura, H. Singh, А.Ф.Щербатюк и др.)[62, 11, 14, 28, 30, 43, 46, 59, 81, 86, 87, 94]. Сложности формирования подводных изображений связаны с сильным затуханием света под водой, что уменьшает дальность действия видеосистем, и необходимостью использовать точечные источники освещения, что приводит к неравномерной подсветке донных объектов. В отличие от подобных сухопутных систем, в которых для навигации, как правило, используются изображения искусственных объектов с четкими границами, на подводных изображениях искусственные объекты заилены и подвержены обрастанию, что искажает границы и формы объектов. В связи с этим актуально решение поставленной в диссертации задачи определения параметров движения НПА на основе обработки последовательных видеоизображений, содержащих случайные объекты на морском дне, без применения искусственных маркеров. Традиционно применяемый в наземных системах метод оценки оптического потока сложно использовать под водой в условиях невысокой прозрачности воды и невысокой четкости изображений. В работе предложены алгоритмы, основанные на сопоставлении локальных признаков изображений донных объектов, которые более устойчивы к колебаниям освещенности и низкой контрастности объектов на изображения [65, 68, 69, 12, 10].

Целью работы является разработка и исследование алгоритмов автоматической локальной навигации НПА на основе обработки видеоинформации.

Основные задачи исследования: анализ современных методов определения параметров движения НПА с использованием видеоданных; разработка и исследование алгоритмов локальной навигации НПА на основе обработки последовательных видеоизображений с использованием модельных и реальных данных; разработка комплекса программ, реализующего работу предложенных алгоритмов в составе бортовой навигационной системы подводного аппарата; экспериментальная проверка и натурные испытания системы определения параметров движения КОПА, основанной на обработке видеоизображений.

Методы исследования. При выполнении работы применялись методы теории управления, распознавания образов, принятия решений, математического моделирования, теории фильтрации, а также производились лабораторные и морские эксперименты.

Положения, выносимые на защиту: алгоритмы локальной навигации НПА на основе обработки последовательных видеоизображений; программная реализация алгоритмов в составе НПА, обеспечивающая определение параметров движения НПА на основе обработки последовательных видеоизображений; результаты модельных исследований и натурных испытаний системы определения параметров движения НПА, основанной на обработке видеоизображений.

Научная новизна диссертационной работы заключается в том, что, на основании анализа современных методов и средств, разработаны и исследованы алгоритмы локальной навигации для нового класса транспортных систем - НПА - на основе обработки последовательных видеоизображений, которые характеризуются низкой контрастностью, высокой зашумленностью и отсутствием искусственных эталонных маркеров. Выполнены лабораторные и натурные испытания разработанной системы с использованием НПА ТБЬ, которые выявили ее более высокую точность по сравнению с современными системами определения параметров движения подводных объектов, а также подтвердили возможность, определения смещения НПА относительно фиксированного участка дна без накопления ошибки в зависимости от времени.

Практическая значимость работы заключается в разработке и реализации на борту НПА высокоточной системы определения параметров движения на основе обработки видеоинформации. Использование данной системы обеспечивает выполнение прецизионных операций при работе с использованием манипуляторов при применении телеуправляемых НПА, осуществление стыковки автономных НПА, а также высокоточное маневрирование их среди подводных конструкций. Система позволяет с высоким качеством стабилизировать положение НПА и выполнять измерения параметров водной среды и съемку подводных объектов. Работа выполнялась в рамках НИР «Разработка технологии создания интеллектуальных подводных роботов на основе реконфигурируемых системных архитектур и высокоточных методов навигации и управления» N гос. регистрации 01.2006 06513, а также при поддержке грантов N 050833333а, 060807501к, 060896928рофи и 070800596а.

Достоверность исследований обеспечивается обоснованием выбора используемых теоретических методов и подтверждается результатами модельных исследований и натурных испытаний.

Апробация результатов работы. Основные научные и практические результаты работы докладывались и обсуждались на научно-технических семинарах ИПМТ ДВО РАН, а также следующих международных и отечественных конференциях:

Workshop on Sensors and Sensing Technology for Autonomous Ocean Systems. Hawaii, Oct 29-Nov 03, 2000;

Underwater Technologies -2000", Tokyo, 22-25 May, 2000; 4-я Дальневосточная конференция студентов и аспирантов по математическому моделированию. Владивосток, 2000;

Вторая Международная НТК «Технические проблемы освоения Мирового океана», Владивосток, 2007;

The 8th ISOPE Pacific/Asia Offshore Mechanics Symposium. Bangkok, Thailand, November 10-13, 2008,

Третья Всероссийская НТК «Технические проблемы освоения мирового океана», Владивосток, 2009.

Публикация результатов работы. По теме диссертации опубликовано 14 печатных работ, из которых шесть работ - доклады на российских и четыре работы - доклады на зарубежных конференциях, две работы — в научных сборниках и две работы опубликованы в журналах из списка, рекомендованного ВАК.

Структура и объем работы: Диссертация состоит из введения, трех глав, заключения и списка литературы. Объём диссертации составляет 121 страницу, в том числе 32 иллюстрации. Список литературы включает 98 наименований.

3.4. Выводы по третьей главе

1. Разработана структура системы программного управления НПА ТБЬ, на основе которой реализованы алгоритмы формирования управления для выполнении прецизионного перемещения (единицы мм) и зависания НПА над донным объектом, работа которых основана на показаниях системы высокоточного определения параметров движения.

2. Разработаны алгоритмы предобработки изображений, которые подтвердили свою работоспособность на реальных снимках морского дна. Однако использование фиксированного порога в методе Канне, который был выбран в результате серии экспериментов, является целесообразным только для определенных «типов» морского дна. В дальнейшем предполагается реализовать процедуру адаптивного подбора этого порога. В качестве входных параметров для выбора адаптивного порога можно использовать промежуточные данные блока аппроксимации границ.

3. Разработан программный модуль, реализующий предложенные алгоритмы определения параметров движения НПА на основе обработки последовательных видеоизображений, который интегрирован в бортовой навигационно-управляющий комплекс НПА ТБЬ.

4. Выполнены лабораторные, с использованием реальных данных, и натурные (в составе НПА ТБЬ) испытания программной системы определения параметров движения на основе обработки последовательных видеоизображений, которые выявили работоспособность и высокую точность разработанной системы.

ЗАКЛЮЧЕНИЕ

В диссертационной работе на основании выполненных исследований получены научные результаты, изложены научно и экспериментально обоснованные технические решения, внедрение которых приведет к решению вопроса точной локальной навигации НПА вблизи объекта работ. Это позволит значительно облегчить работу операторов НПА при проведении операций, связанных с осмотром подводных сооружений, работой манипуляционного комплекса НПА, стыковкой с донной станцией, а также выполнением прецизионных измерений.

В диссертационной работе получены следующие основные научные результаты:

1. На основе анализа современных подходов к определению параметров движения объектов с использованием обработки видеоинформации, обоснован выбор подхода к определению параметров движения НПА, учитывающий особенности подводных видеоизображений.

2. Разработано и исследовано алгоритмическое обеспечение, предназначенное для решения задачи высокоточного определения параметров движения НПА на основе обработки видеоизображений, содержащих случайные объекты на морском дне, без применения искусственных маркеров. Разработанные алгоритмы устойчивы к колебаниям освещенности и низкой контрастности объектов на подводных изображениях.

3. Создан аппаратно-программный модуль, реализующий разработанное алгоритмическое обеспечение, который интегрирован в навигационно-управляющий комплекс действующего НПА. Это позволило реализовать такие режимы управления, как прецизионное перемещение и зависание подводного аппарата над заданным донным объектом.

4. В составе НПА Т8Ь выполнены лабораторные и натурные испытания разработанного модуля высокоточного определения параметров движения на основе обработки видеоизображений. Испытания выявили работоспособность и более высокую точность модуля, по сравнению с современными системами определения параметров движения подводных объектов, а также подтвердили возможность определения смещения НПА относительно фиксированного участка дна без накопления ошибки.

1. Ackerman F. High precision digital image correlation // IPSUS. 1984. №9. P. 231-243.

2. Ageev M.D. IMTP Experience in AUV Design and Operations. International Workshop on Mobile Robotics for Subsea Environments, Monterey, California, May3-6, 1994.

3. Ageev M.D., Boreyko A.A., Gornak V.E., Matvienko Yu.V., Scherbatyuk A.Ph., Vaulin Yu.V., Zolotarev V.V. Modernized TSL-Underwater Robot for Tunnel and Shallow-Water Inspection. //Proc. of Intern. Conference. "Underwater Technologies -2000", Tokyo, 2000.

4. Aggarwal, JK, Nandhakumar, N (1988). "On the Computation of Motion from Sequences of Images — A Review", Proc. IEEE, Vol. 76, pp.917-935.

5. Aguirre F., Boucher J., Hue J., Jacq J. Underwater Optical Navigation System: A New Concept. Conf. Proc. Marine Instrumentation'90, Feb. 27 -March 1, San Diego, California, 1990.

6. Allen B., Austin T. at al. Autonomous Docking Demonstrations with Enhanced REMUS Technology. Proceedings of the OCEANS 2006 MTS/IEEE Conference, September 18-21, 2006, Boston, USA.

7. Beghdadi A., Monteil J. A New Interpretation and Improvement of the Nonlinear Anisotropic Diffusion for Image Enhancement. IEEE Trans, on PAMI, vol.21, N9, 1999,pp.940-946.

8. Bernardino A., Gracias N. R. Santos-Victor J. and Zwaan S. Mosaic based navigation for autonomous underwater vehicles // IEEE Journal of Oceanic Engineering, vol. 28, p. 609-624, 2003.

9. Blokhinov, Y., Gribov, D. "A new approach to automatic junction of overlapping aerial imagery data", State Research Institute of Aviation System, Moscow, Russia, 2000.

10. Boreyko A.A., Scherbatyuk A.Ph., Vaulin Yu.V. AUV Operation Based on Video Data Processing: Some IMTP Experience. //Workshop on Sensors and Sensing Technology for Autonomous Ocean Systems. Hawaii, 2000.

11. Boreyko A.A., Scherbatyuk A.Ph., Zolotarev A.V. (2003). "Real time digital photo system for semi AUV TSL", Proc. of the 13th Int. Symp. on Unmanned Untethered Submersible Technology, New Hampshire, USA.

12. Boreyko Alexey A., Moun Sergey A., Scherbatyuk Alexander Ph. Precise UUV positioning based on images processing for underwater construction inspection. The 8th ISOPE Pacific/Asia Offshore Mechanics Symposium. Bangkok, Thailand, 2008.

13. Burns J., Hanson A., Riseman E. Extracting Straight Lines // IEEE Trans. On Patt. Analysis and Machine Intel. 1986. V. 8, №4. P. 425-455.

14. Campani M., Giachetti A., Torre V. The use of optical flow for the autonomous navigation. In Proceedings of Third European Conference on Computer Vision.

15. Chellappa R. and Qinfen Zheng Automatic feature point extraction and tracking in image sequences for arbitrary camera motion // International Journal of Computer Vision. June 1995. V. 15(1-2). P. 31-76.

16. Chin T.M., Karl W.C., Willsky ,4.S. Probabilistic and sequential computation of optical flow using temporal coherence // IEEE Transactions on Image Processing. 1994. V.3(6). P. 773-88.

17. Cipolla R., Lawn J. Camera motion determination from dynamic perceptual grouping of line segments. In Proceeding of the 5th British Machine Vision Conference, V. 812 of 2, pages 711-20, September 1994.

18. Davies E.R. Machine Vision: Theory, Algorithms, Practicalities. Academic Press. 2-nd Edition, San Diego, 1997. P. 750.

19. Distante C., Indiveri G., Leone A., Mastrolia A. "A fully automated approach for underwater mosaicking". Proceedings of the OCEANS 2006 MTS/IEEE Conference, September 18-21, 2006, Boston, USA.

20. Eustice R., Pizarro O., Singh H. Visually Augmented Navigation for Autonomous Underwater Vehicles. IEEE J. Oceanic Eng., vol. 33, no. 2, pp. 103— 122, Apr. 2008.

21. Evans J., Lane D. at al. Autonomous docking for intervention-auvs using sonar and video-based real-time 3d pose estimation. Proceedings of the UUST 2003, August 24 27, 2003, Durham, New Hampshire, USA.

22. Fischl B., Schwartz E. Adoptic Nonlocal Filtering: A Fast Alternative to Anisotropic Diffusion for Image Enhancement. IEEE Trans, on PAMI, vol.21, N1, 1999, pp.42-48.

23. Fischl B., Schwartz E. Learning on Integral Equation Approximation to Nonlinear Anisotropic Diffusion in Image Processing. IEEE Trans, on PAMI, vol.19, N4, 1997, pp.342-352.

24. Fisher R.B., Fitzgibbon A.W., Pilu M. Direct Least Squares Fitting of Ellipses. IEEE Trans. PAMI, Vol. 21, pages 476-480, 1999.

25. Forstner W. Mid-level vision processes for automatic building extraction, Automatic Extraction of Man-Made Objects from Aerial and Space Images. Birkhauser Verlag, Basel, 1995. P. 179-188.

26. Freeman H. and Chakravarty. The use if characteristic views in the recognition of three- dimensional objects. In E.Gelsema and Kanal (Eds.), Pattern Recognition in Practice. Amsterdam: North-Holland, 1980.

27. Gonzalez R. and Woods R. Digital Image Processing (editors) — 2nd edition, Prentice Hall, 2002.

28. Grosset D., Sotiropoulos P. at al. AUV docking system for existing underwater control panel. Proceedings of the OCEANS 2009 IEEE Conference, May 11-14, 2009, Bremen, Germany.

29. Gruen A. Adaptive Least Squares Correlation: A powerful imagematching technique // South African Journal of photogrammetiy, Remoute Sensing and Cartography. 1985. V. 14, Part 3. June.

30. Gruen A., Baltsavias E. Adaptive least squares con-elation with geometrical constraints. SPIE. 1985. V.595. P. 72-82.

31. Haralick R.M. and Shapiro L. G. Machine vision. — Addison-Wesley, 1991.

32. Heeger D.J. Optical flow using spatiotemporal filters // International Journal of Computer Vision. 1987. V 1(4). P. 279-302.

33. Hildreth E.C. Computations underlying the measurement of visual motion // Artificial Intelligence. August 1984. V.23(3). P. 309-54.

34. Horn B.K.P., Shunck B.G. Determining optical flow // Artificial Intelligence. August 1981. V. 17(1-3). P. 185-203.

35. Insarov V., Fedosov E. The structural and statistical algorithm for recognition of images of 3D-Scenes. 1 International Conference on Information Technologies for Images Analysis and Pattern Recognition. ITIAPR-90 г., Львов

36. Jain R, Shah M.A. Detecting time-varying corners // Computer Vision, Graphics, and Image Processing. December 1984. V. 28(3). P. 345-55.

37. Jain R., Sethi I. K. Finding trajectories of feature points in a monocular image sequence // IEEE (Transactions on Pattern Analysis and Machine Intelligence). January 1987. V.9(l). P. 56-73.

38. Jain A. K. Fundamentals of Digital Image Processing. — Prentice-Hall International Editions. 1989.

39. John Canny. A Computation Approach to Edge Detection. // IEEE Transaction on Pattern Analysis and Machine Intelligence. №6. vol. pami-8 November 1986. pp. 679-698.

40. Jun B.H., Park J.Y. at al. Improvement of vision guided underwater docking for small AUV ISiMI. Proceedings of the OCEANS 2009 MTS/ÏEEE Conference, October 26-29, 2009, Biloxi, USA.

41. Kanatani K., Kanazawa Y. "Image mosaicing by stratified matching", Image and Vision Computing 22 (2004) 93-103.

42. Kondo H., Maki T., Sakamaki T. and Ura T. (2006). "Navigation of an autonomous underwater vehicle for photo mosaicing of shallow vent areas" Int. Conf. Proc. of OCEANS'06, Sept. 18-21, Boston, USA.

43. Krupinski S., Maurelli F. at al. Towards AUV docking on sub-sea structures. Proceedings of the OCEANS 2009 IEEE Conference, May 11-14, 2009, Bremen, Germany.

44. Malik J., Perona P. Scale-Space and Edge Detection Using Anisotropic Diffusion. IEEE Trans, on PAMI, vol.12, N7,1990, pp.629-639.

45. Michael Carsten Bosse. A Vision Augmented Navigation System for an Autonomous Helicopter. Thesis. Boston University. College of Engineering. 1997.

46. Negahdaripour S. at al (2003). "An Integrated Vision-Based Positioning System for Video Stabilization and Accurate Local Navigation and Terrain Mapping", Int. Conf. Proc. of OCEANS'03, Sept. 22-26, San Diego, USA.

47. Negahdaripour S., Xu X., Jin L. Detect Estimation of Motion from Sea Floor Images for Automatic Station-Keeping of Submersible Platforms. IEEE Journal of Oceanic Engineering N3, 1999, pp.370-382.

48. Nitzberg M., Shiota P. Nonlinear Image Filtering with Edge and Corner Enhancement. IEEE Trans, on PAMI, vol.14, N8, 1992, pp.826-833

49. Palmer T., Ribas D. at al. Vision Based Localization System for AUV Docking on Subsea Intervention Panels. Proceedings of the OCEANS 2009 IEEE Conference, May 11-14, 2009, Bremen, Germany.

50. Pizarro O., Singh. H. Toward Large-Area Mosaicing for Underwater Scientific Applications. IEEE Journal of Oceanic Engineering, vol. 28, No 4, October 2003.

51. Prazdny K. On the information in optical flow 11 Computer Vision, Graphics, and Image Processing. May 1983. V.22(2). P. 239-59.

52. Rendas Maria-Joao "Construction of video mosaics using the Minimum Description Length". Proceedings of the OCEANS 2006 MTS/IEEE Conference, September 18-21, 2006, Boston, USA.

53. Schenk, Automatic Generation of DEM's, Digital Photogrammetry: An Addentum to the Manual of Photogrammetry. — American Society for Photogrammetry & Remote Sensing, 1996. P. 145-150.

54. Scherbatyuk A.Ph. Comparison of Methods for Identifying Objects with Rectilinear Edges on Underwater Video Images. Pattern Recognition and Image Analysis, Vol.8, N 3, 1998, pp. 467 469.

55. Ura Т., Yu S. at al. Navigation of Autonomous Underwater Vehicle based on image recognition of Artificial Underwater Landmarks. Proceedings of the UUST 2001, August 24 27, 2001, Durham, New Hampshire, USA.

56. Walker E.L., Herman M. Geometric Reasoning for Constructing 3D Scene Descriptions from Images // Artifical Intellgence. 1988. V. 37, № 1-3.

57. Zheltov S. Yu., Sibiryakov A. V. Adaptive Subpixel Cross-Correlation in a Point Correspondence Problem, Optical 3D Measurement Techniques / Eds. by A. Gruen, O. Kuhbler, Zurich, 29 September-2 October, 1997. P. 86-95.

58. Zuniga O.A. and Haralick R.M. Corner detection using the facet model. — Proc. IEEE Comput. Vision Pattern Recogn. Conf., 1983. P. 30-37.

59. Аггарвал Дж., Наидхакумар K.H. Определение параметров движения по последовательности изображений: Обзор, ТИИЭР, N8, 1988, с.69-89.

60. Агеев М.Д., Борейко А.А., Ваулин Ю.В., Горнак В.Е., Золотарев В.В., Матвиенко Ю.В., А.Ф.Щербатюк. Модернизированный TSL -подводный аппарат для работы на шельфе и в тоннелях. //В сб. "Морские технологии" Вып.З, Владивосток: Дальнаука, 2000 г. С. 23-38.

61. Алгоритмы визуальной автономной навигации. ЭИ «Робототехника» 1987 №35.

62. Борейко A.A., Мун С.А., Щербатюк А.Ф. Определение движения подводного аппарата на основе обработки видео изображений. Мехатроника, автоматизация и управление, N8, 2008, Приложение с. 2-8.

63. Борейко A.A., Щербатюк А.Ф. Об одном алгоритме определения параметров движения на основе обработки телевизионных изображений. Морские технологии. Вып.З. Владивосток: Дальнаука, 2000, с.68-79.

64. Бочкарев A.M. Корреляционно-экстремальные системы навигации // Зарубежная радиоэлектроника. 1981. №9. С. 28-53.

65. Ван Трис Г. Теория обнаружения, оценок и модуляции. — М.: Советское радио, 1972. Т. 1. с.344. Василенко Г. И., Цибулькин JIM. Голографические распознающие устройства. — М.: Радио и связь, 1985. 312 с.

66. Василенко Г.И., Цибулькин JI.M. Голографические распознающие устройства. — М.: Радио и связь, 1985. 312 с.

67. Васильев В.И. Распознающие системы: Справочник. — Киев: Наукова думка, 1983, с.424.

68. Ваулин Ю.В., Щербатюк А.Ф. Система отслеживания протяженных объектов на основе ТВ информации для подводного робота. //В сб. "Морские технологии" Вып.З, Вла-дивосток: Дальнаука, 2000 г. С. 23-38.

69. Владимиров Н.В., Кузнецов П.К., Семовин В.И. Оценивание скорости по характеристикам последовательности кадров телевизионного изображения. Изв. вузов. Приборостроение, 1997, N2, сс.58-61.

70. Горелик А.Г., Скрипкин В.А. Методы распознавания. — М.: Высшая школа, 1984. 208 с.

71. Денисов Д.А., Низовкин В.А. Сегментация изображений на ЭВМ // Зарубежная радиоэлектроника. 1985. № 10.

72. Дуда Р., Харт П. Распознавание образов и анализ сцен: Пер. с анг. — М.:Мир, 1976. 511 с.

73. Инсаров В.В., Себряков Г.Г., Высокоточное управление JIA с использованием технологий компьютерного зрения // Вестник компьютерных и информационных технологий. М.: Машиностроение. 2004. № 1. С. 5-14.

74. Красовский A.A. Белоглазов И.Н. Чигин Г.П. Теория корреляционно-экстремальных навигационных систем. М: Наука 1979.

75. Методы компьютерной обработки изображений / Под ред. Сойфера В. В. — 2-е изд. —М.: Физматгиз, 2003. 783 с.

76. Обухов Д.А., Щербатюк А.Ф. Исследование методов фильтрации, сохраняющих резкие перепады двумерного сигнала, применительно к обработке подводных изображений // Морские технологии. Вып. 4. Владивосток: Дальнаука, 2001, с. 91-101.

77. Павлидис Т. Алгоритмы машинной графики и обработки изображений: Пер. с анг. — М.: Радио и связь, 1986. 400 с.

78. Перетяган Г.И., Попов С.А. Алгоритм сглаживания зашумленных изображений с сохранением резких перепадов двумерного сигнала. Автометрия, N1,1996, сс.64-71.

79. Прэтт У. Цифровая обработка изображений: Пер. с анг. — М.: Мир, 1982. 1 кн. 525 е., 2 кн. - 474 с.

80. Розенфельд А. Машинное зрение: Основные принципы // ТИИЭР. 1988. Т. 76. №8.

81. Розенфельд А. Распознавание и обработка изображений с помощью вычислительных машин: Пер. с анг. —М.: Мир, 1972. 230 с.

82. Рубцов А.В., Тришечкин С.И., Ходкин А.С. Определение параметров движения телевизионной камеры по интегральным характеристикам изображений. М.: НИИ СМ МГТУ им. Баумана, 2005.

83. Стереозрение и навигация мобильного робота в задании. ЭИ «Робототехника» 1989 №23.

84. Ульман ИГ. Принципы восприятия подвижных объектов. М: Радио и связь 1983.

85. Управление и наведение беспилотных маневренных летательных аппаратов на основе современных информационных технологий / Под ред. Красилыцикова М.Н. и Себрякова Г.Г. — М.: Физматлит, 2003. — 280 с. — 1BSN 5-9221-0409-8.

86. Форсайт Дэвид А., Понс Жан. Компьютерное зрение. Современный подход.: Пер. с англ. — М.: Издательский дом «Вильяме», 2004. — 928 е.: ил. — Парал. тит. англ.

87. Хорн Б.К. Зрение роботов. М.: Мир, 1989. 487 с.

88. Щербатюк А.Ф. Определение смещения и разворота автономного подводного робота над грунтом по данным видеосистемы // Всб. "Подводные роботы и их системы", Владивосток: ДВО АН СССР, 1990, с.84-94.

89. Щербатюк А.Ф. Сравнение методов выделения объектов с прямолинейными границами на подводных видео изображениях. РОАИ'97, 1997.

90. Ярославский Л.П. Введение в цифровую обработку изображений // М: Советское радио, 1979, 312 с.

91. Ярославский Л.П. Точность и достоверность измерения положения двумерного объекта на плоскости // Радиотехника и электроника. 1972. №4.

92. Ярославский Л.П. Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. — М.: Радио и связь, 1987. 296 с.ч