автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Математическое и алгоритмическое обеспечение систем управления видеокамерой беспилотных летательных аппаратов

На правах рукописи

Абрамов Николай Сергеевич

МАТЕМАТИЧЕСКОЕ И АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ СИСТЕМ УПРАВЛЕНИЯ ВИДЕОКАМЕРОЙ БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

05.13.01 - Системный анализ, управление и обработка информации (информационно-вычислительное обеспечение)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

21 НОЯ 2013

005539260

г. Переславль-Залесский - 2013

005539260

Работа выполнена в Исследовательском центре мультипроцессорных систем Федерального государственного бюджетного учреждения науки (ФГБУН) Института программных систем им. А.К. Айламазяна Российской академии наук (ИПС им. А.К. Айламазяна РАН)

Научный руководитель:

доктор технических наук, профессор, Хачумов Вячеслав Михайлович, заведующий лабораторией 0-4 «Методы интеллектуального управления» ФГБУН Института системного анализа Российской академии наук (ИСА РАН), г. Москва

Официальные оппоненты:

Ведущая организация:

доктор технических наук,

Славин Олег Анатольевич, заведующий лабораторией 9-4 «Дискретные методы в управлении» ФГБУН Института системного анализа Российской академии наук, г. Москва

доктор технических наук, профессор, Морозова Татьяна Юрьевна, заместитель заведующего кафедрой «Автоматизированные системы управления и информационные технологии» Федерального государственного бюджетного образовательного учреждения высшего

профессионального образования «Московский государственный университет приборостроения и информатики», г. Москва

ФГБУН Институт проблем управления им. В.А. Трапезникова Российской академии наук, г. Москва

Защита состоится «19» декабря 2013 г. в 11:00 часов на заседании диссертационного совета Д 002086.02 при ФГБУН Институте системного анализа Российской академии наук по адресу: 117312, Москва, проспект 60-летия Октября, 9.

С диссертацией можно ознакомиться в библиотеке Федерального государственного бюджетного учреждения науки (ФГБУН) Института системного анализа Российской академии наук.

Автореферат диссертации разослан « а .» ноября 2013 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, направлять по адресу: 117312, Москва, проспект 60-летия Октября, 9, ученому секретарю диссертационного совета Д 002086.02.

Ученый секретарь диссертационного совета, доктор технических наук, профессор

А.И. Пропой

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования

Актуальность темы и ее научная новизна определяются потребностью создания и оснащения малых летательных аппаратов, в том числе автономных беспилотных (БПЛА), многофункциональными системами технического зрения (СТЗ) на основе видеокамер. Подобные СТЗ должны решать задачи, свойственные современным обзорно-прицельным системам, с учетом условий выполнения полета по заданной траектории при наличии препятствующих факторов и ограничений. В перечень важнейших решаемых задач входят: выделение, распознавание и слежение за целевыми объектами, определение местоположения и ориентации летательных аппаратов, высокоточное наведение камеры в точку возможной встречи двух летательных объектов и многие другие. Вопросы обработки видеоданных и распознавания образов активно развивались в работах Ю.И.Журавлева, В.Н.Вапника, О.А.Славина, Т.Ю.Морозовой, О.Ьо\уе, Т.Капаск, А.СезеП1, Е.Ргоп1ош и др. Методы управления видеокамерой рассматривались в работах С.П.Фирсова, А.В.Хамухина, Н.В.Птицына, Б.Уоив, и др.

Существенный вклад в теорию интеллектуального управления динамическими системами внесли: А.Н.Аверкин, В.Н.Вагин, В.В.Емельянов, А.Г.Еремеев, А.Н.Мелихов, Г.С.Осипов, Д.А.Поспелов и др.

Известны обзорно-прицельные системы больших летательных аппаратов, которыми занимаются в основном военные ведомства разных стран. Подобные устройства в задачах нацеливания, как правило, основываются на лазерных и тепловизорных указателях, как, например, в системе «Пейв Спайк» самолета Р-4 и «Пейв Тек» самолета Р-111Б, а также в отечественных самолетах и вертолетах. Большое внимание в последнее время уделяется проблеме построения «интеллектуальных систем видеонаблюдения», способных комплексно решать задачу слежения за целью в автоматическом режиме. Подобными технологиями занимаются, например, в компании «Синезис», где создается поколение стационарных роботизированных камер. В ходе исследований были разработаны основы систем предобработки, выделения и распознавания образов на видеокадрах, управления видеокамерами различных конструкций, построены элементы теории интеллектуального управления динамическими объектами, предложены общие схемы построения прикладных интеллектуальных систем. Однако многие задачи для малых аппаратов остались не до конца решенными, что препятствует созданию автономных измерительно-управляющих систем на основе технического зрения, в частности, задачи определения местоположения и ориентации БПЛА на основе одиночной видеокамеры, как альтернативы системам позиционирования СРЗ/Глонасс; распознавания и высокоточного автоматического наведения видеокамеры на подвижные объекты в реальном времени при ограничениях на вычислительные ресурсы, построения эффективного математического и

алгоритмического обеспечения для бортовых систем автоматического управления автономных БПЛА и установленных на них видеокамер.

Особое внимание уделяется алгоритмам улучшения качества снимков, точностным и скоростным характеристикам наведения, анализа и интерпретации видеопотока, которые должны обеспечивать решение задач выделения, распознавания, позиционирования и слежения. Несмотря на удачные аэродинамические и компоновочные решения отечественные разработки по оснащению БПЛА пока проигрывают зарубежным в части целевой нагрузки, навигационной аппаратуры и бортового оборудования. Поэтому исследование и разработка методов автоматической обработки информации и управления видеокамерой при имеющихся ограничениях на бортовые вычислительные средства БПЛА является крайне актуальным и востребованным направлением для отечественной науки. Для обеспечения требуемых показателей требуется создание математического, алгоритмического и программного обеспечения, способного выполнять основные функции анализа и управления. Объект исследования

Объектом исследования является система технического зрения БПЛА, построенная на основе одной поворотной видеокамеры. Предмет исследования

Предметом исследования является математическое и алгоритмическое обеспечение для решения задачи обработки видеоинформации и управления видеокамерой, обеспечивающие автономную работу системы технического зрения.

Цель и задачи

Целью диссертационной работы является разработка математического и алгоритмического обеспечения систем технического зрения (СТЗ) на основе одиночной видеокамеры БПЛА, обеспечивающего решение комплекса задач обработки видеопотока. Указанная цель достигается решением следующих задач:

1) разработка алгоритма улучшения качества снимка;

2) разработка алгоритмов распознавания и определения расстояний до объектов;

3) разработка метода и алгоритма перевода камеры из текущей точки наблюдения в заданную, и нацеливания видеокамеры с опережением в задачах преследования подвижной цели;

4) разработка математических моделей и методов интеллектуального управления БПЛА и видеокамерой, установленной на БПЛА;

5) разработка и исследование программного комплекса, реализующего алгоритмы СТЗ.

Научная новизна

- Разработан алгоритм улучшения качества снимка по серии смежных кадров видеоряда, отличающийся от известных методов фильтрации искажений отсутствием необходимости настройки параметров и сканирования окном, что увеличивает скорость обработки;

- Разработаны и исследованы алгоритмы распознавания и вычисления расстояний до объекта с помощью одиночной видеокамеры, основанные на модификации метода инвариантных моментов и отличающиеся новым способом масштабирования с пониженной степенью характерного параметра размера изображения, что повышает скорость обработки и позволяет обоснованно выбирать отдельные инварианты на основе выполненной оценки их чувствительности;

- Разработан алгоритм управления одиночной видеокамерой с двумя степенями свободы, обеспечивающий высокоточное нацеливание в заданную точку наблюдения, в отличие от известных алгоритмов решения задач наведения видеокамер в заданный квадрат;

- Разработан оригинальный алгоритм управления динамической системой «БПЛА-видеокамера» на основе продукционных правил для одновременного решения задач проводки по маршруту при наличии ветровых нагрузок и слежения с опережением за динамическими объектами.

Достоверность

Достоверность полученных результатов обеспечивается использованием математического аппарата аналитической геометрии и машинной графики, методов искусственного интеллекта, теории управления, теории алгоритмов и структур данных, методов математического программирования, имитационным моделированием на ЭВМ в среде МАТЬАВ и экспериментальными исследованиями на испытательном стенде.

Теоретическая и практическая ценность работы

Полученные в диссертационной работе научные результаты позволяют в комплексе решать актуальные задачи управления видеокамерами и обработки потоков видеоинформации с использованием бортовых ЭВМ. Выведены аналитические формулы для точного нацеливания видеокамеры на заданную точку наблюдаемой поверхности. Построена модель управления БПЛА в задачах преследования-убегания, проводки по маршруту и наблюдения за объектом. Разработанные алгоритмы измерения расстояния до объекта, распознавания и наведения могут применяться на борту БПЛА при решении задач определения местоположения и преследования-убегания. Практическую ценность представляет алгоритмическое и программное обеспечение, а также разработанный стенд, позволяющий проводить отладку и исследование алгоритмов управления видеокамерой для распознавания и нацеливания до их практического применения.

Работа выполнена в рамках Госбюджетной НИР ИПС им. А.К. Айламазяна РАН, проекта №2.10 «Методы автоматического позиционирования и интеллектуального управления беспилотными летательными аппаратами на основе средств технического зрения» по Программе фундаментальных исследований ОНИТ РАН «Интеллектуальные информационные технологии, системный анализ и автоматизация», а также в рамках проектов РФФИ № 13-07-00025 А «Исследование методов анализа интегрированной текстовой, графической и речевой информации в системах интеллектуального управления динамическими объектами» и № 12-07-

00205-а «Разработка новых способов решения задач управления движениями космических аппаратов на всех этапах полетов и оперативного отображения получаемых результатов на основе методов годографов и когнитивной графики».

Методы исследования

Поставленные задачи решались с использованием аппарата математической логики, методов системного анализа, методов искусственного интеллекта, теории управления, теории алгоритмов и структур данных, методов математического программирования и имитационного моделирования.

Положения, выносимые на защиту

1. Метод улучшения качества снимка по серии смежных кадров видеоряда, обеспечивающий высокую скорость устранения помех.

2. Алгоритмы распознавания и измерения расстояний до объектов на основе метода инвариантных моментов с предложенной новой системой масштабирования и оценкой устойчивости моментов к помехам.

3. Алгоритм управления видеокамерой с двумя степенями свободы, обеспечивающий высокоточное и быстрое нацеливание в заданную точку наблюдения.

4. Метод управления системой БПЛА-видеокамера для проводки по заданному маршруту при условии наличия ветровых нагрузок и нацеливания на заданный объект, в том числе с опережением.

5. Программный комплекс, реализующий разработанные алгоритмы системы технического зрения.

Апробация результатов исследования

Основные результаты работы докладывались и обсуждались на следующих конференциях:

1) V Всероссийская научно-техническая конференция «Актуальные проблемы ракетно-космического приборостроения и информационных технологий», Москва, ОАО «Российские космические системы», 2012 г.

2) Международная молодежная конференция «Информационные системы и технологии», Москва, Конгресс-центр Московского технического университета связи и информатики, 2012 г.

3) Научная сессия НИЯУ МИФИ-2013, Москва, НИЯУ МИФИ, 2013 г.

4) XIII Международная конференция по вычислительной механике и современным прикладным программным системам, Крым, 2013 г. Алгоритмическое и программное обеспечение прошло апробацию в

ИПС им. А.К. Айламазяна РАН, ИСА РАН. Публикации

Основные результаты диссертации отражены в десяти печатных работах, в том числе, в трудах четырех научных конференций и пяти статьях в изданиях, включенных в перечень рецензируемых научных журналов, рекомендованных ВАК.

Структура и объем диссертации

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и двух приложений. Общий объем основного текста диссертации составляет 134 страницы, список литературы состоит из 80 наименований. В работе содержится 52 рисунка и 15 таблиц.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы, сформулированы цель и задачи исследования, определена научная новизна, перечислены практические результаты, приведены данные об апробации результатов, структуре и объеме диссертации.

В первой главе выполнен анализ и приведена классификация отечественных беспилотных летательных аппаратов и их бортовых систем технического зрения. Рассмотрена замкнутая схема управления, реализующая движение БПЛА по заданной траектории. Дана постановка задачи диссертационной работы.

Рассматриваемые в диссертационной работе задачи сконцентрированы вокруг двух основных взаимосвязанных и пока до конца не решенных проблем, имеющих отношение к построению современных обзорно-прицельных устройств малых летательных аппаратов, решение которых существенно продвигает развитие математического и алгоритмического обеспечения в направлении интеллектуализации автономных систем управления БПЛА, к ним относятся:

1. Проблема построения математического и алгоритмического обеспечения системы технического зрения на основе одиночной видеокамеры для решения комплекса задач предварительной обработки, обнаружения и распознавания целей на борту летательного аппарата при наличии баз данных о целевых объектах;

2. Проблема построения математического и алгоритмического обеспечения управления системой «БПЛА-видеокамера» в процессе проводки по заданному маршруту в условиях случайных ветровых нагрузок, решение которой, в свою очередь, требует построения точных алгоритмов нацеливания и разработки, достаточно простых правил управления БПЛА и камерой с прогнозированием движения БПЛА и проверкой условий на опережение.

Показано, что из существующих способов управления БПЛА наиболее перспективным является обеспечение полностью автономного полета по заданной траектории со стабилизацией углов ориентации. Повышение надежности и эффективности автономных БПЛА связано, в частности, с уменьшением или полным устранением зависимости алгоритмов навигации и управления БПЛА от сигналов ГЛОНАССЛЗРЗ, служащих сегодня основным источником навигационных данных для БПЛА. На рисунке 1а приведена замкнутая схема управления, реализующая движение БПЛА по некоторой траектории (*'(/), у '(')■ - '(')). согласно полетному заданию (х(1), >'(/), г(/)). Интеллектуализация управления заключается в определении пространственного местоположения БПЛА относительно внешней системы

координат или статического положения наблюдаемого объекта на основе видеоданных, выделении и распознавании целевых объектов и использовании базы знаний для выработки управления камерой и БПЛА в целом (рисунок 1 б)._

БПЛА (модель)

їм

Позиционирование 4

Выбор стратегии

• Стратеги I

• Стратега» ?

Продукционные правила

• Правило 1

• Праыето 2

а) б)

Рисунок 1 — Схемы навигации и интеллектуального управления БПЛА

Вторая глава посвящена разработке математического и алгоритмического обеспечения для системы технического зрения, основанного на одиночной поворотной камере, для решения задач улучшения качества снимка, распознавания, определения расстояния до объекта и точного наведения видеокамеры на объект.

Метод улучшения качества снимка

Предполагается, что на каждом кадре серии смежных кадров, сделанных с малым временным шагом, функция яркости в каждом пикселе J{t) - гладкая. Если задать шаг времени съемки, например, /г/2, то, разложив в ряд Тейлора значения функции яркости в двух смежных кадрах, получим два уравнения (1):

fit + h) = fit) + f\i)h + f(t)h2 / 2 + О, (A2), 1)

fit + M 2) = /(f) + f\t)h!2 + f"(t)h2 / 8 + 02 (h2).

Объединим уравнения в линейное выражение (2) и находим коэффициенты:

af(t + h) + p/(f + h / 2) = a(/(f) + f\t)h + f"(t)h2 / 2 + O, (h2)) + P(f(t)+fXt)h/2 + f(t)h2/8 + 02(h2)) = (a + P)f(t) + /'(f)A(a + p/2) + 0,№2). Если a+p = l и a+p/2 = 0, то:

a/(f+h)+p/(f + h / 2) - /(f) = О, (h2), fit) = - fit + h) + 2 fit + h/2)-Oiih2).

Таким образом, используя информацию о яркости пикселей смежных кадров, можно уточнить значение функции яркости на предыдущем кадре. Алгоритм строится следующим образом:

1) на вход алгоритма подается множество к снимков, сделанных за время И, и задается временной шаг съемки;

2) на всех снимках фиксируется одна и та же опорная точка;

3) на всех снимках множества в каждом пикселе опорной точки определяется значение функции яркости;

4) вычисляются коэффициенты, Ц;,/= !,...,£, на основе которых определяется приближенное представление функции^*) в виде (3):

/4(^ = 2>,/(<Л); (3)

5) на выход алгоритма подается построенный кадр видеоряда в соответствии с шагом 4.

Алгоритм распознавания предназначен для распознавания полутоновых объектов на основе инвариантов Ху. База снимков содержала по тысяче контуров объектов каждого класса. Образцы получены путем фотографирования объектов под разными ракурсами и с разных расстояний с помощью видеокамеры.

Алгоритм распознавания следующий:

1. На вход алгоритма подается сформированная заранее база данных по исследуемым объектам с вычисленными инвариантами;

2. Получение очередного кадра с видеокамеры;

3. Предобработка кадра:

a. Фильтрация шумов методом гауссовского размытия;

b. Повышение контрастности;

c. Нахождение контуров в кадре;

4. Вычисление инвариантов для каждого контура;

5. Вычисление расстояния между парой объектов л (эталонный объект) и В (объект в кадре). Вычисление может проводиться по разным формулам, например (4):

т,(А)-т,(в)

1(А.В)= £

(4)

ш,(А)

где ті(А)=8і§р(м;(А))-1п|м;(А]|), ті(в) = 5ІЄі(м;(в)) іп|м;(в)(), М\ _ соответствующий инвариант;

6. На выход алгоритма выдается результат распознавания, зависящий от заранее заданного критерия (например, величине 1(А,В)) близости объекта в кадре к эталонному.

В вычислении расстояния между объектами может использоваться любое подмножество инвариантов, выбор которого производится с учетом

проанализированной чувствительности моментов к погрешности измерений 5, приведенной в таблице. Здесь г -размер изображения на экране.

Таблица - Оценка чувствительности и нормализация моментов

Моменты М, М2 М3 М, М5 м6 М7

Оценка чувствительности 52 54 б6 б6 512 56 512

Общепринятая нормализация - М2/г4 М3/г6 М4/Г6 М5/г12 Мб/г8 М7/г12

Предложенная нормализация - М2/г4 М3/г4 М4/Г4 М5/г8 Мб/г6 М7/г8

Результаты экспериментов показали, что точность и полнота распознавания не ниже 92%, причем, ошибки могут быть скомпенсированы за счет того, что в реальной ситуации камера делает несколько десятков кадров в секунду. Видеоряд дает дополнительную информацию, и правильное распознавание обеспечивается сопоставлением нескольких результатов обработки одного и того же объекта в кадрах.

Алгоритм измерения расстояния позволяет определять расстояние от видеокамеры до подстилающей поверхности на основе инвариантных моментов, извлекаемых из бинарных и полутоновых изображений при условии обнаружения наблюдаемого объекта. Используются центральные моменты (5):

(5)

г у

гдеp+q<X х,у — это центр тяжести. В работе Dudani, SahibsinghА., Breeding, Kenneth J., McGhee R.B. Aircraft Identification by Moment Invariants, где были исследованы инварианты Ху, показано, что величина г = ,J(n20 + ц02) характеризует размер изображения, проецируемого на плоскость наблюдения. Если величина h есть расстояние до объекта, то из геометрических свойств проективных преобразований следует М\ = r h = const., где Mi' - это первый инвариант Ху.

Алгоритм включает следующую последовательность действий:

1. Подача на вход базы данных с установленными значениями размера (г) и константы Л// для заданных известных объектов на известном расстоянии от камеры;

2. Нахождение (распознавание) искомого объекта на снимке (видеокадре) на основе инвариантных моментов или других подходов;

3. Вычисление характерного значения по видеокадру опорного изображения;

4. Определение расстояния до объекта с использованием коэффициента пропорциональности на основе значения первого инвариантного момента;

5. Усреднение расстояний, полученных из серии смежных кадров видеоряда с целью повышения точности измерений;

6. Выдача вычисленного значения расстояния до объекта.

На рисунке 2 приведены экспериментальные зависимости г = 4И[ = <р(И) и М\ = для исследуемых объектов.

Рисунок 2 — Зависимости Л/л^7 = vQ1) и М[= ^Щи Рассмотрим задачу высокоточного нацеливания камеры, требуется направить камеру, находящуюся в начальном положении, на некоторую точку Ро=(х0, у о, 0), расположенную на плоскости Оху, которая соответствует наблюдаемой поверхности. Для этого необходимо повернуть камеру сначала вокруг оси 1\ на некоторый угол а0 (|ао| < я/2), а затем — вокруг оси /2 на угол ßo СІ Pol < л/2). Расстояние между осями вращения (двумя приводами видеокамеры) - h. Вычислим углы поворота а0 и ßo. Повернем камеру из начального положения (0,0, Н), где Н - расстояние до наблюдаемой поверхности вокруг оси /, на некоторый угол а (|а|<я/2) и обозначим оптическую ось объектива камеры через da. Если зафиксировать угол а и вращать камеру вокруг оси 12, то прямая da будет вращаться вокруг оси /2, вычерчивая в пространстве однополостный гиперболоид вращения (рисунок 3).

Рисунок 3 - Схема вращения камеры вторым приводом (а ^ 0)

При вращении прямой вокруг оси, скрещивающейся с этой прямой, получается однополостный гиперболоид вращения. Показано, что уравнение гиперболоида (6) зависит от угла а и имеет вид:

и

(z-яу , (y+hf

h> h2

(6)

Сечение гиперболоида (6) плоскостью Оху представляет собой гиперболу, которая определяется уравнением (7):

и является линией пересечения прямой (¡а и плоскости Оху (при вращении ЭТОЙ прямой вокруг ОСИ /2). Чтобы ВЫЧИСЛИТЬ ИСКОМЫЙ угол Оо, необходимо подставить координаты точки Р0 в уравнение (7). При этом угол а0 определяется с точностью до знака (8):

При Н> h выражение (8) в знаменателе никогда не обращается в ноль.

Поскольку вращение вокруг оси l¡ осуществляется по часовой стрелке, то при х0 > 0 угол Оо следует брать с отрицательным знаком, а при х0 < 0 - с положительным. Учитывая, что при х0 = 0 поворот камеры вокруг оси U не требуется (то есть, oto = 0), получим (9):

Поскольку при а = Оо гипербола (7) проходит через точку Р0, то существует угол Ро, при повороте на который (вокруг оси /2) камера будет направлена в точку Р0. Вычислим этот угол.

Повернем камеру из начального положения вокруг оси /2 на некоторый угол Р (|Р|<я/2) и обозначим оптическую ось объектива камеры через </р. Поскольку первый привод закреплен на втором, то при этом вращении камера не только изменит направление, но и переместится в плоскости Оуг по окружности с центром в точке £) и радиусом Ъ. Обозначим новое положение камеры через Ср. Ось ¡, также повернется вокруг оси 12 на угол р. Обозначим ось 1\ после поворота через /ф.

Вычислим ординату точки Рр = (0, у, 0), расположенной на пересечении прямой (1?, с осью Оу. Поскольку вращение вокруг оси /2 осуществляется против часовой стрелки, то эта ордината будет иметь знак, противоположный знаку угла р. На рисунке 4 изображен случай, соответствующий отрицательным значениям угла р. Проверено, что для положительных углов Р дальнейшие рассуждения будут аналогичны.

H2 + (y + hf-^- = h2, а*0

tg а

(7)

Рисунок 4 - Схема вращения камеры вторым приводом (а = 0)

Построим вспомогательный луч параллельный оси с1(г Очевидно, у = ОРр = од^, + РДр = (9(7,, + ЕС = +ОЕ-ВС. Из треугольников ОС(?р и СОС/>

получим соответственно 0@„ = -МёР и ЭЕ = —.

р соэр

Следовательно,

Чтобы найти Р из уравнения (10), воспользуемся формулами двойного

и созг^1^, г-\-\%2<р 1+tg>

преобразований получим уравнение относительно переменной I = tg(P/'2):

угла = 1 ^ и соэг<р= л—- где Ф /2 - После математических

(у+гиу-2Ш-у=ъ, |г| < 1. (11)

Условие < 1 вытекает из условия |Р| < тс/2.

При у=-2к уравнение (11) вырождается и имеет корень ¡=к/Н. При у^2к

имеем квадратное уравнение. Нетрудно убедиться, что при Н > 1г > 0

дискриминант уравнения (11) положителен для любого значения у, следовательно, это уравнение имеет два корня:

( ^н + л1н2+у(у + 2И) ( = Н-л1н2+у(у + 2И) (п) 1 у + 2й ' 2 у + 2И

Проверено, что при Н> к: ¡(¡1 > 1 и |ь| < 1. Таким образом, условию |;|<1 удовлетворяет только корень ¿2- Запишем формулу для вычисления угла р:

¡2атсщ(Ь/Н),у = -2И,

Р = Р(у)= _ , Н-^А^Щ ^ (13)

2arctg-*--—-у * -2И.

[ у + 2И

Формулу (13) можно использовать для вычисления искомого угла р0. Ордината точки пересечения оптической оси объектива камеры с плоскостью Оху остается неизменной при повороте вокруг ОСИ /ф и меняется только при повороте камеры вокруг оси /2. То есть, для перенацеливания камеры в точки плоскости Оху с одинаковыми ординатами требуется один и тот же угол поворота вокруг оси /2. В частности, для нацеливания камеры в точку (х0, у0,

0) требуется тот же угол р0, что и для точки (0, уо, 0). Таким образом, при подстановкеу=уо в формулу (13) получим величину искомого угла Р(у0) = р0.

Полученные результаты служат основой для построения общего алгоритма наведения. Пусть камера направлена в некоторую точку плоскости наблюдения Ри и известны углы поворота приводов а! и |3,. Требуется направить камеру на другую точку плоскости наблюдения Р2=(х2, у2, 0). Эту задачу можно решить в два шага:1) перевести камеру в начальное положение (углы поворота приводов равны -аі и -рі); 2) направить камеру из начального положения в точку Р2. Очевидно, можно обойтись одним поворотом каждого из приводов, при этом углы поворота будут равны соответственно а(х2)-а, и РО^-Рь

Алгоритм высокоточного нацеливания содержит следующие шаги:

1) подача на вход значений расстояния до наблюдаемой плоскости Н, расстояния между осями сервоприводов й;

2) ввод координат точки нацеливания (х,у);

3) расчет по формулам (9) и (13) необходимых углов поворота (а, Р) для нацеливания на (х,у);

4) передача сервоприводам команды поворота на углы а и Р;

5) возврат к шагу 2.

Тестирование модели

На рисунке 5 (а) изображена теоретическая траектория точки пересечения луча с наблюдаемой поверхностью, построенная согласно формуле (3) для угла а = -10°. На рисунке 5 (б) приведен фотоснимок, полученный с большой выдержкой, запечатлевший поворот лазерной указки вторым сервоприводом при фиксированном угле первого сервопривода 90°-а=80°.

(а) (б)

Рисунок 5 - Гипербола, соответствующая углу а = -10° а) теоретическая, б) фактическая

Проведенные эксперименты показали, что перечисленные особенности СТЗ приводят к относительно небольшим отклонениям фактической траектории оптической оси объектива камеры от теоретической.

В третьей главе рассмотрены вопросы построения математического и алгоритмического обеспечения системы интеллектуального управления

БПЛА и его бортовой камерой. При этом БПЛА служит управляемой платформой в процессе проводки по заданному маршруту в условиях ветровой нагрузки. Построена математическая модель БПЛА и камеры на нем, и система интеллектуального управления в среде MATLAB.

Выбор стратегии управления

Предполагается, что траектория летательного аппарата на плоскости задана последовательностью опорных точек (х.,у ), г = 0....л, причемх.+1>х..

В простейшем случае осуществляется прямолинейное движение между соседними точками с постоянной скоростью с углами наклона а..

Известно желаемое время прохождения опорных точек f i=l,...fl И всего маршрута в целом Tt. Таким образом, задана эталонная проводка летательного аппарата через точки, которая имитируется объектом, называемым далее «цель». Состояния БПЛА и цели в произвольный момент времени t описываются векторами текущих параметров Q (г ) = (х (0,у «,v(0,ß«) и Q(t) = (x(t),y(t),va(t)), где xp(t),yp(t) -

р U IJ JJ и С с С с

координаты БПЛА, xe(t),ye(t) - координаты цели, vp(t) и ve(t) — скорость БПЛА и цели соответственно, a ß(t) и o(t) — соответствующие текущие значения углов их тангажа.

В начальный момент времени ^ = о задается исходное состояние цели

Q(t) = (x,y,v, а) и БПЛА Q(t)=(x,y,v ,0). Полагаем без потери

е о о -V е о р а 0 0 p ro г

общности в начальный момент vp=ve> ß„ = a0- Цель осуществляет

непрерывное движение по заданной траектории, переходя из одной точки в соседнюю, а БПЛА преследует цель, руководствуясь выбранной стратегией и возможностями варьирования параметров управления (скорости, угла тангажа). В результате различных воздействий на летательный аппарат (ветровая нагрузка, наличие неожиданных препятствий) возможно его отклонение от маршрута, причем существенное, а также отклонение реального времени полета Тр от заданного Те.

Для задачи на плоскости известно, что в случае равномерного прямолинейного движения БПЛА-преследователь догонит убегающего БПЛА на окружности Аполлония. Для данной задачи получены необходимые условия успешного преследования цели, наблюдаемой средствами технического зрения. В задаче преследования с упреждением догоняющий движется с постоянной по модулю скоростью vp, причем угол ß{t) между направлением его скорости и направлением на цель остается постоянным. Цель движется прямолинейно с постоянной скоростью v„ по направлению, определяемому углом a(t), который меняется в фиксированных точках траектории.

Пусть известны: начальные положения: (0,0), (а,Ь) и скорости движения цели и преследователя: vt,vf соответственно, причем vp>vt. Здесь

система координат проходит через точку положения цели. Полагаем также заданным направление перемещения цели в виде угла а (рисунок 6).

Требуется найти прогнозируемую точку встречи (х,у) и направление перемещения (угол тангажа) р преследователя.

Известно, что уравнение окружности (14), являющейся местом встречи преследователя и цели, имеет вид:

У—

Ъ-у

где Лх=-

смещение центра окружности по оси абсцисс, а <1у =

(14)

ъ-у:

V -у-л/а2 +Ъ2

- по оси ординат, Я = -р-——г-5--радиус окружности.

Рисунок 6 - Пояснения к задаче преследования-убегания в плоскости

тангажа

Из построений на рисунке 6 следует, что tga = —, откуда получаем

квадратное уравнение (15):

(1 + ^а)х2 - 2(4 + ■ с1у)х + а2 + <12 - Я2 = 0, (15)

решение которого дает пару значений координаты х = (х1,х2). Ей соответствует пара значений ординаты у = (уьу2), а с учетом соотношения

tgp = у~ можно вычислить и пару искомых углов р = (Р,,(32). Таким образом, х-а

доопределяя направление перемещения цели (к наблюдателю или от него) можно найти стратегию поведения преследователя.

В случае, когда цель меняет направление движения, применяется стратегия параллельного сближения, основанная на перепланировании движения преследователя путем вычисления новых углов атаки.

В данной модели приняты следующие стратегии управления: Стратегия 1 (стратегия движения по точкам) строится как коррекция параметров движения по уклонению от заданной траектории следования

цели. При этом должны быть пройдены все точки с минимальным отклонением по времени Дг =\Тр-Тс\->min.

Стратегия 2 (стратегия сближения) основана на преследовании эталонной цели. Она осуществляет параллельное сближение с эталонной целью с учетом текущего угла цели, скорости и угла тангажа БПЛА. Здесь точное прохождение летательного аппарата через опорные точки не требуется. При этом минимизируется суммарное (интегральное) отклонение от заданной траектории.

Скорость БПЛА устанавливается соответствующим рычагом управления в зависимости от состояния - «следование», или «перехват». В дальнейшем можно ограничиться наличием у цели - одной скорости v , а у

БПЛА двух скоростей у = >- , и у >v , • Угол тангажа ß устанавливается

р\ е р2 р\

рычагом управления БПЛА в допустимых пределах Ф„,„Д,„). Во время моделирования догоняющий «видит» цель, т.е. знает координаты свои и цели в каждый текущий момент времени.

Стратегия 3 (смешанная стратегия):

1) если отклонение и время отработки отклонения не превышает наперед заданных пороговых значений, то применяется стратегия 1;

2) в противном случае применяется стратегия 2. Она действует до момента достижения цели (координаты ЛА и цели, а также углы а и ß совпадают).

Математическая модель системы управления углом тангажа

Для моделирования полета БПЛА воспользуемся системой управления и стабилизации угла тангажа, представленной на рисунке 7.

Рисунок 7 - Общая структурная схема моделирования проводки БПЛА с установленной видеокамерой

Блок вычисления координат БПЛА. Координаты БПЛА могут рассчитываться с помощью бортовых средств машинного зрения. В принятой модели положение БПЛА в текущий момент времени 1 вычисляется на основе координат в предыдущий момент времени (Ы) и известных параметров: заданной скорости и угла тангажа БПЛА, а также скорости и направления ветра. На выходе блок выдает скорость и текущие значения координат.

Блок эталонной траектории. Выдает координаты, и угол эталонной траектории в текущий момент времени I. Также блок выдает угол, который должен отработать БПЛА, чтобы с учетом ветровой нагрузки боковое отклонение от эталонной траектории было минимальным. Если а - угол эталонной траектории, б — угол ветра относительно плоскости ОХ, \р — скорость БПЛА, V,, - скорость ветра, тогда:

р" = агс8т —8т(а+§)| — угол тангажа БПЛА для минимального бокового

и )

отклонения от эталона.

Блок вычисления угла тангажа.

На вход блока подается скорость и координаты БПЛА, координаты и угол эталонной траектории. Блок вычисляет угол танг ажа для преследования эталонной траектории движения. Блок также вычисляет в текущий момент времени t расстояние между координатами БПЛА и эталонной цели. Схема управления БПЛА с установленной на нем видеокамерой реализована в системе МАТЬАВ. БПЛА осуществляет полет по заданному маршруту в условиях ветровой нагрузки.

Схема интеллектуального управления полетом БПЛА

В базе знаний хранятся продукционные правила, задающие условия, при которых вырабатываются конкретные управления в соответствии с текущими целями и выработанным планом. Блок управления осуществляет изменение положения рычагов системы в принятой системе ограничений, в результате чего система переходит в новое состояние. Алгоритм выполняется до тех пор, пока не будет достигнуто глобальное целевое состояние, которое заключается в прохождении заданного маршрута.

Блок интеллектуального управления проводкой. Система управления проводки БПЛА по маршруту реализована в блоке «выбор стратегий». На вход подаются координаты БПЛА и цели, а также расстояние между ними. В блоке происходит переключение между двумя режимами и правилами:

1) Правило 1 (режим следования): если

рЦ)-хе(1))2+(ур{1)-уе(1))2 <А> гДе Д-заданный порог, то

установить: ур (0 = ур1 (?)=V, (0 и р(0=р"(1);

2) Правило 2 (режим упреждения): если ^хр{1)-хе(1))2+(ур(1)-уе(1))2 > А' то Установить у,(0■= V(0;р«= р'(0 •

На вход блока подается скорость и координаты БПЛА, координаты и угол эталонной траектории. Блок вычисляет угол тангажа БПЛА для

преследования эталонной траектории движения. Блок также вычисляет в текущий момент времени I расстояние между координатами БПЛА и эталонной цели. Результаты моделирования процесса отработки траектории представлены на рисунке 8, где по оси X откладывается - расстояние, пройденное БПЛА в метрах, а по оси У - высота полета, м. Начальное положение БПЛА (3, 1), цели (0, 0.5). При выбранной стратегии суммарное расхождение с эталонной траекторией оказалось 73.96 м. Общее время моделирования - 150 сек.

ХУЙЫ

*г--—:—I-I-т-1-1-

3 5 3 ■

м

I « /

- /

"'о 5 10 15 20 25 30 35 40 45 50 КА»з

а) эталонная траектория (цель) б) Реальная траектория БПЛА

Рисунок 8 - Сравнение траектории БПЛА и цели

Помимо правил блок может выполнять прогнозирование (планирование) движения БПЛА. В случае сложного (криволинейного движения) прогнозирование значений временного ряда (координат цели в требуемый момент времени) осуществляется с помощью искусственной нейронной сети (ИНС) прямого распространения с сигмоидальной функцией активации. ИНС обучается методом обратного распространения ошибки.

Управление видеокамерой для слежения з а целью в процессе движения БПЛА

Рассматривается задача управления видеокамерой в процессе проводки БПЛА по заданному маршруту. БПЛА играет роль подвижной управляемой платформы, на которую воздействует ветровая нагрузка, что мешает точному наведению камеры на цель. При моделировании используются структурные схемы БПЛА и видеокамеры, построенные на основе передаточных функций. Представляют интерес задачи упреждающего наведения поворотной видеокамеры на движущуюся цель.

Модель видеокамеры, установленной на БПЛА, решает задачи наблюдения за заданной точкой, которая может быть как стационарной, так и подвижной. На рисунке 9 показана схема управления видеокамерой в плоскости тангажа (вертикальной плоскости) с борта БПЛА.

Рисунок 9 - Структурная схема управления видеокамерой для наблюдения за целью Для того чтобы камера успевала за движением цели, в соответствии с принятым в работе плоским вариантом решения задачи полета БПЛА,

Л

х2+у2

необходимо и достаточно выполнение условия

Моделирование всей системы в комплексе осуществляется средствами системы МАТЬАВ. Исследуются точностные характеристики и способность системы управления камерой реагировать на помехи и динамику цели, тенденции в поведении системы наблюдения.

На рисунках 10 (а) и 10 (б) в верхней части показаны графики углов, которые должна отработать видеокамера во времени (в вертикальной плоскости) соответственно при наблюдениях неподвижной и подвижной точек в процессе пролета БПЛА. В нижней - приведены графики разности между расчетными и реальными углами наблюдения объекта._

а) б)

Рисунок 10 - Характеристики наблюдения объекта видеокамерой в процессе движения БПЛА

Максимальное расхождение между углами после стабилизации (через 2 сек.) составило 0.088 градусов и 0,139 градусов соответственно. На рисунках 11 представлены графики отклонения луча видеокамеры от цели по оси абсцисс во времени для случаев (а) и (б).

Видно, что чем дальше БПЛА от объекта, тем больше ошибка наблюдения. При этом на всем интервале величина СКВО составила 0.056 м (первые две секунды не учитываются).

Из графиков на рисунке 12. видно, что скорость поворота зависит от заданного угла. Чем больше задаваемый угол поворота, тем больше скорость поворота приближается к заявленному производителем значению. Это связано с инерцией: при малых углах поворота значительное количество времени (от общего времени поворота) тратится на приведение в движение/остановку привода и закрепленной на нем камеры. Таким образом, при малых углах поворота (15-20 градусов) движение зафиксировалось на 34 кадрах, как и при углах (20-30).

а) б)

Рисунок 12 - Зависимость скорости а) и времени б) от величины угла поворота видеокамеры

Рисунок 11

а) б)

- Графики отклонения луча видеокамеры от цели во времени

Злмимость скорости от утл» сююрота

Исходя из результатов испытаний, можно аппроксимировать зависимость времени поворота угла от его значения функцией t = 0,0015р+0,06. ;

В четвертой главе решаются задачи построения программного комплекса, реализующего алгоритмы СТЗ на основе видеокамеры.

Для экспериментальной проверки предложенной математической модели поворотной камеры была создана СТЗ, основанная на одной 1 видеокамере Microsoft VX-3000, закрепленной на поворотном устройстве (рисунок 13). Применялись два аналоговых сервопривода TowerPro SG-90, причем камера крепится на первом сервоприводе, который, в свою очередь, закреплен на втором сервоприводе. Сервоприводами управляет плата Arduino, которая принимает команды от программы, работающей на компьютере и использующей библиотеку OpenCV. |

Рисунок 13 - Схема и общий вид поворотной камеры

Программное обеспечение, запущенное на компьютере, выдает управляющие сигналы на плату Агсіиіпо, которая, в свою очередь, посылает импульсы на два сервопривода, тем самым, вращая камеру по двум осям -вертикальной и горизонтальной.

На рисунке 14 изображена общая схема программного обеспечения для созданной СТЗ, в которой реализованы разработанные алгоритмы.

Рисунок 14 — Схема программного обеспечения СТЗ

Аппаротно-вычислительная платформа "Arduino"

Персональный компьютер

Блок программного обеспечения аппаратной части содержит код для платы АгсЫпо и обеспечивает управление (на уровне сигналов) сервоприводами. Программное обеспечение СТЗ содержит главную программу, которая связывает все блоки системы и управляет ими. Блоки алгоритма улучшения качества видеокадра, измерения расстояний, распознавания объектов и нацеливания на объект содержат коды соответствующих разработанных алгоритмов. В блоке БД объектов хранится заранее подготовленная информация, необходимая для решения различных задач СТЗ. БД может динамически пополняться новыми данными в ходе работы СТЗ. Описанная модульная структура ПО системы технического зрения позволяет модифицировать созданные алгоритмы и добавлять новые функции в систему.

В качестве одного из вариантов математического обеспечения вычислительной системы, обеспечивающего вычисления с управляемой точностью и соответственно быстродействием, рассмотрена реализация алгоритмов управления на основе алгоритмов семейства СогШс, имеющих эффективную аппаратную поддержку.

В заключении перечислены основные результаты, полученные в рамках диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В диссертационной работе рассмотрены принципы управления поворотной видеокамерой в составе СТЗ БПЛА для решения задачи высокоточного нацеливания. Для определенного класса поворотных видеокамер получены формулы вычисления углов поворота для нацеливания на заданную точку наблюдаемой поверхности. Разработана схема и ПО программно-аппаратного макета, проведены испытания, показавшие адекватность математической модели. Полученные результаты исследований предназначены для решения прикладных задач на борту беспилотного летательного аппарата. Решены следующие задачи:

- Разработан алгоритм улучшения качества снимка по серии смежных кадров видеоряда, отличающийся от известных методов фильтрации искажений отсутствием необходимости настройки параметров и сканирования окном, с оценкой сложности О(кп), где количество кадров, «-размер кадра;

- Разработаны и исследованы алгоритмы распознавания и вычисления расстояний до объекта с помощью одиночной видеокамеры, основанные на модификации метода инвариантных моментов, способе масштабирования, и выполненной оценки их чувствительности, что позволило сократить объем вычислений приблизительно на 30%;

- Разработан алгоритм управления одиночной камеры с двумя степенями свободы, обеспечивающий, в отличие от стандартных алгоритмов поддержки видеокамер, использующих нацеливание в заданный квадрат, высокоточное нацеливание в заданную точку наблюдения с погрешностью

отклонения от цели, не превышающей 5%, и время наведения не более 0.3 с. (в использованной экспериментальной установке);

— Разработан оригинальный алгоритм управления динамической системой «БПЛА-видеокамера» на основе продукционных правил для одновременного решения задач проводки по маршруту при наличии ветровых нагрузок, и слежения с опережением за динамическими объектами, обеспечивающий приемлемую точность наведения (в проведенной серии экспериментах не хуже 95%);

- Разработано алгоритмическое обеспечение и оригинальный программный комплекс для моделирования работы бортовой системы управления техническим зрением на основе одиночной поворотной видеокамеры;

Результаты использованы в составе одного из модулей настройки управления поворотной камеры системы видеонаблюдения Orwell-2k ЗАО «ЭЛВИС-Неотек», что позволило повысить точность предварительной калибровки.

Результаты исследования могут быть использованы при создании программного и алгоритмического обеспечения микропроцессорных систем управления видеокамерами беспилотных летательных аппаратов.

Публикации в изданиях из перечня рецензируемых научных журналов:

1. Абрамов Н.С. Отечественные беспилотные летательные аппараты и перспективные источники навигационных данных. — Авиакосмическое приборостроение, ISSN:2073-0020, № 10, 2012, с. 16-22 (лично автором 100%).

2. Абрамов Н.С., Фраленко В.П. Определение расстояний на основе системы технического зрения и метода инвариантных моментов. — Информационные технологии и вычислительные системы, ISSN 2071-8632, № 4, 2012, с. 32-39 (лично автором 75%).

3. Абрамов Н.С., РомакинВ.А., Методы управления поворотной видеокамерой // Известия ЮФУ. Технические науки, № 07, 2013, с. 173-179. http://izv-tn.tti.sfedu.ru/wp-content/uploads/2013/08/321.pdf (лично автором 75%).

4. Абрамов Н.С., Хачумов М.В. Моделирование проводки по маршруту беспилотного летательного аппарата как задачи преследования цели. — Авиакосмическое приборостроение, № 9,2013, с. 9-22 (лично автором 75%).

5. Абрамов Н.С., Дмитриев М.Г. Алгоритм улучшения качества изображения на основе серии соседних кадров. — Информатизация и связь, № 2,2013, с. 18-20 (лично автором 30%).

Прочие публикации:

6. Абрамов Н.С. Система компьютерного зрения для управляемой поворотной камеры. — V Всероссийская научно-техническая конференция «Актуальные проблемы ракетно-космического приборостроения и

информационных технологий» (5-7 июня 2012 г., г. Москва). Тезисы докладов. — М.: Радиотехника, 2012, с. 85-86, ISBN 978-5-88070-025-7 (лично автором 100%).

7. Фраленко В.П., Абрамов Н.С. Выбор лучшего снимка из серии в системах технического зрения. — V Всероссийская научно-техническая конференция «Актуальные проблемы ракетно-космического приборостроения и информационных технологий» (5-7 июня 2012 г., г. Москва). Тезисы докладов. — М.: Радиотехника, 2012, с. 83-84, ISBN 9785-88070-025-7 (лично автором 75%).

8. Абрамов Н.С. Система компьютерного зрения для управляемой поворотной камеры в задаче слежения за целью в ручном и автоматическом режимах. — Международная молодежная конференция «Информационные системы и технологии» (5-6 сентября 2012г., г.Москва). — Тезисы докладов. — Москва, 2012, с. 54-55, ISBN 978-5-904602-08-6 (лично автором 100%).

9. Абрамов Н.С. Решение задач распознавания, определения расстояний и слежения на основе системы технического зрения. — Научная сессия НИЯУ МИФИ-2013 (4 февраля 2013 г., г. Москва, МИФИ). — Аннотации докладов, том 2, с. 313, ISBN 978-5-7262-1787-1 (лично автором 100%).

10. Абрамов Н.С. Система технического зрения на основе одной поворотной камеры // Материалы XVIII Международной конференции по вычислительной механике и современным прикладным программным системам (ВМСППС'2013), 22-31 мая 2013 г., Алушта. — М.: Изд-во МАИ, 2013. — С. 693-694 (лично автором 100%).

11. Свидетельство о государственной регистрации программы для ЭВМ №2012618314 «Программный комплекс автономного позиционирования беспилотного летательного аппарата на основе системы технического зрения (ПК «Навигатор-М»). Зарегистрировано в Реестре программ для ЭВМ 14 сентября 2012 г.

Личный вклад автора в работах, опубликованных в соавторстве, заключается в следующем: в [2] автор описал методы определения расстояний и распознавания на основе инвариантов Ху и предложил методику испытаний разработанных алгоритмов; в [3] автор разработал метод нацеливания камеры на объект и провел серию экспериментов, подтверждающих теоретические результаты работы; в [4] автор разработал и описал систему управления БПЛА и бортовой видеокамеры в среде моделирования Matlab; в [5] автор провел серию экспериментов, подтверждающих работоспособность описанного алгоритма улучшения качества снимка; в [7] автор выполнил аналитический обзор технологий выбора лучшего снимка.

Напечатано с готового оригинал-макета

в ООО «Феникс» Формат 60 х 90 1/16 Усл. печ. л. — 1,75 Тираж— 100 экз. Заказ №2015 Бумага белая Гарнитура Times New Roman

152020, Ярославская обл., г. Переславль-Залесский, ул. Кардовского, д. 62. Тел. +7 (48535) 3-14-22, ИНН 7622009259

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ ИНСТИТУТ ПРОГРАММНЫХ СИСТЕМ ИМ. А.К. АЙЛАМАЗЯНА РОССИЙСКОЙ АКАДЕМИИ НАУК

На правах рукописи

04201454574

АБРАМОВ НИКОЛАЙ СЕРГЕЕВИЧ

МАТЕМАТИЧЕСКОЕ И АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ СИСТЕМ УПРАВЛЕНИЯ ВИДЕОКАМЕРОЙ БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

05.13.01 Системный анализ, управление и обработка информации (информационно-вычислительное обеспечение)

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: Профессор, доктор технических наук

В.М. ХАЧУМОВ

Переславль-Залесский 2013

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ................................................................................................................................................................4

Актуальность темы..............................................................................................................................................4

Цели и задачи........................................................................................................................................................6

Научная новизна..................................................................................................................................................6

Достоверность......................................................................................................................................................7

Теоретическая и практическая ценность работы..........................................................................................7

Методы исследования........................................................................................................................................8

Положения, выносимые на защиту..................................................................................................................8

Апробация работы................................................................................................................................................9

Публикации...........................................................................................................................................................9

Структура и объем диссертации......................................................................................................................10

Содержание работы............................................................................................................................................10

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР БПЛА И СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ.....................12

1.1 Обоснование выбора направления исследований................................................................................12

1.2 Обзор отечественных и зарубежных беспилотных летательных аппаратов и их систем

технического зрения..........................................................................................................................................16

1.2.1 Классификация и технические характеристики БПЛА.....................................................................17

1.3 Системы технического зрения БПЛА.......................................................................................................25

1.4 Анализ состояния исследований в области технического зрения и управления БПЛА в РФ и за рубежом................................................................................................................................................................34

1.5 Выводы...........................................................................................................................................................37

ГЛАВА 2. РАЗРАБОТКА И ИССЛЕДОВАНИЕ МАТЕМАТИЧЕСКОГО ОБЕСПЕЧЕНИЯ ДЛЯ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ..........................................................................................................40

2.1 Алгоритм улучшения качества снимка..................................................................................................40

2.1.1 Эксперименты по улучшению качества снимка................................................................................45

2.1.2 Сравнение с другими методами фильтрации.......................................................................................49

2.2 Алгоритм распознавания объектов на основе инвариантных моментов.......................................52

2.2.1 Проверка устойчивости моментов к искажениям данных..............................................................56

2.2.2 Эксперименты по распознаванию объектов на основе инвариантных моментов.....................58

2.2.3 Сравнение с алгоритмом распознавания методом сканирующего окна с использованием ИНС Хемминга...................................................................................................................................................60

2.3 Алгоритм измерения расстояния на основе инвариантных моментов............................................63

2.3.1 Эксперименты по измерению расстояния на основе инвариантных моментов.........................64

2.3.2 Оценка погрешности измерения инвариантов....................................................................................67

2.4 Алгоритм высокоточного нацеливания камеры...................................................................................72

2.4.1 Нацеливание камеры из начального положения...............................................................................75

2.4.2 Нацеливание камеры из произвольного положения..........................................................................80

2.4.3 Эксперименты по высокоточному нацеливанию камеры на объект.............................................81

2.5 Выводы...........................................................................................................................................................82

ГЛАВА 3. РАЗРАБОТКА МАТЕМАТИЧЕСКОГО ОБЕСПЕЧЕНИЯ УПРАВЛЕНИЯ БПЛА И ЕГО БОРТОВОЙ КАМЕРОЙ В ПРОЦЕССЕ ПРОВОДКИ ПО ЗАДАННОМУ МАРШРУТУ И В ЗАДАЧЕ СЛЕЖЕНИЯ ЗА ОБЪЕКТОМ..............................................................................................................................84

3.1. Выбор стратегии управления....................................................................................................................85

3.2. Математическая модель системы управления углом тангажа.......................................................87

3.3. Схема интеллектуального управления полетом.................................................................................90

3.4. Вычисление угла тангажа в задаче преследования цели..................................................................93

3.5. Моделирование полета БПЛА с учетом ветровой нагрузки...............................................................95

3.6. Управление камерой на борту БПЛА.....................................................................................................103

3.7. Модель системы платформы-видеокамера.........................................................................................106

3.8. Моделирование работы системы управления камерой....................................................................107

3.9. Выводы........................................................................................................................................................111

ГЛАВА 4. РАЗРАБОТКА И ИССЛЕДОВАНИЕ ЭКСПЕРИМЕНТАЛЬНОГО СТЕНДА СТЗ НА БАЗЕ ОДИНОЧНОЙ КАМЕРЫ И СТРУКТУРЫ ЕГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ.......................112

4.1 Обоснование выбора математического обеспечения и состава программного комплекса .... 112

4.2 Общая схема экспериментальной системы технического зрения..................................................115

4.3 Программное обеспечение экспериментального комплекса...........................................................117

4.4 Выводы.........................................................................................................................................................120

ЗАКЛЮЧЕНИЕ.....................................................................................................................................................123

СПИСОК ОПУБЛИКОВАННЫХ РАБОТ.......................................................................................................125

СПИСОК ЛИТЕРАТУРЫ...................................................................................................................................127

ПРИЛОЖЕНИЕ А.................................................................................................................................................135

ПРИЛОЖЕНИЕ Б.................................................................................................................................................136

ВВЕДЕНИЕ

Актуальность темы

Актуальность темы и ее научная новизна определяются потребностью создания и оснащения малых летательных аппаратов, в том числе автономных беспилотных (БПЛА) многофункциональными системами технического зрения (СТЗ) на основе видеокамер. Подобные СТЗ должны решать задачи, свойственные современным обзорно-прицельным системам, с учетом условий выполнения полета по заданной траектории при наличии препятствующих факторов и ограничений. В перечень важнейших решаемых задач входят: выделение, распознавание и слежение за целевыми объектами, определение местоположения и ориентации летательных аппаратов, высокоточное наведение камеры в точку возможной встречи двух летательных объектов и многие другие. Вопросы обработки видеоданных и распознавания образов активно развивались в работах Ю.И.Журавлева, В.Н.Вапника, О.А.Славина, Т.Ю.Морозовой, БХоше, Т.Капаёе, А.СеБеШ, Е.РгопЮгп и др. Методы управления видеокамерой рассматривались в работах С.П.Фирсова, А.В.Хамухина, Н.В.Птицына, З.Уош, Ь.8.0ау1з, и др. Существенный вклад в теорию интеллектуального управления динамическими системами внесли: А.Н.Аверкин, В.Н.Вагин, В.В.Емельянов, А.Г.Еремеев, А.Н.Мелихов, Г.С.Осипов, Д.А.Поспелов и др.

Известны обзорно-прицельные системы больших летательных аппаратов, которыми занимаются в основном военные ведомства разных стран. Подобные устройства в задачах нацеливания, как правило, основываются на лазерных и тепловизорных указателях, как, например, в системе «Пейв Спайк» самолета Р-4 и «Пейв Тек» самолета Г-111Б, а также в отечественных самолетах и вертолетах. Большое внимание в последнее время уделяется проблеме построения «интеллектуальных систем видеонаблюдения», способных комплексно решать задачу слежения за целью

в автоматическом режиме. Подобными технологиями занимаются, например, в компании «Синезис», где создается поколение стационарных роботизированных камер. В ходе исследований были разработаны основы систем предобработки, выделения и распознавания образов на видеокадрах, управления видеокамерами различных конструкций, построены элементы теории интеллектуального управления динамическими объектами, предложены общие схемы построения прикладных интеллектуальных систем. Однако многие задачи для малых аппаратов остались не до конца решенными, что препятствует созданию автономных измерительно-управляющих систем на основе технического зрения, в частности, задачи определения местоположения и ориентации БПЛА на основе одиночной видеокамеры, как альтернативы системам позиционирования ГЛОНАСС/ОР8; распознавания и высокоточного автоматического наведения видеокамеры на подвижные объекты в реальном времени при ограничениях на вычислительные ресурсы, построения эффективного математического и алгоритмического обеспечения для бортовых систем автоматического управления автономных БПЛА и установленных на них видеокамер.

Особое внимание уделяется алгоритмам улучшения качества снимков, точностным и скоростным характеристикам наведения, анализа и интерпретации видеопотока, которые должны обеспечивать решение задач выделения, распознавания, позиционирования и слежения. Несмотря на удачные аэродинамические и компоновочные решения, отечественные разработки по оснащению БПЛА пока проигрывают зарубежным в части целевой нагрузки, навигационной аппаратуры и бортового оборудования. Поэтому исследование и разработка методов автоматической обработки информации и управления видеокамерой при имеющихся ограничениях на бортовые вычислительные средства БПЛА является крайне актуальным и востребованным направлением для отечественной науки. Для обеспечения данных показателей требуется создание математического, алгоритмического и

программного обеспечения, способного выполнять основные функции анализа и управления.

Цели и задачи

Целью диссертационной работы является разработка математического и алгоритмического обеспечения систем технического зрения на основе одиночной видеокамеры БПЛА, обеспечивающего решение комплекса задач обработки видеопотока. Указанная цель достигается решением следующих задач:

1) разработка алгоритма улучшения качества снимка;

2) разработка алгоритмов распознавания и определения расстояний до объектов;

3) разработка алгоритма и метода перевода камеры из текущей точки наблюдения в заданную и нацеливания видеокамеры с опережением в задачах преследования подвижной цели;

4) разработка математических моделей и методов интеллектуального управления БПЛА и видеокамерой, установленной на БПЛА;

5) разработка и исследование программного комплекса, реализующего алгоритмы СТЗ.

Научная новизна

- Разработан алгоритм улучшения качества снимка по серии смежных кадров видеоряда, отличающийся от известных методов фильтрации искажений отсутствием необходимости настройки параметров и сканирования окном, что увеличивает скорость обработки;

— Разработаны и исследованы алгоритмы распознавания и вычисления расстояний до объекта с помощью одиночной видеокамеры, основанные на модификации метода инвариантных моментов и отличающиеся новым способом масштабирования с пониженной степенью характерного параметра размера изображения, что повышает скорость обработки и позволяет

обоснованно выбирать отдельные инварианты на основе выполненной оценки их чувствительности;

- Разработан алгоритм управления одиночной видеокамерой с двумя степенями свободы, обеспечивающий высокоточное нацеливание в заданную точку наблюдения, в отличие от известных алгоритмов решения задач наведения видеокамер в заданный квадрат;

- Разработан оригинальный алгоритм управления динамической системой «БПЛА-видеокамера» на основе продукционных правил для одновременного решения задач проводки по маршруту при наличии ветровых нагрузок и слежения с опережением за динамическими объектами.

Достоверность

Достоверность полученных результатов обеспечивается использованием математического аппарата аналитической геометрии и машинной графики, методов искусственного интеллекта, теории управления, теории алгоритмов и структур данных, методов математического программирования, имитационным моделированием на ЭВМ в среде МАТЪАВ и экспериментальными исследованиями на испытательном стенде.

Теоретическая и практическая ценность работы

Полученные в диссертационной работе научные результаты позволяют в комплексе решать актуальные задачи управления видеокамерами и обработки потоков видеоинформации с использованием бортовых ЭВМ. Выведены аналитические формулы для точного нацеливания видеокамеры на заданную точку наблюдаемой поверхности. Построена модель управления БПЛА в задачах преследования-убегания, проводки по маршруту и наблюдения за объектом. Разработанные алгоритмы измерения расстояния до объекта, распознавания и наведения могут применяться на борту БПЛА при решении задач определения местоположения и преследования-убегания. Практическую ценность представляет алгоритмическое и программное

обеспечение, а также разработанный стенд, позволяющий проводить отладку и исследование алгоритмов управления видеокамерой для распознавания и нацеливания до их практического применения.

Работа выполнена в рамках Госбюджетной НИР ИПС им. А.К. Айламазяна РАН, а также проектов №2.10 «Методы автоматического позиционирования и интеллектуального управления беспилотными летательными аппаратами на основе средств технического зрения» по Программе фундаментальных исследований ОНИТ РАН «Интеллектуальные информационные технологии, системный анализ и автоматизация» и в рамках проектов РФФИ № 13-07-00025 А «Исследование методов анализа интегрированной текстовой, графической и речевой информации в системах интеллектуального управления динамическими объектами» и № 12-07-00205-а «Разработка новых способов решения задач управления движениями космических аппаратов на всех этапах полетов и оперативного отображения получаемых результатов на основе методов годографов и когнитивной графики».

Методы исследования

Поставленные задачи решались с использованием аппарата математической логики, методов системного анализа, методов искусственного интеллекта, теории управления, теории алгоритмов и структур данных, методов математического программирования и имитационного моделирования.

Положения, выносимые на защиту

1. Метод улучшения качества снимка по серии смежных кадров видеоряда, обеспечивающий высокую скорость устранения помех.

2. Алгоритмы распознавания и измерения расстояний до объектов на основе метода инвариантных моментов с предложенной новой системой масштабирования и оценкой устойчивости моментов к помехам.

3. Алгоритм управления видеокамерой с двумя степенями свободы, обеспечивающий высокоточное и быстрое нацеливание в заданную точку наблюдения.

4. Метод управления системой БПЛА-видеокамера для проводки по заданному маршруту при условии наличия ветровых нагрузок и нацеливания на заданный объект, в том числе с опережением.

5. Программный комплекс, реализующий разработанные алгоритмы системы технического зрения.

Апробация работы

Основные результаты работы докладывались и обсуждались на следующих конференциях:

1) V Всероссийская научно-техническая конференция «Актуальные проблемы ракетно-космического приборостроения и информационных технологий», Москва, ОАО «Российские космические системы», 2012 г.

2) Международная молодежная конференция «Информационные системы и технологии», Москва, Конгресс-центр Московского технического университета связи и информатики, 2012 г.

3) Научная сессия НИЯУ МИФИ-2013, Москва, НИЯУ МИФИ, 2013 г.

4) XIII Международная конференция по вычислительной механике и современным прикладным программным системам, Крым, 2013 г. Алгоритмическое и программное обеспечение прошло апробацию в

ИПС им. А.К. Айламазяна РАН, ИСА РАН.

Публикации

Основные результаты диссертации отражены в десяти печатных работах, в том числе, в трудах четырех научных конференций и пяти статьях в изданиях, включенных в перечень рецензируемых научных журналов, рекомендованных ВАК.

Структура и объем диссертации

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и двух приложений. Общий объем основного тек�