автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и алгоритмы обнаружения и выделения объектов в информационно-управляющих системах при движущемся датчике изображений

На правах рукописи

БАБАЯН Павел Вартанович

МЕТОДЫ И АЛГОРИТМЫ ОБНАРУЖЕНИЯ И ВЫДЕЛЕНИЯ ОБЪЕКТОВ В ИНФОРМАЦИОННО-УПРАВЛЯЮЩИХ СИСТЕМАХ ПРИ ДВИЖУЩЕМСЯ ДАТЧИКЕ ИЗОБРАЖЕНИЙ

Специальность 05.13.01 - «Системный анализ, управление и обработка информации (технические системы)»

Автореферат

диссертации на соискание учёной степени кандидата технических наук

Рязань - 2005

Работа выполнена в ГОУВПО Рязанская государственная радиотехническая академия.

Научный руководитель: доктор технических наук,

профессор Алпатов Борис Алексеевич

Официальные оппоненты: доктор технических наук, профессор

Еремеев Виктор Владимирович

кандидат технических наук Худыш Александр Ильич

Ведущая организация: ФГУП Государственный научно-

исследовательский институт авиационных систем, г. Москва

Защита состоится « 8 » июня 2005 г. в 11 часов на заседании диссертационного совета Д 212.211.01 в ГОУВПО Рязанской государственной радиотехнической академии по адресу:

390005, г. Рязань, ул. Гагарина, 59/1, ауд. 235.

С диссертацией можно ознакомиться в библиотеке ГОУВПО Рязанская государственная радиотехническая академия.

Автореферат разослан » ^ 2005 г.

Ученый секретарь диссертационного совета к.т.н., доцент

Пржегорлинский В.Н.

-И обб

I

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы.

Компьютерные системы обработки и анализа видеоинформации всё более интенсивно применяются в различных областях человеческой деятельности. Наиболее широкое распространение они получили при решении таких задач как навигация, космический мониторинг Земли, контроль качества и количества производимой продукции, обеспечение безопасности различных объектов, передача и хранение видеоинформации, медицинские и военные приложения.

Одним из направлений при создании систем анализа и обработки видеоинформации является разработка бортовых видеоинформационных комплексов, предназначенных для установки на самолётах, вертолётах, автомобилях. Характерными чертами этих бортовых систем технического зрения являются, с одной стороны, необходимость работы в реальном масштабе времени, а, с другой стороны, способность выполнять задачи при минимальном участии оператора.

Одной из наиболее актуальных проблем, связанных с разработкой бортовых видеоинформационных комплексов, является проблема выделения и обнаружения объектов, находящихся в поле зрения датчика изображений. Задача выделения объектов состоит в принятии решения о наличии объекта для каждой точки изображения. Задача обнаружения объектов состоит в принятии решения о наличии или отсутствии объекта или нескольких объектов в текущем изображении. Примерами таких объектов могут служить самолёты, вертолёты, автотранспорт, суда, люди. При этом априорная информация о характеристиках объектов обычно очень скудна, и в лучшем случае включает в себя лишь приблизительные размеры и скорости движения объектов.

Область применения технологий автоматического выделения и обнаружения объектов включает в себя такие задачи как поиск и спасение, анализ движения наземных транспортных средств, контроль движения воздушного транспорта, обнаружение неисправностей различных механизмов, слежение за движением глазного зрачка, диагностику заболеваний по рентгеновским снимкам, обнаружение объектов в системах обеспечения безопасности, астронавигацию, создание систем управления летательных аппаратов. Обнаружение и выделение объектов часто лежит в основе алгоритмов распознавания объектов и понимания сцен.

Разработано большое количество методов выделения и обнаружения объектов, предназначенных для работы в различных условиях наблюдения. Вместе с тем, проблема автоматического выделения и обнаружения движущихся объектов на сложном неоднородном фоне при наличии геометрических преобразований в последовательности наблюдаемых изображений до сих пор недостаточно исследована. Этой проблеме и посвящена диссертационная работа.

Можно выделить два основных источника геометрических преобразований наблюдаемых изображений. Во-первых, это преломление света в атмосфере. Во-вторых, это движение и изменение прос^^од йШшй иинснтации датчика изображений. Движение и изменение ориентации ^Щ^^МШШ^ны тем,

Н/

что часто датчик размещают на подвижном носителе, таком как вертолёт, автомобиль или устройство позиционирования датчика.

Геометрические преобразования изображений затрудняют, а иногда делают совершенно невозможным выделение и обнаружение движущихся объектов на сложном фоне при использовании методов обработки изображений, разработанных в расчёте на отсутствие геометрических преобразований.

Таким образом, существует актуальная проблема выделения и обнаружения движущихся объектов на сложном фоне в условиях наличия геометрических преобразований в последовательности наблюдаемых изображений.

Степень разработанности темы.

Вопросы обнаружения и выделения объектов по данным видеонаблюдений достаточно широко представлены в отечественных и зарубежных источниках. Значительный вклад в разработку методов и алгоритмов решения данной задачи внесли работы таких учёных как Б.А. Алпатов, В.К. Баклицкий, П.А. Ба-куг, A.M. Бочкарев, В.Г. Лабунец, Е.П. Путятин, A. Aridgides, Q. Pham, W. Pratt и другие. Несмотря на большое количество работ по данной тематике, в результате проведённого анализа не было выявлено публикаций, в которых в полной мере решается и исследуется задача выделения движущихся объектов на сложном неоднородном фоне при движущемся датчике изображений. В ряде работ рассматривается возможность использования дополнительной процедуры оценивания параметров геометрических преобразований наблюдаемого изображения и дальнейшего применения обычных алгоритмов выделения и обнаружения, однако в данных источниках не принимается во внимание наличие ошибок оценивания параметров геометрических преобразований изображения.

Таким образом, цель диссертации состоит в разработке эффективных методов выделения и обнаружения движущихся объектов при наличии геометрических преобразований изображения. Для достижения поставленной цели необходимо решить следующие основные задачи:

- обзор и оценка существующих методов выделения и обнаружения объектов;

-разработка модели формирования изображений при различных видах геометрических преобразований изображения, которые включают в себя как геометрические искажения, вызванные преломлением световых лучей в атмосфере, так и геометрические преобразования, вызванные движением датчика;

- разработка алгоритма оценки параметров геометрических преобразований изображения, вызванных движением датчика;

-выбор критериев синтеза алгоритмов обнаружения и выделения движущихся объектов;

- синтез алгоритмов обнаружения и выделения движущихся объектов на основе сформулированных критериев;

-экспериментальные исследования эффективности разработанных методов и алгоритмов; - ~ _ .

Vie-"»- - * ™

- натурное моделирование разработанных алгоритмов и экспериментальная проверка их работоспособности.

Научная новизна диссертации состоит в том, что в ней впервые сформулирована и решена задача обнаружения и выделения движущихся объектов на сложном фоне при наличии геометрических преобразований наблюдаемого изображения, вызванных движением датчика и атмосферными явлениями. Эффективность разработанных подходов получила экспериментальное подтверждение.

Методы исследования.

Теоретические исследования в настоящей работе выполнены на основе методов теории вероятностей, теории статистических решений, функционального анализа, спектрального анализа.

Экспериментальные исследования выполнялись на реальных и синтезированных видеосюжетах с использованием методов математической статистики.

Реализация и внедрение.

Разработанные в диссертации методики, алгоритмы и программное обеспечение были использованы при выполнении научно-исследовательских работ, проводимых в ГОУВПО Рязанской государственной радиотехнической академии по заказу министерства образования РФ (НИР 1-02Г, 26-ОЗГ, 7-04Г, 6-ОЗГ), при выполнении работ, проводимых в ГОУВПО Рязанской государственной радиотехнической академии по заказу ФГУП «Государственный рязанский приборный завод» (НИР 3-00, 1-02, 1-03, 1-04), при выполнении работ, проводимых ФГУП «Государственный рязанский приборный завод» по заказам сторонних организаций («Аргумент 2000 - Охотник», «ТОР - Т», «Охотник - П»), что подтверждается актами внедрения.

Апробация работы.

Основные результаты работы докладывались на следующих конференциях:

- 10-й, 11-й, 12-й и 13-й международных научно-технических конференциях «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань - 2001-2004);

- 37-й научно-технической конференции РГРТА (Рязань - 2002);

- 7-й и 9-й Всероссийских конференциях «Новые информационные технологии в научных исследованиях и образовании» (Рязань - 2002,2004);

- 5-й, 6-й и 7-й международных научно-технических конференциях «Цифровая обработка сигналов и ее применения» (Москва - 2003-2005);

- 4-й международной научно-технической конференции «Космонавтика. Радиоэлектроника. Геоинформатика» (Рязань - 2003);

-международной научно-технической конференции «Современная радиоэлектроника в ретроспективе идей В.А. Котельникова» (Москва - 2003);

-Всероссийской дистанционной научно-технической конференции «Информационно-телекоммуникационные технологии» (Москва - 2003);

- второй Всероссийской научной конференции «Проектирование инженерных и научных приложений в среде MATLAB» (Москва - 2004);

- Всероссийской научно-технической конференции «Информационно-телекоммуникационные технологии» - два доклада - (Сочи - 2004).

Выступления на 9-й всероссийской конференции «Новые информационные технологии в научных исследованиях и образовании» (2004) и на 7-й международной конференции «Цифровая обработка сигналов и ее применения» (2005) отмечены дипломами.

Публикации.

По теме диссертации опубликовано 22 работы, в том числе три статьи в центральной печати. Результаты исследований отражены в восьми отчётах о НИР.

Структура и объём диссертации.

Диссертация состоит из введения, четырёх глав, заключения, списка литературы (98 источников), изложенных на 178 страницах, содержит 52 рисунка и 10 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

В первой главе диссертации дан качественный анализ рассматриваемой проблемы, обзор и оценка существующих подходов к решению задачи выделения и обнаружения объектов, рассматриваются основные принципы построения информационно-управляющих систем обнаружения, выделения и сопровождения движущихся объектов.

Исходной проблемой, послужившей основой для выполненных в диссертационной работе исследований, является проблема выделения и обнаружения движущихся объектов на сложном неоднородном фоне в бортовых системах обработки и анализа изображений, предназначенных для установки на таких движущихся носителях как самолёты, вертолёты, автотранспорт. Обычно речь идёт о выделении и обнаружении летательных аппаратов, бронетехники, людей на расстоянии нескольких километров.

Размер чувствительной матрицы используемых датчиков обычно составляет 582x752 пикселя, частота кадровой развёртки - 25 Гц. Предполагаемый размер объектов в пикселях может принимать значения от 3x3 до 30x30 пикселей. Датчик обычно размещается на поворотном устройстве, прикреплённом к корпусу носителя и способном изменять направление оптической оси датчика.

Движение носителя, вообще говоря, приводит к возникновению сложных геометрических преобразований изображения, зависящих от трёхмерной структуры наблюдаемой сцены и от характера движения датчика. Однако, при указанных выше условиях наблюдения, можно считать, что на непродолжительном временном интервале геометрические преобразования наблюдаемого изображения включают только повороты и смещения. Именно эти типы преобразований, вызванные движением датчика, рассматриваются в диссертации.

Существующие методы по разным причинам не могут быть применены для решения поставленной задачи. Фактором, не позволяющим использовать

корреляционные методы, является слишком большое количество требуемой для них априорной информации. Невозможность использования методов пространственной или статистической обработки изображений связана с тем, что для их успешного применения требуется, чтобы пространственные или статистические свойства объекта и фона были различными, что практически часто не выполняется. Методы, осуществляющие временную обработку, удовлетворяют требованиям по количеству априорной информации, но они также требуют, чтобы фоновое изображение было неподвижно в последовательности кадров. В таких условиях разумным решением выглядит дополнение какого-либо временного метода процедурой оценки и компенсации геометрических преобразований изображения. Ясно, что чем точнее оцениваются параметры геометрических преобразований, тем ближе условия работы алгоритма к условиям, в которых датчик изображений неподвижен, и, следовательно, тем выше будет качество выделения и обнаружения объектов. В диссертации приведено аналитическое обоснование этого факта, которое начинается с введения обобщенной модели формирования наблюдаемого изображения при произвольных типах геометрических преобразований

1{х,у)=§{0{х,у)Х1 - г(х,у))+И(х,у)г(х,у) + %(х,у), (1)

где 1(х,у) - наблюдаемое изображение, g{x,y) - фоновое изображение, Г2(л:,_у) - функция, описывающая геометрические преобразования, которые испытывает фоновое изображение, г(х,у) - бинарное изображение, единичные значения которого задают расположение объектов, И{х,у) - яркостное изображение всех объектов, у) - аддитивный шум датчика.

Задача выделения объекта в точке {х0,у0) сформулирована математически в терминах теории статистических решений как задача минимизации критерия средних потерь:

Я(и(!))=Р(г = 0)р(1,0) ¡р(1/г = 0^1+Р(г = 1)р(0,1) \р{11г = \)с11

«СИ «СИ (2)

М*(/) = агётт{д(и(/))} «О

где / = 1(х0,у0), г = г(х0, >'0), Р(г = 0)и р(г = 1) - априорные вероятности отсутствия и присутствия объекта в точке изображения, р(0,1)и р(1,0) - значения функции потерь при принятии неправильных решений о наличии и об отсутствии объекта, р{Иг = \) и р(1/г = О) - условные плотности распределения наблюдаемого значения яркости при отсутствии и наличии объекта, м(/) - правило принятия решения о наличии объекта в точке (х0,_у0), Л(м(/)) - значение критерия средних потерь при правиле принятия решений н(/),и*(/) - оптимальное правило принятия решения о наличии объекта в точке (х0,у0). Подставив наблюдаемое значение /(х0,у0) в функцию принятия решений и*(/), мож-

но получить оптимальную оценку присутствия объекта в точке (х0,у0), которую обозначим г.

На основе теории статистических решений получены соотношения, связывающие погрешность оценки параметров геометрических преобразований с использованным критерием качества выделения объектов:

*(/)) < 2(Д^М2Д//Г=0))б +4^МЩ1г=0$ £>(//г = 0)< £>(/)+£>(!)+ 2й{/)1>{4), /)(/)< 3

2

М (3)

где £>(//г = 0) - дисперсия яркости наблюдаемого изображения в отсутствии объекта, £>(/) - дисперсия яркости преобразованного изображения, £>(о) -дисперсия оценки смещения точки изображения, £>(£) - дисперсия аддитивного шума, А0 = Р(г = 0)р(1,0) , Я,=Р(г = 1)р(0,1) , Л/= шах {/>(//г = 1)} ,

С =, пих {¡£(х,.у)-¿(и,у}}, и = тах|Уя(х,^)(}.

Из полученных соотношений, в частности, следует, что чем меньше неоднородность фонового изображения, выраженная величинами и и С? , тем ниже могут быть требования к точности оценки параметров геометрических преобразований.

Таким образом, основным результатом главы является декомпозиция задачи выделения и обнаружения объектов на две подзадачи: оценивание параметров геометрических преобразований изображения и собственно выделение и обнаружение объектов. На рис. 1 показано место решаемых в диссертации задач в общей структуре информационно-управляющей системы обнаружения, выделения и сопровождения движущихся объектов.

Вторая глава диссертации посвящена решению задачи оценки параметров геометрических преобразований наблюдаемых изображений.

Рассмотрены основные типы геометрических преобразований изображений, возникающих при заданных условиях наблюдения. В качестве адекватных задаче моделей преобразований, вызванных движением датчика, приняты преобразования смещения

8(х,у) = {х-а,у-0), (4)

и евклидовы преобразования

5,(*,у)=(хсо5<р + з^т^р - усоъ<р - р), (5)

где, Б(х, у) - двумерная функция, задающая вид преобразования, <р - угол поворота, (а,р) - смещения изображения по горизонтали и по вертикали.

изображений

Подсистема тпцш/шш

П рмвтрвадааашд ПЮГТО! .

Параметры

с реобраэоааний

т

Анализ траекторий

Параметры

объектов

Управление ориюдамя

регулятор

Модуль ! взаимодействия с '

Рисунок 1 - Структура информационно-управляющей системы обнаружения, выделения и сопровождения движущихся объектов

В качестве модели преобразований, вызванных атмосферными явлениями, рассматривается модель случайного гауссового смещения точек изображения вида:

Разработан вычислительно эффективный корреляционный алгоритм оценки параметров преобразований смещения и поворота текущего изображения относительно одного из предшествующих изображений, взятого в качестве эталонного. Упрощенная структурная схема алгоритма приведена на рис. 2. На рисунке символами «*» обозначены блоки комплексного сопряжения, симво-; лами «х» - блоки перемножения. Блоки БПФ и ОБПФ производят прямое и обратное быстрое преобразование Фурье. Блоки «а^тах» выполняют поиск точки максимума входного массива данных. Блок «1оц(|...|)» осуществляет лога-1 рифмирование модуля каждого элемента входного массива данных. Алгоритм основан на использовании свойств Фурье-спектров изображений. Сначала выполняется компенсация явления Гиббса путём умножения изображения на оконную функцию, спадающую от середины к краям изображения. Затем вычисляется ф - оценка угла поворота между текущим и эталонным изображением. После этого, с использованием полученного значения ф, вычисляются

Я(х,у)={х - гх{х,у\у - гу(х,у)), где 2Хх,у)-~м{0,а1), гу(х,у)~ м{о,ог]\ Ч{х,у):Е{гх{*,у)2у{х,у))^ 0.

(6)

оценки параметров смещения а,р. Сигнал смены эталона подаётся на вход алгоритма при поступлении первого кадра видеопоследовательности, а также при необходимости записать в память алгоритма новое эталонное изображение.

Рисунок 2 - Структурная схема алгоритма оценки параметров смещения и по-

ворота

Проведены сравнительные исследования точности разработанного алгоритма и приведённого в литературе многоэталонного алгоритма оценки параметров смещения и поворота, которые показали, что точностные характеристики разработанного подхода на порядок выше, чем у многоэталонного.

Выполнен экспериментальный анализ точности разработанного алгоритма при наличии значительных смещений и поворотов между наблюдаемыми изображениями и в присутствии движущихся объектов. Испытания показали, что алгоритм работоспособен при достаточно больших величинах смещения, угла поворота и относительной площади движущихся объектов. Например, при отношении сигнал/шум около восьми, при максимальном угле поворота, не превышающем 10 градусов, при наличии смещений, не превышающих 15% линейных размеров изображения и при площади движущихся объектов до 10% от общей площади изображения, ошибка оценивания угла не превышает 10~3 градусов, а ошибка оценивания смещения не превышает 0,5 пикселя. Однако, при возрастании площади объектов, угла поворота или величины смещения, ошибки оценивания резко увеличиваются.

Для уменьшения ошибок оценивания разработан алгоритм оценки параметров смещения и поворота в последовательности кадров, использующий процедуру периодической смены эталонного изображения. Предлагаемый подход позволяет решать задачу оценивания параметров евклидова преобразования изображения при смещении между первым и текущим кадрами, превышающем размеры изображения.

Таким образом, основным результатом второй главы является разработка методик и алгоритмов оценивания преобразований смещения и поворота в последовательности изображений, пригодных для использования в информационно-управляющей системе обнаружения, выделения и сопровождения движущихся объектов.

Третья глава посвящена решению задачи выделения и обнаружения движущихся объектов при подвижном датчике.

Сначала решается упрощенная задача выделения объекта в заданной точке (*0>.Уо) изображения при известном фоновом изображении. Рассмотрена модель наблюдаемого изображения, полученная из обобщенной модели (1) с использованием конкретных видов геометрических преобразований изображений (5) и (6):

/ = /(1-г)+Йг + £,

/ = (7)

&м (*,>0= ё{хсо5<р + увт/р-а,-хзт <р + усоъ<р - /?),

где / = /(х0,3'0) , И = к(х0,у0) , ¿¡ = <*(ха,у0) , гх=гх{>Ь.Уо) , гу^гу(х0,у0) , А ~ ЛССщш.с^,), где Сщд.с.^ - минимально и максимально возможные яркости точек на изображении, gм(x,y) - изображение фона в системе координат наблюдаемого изображения, /- яркость фона в точке (х9,у0). Предполагается, что в результате оценивания параметров геометрического преобразования (а,Р,<р) сформированы их оценки \а,р,ф), и известны дисперсии независимых ошибок оценивания: сг^ - дисперсия оценки смещения, <у* - дисперсия оценки угла поворота.

Задача выделения объектов сформулирована на основе критерия Неймана-Пирсона:

Р{г = Иг = 0)±р_, Р(т — 1/г = 1) = р+ —> шах, ^

где р_ - заданное значение вероятности ложного выделения, р+ - вероятность правильного выделения, которая должна быть максимизирована путём оптимального выбора параметров алгоритма выделения объектов, г - оценка присутствия объекта в точке (дс0,у0).

На основе методов теории оценивания, разработан алгоритм выделения объектов, заключающийся в выполнении геометрического преобразования изображения g(x,y) в соответствии с параметрами (а,Д<р), вычислении модуля разности преобразованного и наблюдаемого изображений и в проверке превышения полученной величиной некоторого порогового значения, определяемого дисперсией аддитивного шума, вектором градиента фонового изображения и дисперсией ошибок оценивания параметров геометрического преобразования. Формально алгоритм можно представить следующим образом:

ч

если^х,})-1)2 > ¿2а1; ^

О, иначе,

А* — А* ^ Л2 А* — стг -<ту , (Ту =

х'=х<,совф + ^„этр, у' = - х0 бш р + у0соэф, х = х'-а, у = у'-р, (11) где <1 - полуширина (1- р_)-100% доверительного интервала для нормированной гауссовой случайной величины, а^ - оценка суммарной дисперсии помех, вызванных аддитивным шумом, атмосферными явлениями и неточностью оценки параметров геометрических преобразований, - оценка дисперсии помех, вызванных атмосферными явлениями и неточностью оценки параметров геометрических преобразований, а] = - оценка дисперсии ошибок,

вызванных неточной оценкой смещения и атмосферными явлениями, (х,.у) -результат преобразования точки (х0,у0) в соответствии с найденными оценками параметров геометрического преобразования, Vg(x, у) - градиент фонового изображения в точке (х,у\ {х',у') вектор расстояния мезвду точкой (х,у) и центром поворота фонового изображения.

На качественном уровне смысл формул (9)-(11) можно объяснит, следующим образом. При деформациях изображения наибольшие ошибки измерения яркости будут присутствовать вблизи резких перепадов яркостей, поэтому в этих областях величину порога необходимо увеличивать. Напротив, в тех местах, где изображение однородно, деформации не вызывают больших ошибок, и даже небольшое изменение яркости свидетельствует о наличии объекта. При наличии поворотов изображения порог выделения в различных точках изображения зависит не только от модуля, но и от направления градиента изображения. Величина порога возрастает при удалении от оси поворота изображения.

Для решения задачи выделения движущихся объектов при отсутствии априорной информации о фоновом изображении и о дисперсии аддитивного шума, разработанный алгоритм был дополнен процедурами оценивания этих величин в процессе наблюдений.

Бинарное изображение, полученное в результате применения пороговой обработки, обычно имеет такие недостатки как несвязность изображения объекта и присутствие ошибочно выделенных ложных сегментов небольшой площади. Для устранения этих недостатков разработан алгоритм обнаружения объектов на основе морфологической фильтрации, использующий априорные данные о размерах и форме объектов. Для снижения вычислительных затрат предложено использовать упрощенные морфологические операции, которые используют представление бинарного изображения в виде списка связных областей.

Общая структура разработанного алгоритма обнаружения и выделения движущихся объектов представлена на рис. 3.

Преобразованное

Список сегментов

Рисунок 3 - Структурная схема алгоритма выделения и обнаружения движущихся объектов

Иногда выделение и обнаружение движущихся объектов требуется осуществлять при наблюдении сцены несколькими датчиками, работающими в различных спектральных диапазонах. Поскольку датчики обычно разнесены в пространстве, возникает проблема совмещения кадров изображений, полученных датчиками, так, чтобы точки изображений, имеющие одинаковые координаты, являлись проекциями одной и той же точки наблюдаемой сцены. Такая процедура называется юстировкой изображений. Разработанный алгоритм юстировки изображений основан на выборе пар опорных элементов изображений, решении нелинейной системы алгебраических уравнений, содержащей в качестве неизвестных параметры проективного преобразования, и выполнении этого проективного преобразования. При формировании системы уравнений используются следующие пары опорных элементов: точка-точка, точка-прямая, прямая-точка, прямая-прямая.

Экспериментальные исследования алгоритма выделения движущихся объектов проводились на программной модели алгоритма с использованием натурных видеосюжетов. Основными используемыми в исследованиях количественными показателями качества являлись частота правильного выделения и частота ложного выделения. Частота правильного выделения это отношение числа точек, правильно отнесённых к объекту, к общему количеству точек объекта. Частота ложного выделения это отношение количества точек, неверно отнесённых к объекту к общему количеству точек изображения, не принадлежа-

щих объекту. Расчёт показателей качества производился на основе эталонной бинарной маски обнаруживаемого объекта, сформированной человеком-оператором по наблюдаемому кадру видеопоследовательности. В процессе исследований для фиксированных пар а9, <у1 и для отношений сигнал/шум от 2

до 6 строились рабочие характеристики выделения. Рабочая характеристика выделения это зависимость частоты правильного выделения от частоты ложного выделения при изменении параметров алгоритма. В данном случае изменялся параметр й.

001 002 0 03 0 04 0 05 0 06 0 07 0 08

Частота ложного выделения

Рисунок 4 - Характеристики выделения при Рисунок 5 - Исходное изобра-различных значениях параметров жение

На рис. 4 показаны характеристики выделения, полученные при двух различных наборах параметров алгоритма и при отношении сигнал/шум около 6. Присутствующие на графиках числа являются значениями параметра (1 в точках, отмеченных крестами. Пунктирная кривая соответствует нулевым значениям , сг1. При таких аг, присутствие ошибок оценивания параметров геометрических преобразований не принимается во внимание. Сплошная кривая получена при значениях а9 = 0,05, а! = 0,0075. Видно, что учёт ошибок

оценивания параметров позволяет повысить частоту правильного выделения и снизить частоту ложного выделения. Анализ рабочих характеристик выделения при отношениях сигнал/шум от 2 до 6 показал, что использование предлагаемого подхода позволяет повысить частоту правильного выделения на 5-10% или снизить частоту ложного выделения приблизительно в 1,5-2,5 раза.

На рис. 5 приведён один из кадров тестового видеосюжета. Изображения на рис. 6 представляют собой результаты выделения движущегося объекта при различных наборах параметров ар, . Результат 6 (а), полученный без учёта

ошибок оценивания параметров геометрических преобразований, значительно хуже результата 6 (б), так как содержит значительное количество устойчивых во времени протяженных ложных сегментов.

Таким образом, основным результатом, полученным в третьей главе, явилась разработка эффективного алгоритма выделения и обнаружения движущих-

- - • -

а) ¿ = 3,25. ст,=0; стр = 0 б) ¿=3;°-, = 0,05. 0, = 0,0075

Рисунок б - Результаты выделения движущегося объекта при различных параметрах алгоритма

В четвёртой главе рассмотрены вопросы реализации информационно-управляющей системы обнаружения, выделения и сопровождения движущихся объектов и экспериментальной проверке её работоспособности.

Разработанная информационно-управляющая система состоит из видеокамеры, поворотного устройства, платы ввода изображений, и двух компьютеров с процессорами Pentium 4 (3 ГТц). Первый компьютер решает задачи оценки параметров геометрических преобразований, а на второй возложены задачи выделения, обнаружения, анализа траекторий движения объектов, взаимодействия с пользователем и управления поворотным устройством. Обмен данными между компьютерами осуществляется по Ethernet или FireWire.

Для информационно-управляющей системы разработано специализированное программное обеспечение на языке С++, позволяющее работать с такими источниками видеоинформации как AVI-файлы, аналоговые видеокамеры (через фреймграббер Matrox Meteor II), цифровые видеокамеры стандарта DC AM.

При размере анализируемой части кадра 256x256 точек, частота обработки кадров в информационно-управляющей системе составила 25 Гц. Примеры изображений, формируемых на мониторе информационно-управляющей системы в процессе слежения за объектом, приведены на рис. 7. Белыми прямоугольниками на изображениях выделены объекты слежения.

В результате экспериментов было показано, что предложенный подход позволяет решать задачи обнаружения, выделения и сопровождения движущихся объектов в сложных условиях наблюдения, при которых другие ранее известные алгоритмы оказываются неработоспособными. К сложным условиям наблюдения относятся, прежде всего, высокая неоднородность объекта и фона, кра " '

Рассмотренные в диссертации методы и алгоритмы могут быть использованы при разработке систем обработки изображений реального времени, реализуемых на базе современных ПЛИС и сигнальных процессоров. В настоящее время разработанные алгоритмы используются при модернизации программно-алгоритмического обеспечения для системы обработки изображений реального времени «Охотник».

1. Обоснованы общие принципы построения систем анализа изображений, ориентированных на использование в информационно-управляющих комплексах обнаружения, выделения и сопровождения движущихся объектов по данным видеонаблюдений при движущемся датчике изображений. Показано, что, оценивая с достаточно высокой точностью геометрические преобразования изображений в последовательности кадров, можно добиться повышения качества выделения движущихся объектов. Степень повышения качества зависит от характеристик неоднородности наблюдаемого изображения и интенсивности аддитивного шума.

2. Разработаны методики и алгоритмы оценки параметров геометрических преобразований в системах анализа изображений с движущимся датчиком, ориентированные на работу в реальном масштабе времени и надёжно функционирующие при наличии различных искажающих факторов. Экспериментальные исследования алгоритмов показывают, что их можно успешно использовать в системах обнаружения движущихся объектов при движущемся датчике изображений.

Рисунок 7 - Слежение за движущимся автобусом

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

3. Разработаны методики и алгоритмы автоматизированной юстировки изображений при наблюдении в нескольких спектральных диапазонах на основе выбора опорных элементов изображений.

4. Разработаны методы и алгоритмы выделения движущихся объектов, учитывающие присутствие геометрических преобразований изображения, вызванных движением датчика изображений и непараметрическими атмосферными искажениями. Показано, что алгоритм обнаружения движущегося объекта в данной точке изображения требует учёта неравномерности яркости фонового изображения в окрестности этой точки. В качестве первого приближения используется градиент изображения как мера этой неравномерности изображения. Предлагаемые методы позволяют повысить частоту правильного выделения объектов на 5-10% или снизить частоту ложного выделения в 1,5 - 2,5 раза.

5. В результате исследований, проведённых в реальных условиях наблюдения на базе разработанного программно-аппаратного комплекса, была подтверждена возможность реализации в реальном масштабе времени и эффективность разработанных методов и алгоритмов выделения и обнаружения движущихся объектов при движущемся датчике изображений.

ОПУБЛИКОВАННЫЕ РАБОТЫ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Бабаян П В Методы математической морфологии в задачах обработки изображений // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций Тез докл. 10-ймеждунар. науч.-техн конф - Рязань, 2001 -С 212-214.

2 Алпатов Б А, Бабаян П.В., Бохан К.А, Катаев А.А, Муравьёв С И, Степашкин А.И. Проблемы создания математического, программного и аппаратного обеспечения видеокомпьютерных систем управления // Тез докл 37-й науч.-техн. конф - Рязань, 2002. - С. 33.

3 Бабаян П В Создание плагинов для Photoshop и Mathcad // Новые информационные технологии в научных исследованиях и образовании Тез докл 7-й всеросс науч -техн конф - Рязань, 2002 - С 49-50.

4. Бабаян П В Исследование алгоритма электронной юстировки изображений при мультиспектральном наблюдении И Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Тез докл. 11-й междунар. науч -техн. конф - Рязань, 2002 -С. 19.

5 Алпатов Б.А, Бабаян П В. Электронная юстировка изображений при мультиспектральном наблюдении // Цифровая обработка сигналов - 2003 - Xsl - С 24-26

6. Алпатов Б А, Бабаян П В Исследование алгоритма электронной юстировки изображений при двухспектральном наблюдении // Цифровая обработка сигналов и ее применения. Тез. докл. 5-й междунар. конф - М МЦНТИ, 2003 - С 410-412.

7. Алпатов Б А., Бабаян П В Разработка алгоритма слежения за фоновым изображением для видеокомпьютерной системы обнаружения и определения координат движущихся объектов // Проблемы математического моделирования и обработки информадии в научных исследованиях Сб. науч. тр. - Рязань РГРТА,2003 - С 3-15

8 Алпатов Б А., Бабаян П В , Бохан К. А. Разностный алгоритм обнаружения и определения координат объектов при движущемся датчике изображения // Космонавтика. Радиоэлектроника. Геоинформатика. Тез докл 4-ймеждунар конф - Рязань,2003 -С 317-320.

9. Алпатов Б А., Бабаян П В Электронная юстировка изображений по опорным признакам при двухспектральном наблюдении // Современная радиоэлектроника в ретроспективе идей В А. Котельникова Тез докл междунар. конф -М МЭИ, 2003 -С 121-122

Ю.Бабаян ПВ Оценивание параметров проективного преобразования по опорным элементам в задаче электронной юстировки лвухспектральных видеопоследовательностей // Вестник Рязанской государственной радиотехнической академии -2003 - Вып 12 -С 2731

11 Алпатов Б А., Бабаян П В , Балашов О.Е, Бохан К А., Катаев А.А, Стротов В В. Методы и алгоритмы обнаружения, распознавания и сопровождения объектов в бортовых видеоинформационных системах // Информационно-телекоммуникационные технологии Тез докл всеросс науч.-техн. дистанционной конф - Москва, 2003 - С 14

12. Бабаян П.В Алгоритм слежения за группой движущихся объектов для видеокомпьютерной системы наблюдения // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций Тез докл 12-й междунар науч -техн. конф - Рязань, 2004 - С 65-66.

13. Алпатов Б А, Бабаян П.В Обнаружение и слежение за движущимися объектами в присутствии дрожания и линейных сдвигов изображения // Цифровая обработка сигналов и ее применения Тез. докл 6-й междунар. конф Том 2 - М • 2004 - С. 95-96.

14 Бабаян П В Информационная технология автоматического обнаружения и слежения за движущимися объектами при подвижном датчике изображений // Новые информационные технологии в научных исследованиях и образовании Тез. докл. 9-й всеросс. науч -техн. конф - Рязань, 2004 - С 179-180.

15. Бабаян П В Разработка программного обеспечения для юстировки последовательностей изображений в среде МАТЬАВ // Труды Второй Всеросс науч конф «Проектирование инженерных и научных приложений в среде МАИ.АВ» — М ИПУ РАН, 2004 - С 5354

16 Алпатов Б А, Бабаян П.В , Балашов О Е , Бохан К А , Катаев А А., Стротов В В Информационные технологии обнаружения, распознавания и сопровождения объектов в бортовых видеоинформационных системах // Информационно-телекоммуниционные технологии. Тез. докл. Всеросс науч -техн конф - Сочи, 2004 - С. 5-6.

17. Бабаян П.В, Стротов В В. Методы оценки геометрических преобразований изображения для бортовой видеоинформационной системы // Информационно-телекоммуниционные технологии Тез докл Всеросс науч -техн конф - Сочи, 2004 - С. 78

18. Алпатов Б А . Бабаян П В., Стротов В В Сравнительное исследование методов слежения за фоновым изображением для бортовой видеоинформационной системы // Проблемы передачи и обработки информации в сетах и системах телекоммуникаций. Тез. докл. 13-й междунар науч -техн. конф - Рязань, 2004 - С. 91-92.

19 Алпатов Б А., Бабаян П В., Муравьев В С Анализ траекторий движения объектов в сложных условиях наблюдения // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Тез. докл 13-й междунар науч -техн конф - Рязань, 2004 - С. 92-94.

20 Алпатов Б А., Бабаян П В Выделение движущихся объектов в системах видеонаблюдения при наличии геометрических искажений изображения // Цифровая обработка сигналов и ее применения. Тез докл 7-й междунар. конф. Том 2 - М • 2005 - С. 336-340.

21. Алпатов Б А, Бабаян П В. Выделение движущихся объектов в условиях геометрических искажений изображения//Цифровая обработка сигналов -2004 -№4 -С 9-14

22. Методы и алгоритмы обнаружения, распознавания и сопровождения объектов в видеокомпьютерных системах- Отчёт о НИР (заключительный) / РГРТА; Рук Алпатов Б А -Тема № 1-02Г, № ГР 01200302742, Инв № 02200306786 - Рязань, 2003 - 65 с. Соисполнитель - Бабаян П.В.

БАБАЯН Павел Вартанович

МЕТОДЫ И АЛГОРИТМЫ ОБНАРУЖЕНИЯ И ВЫДЕЛЕНИЯ ОБЪЕКТОВ В ИНФОРМАЦИОННО-УПРАВЛЯЮЩИХ СИСТЕМАХ ПРИ ДВИЖУЩЕМСЯ ДАТЧИКЕ ИЗОБРАЖЕНИЙ

Автореферат

диссертации на соискание учёной степени кандидата технических наук

Отпечатано 27.04.2005 Рязань, ООО «Оргтехцентр» Первомайский проспект, 37. Тираж 100 экз.

РНБ Русский фонд

2006-4 14066

ВВЕДЕНИЕ.

1 АНАЛИЗ ПРОБЛЕМЫ ОБНАРУЖЕНИЯ, ВЫДЕЛЕНИЯ И СЛЕЖЕНИЯ ЗА ОБЪЕКТАМИ ПРИ ДВИЖУЩЕМСЯ ДАТЧИКЕ ИЗОБРАЖЕНИЙ.

1.1 Вводные замечания и качественная постановка задачи обнаружения и выделения объектов.

1.2 Краткий обзор методов обнаружения и выделения объектов в последовательности изображений.

1.3 Разработка общего подхода к решению задачи.

2 МЕТОДЫ ОЦЕНКИ ПАРАМЕТРОВ ГЕОМЕТРИЧЕСКИХ ПРЕОБРАЗОВАНИЙ ФОНОВОГО ИЗОБРАЖЕНИЯ.

2.1 Математические модели геометрических преобразований изображения.

2.2 Аналитическая постановка задачи оценки параметров геометрических преобразований изображения при движущемся датчике

2.3 Оценивание параметров преобразования смещения.

2.4 Алгоритм оценки параметров евклидовых преобразований изображения на основе преобразования Фурье.

2.5 Исследование алгоритма оценки параметров евклидовых преобразований.

2.6 Обновление эталонного изображения фона при оценке параметров геометрических преобразований.

3 МЕТОДЫ ВЫДЕЛЕНИЯ И ОБНАРУЖЕНИЯ ОБЪЕКТОВ НА ИЗОБРАЖЕНИИ.

3.1 Аналитическая постановка задачи выделения объектов.

3.2 Разработка алгоритма выделения объектов при наличии геометрических преобразований наблюдаемого изображения.

3.3 Формирование оценок фона и дисперсии аддитивного шума.

3.4 Выделение объектов в последовательности изображений.

3.5 Обнаружение объектов с использованием морфологической фильтрации.

3.6 Структура алгоритма обнаружения и выделения движущихся объектов.

3.7 Электронная юстировка мультиспектральных изображений в задаче обнаружения и выделения объектов.

3.8 Исследование алгоритма выделения движущихся объектов в присутствии смещений фонового изображения.

3.9 Исследование алгоритма выделения движущихся объектов в присутствии смещений и поворотов изображения.

4 РАЗРАБОТКА И КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ ПРЕДЛАГАЕМЫХ АЛГОРИТМОВ. ПРОВЕРКА ИХ

РАБОТОСПОСОБНОСТИ В ЗАМКНУТОМ КОНТУРЕ УПРАВЛЕНИЯ.

4.1 Структура системы обнаружения, выделения и сопровождения движущихся объектов.

4.2 Структура программного обеспечения.

4.3 Экспериментальная проверка работоспособности в реальных условиях слежения за объектами.

Актуальность работы.

Компьютерные системы обработки и анализа видеоинформации всё более интенсивно применяются в различных областях человеческой деятельности. Наиболее широкое распространение они получили в таких задачах как навигация, космический мониторинг Земли, контроль качества и количества производимой продукции, обеспечение безопасности различных объектов, передача и хранение видеоинформации, медицинские и военные приложения.

Одним из направлений при создании систем анализа и обработки видеоинформации является разработка бортовых видеоинформационных комплексов, которые предназначены для установки на автономных носителях, таких как самолёты, вертолёты, автомобили. Характерными чертами этих бортовых систем технического зрения являются, во-первых, необходимость работы в реальном масштабе времени. Во-вторых, эти системы должны иметь автономный режим функционирования, требуя лишь незначительных усилий оператора.

Одной из наиболее актуальных проблем, связанных с разработкой бортовых систем технического зрения, является проблема обнаружения и выделения объектов, находящихся в поле зрения датчика изображений. Примерами таких объектов могут служить самолёты, вертолёты, автотранспорт, суда, люди. При этом информация о характеристиках объектов, которые требуется выделять, обычно очень скудна, и в лучшем случае включает в себя лишь приблизительные размеры объекта.

Область использования технологий автоматического обнаружения и выделения объектов не ограничивается военными задачами, и включает в себя также задачи поиска и спасения, космический мониторинг Земли, анализ движения транспортных средств, контроль движения воздушного транспорта, обнаружение неисправностей различных механизмов, слежение за движением глазного зрачка, диагностику заболеваний по рентгеновским снимкам, обнаружение объектов в системах обеспечения безопасности, астронавигацию, создание систем управления автономных летательных аппаратов. Обнаружение и выделение объектов часто лежит в основе алгоритмов распознавания объектов и понимания сцен.

Разработано большое количество методов обнаружения и выделения объектов при наблюдении сцены с помощью неподвижного датчика при отсутствии геометрических искажений изображения [2, 3, 5], но часто условия наблюдения таковы, что изображения, получаемые с датчика, испытывают постоянные геометрические изменения.

Здесь рассматривается два основных источника таких изменений. Во-первых, это преломление световых лучей в атмосфере. Во-вторых, движение и изменение пространственной ориентации датчика изображений. Движение и изменение ориентации датчика обусловлено тем, что часто датчик размещают на подвижном объекте, таком как вертолёт, автомобиль или устройство позиционирования. Геометрические искажения затрудняют, а иногда делают совершенно невозможным обнаружение движущихся объектов при использовании методов обработки изображений, разработанных в расчёте на отсутствие геометрических искажений. Что касается геометрических деформаций, вызванных движением датчика, то иногда существует возможность оценить их вид и параметры, используя показания приборов подвижного объекта. В отсутствии или при недостаточной точности показаний приборов используются методы оценки параметров преобразований на основе анализа изображений видеопоследовательности [86, 92]. Вычислив оценки параметров искажений, можно компенсировать их влияние, но лишь частично, так как параметры искажений всегда оцениваются с некоторой случайной погрешностью, которая обычно оказывается достаточно большой. Таким образом, существует, проблема обнаружения, выделения и слежения за множеством движущихся объектов в условиях геометрических искажений.

Степень разработанности темы.

Вопросы обнаружения и выделения объектов по данным видеонаблюдений достаточно широко представлены в отечественных и зарубежных источниках. Значительный вклад в разработку методов и алгоритмов решения данной задачи внесли работы таких учёных как Б.А. Алпатов, В.К. Баклицкий, A.M. Бочкарев, П.А. Бакут, В.Г. Лабунец, Е.П. Путятин, A. Aridgides, Q. Pham, W. Pratt. Несмотря на большое количество работ по данной тематике, в результате её анализа не было выявлено публикаций, в которых в полной мере решается и исследуется задача выделения объектов на сложном неоднородном фоне при движущемся датчике изображений. В ряде работ, однако, рассматривается возможность использования дополнительной процедуры оценки параметров геометрических преобразований наблюдаемого изображения и дальнейшего применения обычных алгоритмов выделения, однако в данных источниках при разработке алгоритмов выделения не принимается во внимание наличие ошибок оценивания, а также присутствие случайных геометрических деформаций изображения.

Исходя из этого, сформулируем цель диссертации, которая состоит в разработке методов выделения и обнаружения объектов при наличии геометрических преобразований изображения. Для достижения поставленной цели необходимо, решить следующие основные подзадачи:

-обзор и оценка существующих методов выделения и обнаружения объектов;

-разработка модели формирования изображений при различных видах геометрических искажений изображения, которые включают в себя как геометрические искажения, вызванные преломлением световых лучей в атмосфере, так и геометрические преобразования, вызванные движением датчика;

- разработка алгоритма оценки параметров геометрических преобразований изображения, вызванных движением датчика;

- выбор критериев, на базе которых будет выполняться синтез алгоритмов обнаружения и выделения;

- синтез методов обнаружения и выделения на основе сформулированных критериев;

-экспериментальные исследования эффективности разработанных методов;

- натурное моделирование разработанных алгоритмов и экспериментальная проверка их работоспособности.

Научная новизна диссертации состоит в том, что в ней впервые сформулирована и решена задача обнаружения и выделения объектов при наличии геометрических искажений наблюдаемого изображения, вызванных движением датчика и атмосферными явлениями. Эффективность разработанных подходов получила экспериментальное подтверждение.

Методы исследования.

Теоретические исследования в настоящей работе выполнены на основе методов теории статистических решений, теории вероятностей, функционального анализа, спектрального анализа.

Экспериментальные исследования выполнялись на реальных и синтезированных видеосюжетах с использованием методов математической статистики.

Реализация и внедрение.

Разработанные в диссертации методики были использованы при выполнении научно-исследовательских работ, проводимых в Рязанской государственной радиотехнической академии по заказу министерства образования РФ (НИР 1-02Г, НИР 26-ОЗГ, НИР 7-04Г, НИР 6-ОЗГ), при выполнении работ, проводимых в Рязанской государственной радиотехнической академии по заказу ФГУП «Государственный рязанский приборный завод» (НИР 3-00, НИР 1-02, НИР 1-03, НИР 1-04), при выполнении работ, проводимых ФГУП «Государственный рязанский приборный завод» по заказам сторонних организаций («Аргумент 2000 - Охотник», «ТОР-Т», «Охотник - П»), что подтверждается актами внедрения.

Апробация работы.

Основные результаты работы докладывались на следующих конференциях:

-10-й, 11-й, 12-й и 13-й международных научно-технических конференциях «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань - 2001-2004);

- 37-й научно-технической конференции РГРТА (Рязань - 2002);

- 7-й и 9-й Всероссийских конференциях «Новые информационные технологии в научных исследованиях и образовании» (Рязань - 2002, 2004);

- 5-й, 6-й и 7-й международных научно-технических конференциях «Цифровая обработка сигналов и ее применения» (Москва - 2003-2005);

- 4-й международной научно-технической конференции «Космонавтика. Радиоэлектроника. Геоинформатика.» (Рязань-2003);

- международной научно-технической конференции «Современная радиоэлектроника в ретроспективе идей В.А. Котельникова» (Москва-2003);

- Всероссийской дистанционной научно-технической конференции «Информационно-телекоммуникационные технологии» (Москва-2003);

- второй Всероссийской научной конференции «Проектирование инженерных и научных приложений в среде МАТЬАВ» (Москва-2004);

- Всероссийской научно-технической конференции «Информационно-телекоммуникационные технологии» - два доклада - (Сочи-2004).

Выступления на 9-й всероссийской конференции «Новые информационные технологии в научных исследованиях и образовании» (2004) и на 7-й международной конференции «Цифровая обработка сигналов и ее применения» (2005) отмечены дипломами.

Публикации.

По теме диссертации опубликовано 22 работы, в том числе три статьи в центральной печати. Результаты исследований отражены в восьми отчётах о НИР.

Структура и объём диссертации.

Диссертация состоит из введения, четырёх глав, заключения, списка литературы (98 источников), изложенных на 178 страницах, содержит 53 рисунка и 10 таблиц.

ЗАКЛЮЧЕНИЕ

Диссертационная работа посвящена решению задачи обнаружения и выделения объектов в последовательности изображений при наличии геометрических деформаций изображения, вызванных движением датчика изображений и атмосферными явлениями. Другими особенностями задачи, помимо наличия деформаций, являются отсутствие априорной информации о статистических и пространственных свойствах обнаруживаемого объекта.

В процессе исследований задачи получены следующие новые научные и практические результаты:

1. Обоснованы общие принципы построения систем анализа изображений, ориентированных на использование в информационно-управляющих комплексах обнаружения, выделения и сопровождения объектов по данным видеонаблюдений при движущемся датчике изображений. Показано, что, оценивая геометрические преобразования наблюдаемого изображения относительно фонового изображения с достаточно высокой точностью, можно добиться существенного повышения качества выделения объектов. В качестве критерия качества принята величина средних потерь. Повышение качества ограничено присутствием на изображении аддитивного шума датчика. Чем меньше неравномерность фонового изображения, тем быстрее повышается качество выделения с ростом точности оценки геометрических преобразований.

2. Разработаны методики и алгоритмы оценки параметров геометрических преобразований в системах анализа изображений с движущимся датчиком, ориентированные на работу в реальном масштабе времени и надёжно функционирующие при наличии различных искажающих факторов. Экспериментальные исследования алгоритмов показывают, что их можно успешно использовать в системах обнаружения объектов при движущемся датчике изображений.

3. Разработаны методики и алгоритмы автоматизированной юстировки изображений при наблюдении в нескольких спектральных диапазонах на основе выбора опорных элементов изображений.

4. Разработаны методы и алгоритмы выделения объектов, учитывающие присутствие геометрических преобразований изображения, вызванных движением датчика изображений и непараметрическими атмосферными искажениями. Оказалось, что алгоритм обнаружения объекта в данной точке изображения требует учёта неравномерности яркости фонового изображения в окрестности этой точки. В качестве первого приближения используется градиент изображения как мера неравномерности в заданной точке.

5. В результате исследований, проведённых в реальных условиях наблюдения на базе разработанного программно-аппаратного комплекса, была подтверждена возможность реализации в реальном масштабе времени и эффективность разработанных подходов.

1. Публикации общего характера

2. Акимов П.С. и др. Сигналы и их обработка в информационных системах. -М.: 1994.

3. Алпатов Б.А. Методы и алгоритмы обработки изображений в системах управления. Рязань, 1999. - 64 с.

4. Алпатов Б.А., Бабаян П.В., Бохан К.А., Катаев A.A., Муравьёв С.И., Степашкин А.И. Проблемы создания математического, программного и аппаратного обеспечения видеокомпьютерных систем управления // Тез. докл. 37-й науч.-техн. конф. — Рязань, 2002. С. 33.

5. Банди Б. Методы оптимизации: вводный курс. М.: Радио и связь, -1988.

6. Вентцель Е.С. Теория вероятностей. М.: Наука. - 1964.

7. Методы и алгоритмы обнаружения, распознавания и сопровождения объектов в видеокомпьютерных системах: Отчёт о НИР (заключительный) / РГРТА; Рук. Алпатов Б.А. Тема № 1-02Г; № ГР 01200302742, Инв. № 02200306786. - Рязань, 2003. - 65 с.

8. Прэтт У. Цифровая обработка изображений. М.: Мир, 1982. - 790 с.

9. Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. -М.: Машиностроение. 1990. - 320 с.

10. Цифровая обработка изображений в информационных системах: Учеб. пособие / И.С. Грузман, B.C. Киричук и др. Новосибирск: Изд-во НГТУ, 2002.-352 с.

11. Корреляционные методы обнаружения объектов

12. Алпатов Б.А., и др. Алгоритмы последовательных испытаний в задаче совмещения двумерных изображений // Изв. вузов. Сер. Электромеханика. 1988. - №7. - С. 87-91.

13. Алпатов Б.А., Селяев A.A. Алгоритм коррекции эталонного изображения при слежении за двумерным объектом // Межвуз. сб.: Обработка и преобразование информации в задачах управления. Рязань: РРТИ, 1984, -С. 52-57.

14. Алпатов Б.А., Селяев A.A. Алгоритм оценки местоположения объекта на двумерном изображении // Изв. вузов. Приборостроение. - 1988. - №5. -С. 3-5.

15. Алпатов Б.А., Селяев A.A. Методы адаптации эталонного изображения объекта в корреляционных следящих устройствах // Вестник Рязанской государственной радиотехнической академии. 2004. - Вып. 14. - С. 3740.

16. Алпатов Б.А., Хлудов С.Ю. Алгоритм последовательных испытаний в задаче совмещения двумерных изображений // Изв. вузов. Сер. Электромеханика. 1988. - №7. - С. 87-91

17. Баклицкий В.К., Бочкарёв A.M. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации. М.: Радио и связь, 1986.-216 с.

18. Бочкарёв A.M. Корреляционно-экстремальные системы навигации // Зарубежная радиоэлектроника. 1981. - №9. - С. 28-53.

19. Буймов А.Г. Корреляционно-экстремальная обработка изображений. -Томск: Изд-во Том. ун-та, 1987. 134 с.

20. Гороховатский В.А., Кацлап С.Ф., Путятин Е.П. Анализ изображений в условиях локальных искажений // Автометрия. 1986. - №6. - С. 46-51.

21. Колмогоров Г.С., Костромина Е.В., Лучина И.И., Мальцев А.П. Оптоэлектронная система самонаведения THSSID // Зарубежная радиоэлектроника. 1987. - №10. - С. 57-68.

22. Латышев В.В. Кодирование изображений в корреляционно-экстремальных системах // Автоматика и телемеханика. 1983. - №5. -С. 117-121.

23. Мильман Г.Ю. Применение методов оптимального растрирования для решения задач распознавания изображений // Вопросы кибернетики. Устройства и системы. М: МИРЭА, 1994 - С. 49-56.

24. Селяев А.А. Методы адаптации эталонного изображения объекта в корреляционных следящих устройствах // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Тез. докл. 13-й междунар. науч.-техн. конф. Рязань, 2004. - С. 106-107.

25. Селяев А.А. Способы повышения точности работы корреляционных следящих устройств // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Тез. докл. 12-й междунар. науч.-техн. конф. Рязань, 2004. - С. 77-79.

26. Barnea O.I., Silverman H.F. A class of algorithms for fast image registration // IEEE Trans. Computers. 1972. - c-21. - №6. - pp. 179-186.

27. Casasent D., Shenoy R. Detection and Classification in SAR using MINACE correlation filters // Proc. of SPIE Vol. 2487, Algorithms for Synthetic Aperture Radar Imagery II. 1995, pp. 211-224.

28. Eklund M.W., Trivedi M.M. Adaptive correlation-based tracking algorithm // Proc. of SPIE Vol. 2234, Automatic Object Recognition IV. 1994, pp. 384393.

29. Mostafavi H. Optimal window function for image correlation in the presence of geometric distortion // IEEE Trans.-1979.-Vol. ASSP 27.-№2. - pp. 163169.

30. Sabio V. Efficient method of target recognition based on spectral correlation of widehand resonance effects // Proc. of SPIE Vol. 2230, Algorithms for Synthetic Aperture Radar Imagery. 1994, pp. 328-335.

31. Yang W., Shen Z., Li Z., Wang W. Using phase correlation approach to correct images // Proc. of SPIE Vol. 2561, Signal and Data Processing of Small Targets. 1995, pp. 526-532.

32. Методы выделения объектов на основе пространственной фильтрации

33. Бабаян П.В. Методы математической морфологии в задачах обработки изображений // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Тез. докл. 10-й междунар. науч.-техн. конф. Рязань, 2001. - С. 212-214.

34. Бакут П.А., Колмогоров Г.С., Ворновицкий И.Э. Сегментация изображений: Методы выделения границ областей // Зарубежная радиоэлектроника.-1987.-№ 10.-С.25-47

35. Foulkes S.B., Booth D.M. Improved object segmentation using Markov random fields, artificial neural networks, and parallel processing techniques. // SPIE Vol. 3068, Signal Processing, Sensor Fusion, and Target Recognition VI. -Jul 1997.-pp. 443-454.

36. Li J., Shen Z., Bao L. Detection of small moving objects in image sequences // Proc. Of SPIE Vol. 3069. Automatic Target Recognition IV. Jun 1997, pp. 511-517.

37. Pham Q.H., Brosnan T.M., Smith M.J.T., Mersereau R.M. A morphological method of clutter suppression in ATR // Proc. of SPIE Vol. 3371, Automatic Target Recognition VIII. 1998, pp. 367 - 374.

38. Pham Q.H., Brosnan T.M., Smith M.J.T. Multistage algorithm for detection of targets in SAR image data // Proc. of SPIE Vol. 3070, Algorithms for Synthetic Aperture Radar Imagery IV. Jul. 1997, pp. 2-11.

39. Pham Q.H., Brosnan T.M., Smith M.J.T. Sequential digital filters for fast detection of targets in FLIR image data // Proc. of SPIE Vol. 3069, Automatic Target Recognition VII. Jun 1997, pp. 62-73.

40. Статистические методы выделения объектов

41. Алпатов Б.А., Балашов О.Е. Исследование алгоритмов сегментации изображения по фрактальным признакам // Космонавтика. Радиоэлектроника. Геоинформатика. Тез. докл. 4-й междунар. конф. -Рязань, 2003. С. 320-321.

42. Алпатов Б.А., Балашов О.Е. Исследование методов оценки фрактальной размерности и сегментация изображения // Цифровая обработка сигналов и ее применения. Тез. докл. 6-й междунар. конф. Том 2. М.: 2004. - С. 97-99.

43. Алпатов Б.А., Блохин А.Н., Бохан К.А. Исследование алгоритма сегментации, основанного на Байесовской процедуре классификации // Космонавтика. Радиоэлектроника. Геоинформатика. Тез. докл. 2-й междунар. науч.-техн. конф. — Рязань, 1998. С. 169 - 170.

44. Бакут П.А., Колмогоров Г.С., Ворновицкий И.Э. Сегментация изображений: Методы пороговой обработки // Зарубежная радиоэлектроника. 1987. - №10. - С.6-24

45. Бакут П. А., Лабунец В.Г. Телевизионная следящая система с байесовским дискриминатором цели // Зарубежная радиоэлектроника. -1987 №10.-С.81-93

46. Денисов Д.А., Низовкин В.А. Сегментация изображений на ЭВМ // Зарубежная радиоэлектроника. 1985. -№10. - С. 5 - 30.

47. Муравьев С.И., Муравьев B.C. Использование вейвлет-признаков в задачах сегментации изображений // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций Тез. докл. 12-й междунар. науч.-техн. конф. Рязань, 2004. - С. 73-74.

48. Применение методов сегментации изображений в автономных системах обнаружения, распознавания и сопровождения движущихся целей / Под ред. П. А. Бакута // Зарубежная радиоэлектроника. 1987. - №10. - С. 3 -93.

49. Временные методы выделения объектов

50. Алпатов Б.А. Алгоритм обнаружения и выделения движущегося фрагмента изображения // Техника средств связи. Серия Техника телевидения. 1991. - №2. - С. 72-76.

51. Алпатов Б.А., Блохин А.Н. Модели и алгоритмы обнаружения и выделения движущихся фрагментов изображений // Автометрия. 1995. - №4. - С. 100-104.

52. Алпатов Б. А., Бохан К.А. Алгоритм обнаружения и выделения изображения движущегося объекта в присутствии неоднородного фона // Вестник Рязанской государственной радиотехнической академии. 1999. -№6 - С. 7-11.

53. Алпатов Б.А., Бохан К.А. Алгоритм обнаружения и выделения изображения движущегося объекта // Цифровая обработка сигналов и её применение. Тез. докл. 2-й междунар. науч. конф. М.: МЦНТИ, 1999. -С. 233-240.

54. Бохан К.А. Модели и алгоритмы обнаружения и оценки параметров изображений динамических объектов в видеокомпьютерных системах управления: Дис. канд. техн. наук: 05.13.01. — Защищена 14.12.01; Утв. 12.04.02; 04200202084. -Рязань, 2001.-200 с.

55. Dirk Farin, Peter H. N. de With, and Wolfgang Effelsberg A Segmentation System with Model Assisted Completion of Video Objects // Proc. Conf. Visual Communications & Image Processing, Proc. SPIE 5150. Jun 2003, pp. 366-377

56. Farin D., de With P.H.N., Effelsberg W. Robust background estimation for complex video sequences // International Conference on Image Processing 2003.- Sept. 2003, pp. 145-148

57. Liyan Li, Maylor K.H. Leung Integrating Intensity and Texture Differences for Robust Change Detection // IEEE Trans, on Image Processing, Vol. 11, No. 2. -February 2002.-pp. 105-112.

58. Пространственно-временные методы выделения объектов

59. Алпатов Б.А., Бабаян П.В. Выделение движущихся объектов в системах видеонаблюдения при наличии геометрических искажений изображения // Цифровая обработка сигналов и ее применения. Тез. докл. 7-й междунар. конф. Том 2. М.: 2005. - С. 336-340.

60. Алпатов Б.А., Бабаян П.В. Выделение движущихся объектов в условиях геометрических искажений изображения // Цифровая обработка сигналов. 2004. - №4. - С. 9-14.

61. Алпатов Б.А., Бабаян П.В. Обнаружение и слежение за движущимися объектами в присутствии дрожания и линейных сдвигов изображения // Цифровая обработка сигналов и ее применения. Тез. докл. 6-й междунар. конф. Том 2. М.: 2004. - С. 95-96.

62. Алпатов Б.А. Оценивание параметров движущегося фрагмента двумерного изображения // Техника средств связи. Сер. Техника телевидения. 1991. - №2. - С. 77-81.

63. Алпатов Б.А. Оценивание параметров движущегося объекта в последовательности изменяющихся двумерных изображений //Автометрия. 1991. - №3. - С. 21-24.

64. Алпатов Б.А. Оптимальное оценивание параметров движущегося объекта в последовательности изображений //Автометрия. 1994. - №2. — С. 3237.

65. Fernandez M.F., Aridgides A., Bray D. Detecting and Tracking Low-Observable Targets Using IR // Proc. of SPIE Vol. 1305, Signal and Data Processing of Small Targets 1990. Oct 1990. - pp. 193-206

66. А . Aridgides, М, Fernandez, D. Randolph, D. Bray, Adaptive Three-Dimensional Spatio-Temporal Filtering Techniques for Infrared Clutter Suppression. Proc. of SPIE Vol. 1305, Signal and Data Processing of Small Targets 1990 (Oct 1990). Pp. 63-74.

67. A. Aridgides, M. Fernandez, D. Randolph, D. Ferris Adaptive 4-D IR clutter suppression filtering technique // Proc. of SPIE Vol. 1481, Signal and Data Processing of Small Targets 1991.- Aug 1991, pp. 110-116.

68. M. Fernhdez, A. Aridgides, D. Randolph, and D. Ferris. Optimal subpixel-level IR frame-to-frame registration // Proc. of SPIE Vol. 1481, Signal and Data Processing of Small Targets 1991. Aug 1991, pp. 172-179

69. N. Paragios and G. Tziritas, Detection and location of moving objects using deterministic relaxation algorithms // Intern. Conf. on Pattern Recognition, Vol. I, Austria, 1996. pp. 201-205

70. Вспомогательные методы анализа изображений

71. Бабаян П.В. Создание плагинов для Photoshop и Mathcad // Новые информационные технологии в научных исследованиях и образовании. Тез. докл. 7-й всеросс. науч.-техн. конф. Рязань, 2002. - С. 49-50.

72. Степашкин А.И., Хлудов С.Ю. Выделение и параметризация связных областей двумерного изображения // Обработка информации в системах управления. Рязань, 1989. - С. 28-33.

73. Методы оценки параметров геометрических преобразований изображения

74. Алпатов Б.А., Бабаян П.В. Исследование алгоритма электронной юстировки изображений при двухспектральном наблюдении // Цифровая обработка сигналов и ее применения. Тез. докл. 5-й междунар. конф. -М., МЦНТИ, 2003. С. 410-412.

75. Алпатов Б.А., Бабаян П.В. Электронная юстировка изображений по опорным признакам при двухспектральном наблюдении // Современная радиоэлектроника в ретроспективе идей В.А. Котельникова. Тез. докл. междунар. конф. М.: МЭИ, 2003. - С. 121-122.

76. Алпатов Б.А., Бабаян П.В. Электронная юстировка изображений при мультиспектральном наблюдении // Цифровая обработка сигналов.2003.-№1.-С. 24-26.

77. Алпатов Б.А., Катаев A.A. Метод автоматического выделения опорных участков фона в замкнутой видеокомпьютерной системе // Космонавтика. Радиоэлектроника. Геоинформатика. Тез. докл. 4-й междунар. науч.-техн. конф. Рязань, 2003. - С. 315 - 317.

78. Бабаян П.В. Исследование алгоритма электронной юстировки изображений при мультиспектральном наблюдении // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Тез. докл. 11-й междунар. науч.-техн. конф. Рязань, 2002.-С. 19.

79. Бабаян П.В. Оценивание параметров проективного преобразования по опорным элементам в задаче электронной юстировки двухспектральных видеопоследовательностей // Вестник Рязанской государственной радиотехнической академии. 2003. - Вып. 12. - С. 27-31.

80. Бабаян П.В. Разработка программного обеспечения для юстировки последовательностей изображений в среде MATLAB // Труды второй Всеросс. науч. конф. «Проектирование инженерных и научных приложений в среде MATLAB».— М.: ИПУ РАН, 2004. С. 53-54.

81. Бабаян П.В., Стротов В.В. Методы оценки геометрических преобразований изображения для бортовой видеоинформационной системы // Информационно-телекоммуниционные технологии. Тез. докл. Всеросс. науч.-техн. конф. Сочи, 2004. - С. 7-8.

82. Бачило С.А., Дзягун Д.Ю., Итенберг И.И., Овчаров А.Б., Сивцов С.А. Средства электронной стабилизации телевизионных изображений для подвижных систем наблюдения. Тез. докл. 4-й конф. DSPA. М.: МЦНТИ 2002. - С. 252-254.

83. Деренченко Л.П., Троицкий В.И. Повышение точности корреляционно-экстремальных систем методом интерполяции целевой функции. // Вопросы радиоэлектроники: Сб. науч. тр. М:, 1992. - с. 16-18.

84. Brown L. G. A survey of image registration techniques // ACM Computing Surveys, vol. 24, no. 4. Dec. 1992, pp. 325-376.

85. Kim S., Jay Kuo C.-C. A Stochastic Approach for Motion Vector Estimation in Video Coding // Proc. of SPIE Vol. 2304, Neural and Stochastic Methods in Image and Signal Processing III. 1994, pp. 111-122.

86. Rao M. Target recognition using cepstrum and inverse filtering // Proc. of SPIE, Vol. 2484, Signal Processing, Sensor Fusion and Target Recognition IV. 1995, pp. 224-235.

87. Reddy B.S., Chatterji B.N. An FFT-based Technique for Translation, Rotation and Scale-Invariant Image Registration // IEEE Transactions on Image Processing, Volume 5, No. 8. August, 1996, pp. 1266-1271.

88. Scriber D., Schuler J., Warren P., Howard G., Klein R., Melding images for information // OE magazine. September, 2002, pp. 24-26.

89. Wilmer A. Fourier-Mellin based Image Registration (with GUI) // http://wvAV.mathworks.com/matlabcentral/fileexchange (20.10.2004). Программное обеспечение для Matlab.

90. Zitova В., Flusser J. Image registration methods: a survey // Image and Vision Computing 21 2003, pp. 977-1000.1. Методы анализа траекторий

91. Бабаян П.В. Алгоритм слежения за группой движущихся объектов для видеокомпьютерной системы наблюдения // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Тез. докл. 12-й междунар. науч.-техн. конф. Рязань, 2004. - С. 65-66.

92. Управление приводами поворотного устройства

93. Алпатов Б.А., Балашов О.Е.,. Степашкин А.И. Некоторые вопросы построения видеокомпьютерных следящих систем // Проблемы математического моделирования и обработки информации в научных исследованиях: Сб. науч. тр. Рязань: РГРТА, 2003. - С. 16-25.

94. Алпатов Б.А., Балашов O.E., Степашкин А.И. Управление приводами гиро стабилизированной платформы в видеокомпьютерной системе сопровождения объектов // Вестник Рязанской государственной радиотехнической академии. Рязань, 2003- Вып. 12. - С. 38-41.

95. Балашов O.E., Степашкин А.И. Управление приводами видеокомпьютерной системы сопровождения объектов // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Тез. докл. 12-й междунар. науч.-техн. конф. Рязань, 2004. - С. 66-67.