автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Отображение и определение параметров протяженных объектов при телевизионном наблюдении

На правах рукописи

Афанасенко Арсений Сергеевич

ОТОБРАЖЕНИЕ И ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ ПРОТЯЖЕННЫХ ОБЪЕКТОВ ПРИ ТЕЛЕВИЗИОННОМ НАБЛЮДЕНИИ

Специальность 05.13.01 «Системный анализ, управление и обработка информации (в технике и технологиях)»

Автореферат диссертации на соискание ученой степени кандидата технических наук

2- п АПР

/М-м"

Санкт-Петербург 2009

003467151

Работа выполнена на кафедре электронных и телевизионных систем Государственного образовательного учреждения высшего профессионального образования «Санкт-Петербургский государственный университет аэрокосмического приборостроения» (ГУАП)

Научный руководитель:

доктор технических наук, профессор Тимофеев Борис Семенович

Официальные оппоненты:

доктор технических наук, профессор Сергеев Михаил Борисович

кандидат технических наук, доцент Фисенко Татьяна Юрьевна

Ведущая организация:

Федеральное государственное унитарное предприятие научно-исследовательский институт промышленного телевидения «Растр»

Зашита состоится «_[9_» МсО>_2009 г. в час. 00_ мин. на заседании диссертационного совета Д 212233.02 при Государственном образовательном учреждении высшего профессионального образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" по адресу. 190000, г. Санкт-Петербург, ул. Большая Морская, д. 67.

С диссертацией можно ознакомиться в библиотеке ГУАП Автореферат разослан« 16 » 2009 г.

Ученый секретарь диссертационного совета д. т. н., профессор

Л. А. Осипов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы. На современном этапе развития средств автоматического контроля и управления является актуальной проблема повышения эффективности технических систем сбора и обработки информации- Потребность в таких системах чрезвычайно высока в различных сферах человеческой деятельности, включая промышленность, транспорт, науку, сервис, системы безопасности. Особое экономическое значение имеют так называемые интеллектуальные технические системы, способные полностью заменить человека в ряде случаев или существенно облегчить его труд при обработке больших объемов информации.

Телевизионные системы, как один из классов систем сбора и обработки информации обладают рядом особенностей. Среди них - объективность и высокая информативность, широкие возможности обработки сигналов с целью извлечения данных об объектах наблюдения. При этом возникают значительные объемы передаваемых данных и повышенные требования к производительности программного и аппаратного обеспечения. Использование телевизионного наблюдения позволяет существенно повысить эффективность интеллектуальных систем.

Задачи извлечения информации из телевизионных сигналов на сегодняшний день решаются, как правило, методами компьютерной обработки. В зависимости от свойств объектов наблюдения и условий применения телевизионных систем алгоритмы и методы обработки существенно отличаются. Настоящая работа посвящена решению задач, связанных с обработкой видеоданных от протяженных объектов. Протяженными считаются такие объекты, геометрические размеры которых сопоставимы с размерами поля зрения применяемых телевизионных камер или существенно превосходят его. При такой формулировке возможны две сшуации:

• изображение объекта в определенные моменты времени полностью умещается в телевизионном растре;

• размеры объекта превосходят поле зрения телевизионной системы, в результате в течение наблюдения в кадр попад ают различные часта объекта. В обоих случаях при выделении объекта из фона и определении его параметров возникают специфические трудности, связанные с подобием фрагментов объекта и фона. Во втором случае для целостного отображения объекта необходимо извлекать информацию из последовательности телевизионных кадров. Одним из способов отображения объекта в данном случае является формирование панорамной проекции, которая позволяет:

• расширить поле зрения телевизионной системы без применения дополнительных технических средств (например, поворотных устройств, параболических зеркал, дополнительных камер);

• создать комфортные условия наблюдения для оператора телевизионной системы;

• сохранить изображение протяженного объекта в компактном виде с возможностью его передачи по каналам связи с низкой пропускной способностью;

• провести измерение параметров и характеристик объекта (в том числе габаритов и формы).

Примерами использования интеллектуальных систем, требующих отображения и определения параметров протяженных объектов, являются:

• дистанционный осмотр подвижного состава железных дорог;

• съемка местности с низколетящего летательного аппарата;

• зрение роботов.

Цель работы состоит в разработке и анализе алгоритмов обработки телевизионного сигнала, позволяющих определить параметры протяженного объекта и осуществить его целостное отображение при сложных условиях наблюдения.

Задачи исследования. Достижение поставленной в работе цели требует решения следующих основных задач:

• выработать и обосновать меры адаптации существующих алгоритмов выделения объектов из фона с учетом особенностей наблюдения за протяженными объектами;

• разработать методику синтеза панорамной проекции протяженного объекта при его движении относительно камеры наблюдения;

• исследовать алгоритм оценки скорости протяженного объекта по телевизионному изображению;

• разработать алгоритмы определения параметров протяженных объектов на конкретных примерах;

• выполнить моделирование предложенных алгоритмов и экспериментально оценить их эффективность;

• подтвердить полученные результаты в натурных испытаниях.

Методы исследования. Проведенные исследования базируются на основных положениях теории дискретных сигналов, теории информации, системного анализа. В работе использованы методы цифровой обработки сигналов, методы математической статистики, машинное моделирование.

Научная новизна:

1. Предложен алгоритм выделения протяженных объектов с использованием метода главных компонент, отличающийся тем, что он позволяет определшъ конфигурацию объекта на сложном нестационарном фоне.

2. Разработан и исследован метод построения панорамной проекции протяженных объектов, отличительными особенностями которого являются использование одной телевизионной камеры при линейном перемещении объекта относительно нее, возможность коррекции геометрических искажений, увеличение разрешающей способности телевизионной системы.

3. Предложен алгориш опознавания стыков между вагонами грузового железнодорожного состава, инвариантный к типу вагона и не требующий специальных мер по улучшению заметности стыка на изображении.

4. Разработан алгориш оценки скорости протяженного объекта по изображению, устойчивый к наличию аномальной погрешности измерения.

Практическая ценность работы заключается в том, что на основе предложенных алгоритмов разработан ряд систем дистанционного осмотра грузового подвижного состава железных дорог, предоставляющих оператору дополнительную, по сравнению с существующими аналогами, информацию:

• статические изображения вагонов с повышенным разрешением и скорректированными геометрическими искажениями;

• параметры движения состава при въезде на станцию (скорость, направление, факты остановок);

• порядковые номера вагонов и общее число вагонов в составе.

Помимо железнодорожного мониторинга, разработанные алгоритмы могут быть использованы в других областях, где требуется обработка изображений протяженных объектов.

Основные положения, выносимые на защиту:

1. Алгориш определения границ протяженного объекта на сложном нестационарном фоне с использованием метода главных компонент.

2. Способ отображения протяженного объекта с помощью панорамной проекции на примере железнодорожного состава

3. Получение устойчивой оценки скорости протяженного объекта на основе кластерного анализа векторов смещения.

4. Результаты экспериментальных (в том числе натурных) исследований предложенных алгоритмов.

Внедрение результатов работы. Основные результаты работы использованы в разработках ПК НПК «Автоматизация», а также в учебном процессе кафедры электронных и телевизионных систем Санкт-Петербургского государственного университета аэрокосмического приборостроения. Внедрение результатов работы подтверждено соответствующими актами.

Апробация результатов работы. Основные положения и результаты диссертации докладывались и обсуждались на следующих научных конференциях:

• научные сессии ГУАП (г. Санкт-Петербург, 2005,2006,2007,2008);

• 4-я, 5-я и 6-я Международные конференции «Телевидение: передача и обработка изображений» ГЭТУ (г. Санкт-Петербург, 2005,2007,2008);

• ХШ Международная научно-техническая конференция студентов и аспирантов МЭИ (г. Москва, 2007);

• 4-я Международная научно-техническая конференция «Цифровые и информационные технологии в электронной медиаиндустрии» ГУКиТ - (г. Санкт-Петербург, 2006);

• Программное обеспечение, реализующее ряд предложенных алгоритмов, зарегистрировано в отраслевом фонде алгоритмов и программ (Тимофеев Б. С., Обухова Н. А., Афанасенко А. С., Калабеков О. А., сертификат № 9285 ot05.10.2007).

Публикации. По теме диссертации опубликовано 11 печатных работ, в том числе одна - в издании, рекомендованном ВАК РФ.

Структура работы. Диссертационная работа состоит из введения, четырех разделов, заключения, списка использованных источников, включающего 87 наименований, и четырех приложений. Основное содержание работы изложено на 154 страницах и включает 70 рисунков и 3 таблицы.

СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность темы диссертации, сформулирована цель и основные задачи диссертационной работы, а также основные положения, выносимые на защиту.

В первом разделе рассмотрены общие принципы построения интеллектуальных телевизионных систем и особенности наблюдения за объектами большой протяженности.

Обработка телевизионных изображений в интеллектуальных системах наблюдения включает ряд этапов, среди которых:

• выделение объекта из фона;

• опознавание объекта по совокупности признаков;

• определение параметров объекта;

• улучшение качества изображений, предъявляемых оператору или используемых в дальнейшей обработке.

Степень сложности обработки изображений во многом определяется свойствами объектов и условиями наблюдения. В случае, когда большая часть телевизионного изображения представляет собой неподвижный фон с аддитивным белым шумом, а объект наблюдения занимает небольшую часть кадра и отличается от фона по яркости, для его выделения и сопровождения достаточно использовать упрощенные статистические модели.

Например, яркость пикселя, принадлежащего фону с медленно изменяющимися параметрами, с достаточной точностью описывается авторегрессионной моделью первого порядка

l(x, у, t) = al(x,y,t -1)+п(х, y,t),

где х, у - координаты пикселя, а - коэффициент модели, п - реализация нормального случайного процесса. Для выделения объекта необходимо оценить параметры модели и по значению ошибки предсказания осуществить проверку статистической гипотезы о принадлежности пикселя фону в текущем кадре.

При наличии в составе фона динамических фрагментов (движущиеся облака, волнение на водной поверхности, качающиеся деревья) доя адекватного описания изображения требуются многомерные статистические модели, построение которых связано с существенными вычислительными затратами.

В случае наблюдения за протяженными объектами обработка телевизионного сигнала осложняется рядом причин. Фрагменты фона могут быть закрыты различными частями объекта в течение длительного времени. Объект может занимать значительную часть поля зрения камеры, что приводит к резким сменам освещенности в сцене при его перемещении, в частности из-за скачкообразной работы автоматики камер. Отличительной особенностью объекта является его движение, однако фрагменты фона цри наблюдении в реальных условиях также могут быть подвижными, а камера - подвержена тряске. Для осмотра протяженных объектов с небольшого расстояния часто используются короткофокусные (2,3 - 2,7 мм) объективы, которые вносят существенные геометрические искажения в телевизионное изображение.

Для целостного отображения объекта наблюдения, который превосходит по своим размерам поле зрения телевизионной камеры, целесообразно сформировать его панорамное (мозаичное) изображение. Несмотря на большое число работ в этой области за последнее десятилетие, проблема автоматического объединения нескольких изображений, на которых объект присутствует в различных ракурсах, активно изучается.

Перечисленные трудности, возникающие при наблюдении за протяженными объектами в сложных условиях, не позволяют решить существующими методами основные задачи, стоящие перед интеллектуальными телевизионными системами при наблюдении протяженных объектов.

Во втором разделе проведена разработка и исследование алгоршма выделения протяженных объектов из фона. Специфика данной задачи выражается в следующих предположениях относительно объекта и фона:

• объект находится в зоне наблюдения значительное время, на протяжении которого может как перемещаться, так и оставаться неподвижным;

• перемещение различных частей объекта на изображении согласовано, но может происходить с различными скоростями, например, из-за различного расстояния от элементов объекта до датчика изображения;

• поскольку наблюдение ведется в реальных условиях, в том числе ночыо, алгоритм выделения должен успешно работать при отсутствии информации о цвете, то есть по черно-белому изображению.

Выделение объекта включает два этапа: классификацию пикселей изображения по принадлежности фону или объектам, а также селекцию объектов по характерным признакам (размеры, форма, направление движения, время нахождения в

зоне наблюдения), позволяющую выделять только те специфические объекты, для контроля которых предназначена интеллектуальная система. Например, в системе дистанционного осмотра грузового подвижного состава железных дорог объектом интереса выступает состав, движущийся по определенному пути в определенном направлении, тогда как другие объекты (люди, животные, а также поезда, идущие по соседним путям) являются помехами.

В основе предложенного алгоритма выделения лежит идея сравнения поступающего сигнала со статистической моделью фона, сформированной тем или иным способом. Важными свойствами такого подхода являются возможность выделять как подвижные, так и неподвижные объекты, а также отсутствие ограничений на форму и текстуру объекта. При этом сигналы от объекта и фона должны быть статистически различимыми.

Во многих известных алгоритмах при моделировании фона пренебрегают корреляцией между соседними отсчетами изображения, что существенно упрощает вычисления. Показано, что точность сегментации в этом случае резко падает, если значительная часть пикселей объекта совпадает по яркости с фоном. Для протяженных объектов такая ситуация типична. Повышение точности выделения может быть достигнуто введением в модель фона статистической связи между яркостью соседних пикселей. В этом случае фрагмент изображения фона рассматривается как А^-мерный случайный вектор х с гауссовой условной плотностью вероятности

где ц - вектор средних значений, оценка которого может быть получена на основе авторегрессионного моделирования, И - ковариационная матрица процесса. Величина //выбирается исходя из размеров окрестности, в пределах которой предполагается наличие корреляционных связей, и составляет не менее 64 (фрагмент 8*8 пикселей). Преобразование двумерного массива отсчетов в вектор осуществляется путем развертки по столбцам.

Такой способ моделирования фона малопригоден в системах реального времени из-за существенных вычислительных затрат (требуется многократное вычисление и обращение заполненной ковариационной матрицы). Эффективным способом понижения размерности модели является применение линейных преобразований. С точки зрения концешрации энергии сигнала в небольшом количестве коэффициентов обобщенного спектра оптимальным является преобразование Карунена-Лоэва, коэффициенты которого вычисляются как

где Ф - собственные векторы ковариационной матрицы входного сигнала:

Предложено использовать для приближенного вычисления преобразования Карунена-Лоэва рекуррентный вариант метода главных компонент, позволяющий в реальном масштабе времени вычислять базисные функции для каждого участка изо-

У1=хФ,.,г = 1...ЛГ,

= > = (X ~ х)Г (х - х).

бражения фона и строить модель на их основе. Вычисления осуществляются с помощью однослойной линейной нейронной сети с обратной связью. Выходной сигнал сети определяется выражением

N У-1

Уj=Е +Ля,У]' у=1-м» <•=1 ./=1

где лу - коэффициент прямой связи, а - коэффициенты обратной связи, М- число главных компонент. Подстройка коэффициентов выполняется по формулам

Г j , Аа/у уу_, + ][>аук

ъ-ИчкУк

к=1

4=1

где т] - норма обучения. Малая величина нормы обучения гарантирует сходимость коэффициентов № к координатам собственных векторов ковариационной матрицы входного сигнала. Совокупность базисных функций и коэффициентов разложения входного сигнала образует модель невысокой размерности (показано, что для блоков 16x16 пикселей достаточно использовать 6-8 главных компонент). Базисные векторы автоматически адаптируется при медленных изменениях входного сигнала. Для адаптации коэффициентов разложения используется линейное предсказание.

Ошибка предсказания участков фона по сфоршфованной модели представляет собой малую случайную величину, некоррелированную со входным сигналом:

£ = Х-\Уу, \У = [\У„\*2...УГМ ] Статистический анализ ошибки предсказания позволяет оценить ее дисперсию, которая мало зависит от характера изображения и определяется, в основном, отношением сигнал-шум. Выделение объекта происходит на тех участках изображения, где ошибка предсказания выходит из доверительного интервала. Показано, что на сложном фоне е имеет дисперсию на порядок меньше, чем соответствующая ошибка предсказания по авторегрессионной модели, что позволяет снизить порог обнаружения объекта

Эксперименты с изображениями реальных и синтезированных сцен, содержащими протяженные объекты, позволяют сделать вывод о том, что для таких изображений, при наличии сложного нестационарного фона, использование алгоритма на основе метода главных компонент более эффективно по сравнению с радом существующих алгоритмов адапшвной компенсации фона. Вероятность правильной классификации пикселей изображения по принадлежности объему и фону составила более 99% при вероятности ложной тревоги 4% и пиковом отношении сигнал-шум выше 34 дБ. Заключительным этапом выделения является селекция объектов по характерным признакам. Для протяженных объектов это могут быть площадь и направление движения.

В третьем разделе рассматривается алгоритм оценки скорости протяженного объекта по телевизионному изображению. Информация о скорости перемещения объекта в пространстве важна как для определения размеров объекта, так и для выявления нештатных ситуаций. Информация о скорости перемещения различных частей объекта на изображении необходима для построения панорамной проекции,

являющейся способом отображения протяженных объектов при наблюдении небольшим числом камер.

Первичными данными для измерения скорости являются оценки межкадровых смещений на телевизионном изображении, полученные в каждом кадре. В качестве метода оценки смещений выбран широко известный метод сопоставления блоков, обладающий высокой помехоустойчивостью при низкой вычислительной сложности. В заданном диапазоне смещений объекта по горизонтали и по вертикали их еихтт~мхтах>иу еиугтп—иутга вычисляется мера расхождения двух телевизионных кадров:

, ^ Л/-Ш-1 , .

1=0 у=0

где М и Ы- высота и ширина прямоугольного фрагмента кадра, в котором производится поиск вектора смещения, к,Я~ координаты его левого верхнего угла Координаты минимума функции рассогласования являются оценкой межкадровош смещения.

В случае определения скорости железнодорожного состава поиск смещений производится только в горизонтальном направлении; в качестве области поиска выбирается вертикальная полоса в центре кадра, которую состав гарантированно пересекает во время своего движения.

Непосредственно использовать измеренные смещения в качестве оценки скорости невозможно (рис. 1), так как значительная часть результатов измерения подвержена аномальной погрешности.

Рис. 1. Последовательность векторов смещения: цифрами отмечены истинные (1), нулевые (2) и аномальные (3) векторы

Для приближенной оценки вероятности появления аномальных результатов Рт использован один из существующих методов робастной регрессии - метод наименьшей медианы квадратов. Данный метод является альтернативой традиционному методу наименьших квадратов, который неустойчив к аномальным выбросам. Построены зависимости Рт от ширины блока Ж (рис. 2, а).

С увеличением ширины блока число аномальных выбросов уменьшается, но вычислительная сложность поиска (число элементарных операций) растет про-

порционально квадрату IV. Для снижения числа аномальных результатов предложено использовать иерархический подход, который заключается в измерении смещений при пониженном в несколько раз разрешении с последующим уточнением на более высоких уровнях. Показано, что за счет подавления шумов на низких уровнях разрешения вероятность появления аномальных результатов снижается. Вычислительная сложность иерархического алгоритма растет пропорционально логарифму ширины блока, что является его дополнительным преимуществом.

Дальнейшее снижение вероятности появления аномальных результатов при оценке смещений возможно за счет более детального анализа функции рассогласования блоков (рис. 2, б).

Рис. 2. Зависимость вероятности появления аномальной погрешности измерения скорости от ширины блока (а) и пример функции рассогласования, при которой возникает аномальная погрешность (б)

Установлено, что во многих случаях при возникновении аномальной погрешности функция имеет локальный минимум, соответствующий истинному смещению, замаскированный ложным глобальным минимумом. Поиск и сохранение в памяти нескольких локальных минимумов позволяют восстановить значение межкадрового смещения с использованием апостериорной оценки смещения объекта. На пракгаке достаточно запоминать 4-5 экстремальных значений. Совместное использование алгоритма иерархического поиска смещений и многоальтернативной оценки минимума функции рассогласования позволяют снизить вероятность появления аномальной погрешности с 38% до 22% при пиковом отношении сигнал-шум в телевизионном сигнале 30 дБ и выше.

Первичные вектора движения нуждаются в дополнительной обработке с целью получения оценки скорости, наиболее точно отражающей перемещение объекта в сцене. К этой оценке предъявляются следующие требования:

• сглаживание колебаний оценки, вызванных нормальной погрешностью измерения;

• устойчивость к аномальной погрешности, в том числе к пакетам аномальных ошибок;

• отслеживание резких изменений скорости объекта (разгон и торможение вплоть до полной остановки).

Применение линейной калмановской фильтрации для получения устойчивой оценки скорости затруднено необходимостью предварительной отбраковки аномальных данных (например, по методу наименьшей медианы квадратов). Кроме того, к фильтру предъявляются противоречивые требования - с одной стороны, обеспечить сглаженную оценку, с другой - реагировать на достаточно быстрое изменение скорости объекта Эксперимент подтвердили, что фильтр Калмана при решении поставленной задачи неустойчив к пакетам аномальных ошибок.

Для повышения устойчивости рекурсивного оценивающего устройства предложен нелинейный преобразователь, функция которого заключается в блокировании процесса адаптации фильтра при больших рассогласованиях меяоду входными данными и текущей оценкой. Выходной сигнал устройства оценки в этом случае описывается выражением

у{п) = у(п - 1)+РГ(х(«)-у{п -1)), W{x) = ке~Ьх2, где W- характеристика нелинейного преобразователя с параметрами к и Ь, быстро убывающая с ростом аргумента. Разработана процедура расчета параметров нелинейного преобразователя на основе допустимых значений ускорения объекта и нормальной погрешности измерения смещений.

Показано, что в случае использования нелинейного фильтра алгоритм оценки скорости устойчив к одиночным и пакетным аномальным выбросам. Тем не менее, существует вероятность потери сходимости при быстром разгоне или торможении объекта.

С целью устранения недостатков, присущих линейному и нелинейному фильтрам, предложен алгоритм оценки скорости на основе кластерного анализа межкадровых смещений. Основанием для применения кластерного анализа является то, что результаты измерения смещений в последовательности кадров содержат данные из нескольких генеральных совокупностей:

• векторы, отражающие движение объекта интереса в пространстве;

• посторонние векторы, вызванные движением отдельных частей объекта или посторонних объектов, подвижных,или неподвижных;

• ложные векторы, не соответствующие движению каких-либо объектов в кадре и вызванные свойствами изображения или метода измерения. Кластеризация с использованием гауссовой смеси позволяет строить статистическую модель распределения составной выборки

р{х,в)= takfk(*M б = {вьвъ...%}, к=1

где К- число компонентов, вк - набор параметров z'-го распределения, ак - весовой коэффициент í'-го компонента модели, являющийся также вероятностью появления образцов соответствующего кластера, /¿(х;<9) - базовое распределение (нормальное). Наблюдаемый процесс не является стационарным, поэтому параметры модели обновляются в реальном масштабе времени.

Распределение значений в каждом кластере моделируется нормальным законом, причем параметры распределений в каждой группе мало влияют друг на друга. Параметры гауссовой смеси определяются по рекуррентному алгоритму, использующему критерий максимального правдоподобия для ограниченной выборки результатов измерения. При изменении структуры выборки векторов смещения кнастеры могут автоматически добавляться и исключаться из модели, а их параметры непрерывно корректируются (рис. 3). Текущей оценкой скорости является центр кла-

-20 -15 -10 -5 0 5 10 15 20 Рис. 3. Гистограмма векторов смещения и сформированная на их основе модель распределения (кластеры пронумерованы в порядке убывания вероятности)

Предложенный алгоритм оценки скорости устойчив к пакетам аномальных ошибок: в начале пакета автоматически создается кластер, в который попадают аномальные векторы, при этом параметры основного кластера не изменяются. После завершения пакета ошибок созданный кластер удаляется (спустя промежуток времени, являющийся параметром алгоритма определения параметров модели). При быстром изменении скорости объекта происходит «перемещение» основного кластера и не происходит потери сходимости, как в случае с нелинейным преобразователем. Инерционность алгориша определения параметров гауссовой смеси обеспечивает уменьшение дисперсии нормальной составляющей погрешности измерения смещений в 7-9 раз.

В разделе также рассмотрены способы субпиксельной оценки смещений с целью дальнейшего снижения погрешности оценки скорости. Предложено использовать увеличение временного интервала между кадрами, в которых происходит совмещение блоков, по мере уменьшения скорости объекта. При выборе интервала учитывается устойчивая оценка скорости, полученная на этапе кластерного анализа. Такой подход позволяет стабилизировать относительную погрешность измерения скорости на уровне 2,5% и ниже в широком диапазоне скоростей объекта без дополнительных вычислительных затрат. Проведено исследование методов интерполяции для повышения точности измерения смещений. При пиковом отношении сигнал-шум выше 36 дБ алгоритм четырехкратной линейной интерполяции обеспечивает

среднюю абсолютную погрешносгь измерения межкадровых смещений не более 0,12 пикселей.

Четвертый раздел посвящен решению задач определения параметров протяженного объекта и его панорамного отображения. В качестве примера рассматривается система дистанционного осмотра грузовых железнодорожных составов. Задачами такой системы являются оценивание технического состояния вагонов, автоматическая фиксация информации о передвижении составов и выявление нештатных ситуаций. Для этого необходимо обеспечить выполнение следующих функций:

• фиксация времени прохождения локомотива и последнего вагона состава;

• определение скорости и направления д вижения состава;

• определение порядкового номера вагона в составе и общего числа вагонов;

• синтез цифровых изображений вагонов, формирование информационных кадров и сжатие видеоинформации доя последующей архивации и составления базы данных.

Фиксация моментов прохождения локомотива и последнего вагона выполняется с использованием алгоритма выделения объекта из фона, рассмотренного во втором разделе. Анализ скорости позволяет определить направление движения, в зависимости от которого система может по-разному реагировать на появление состава (на некоторых товарных станциях необходимо контролировать только прибывающие или отбывающие составы).

Отличительной особенностью предложенной системы является использование панорамных проекций для визуального отображения вагонов на рабочем месте оператора. При построении панорамы объединяются фрагменты кадров, содержащие различные части объекта. Таким образом, сканирование большой поверхности объекта выполняется за счет его перемещения относительно неподвижной камеры. Камера, как правило, устанавливается на расстоянии около 1,5 метров от железнодорожного полотна и имеет сверхширокоугольный объектив, вносящий значительные геометрические искажения.

Для исследования предложенного в работе алгоритма формирования панорамного изображения произведен расчет геометрической модели проекции точек в пространстве на растр. Вычисления показали, что скорость перемещения различных частей объекта на изображении отличается не менее, чем в 1,25 раза, когда поверхность объекта плоская. Если поверхность объекта выпуклая, что характерно для многих типов железнодорожных вагонов, различие видимой скорости в центре и по краям растра еще более существенно.

Для корректного построения панорамы необходимо измерить карту смещений в строках телевизионного растра. Зависимость смещения от номера строки имеет сложный характер, который определяется типом вагона и направлением оптической оси объектива камеры.

Результаты измерения смещений в строках корреляционным методом могут бьгть подвержены аномальной погрешности. Для устойчивого определения карты смещений применен анализ двумерной функции рассогласования

х0+№-] ]=Ч

где и - величина смещения в пикселях, г - номер строки, х0 - левая граница блока, IV - ширина блока, /0 - опорный кадр, /, - предшествующий кадр.

Дяя вычисления смещения матрица функции рассогласования разбивается на горизонтальные блоки (рис. 4). Суммирование в границах блока увеличивает помехоустойчивость алгоритма измерения карты смещений, но приводит к снижению точности определения смещений в отдельных строках. При суммировании строк матрицы рассогласования игнорируются те строки, в которых отсутствует локальный минимум (участок функции рассогласования с положительно определенной второй производной), что позволяет существенно снизить чувствительность алгоритма к аномальным смещениям.

границы Зиапазона поиска

-20 0 20 -20 0 20 V, пикс./кабр V, пике./кадр

Рис. 4. Форма вагона (а), функция рассогласования (б) и кусочно-линейная аппроксимация карты смещений (в)

Д иапазон строк телевизионного изображения, в пределах которого строится карта смещений, определяется границами объекта, выделенного из фона по рассмотренному во втором разделе алгоритму. Диапазон поиска минимума при построении карты смещений ограничивается интервалом

где i - номер строки, sign - функция определения знака, V- оценка скорости объекта, полученная на основе кластерного анализа межкадровьгх смещений. Коэффициенты выбраны таким образом, что при различной конфигурации вагона смещения в отдельных строках не выходят за пределы заданного диапазона относительно скорости перемещения объекта.

Непрерывная карта смещений в строках телевизионного растра, используемая для построения панорамного изображения, формируется путем кусочно-линейной аппроксимации (см. рис. 4, б).

Для построения панорамы из каждой строки каждого кадра необходима выборка длиной d(n) отсчетов (размер выборки зависит от номера строки). Для миними-

зации пространственных искажений центр выборки должен совпадать с вертикальной беспараллаксной осью изображения. Имеется в виду семейство точек на растре, в которых отсутствует видимое горизонтальное смещение деталей объекта при удалении от камеры. Для стыковки фрагментов панорамы выполняется совмещение выборок из соседних кадров и их интерполяция в узлах равномерной сетки дискретизации панорамного изображения.

Для наблюдения на железнодорожных станциях широко используются камеры с чересстрочной разверткой, имеющие низкую цену и совместимые с широкой номенклатурой аналогового телевизионного оборудования. При наблюдении такого изображения на электронно-лучевом мониторе с чересстрочной разверткой поля воспроизводятся по очереди, а время свечения люминофора мало, поэтому смещение объекта за время одного поля не вызывает видимых искажений. При компьютерном наблюдении движущихся объектов, снятых чересстрочной камерой, на изображении появляются артефакты в виде смаза и «гребенки», что вынуждает разработчиков видеокомпьютерных систем намеренно снижать вертикальную четкость при отображении подвижных объектов, воспроизводя только одно поле, либо выполняя усреднение полей. При построении панорамного изображения описываемым методом становится возможным восстановил, полную вертикальную четкость изображения. Для этого выборки из строк четного поля (или нечетного, в зависимости от очередности полей при оцифровке телевизионного сигнала) смещаются на половину кадрового смещения в направлении, обратном направлению движения объекта. Погрешность оценки межкадровых смещений является достаточно низкой для того, чтобы скомпенсировать эффект «гребенки».

Применение предложенного алгоритма построения панорамы протяженного объекта в системе дистанционного осмотра железнодорожных составов позволило:

• расширил, поле зрения телевизионной системы наблюдения без применения дополнительных технических средств;

• сформировать изображение с прогрессивной разверткой, имеющее разрешение до 1,5 мегапикселей, с использованием одной чересстрочной камеры стандартной четкости;

• осуществить коррекцию горизонтальных геометрических искажений (коэффициент горизонтальных нелинейных искажений на исходном изображении составляет 110%, на панорамной проекции - менее 1%);

• выполнить эффективное сжатие информации за счет преобразования последовательности телевизионных кадров в серию неподвижных изображений высокого разрешения.

Проведен синтез алгоритма, позволяющего определил, моменты прохождения стыков между вагонами по телевизионному изображению. Отличительной особенностью алгоритма является инвариантность к типу вагона и условиям съемки (нет необходимости в использовании дополнительных конструкций, например, контрастных щитов). Алгоритм использует ряд признаков, измеряемых по телевизионному изображению, а также априорные данные о минимальной и максимальной длине

вагона. По экспериментальным данным (50 составов) определены характеристики предложенного алгоритма: вероятность правильного обнаружения стыка составила более 99% при вероятности ложного срабатывания 0,5%.

Разработанная система реализована программно. Быстродействие используемых алгоритмов позволяет в реальном времени обрабатывать до 4 телевизионных сигналов стандарта ITU-R ВТ.601 на ЭВМ с двухъядерным процессором Intel Pentium или AMD с тактовой частотой не менее 2,4 ГГц. На рис. 5 приведено телевизионное изображение железнодорожного состава и сформированная на его основе панорамная проекция одного из вагонов.

орамна

а) 5)

Рис. 5. Исходное (а) и панорамное (б) изображения грузового вагона

В заключении сформулированы основные результаты диссертационной работы и приведены рекомендации по перспективным направлениям дальнейших исследований.

В приложениях приведены результаты экспериментальной проверки предложенных в работе алгоритмов на разноплановых тестовых изображениях. Также приведены некоторые математические расчеты, результаты которых использованы в основной части.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Проведен анализ работы существующих алгоритмов обработки изображений в интеллектуальных телевизионных системах. При наблюдении за протяженными объектами основными аспектами обработки изображений, которые неудовлетворительно решаются существующими методами, являются выделение и определение границ объекта при сложных условиях наблюдения, а также целостное отображение объекта, превосходящего по размерам поле зрения телевизионной системы.

2. Предложен и исследован алгоритм моделирования фона, учитывающий пространственные и временные корреляционные связи между отсчетами телевизионного сигнала. Для компактного описания фона предложено использовать рекуррентный вариант метода главных компонент, обеспечивающий ряд преимуществ по сравнению с другими линейными преобразованиями изображения. Показано, что такой подход обеспечивает качественное преимущество по сравнению с рядом сущест-

вующих алгоритмов в случае определения границ протяженных объектов на сложном нестационарном фоне.

3. Разработан алгоритм построения панорамной проекции протяженного объекта, позволяющий расширить поле зрения телевизионной системы, скорректировать геометрические искажения, вносимые широкоугольной оптикой (остаточный коэффициент нелинейных искажений по горизонтали менее 1%), а также восстановить прогрессивную структуру растра при съемке чересстрочной камерой. Панорамирование происходит за счет движения объекта относительно неподвижной камеры.

4. Предложен и исследован алгоритм оценки скорости протяженного объекта, основанный на кластерном анализе межкадровых смещений с использованием модели гауссовой смеси. Кластерный анализ обеспечивает устойчивость к одиночным и пакетным аномальным ошибкам. Сходимость алгоритма оценки в ряде случаев сохраняется при наличии более 50% аномальных ошибок в выборке. В отличие от алгоритма нелинейной фильтрации, также устойчивого к аномальной погрешности, кластерный алгоритм оценки скорости сохраняет сходимость при значительных по модулю ускорениях объекта, что подтверждено экспериментально.

5. Проведена серия экспериментов с использованием машинного моделирования и натурных испытаний, в ходе которых подтверждена эффективность предложенных алгоритмов при определении параметров и панорамном отображении протяженных объектов. Результаты работы использованы в инновационной системе дистанционного осмотра железнодорожных составов.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Афанасенко, А С Исследование признаков для определения числа вагонов в железнодорожном составе по телевизионному изображению / А. С. Афанасенко, К С. Тимофеев // Вестник ТГТУ. 2007. Т. 13. №4. С. 862873.

2. Афанасенко, А С. Оценка методов формирования видеопанорамы движущихся объектов / А. С. Афанасенко, Б. С. Тимофеев // Телевидение: передача и обработка изображений. Материалы 4-й международной конференции. ГЭТУ. СПб. 2005. С. 89-90.

3. Афанасенко, А. С. Многоканальная обработка данных в системе телевизионного наблюдения железнодорожных составов / А. С. Афанасенко, Б. С. Тимофеев // Телевидение: передача и обработка изображений. Материалы

5-й международной конференции. ГЭТУ. СПб. 2007. С. 39.

4. Афанасенко, А. С. Обнаружение подвижных объектов на телевизионном изображении в сложной помеховой обстановке / А. С. Афанасенко, Б. С. Тимофеев // Телевидение: передача и обработка изображений. Материалы

6-й международной конференции. ГЭТУ. СПб. 2008. С. 41.

-195. Дистанционный осмотр железнодорожных составов / Б. С. Тимофеев, Н. А. Обухова, А. С. Афанасенко, М. П. Плотников. М.: ВНТИЦ, 50200702286, 2007.

6. Афанасенко, А. С. Формирование видеопанорамы движущегося состава в системе ввдеонаблюдения на железной дороге / А. С. Афанасенко // 8-я научная сессия ГУАП: сб. докл.: в 3 ч. Ч. I. Технические науки. ГУАП. СПб. 2005. С. 154-157.

7. Афанасенко, А. С. Повышение достоверности измерения движения на видеоизображении с помощью нечеткой логики / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. I. Технические науки. ГУАП. СПб. 2006. С. 124-126.

8. Афанасенко, А. С. Аналитическая обработка изображения движущегося железнодорожного состава / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. П. Технические науки. ГУАП. СПб. 2007. С. 5-8.

9. Афанасенко, А С. Обработка данных при измерении скорости протяженного подвижного объекта / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. П. Технические науки. ГУАП. СПб. 2008. С. 3-6.

10. Афанасенко, А. С. Высокоточное измерение движения на видеоизображениях / А. С. Афанасенко // 4-я Международная научно-техническая конференция «Цифровые и информационные технологии в электронной медиа-индустрии - 2006»: тез. докл. ГУКиТ. СПб. 2006. С. 24.

11. Афанасенко А. С., Автоматическое управление платами видеоввода в системе компьютерного видеонаблюдения / А. С. Афанасенко // Радиоэлектроника, электротехника и энергетика Тринадцатая международная научно-техническая конференция студентов и аспирантов: тез. докл. Т. 1. М.: Издательский дом МЭИ, 2007. С. 428.

Формат бумаги 60х90 1/16. Бумага офсетная. Печать ризографическая. Тираж 100 экз. Отпечатано в ПК «Объединение Вента» с оригинал-макета заказчика. 197198, Санкт-Петербург, Большой пр. П. С., д. 29а, тел. 718-46-36

Список сокращений.

Введение.

Раздел 1. Анализ современного уровня развития интеллектуальных систем телевизионного наблюдения.

1.1. Назначение и сферы применения интеллектуальных телевизионных систем.

1.2. Принципы построения интеллектуальных систем наблюдения.

1.3. Основные задачи обработки информации, решаемые в рамках интеллектуальных систем наблюдения.

1.3.1. Выделение объектов.

1.3.2. Оценка параметров объекта.

1.4. Особенности наблюдения за протяженными объектами.

1.5. Основные сведения о панорамных изображениях.

1.5.1. Области применения панорамных изображений.

1.5.2. Панорамные проекции и их свойства.17?

1.5.3. Технические средства, используемые для формирования панорамных изображений.

1.6. Постановка исследовательских задач.

Раздел 2. Разработка* и обоснование алгоритма выделения протяженных подвижных объектов на изображении.

2.1. Специфика задачи и общий принцип ее решения.

2.1.1. Существующие подходы к выделению объектов.

2.1.2. Характерные свойства объекта.

2.1.3. Факторы, затрудняющие выделение протяженных объектов.

2.2. Адаптивное моделирование фона.

2.2.1. Применение статистического моделирования фона для выделения объектов

2.2.2. Моделирование фона авторегрессионным процессом.

2.2.3. Моделирование фона гауссовой смесью.

2.3. Обнаружение объектов по разности кадров.

2.3.1. Принципы обнаружения по межкадровой разности.

2.3.2. Статистические свойства энергии межкадровой разности.

2.3.3. Выделение объектов по порогу.

2.4. Усовершенствованный алгоритм выделения объектов.

2.4.1. Моделирование фона с учетом локальной структуры изображения.

2.4.2. Реализация метода главных компонент.

2.4.3. Применение МГК для выделения объектов.

2.5. Оценка движения объекта.

2.5.1. Уравнение оптического потока.

2.5.2. Вычисление оптического потока.

2.5.3. Использование робастных алгоритмов оценки.

2.5.4. Метод наименьшей медианы квадратов.

2.6. Сравнение алгоритмов выделения объектов.

2.6.1. Методика построения рабочей характеристики приемника для алгоритма выделения объектов.

2.6.2. Рабочие характеристики различных алгоритмов выделения.

2.7. Краткие выводы.

Раздел 3. Разработка алгоритма оценки скорости протяженного подвижного объекта по телевизионному изображению.

3.1. Общая постановка задачи.

3.1.1. Необходимость оценки скорости при построении панорамного изображения

3.1.2. Условия наблюдения.

3.1.3. Специфика задачи.

3.1.4. Общаяххема обработки данных.

3.2. Анализ вероятности появления аномальных результатов при измерении оптического потока различными методами.

3.2.1. Классификация результатов измерения оптического потока.

3.2.2. Вероятность появления аномальных результатов при использовании традиционного метода сопоставления блоков.

3.2.3. Вероятность появления аномальных результатов при использовании многомасштабного сопоставления блоков.

3.2.4. Анализ вычислительной сложности иерархического алгоритма сопоставления блоков.

3.2.5. Влияние шумов на вероятность появления аномальных векторов движения

3.2.6. Способы восстановления значений векторов движения, подверженных аномальной погрешности.

3.3. Формирование устойчивой оценки скорости движения протяженного объекта.

3.3.1. Методика оценки качества работы алгоритмов сглаживания.

3.3.2. Оценка с помощью фильтра Калмана.

3.3.3. Оценка с использованием безынерционного нелинейного преобразователя.

3.3.4. Оценка скорости на основе кластерного анализа векторов движения.

3.3.5. Сравнение эффективности алгоритмов сглаживания в различных условиях.

3.4. Снижение погрешности измерения векторов движения.

3.4.1. Субпиксельная оценка» смещений при использовании алгоритма сопоставления блоков.

3.4.2. Субпиксельная оценка с использованием аппроксимации функции рассогласования блоков.

3.4.3. Сравнение алгоритмов субпиксельной оценки смещений.

3.4.4. Использование переменного интервала измерения векторов движения.

3.5. Краткие выводы.109j

Раздел 4. Аналитическая обработка изображений в системе дистанционного осмотра железнодорожных составов.

4.1. Описание системы дистанционного осмотра грузового подвижного состава на. железной дороге.

4.1.1. Назначение и состав системы.

4.1.2. Существующие аналоги.

4.1.3. Способы расширения поля зрения телевизионных систем на железнодорожномаранспорте.

4.1.4. Схема обработки данных в системе дистанционного осмотра подвижного состава.

4.2. Формирование панорамной проекции состава.

4.2.1. Геометрическая модель проекции.

4.2.2. Расчет векторного поля смещений объекта в различных частях растра.

4.2.3. Устранение аномальной погрешности при измерении карты смещений.124'

4.2.4. Стыковка фрагментов панорамы и восстановление построчной структуры растра.

4.2.5. Коррекция геометрических искажений при построении панорамы.

4.2.6. Влияние встречной засветки и неподвижных теней.

4.3. Обнаружение стыков между вагонами грузового состава.

4.3.1. Формулировка задачи.

4.3.2. Анализ видимого движения в центре кадра.

4.3.3. Опознавание стыка по выбросам ошибки предсказания изображения.

4.3.4. Идентификация сцепного устройства.

4.3.5. Опознавание стыка по совокупности признаков.

4.4. Краткие выводы.

На современном этапе развития средств автоматического контроля и управления является актуальной проблема повышения эффективности технических систем сбора и обработки информации. Потребность в таких системах чрезвычайно высока в различных сферах человеческой деятельности, включая промышленность, транспорт, науку, сервис, системы безопасности. Особое экономическое значение имеют так называемые интеллектуальные технические системы, способные полностью заменить человека в ряде случаев или существенно облегчить его труд при обработке больших объемов информации.

Телевизионные системы, как один из классов систем сбора и обработки информации, обладают рядом особенностей. Среди них — объективность и высокая информативность, широкие возможности обработки сигналов с целью извлечения данных об объектах наблюдения. При этом возникают значительные объемы передаваемых данных и повышенные требования к производительности программного и аппаратного обеспечения. Использование телевизионного наблюдения позволяет существенно повысить эффективность интеллектуальных систем.

Задачи извлечения информации из телевизионных сигналов на сегодняшний день решаются методами компьютерной обработки. В зависимости от свойств объектов наблюдения и условий применения телевизионных систем алгоритмы и методы обработки существенно отличаются. Настоящая работа посвящена решению задач, связанных с обработкой видеоданных от протяженных объектов. Протяженными считаются такие объекты, геометрические размеры которых сопоставимы с размерами поля зрения применяемых телевизионных камер или существенно превосходят его. При такой формулировке возможны две ситуации: - изображение объекта в определенные моменты времени полностью умещается в телевизионном растре;

- размеры объекта превосходят поле зрения телевизионной: системы, в результате; в течение: наблюдения в кадр попадают различные части объекта. .

В обоих случаях при выделении объекта из; фона; и определении его . параметров возникают специфические трудности, связанные; с подобием фрагментов объекта и фона. Во втором, случае для целостного отображения объекта необходимо извлекать информацию из последовательности телевизионных кадров. Одним из способов отображения объекта в данном случае является формирование панорамнойшроекции, которая позволяет:

- расширить поле зрения телевизионной системы без применения; дополнительных технических средств (например, поворотных устройств, параболических зеркал; дополнительных камер);:

- создать комфортные условия наблюдения для ', оператора телевизионной; системы;

- сохранить изображение протяженного объекта в компактном виде с возможностью, его передачи по каналам- связи с низкой пропускной, . способностью;

- провести измерение параметров и характеристик объекта (в том числе габаритов и формы).

Примерами использования интеллектуальных систем, требующих отображения и определения параметров протяженных объектов, являются:

- дистанционный осмотр подвижного состава железных дорог;

- съемка местности с низколетящего летательного аппарата;

- зрение роботов.

Основной целью работы является разработка и анализ алгоритмов обработки телевизионного сигнала, позволяющих определить параметры протяженного объекта и осуществить его целостное отображение в сложных условиях наблюдения. В результате использования предложенных в работе решений повышается четкость изображения;, расширяется поле зрения телевизионной системы, измерение ряда параметров и характеристик объекта осуществляется автоматически.

Достижение поставленной в работе цели требует решения следующих основных задач:

- выработать и обосновать меры адаптации существующих алгоритмов выделения объектов из фона с учетом особенностей наблюдения за протяженными объектами;

- разработать методику синтеза панорамной проекции протяженного объекта при его движении относительно камеры наблюдения;

- исследовать алгоритм оценки скорости протяженного объекта по телевизионному изображению;

- разработать алгоритмы определения, параметров протяженных объектов на примере системы осмотра грузовых железнодорожных составов;

- выполнить моделирование предложенных алгоритмов и экспериментально оценить их эффективность;

- обеспечить внедрение полученных результатов в системе дистанционного осмотра грузовых железнодорожных составов.

Основные положения, выносимые на защиту:

1. Алгоритм определения границ протяженного объекта на сложном нестационарном фоне с использованием метода главных компонент.

2. Способ отображения протяженного объекта с помощью панорамной проекции (на примере железнодорожного состава).

3. Получение устойчивой оценки скорости протяженного объекта на основе кластерного анализа векторов смещения.

4. Применение достигнутых научных результатов в системе дистанционного осмотра грузового подвижного состава железных дорог.

Практическая ценность работы определяется тем, что на основе предложенных алгоритмов разработан ряд систем дистанционного осмотра грузового подвижного состава железных дорог, предоставляющих оператору дополнительную (по сравнению с существующими аналогами) информацию:

- статические изображения вагонов с повышенным разрешением и частично исправленными геометрическими искажениями;

- параметры движения состава при въезде на станцию (скорость, направление, случаи остановок);

- порядковые номера вагонов и общее число вагонов в составе (даже при отсутствии габаритных ворот, предоставляющих эту информацию в аналогичных системах).

Помимо железнодорожного мониторинга, разработанные алгоритмы могут быть использованы в других областях, где требуется обработка изображений протяженных объектов.

Основные результаты проведенного исследования могут быть использованы:

- научными организациями, занимающимися исследованиями в области обработки изображений и машинного зрения;

- научно-производственными предприятиями, ведущими разработку интеллектуальных систем с обработкой телевизионной информации;

- учреждениями высшего профессионального образования в учебном процессе.

Направлениями дальнейших исследований по • тематике диссертационной работы являются:

- усовершенствование алгоритма выделения протяженных объектов из фона с целью уменьшения влияния теней, засветок, шумов и помех на точность выделения;

- исследование способов построения панорамной проекции протяженного объекта, позволяющих уменьшить влияние параллакса, неточности установки телевизионных камер и неравномерного освещения;

- расширение области практического применения разработанных методик.

Заключение

В диссертационной работе проведено исследование метода обработки телевизионного сигнала, позволяющего повысить производительность труда операторов при обслуживании интеллектуальных систем наблюдения1 за протяженными подвижными объектами. Достигнуто улучшение по таким показателям, как четкость изображения и ширина поля зрения телевизионной системы. Отображение при помощи панорамной проекции улучшает восприятие визуальной информации человеком и позволяет автоматизировать измерение ряда параметров и характеристик объекта

Проведено исследование особенностей извлечения информации из телевизионного сигнала при наблюдении протяженного подвижного объекта. Для решения задачи выделения объекта из фона предложен алгоритм, основанный на дискретном разложении Карунена-Лоэва. Объективное сравнение данного алгоритма с рядом аналогичных алгоритмов, используемых в машинном зрении для выделения объектов, позволяет судить о том, что в сложных условиях наблюдения разработанный алгоритм превосходит аналоги по точности выделения, но имеет более высокую вычислительную сложность.

Исследованы особенности измерения скорости протяженного объекта по телевизионному изображению. В реальных условиях наблюдения оценка скорости затруднена наличием большого числа аномальных данных среди результатов измерения смещений на изображении. Для снижения вероятности появления аномальных выбросов предложен ряд модификаций алгоритма сопоставления блоков, широко используемого при компенсации движения. Проведен анализ чувствительности предложенного алгоритма к шумам. Для получения устойчивой оценки скорости объекта разработан алгоритм кластерного анализа результатов измерения, имеющий ряд преимуществ по сравнению с традиционными алгоритмами линейного (фильтр Калмана) и нелинейного (безынерционный нелинейный преобразователь) оценивания.

Рассмотрены принципы формирования панорамной проекции протяженного объекта. Панорамирование происходит при: линейном перемещении объекта, относительно камеры наблюдения! (или наоборот). В зависимости от характеристик объектива формируемая проекция по своим- свойствам является; эквидистантной^ (в; случае: использования объектива, «рыбий глаз») или прямолинейной (при нормальном фокусном расстоянии объектива); Построение проекции обеспечивается измерением векторного поля- смещений различных частей объекта в плоскости растра. Одновременно с панорамированием выполняется восстановление построчной развертки (при использовании чересстрочного датчика изображения), что позволяет, при отсутствии: апертурных искажений; повысить вертикальную четкость изображения* в 2 раза. За счет совмещениям большого числа фрагментов геометрические искажения по горизонтали) снижены до величины 0,5% (при: искажениях на исходном изображении; снятом, сверхширокоугольным объективом, составляющих 105%).

В качестве примера:практического' использования; предложенного в работе: метода приводится* описание разработанной1 на: кафедре электронных и телевизионных систем СПб ГУАГ1 совместно с ПК НИК «Автоматизация» системы дистанционного осмотра; грузовых железнодорожных составов. Данная; система использует алгоритм выделения объекта на основе метода главных компонент, определение скорости состава с использованием кластерного анализа, построение панорамной; проекции, ее разбиение на изображения отдельных вагонов с использованием предложенного алгоритма опознавания стыков между вагонами.

Практическая ценность работы заключается в том, что на основе предложенных алгоритмов разработан ряд систем дистанционного осмотра грузового подвижного состава1 железных дорог, предоставляющих оператору дополнительную, по сравнению с существующими аналогами, информацию:

- статические изображения; вагонов; с повышенным разрешением- (до 1,5 мегапикселей)ш скорректированными геометрическими искажениями;

- параметры движения состава при въезде на станцию (скорость, направление, факты остановок);

• - порядковые номера вагонов и общее число вагонов в составе.

Помимо железнодорожного мониторинга, разработанные алгоритмы могут быть использованы в других областях, где требуется обработка изображений протяженных объектов.

1. Шиффман, X. Р. Ощущение и восприятие / Х/Pl Шиффман; 5-е изд. СПб.: Питер, 2003. 928 с.

2. Ко Пег, D. Towards Realtime Visual Based Tracking in Cluttered Traffic Scenes / D. Koller, J. Weber, J. Malik. In Proc. of the Intelligent Vehicles Symposium. P. October 24-26, 1994. Pp. 201-206.

3. Липкин, И. А. Основы статистической радиотехники, теории информации и кодирования / И. А. Липкин. М.: Советское радио, 1978. 238 с.

4. Богданович, В. А. Теория устойчивого обнаружения, различения и оценивания сигналов / В. А. Богданович, А. Г. Вострецов; 2-е изд., испр. М.: Физматлит, 2004. 320 с.

5. Shyder, J. P. Map Projections A Working Manual / J. P. Shyder. U. S. Geological Survey Professional Paper 1395. Washington, DC: U. S. Government Printing Office. 1987.

6. Тимофеев, Б.С. Системы видеонаблюдения железнодорожных составов / Б. С. Тимофеев // Информационно-управляющие системы. 2004. № 1. С. 2-9.

7. Techniques for fisheye lens calibration using a minimal number of measurements / T. N. Mundhenk, M. J. Rivett, X. Liao, E. L. Hall. // http://www.robotics.uc.edu. 2000.

8. US Patent 6157018. Omni directional vision photograph device / I. Hiroshi, N. Osamu.

9. Программное обеспечение фирмы Easypano Holdings Inc. для создания сферических и цилиндрических фотопанорам и публикации их в сети Интернет. — http://www.easvpano.com/panorama-software.html.

10. Бесплатное программное обеспечение для создания фотопанорам UnWrapper фирмы Bellissimo Inc. http://www.0-360.com/software.asp.

11. Hase, H. Real-time snowfall noise elimination / H. Hase, K. Miyake, M. Yoneda. In ICIP. 1999.

12. Трайнев, В1 А. Параметрические модели в экспертных методах оценки при принятии решений'/ В. А. Трайнев, О. В. Трайнев. М.: Прометей. 2003. 232 с.

13. Ван Трис, Г. Теория обнаружения, оценок и модуляции / Г. Ван Трис; пер. с англ. // вк2 т. М.: Советское радио! 1972. Т. 1. 744 с.

14. Фукунага, К. Введение в статистическую теорию распознавания образов / К. Фукунага; пер. с англ. М.: Наука. 1979. 389 с.

15. Ridder, С. Adaptive background.estimation and foreground detection'using Kalman-filtering / G. Ridder, O. Munkelt, H. Kirchner // Proceedings of International

16. Conference on recent Advances in Mechatronics, ICRAM'95, UNESCO chair on Mechatronics. 1995. Pp. 193-199.

17. Koler, D. Towards robust automatic traffic scene analysis in real-time / D. Koler, J. Weber, T. Huang, et al. // In Proc. of the International Conference on Pattern Recognition. Israel. Nov. 1994.

18. Хемминг, P. В. Цифровые фильтры / P. В. Хемминг; пер. с англ. В. И. Ермишина. М.: Советское радио. 1980. 224 с.

19. Stauffer, С. Adaptive background mixture models for real-time tracking / C. Stauffer, W.E.L. Grimson // In Proceedings CVPR. 1999. Pp. 246-252.• 21. Titterington, D> Statistical Analysis of Finite Mixture Distributions / D.

20. Titterington, A. Smith, U. Makov. NY: John Wiley & Sons. 1985.

21. Permuter, H. H. Gaussian mixture models of texture and colour for imagetdatabase retrieval / H.H. Permuter, J. Francos and I.H. Jarmyn (2003) // IEEE1.ternational Conference on Acoustics, Speech, and Signal Processing. 2003. Proceedings.

22. Dempster, A. P. Maximum likelihood from incomplete data via the EM algorithm / A. P. Dempster, N. M. Laird, D. B. Rubin // Journal Royal Statistics Society. 1977. Vol. 39. No. 1. Pp. 1-21.

23. Sonka, M. Image Processing, Analysis and Machine Vision / M. Sonka, V. Hlavac, R. Boyle. NY.: Chapman and Hall. 1993.

24. Обухова, H.A. Обнаружение и сопровождение движущихся объектов методом сопоставления блоков / Н. А. Обухова,// Информационно-управляющие системы. 2004. № 1. С. 30-37.

25. Background modeling and subtraction of dynamic scenes / A-. Monnet, A. Mittal, N. Paragios, M. Ramesh // In proc. of 9-th International Conference on Computer Vision. 2003. Vol. 2. Pp. 1305-1312:

26. Стренг, Г. Линейная алгебра и ее применения / Г. Стренг. М.: Мир. 1980.454 с.

27. Гайдышев, И. Анализ и обработка данных / И. Гайдышев. СПб.: Питер. 2001.542 с.

28. Прэтт, У. Цифровая обработка изображений / У. Прэтт. М.: Мир, 1982. Кн. 1.312 с.

29. ISO/IEC 13818-2 | ITU-T Н.262 (MPEG-2 Video), Information Technology Generic Coding of Moving Pictures and Associated Audio Information: Video, 1995.

30. Oja, E. On stochastic approximation of the eigenvectors and eigenvalues of the expectation of random matrix / E. Oja, J. Karhunen // Journal of Mathematical Analysis and Applications. 1985. No. 106. Pp. 69-84.

31. Sanger, T. D. Optimal unsupervised learning in a single-layer linear feedforward neural network / T. D. Sanger I I Neural Networks. 1989. Vol. 2. Pp. 459473.

32. Kung, S.Y. Adaptive Principal Component Extraction (APEX) and applications / S. Y. Kung, К. I. Diamantaras, J. S. Taur // Signal Processing, IEEE Transactions on Speech, and Signal Processing. May 1994. No. 42(5). Pp. 1202-1217.149

33. Осовский, С. Нейронные сети для: обработки информации /. С. Оссовский; пер. с польского. М.: Финансы и статистика. 2002. 344 с.

34. Turk, М. Face recognition using eigenlaces / M. Turk, A. Pentland // Proc. IEEE Conference on Computer Vision and Pattern Recognition. 1991. Pp. 586-591.

35. Face Recognition: A Comparison of Appearance-Based Approaches // T. Heseltine, N. Pears, J. Austin, Z. Chen // Proc. Vll-th Digital Image Computing: Techniques and Applications. 2003. Vol. 1. Pp. 59-68.

36. Нот, В. K. P. Determining optical flow / В. K. P. Horn, B. G. Schiinck // Artificial Intelligence. 1981. Vol. 17. Pp. 185-203.

37. McCandless, J. W. Detection of aircraft in video sequences using a predictive optical flow algorithm / Jt W. McCandless // Optical Engineering. 1999. No. 3. Pp.' 523530.

38. Reviews of Optic Flow,. Motion Segmentation, Edge; Finding and Corner Finding; Technical report, Robotics Research Group, Department of. Engineering Science, Oxford University, 1997.

39. Быстрые алгоритмы в цифровой обработке изображений. Преобразования и медианные фильтры / ред. Т. С. Хуанг; пер. с англ. М.: Радио и связь, 1984. 224 с.

40. Rousseeuw, P. J. Least Median of Squares Regression / P. J. Rousseeuw // Journal of the American Statistical Association. 1984. №79. Pp. 871-880.

41. Rousseeuw, P. J. Robust regression and; outlier detection / P. J: Rousseeuw, A. M. Leroy. NY: John Wiley. 1987.

42. Y. J. Zhang. A survey on evaluation'methods for image segmentation. Pattern Recognition, 29:1335-1346, 1996.

43. Fawcett, T. ROC Graphs: Notes and Practical Considerations for;Researchers/

44. Афапасепко, A. G. Оценка методов формирования видеопанорамы движущихся объектов? / А. С. Афанасснко, Б: С. Тимофеев // Телевидение: передача июбработка изображений; Материалы 4-й международной конференции. ГЭТУ. СПб. 2005. С. 89-90.

45. A. Zimmerman, R. Hartley. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004.

46. Дистанционный осмотр железнодорожных составов / Б. С. Тимофеев, Н.

47. A. Обухова, А. С. Афанасенко, М. П. Плетников. М.: ВНТИЦ, 50200702286, 2007.

48. Афанасенко, А. С. Обработка данных при измерении скорости протяженного подвижного объекта / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. II. Технические науки. ГУАП. СПб. 2008. С. 3-6.

49. Smith S. Reviews of Optic Flow, Motion Segmentation, Edge finding and Corner Finding. D. Phil, thesis. Robotics Research Group, Department of Engineering Science, Oxford University, 1992.

50. F. Dufaux, F. Moscheni. Motion estimation techniques for digital TV: A review and a new contribution. Proceedings of the IEEE, 83(6):p.858-875, 1995.

51. Jain J.R, Jain K.A. Displacement measurement and its application in interframe image coding// IEEE Trans. Commun.,Vol Com 29, 1981. p. 1.799-1.806.

52. Цифровая обработка телевизионных и компьютерных изображений / А.

53. B. Дворкович, В. П. Дворкович, Ю. Б. Зубарев и др.; 2-е изд., перераб. и доп. М.: Радио и связь, 1997. 212 с.

54. Stefano, L. Vehicle Detection and Tracking Using the Block Matching Algorithm / L. Stefano, E. Viarani // Proc. of 3rd IMACS/IEEE, Athens, Greece. July 1999. Vol. l.Pp. 4491-4496.

55. Васин, H.H. Обработка видеосигналов для измерения скорости движения железнодорожных вагонов на сортировочной горке / Н. Н. Васин, В. Ю. Куринский // Компьютерная оптика, ИСОИ РАН. Самара. 2005. Вып. 27. С. 185— 188.

56. Thoma, R. Motion compensating interpolation considering covered and uncovered background / R. Thoma, M. Bierling // Signal Processing: Image Communications. 1989. Vol. l.Pp. 191-212.

57. Голъденберг, JI. M. Цифровая обработка сигналов: Справочник / Л. М. Гольденберг, Б. Д. Матюшкин, М. Н. Поляк. М.: Радио и связь, 1985. 312 с.

58. Афанасенко, А. С. Повышение достоверности измерения движения на видеоизображении с помощью нечеткой логики / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. I. Технические науки. ГУАП. СПб. 2006. С. 124126.

59. ГОСТ Р 51558-2000. Системы охранные телевизионные. Общие технические требования и методы испытаний. М.: Издательство стандартов, 2000.

60. ETSI EN 50132: CCTV surveillance systems for use in security applications. Video transmission.

61. A simple and robust method for moving target tracking / G. Baldini, P. Campadelli, D. Cozzi, R. Lanzarotti // In Proc. of IASTED. 2002.

62. Dante, A. Precise real-time outlier removal from motion vector fields for 3d reconstruction / A. Dante, M. Brookes // In Proceedings, International Conference on Image Processing, 2003.

63. Румшиский, JI. 3. Математическая обработка результатов эксперимента. Справочное руководство / Л. 3. Румшиский. М.: Наука, 1971. 235 с.

64. Обухова, Н. А. Методы повышения эффективности систем видеонаблюдения / Н. А. Обухова, Б. С. Тимофеев // Телевидение: передача и обработка изображений. Материалы 4-й международной конференции. ГЭТУ. СПб. 2005. С. 85-87.

65. Уидроу, Б. Адаптивная обработка сигналов / Б. Уидроу, С. Стирнз; пер. с англ. Ю. К. Сальникова; ред. В. В. Шахгильдян. М.: Радио и связь, 1989. 440 с.

66. Адаптивные фильтры / Коуэн К. Ф. Н., Грант П. Mi, Фридлендер Б. и др.; пер. с англ. Н. Н. Лихацкой; ред. С. М-. Ряковский. М.: Мир, 1988. 216 с.

67. Фомин, А. Ф. Отбраковка аномальных результатов измерений / А. Ф. Фомин, О. Н. Новоселов, А. В. Плющев. М.: Энергоатомиздат, 1985. 138 с.152

68. Bellers, E. В. Analysis of sub-pixel'Motion Estimation / E. B. Bellers, G. de HaanV/ SMPTE Journal November 1997. No. 106. Pp. 777-786.

69. Graphics Gems / ed. Andrew S. Glasser. San Francisco: Morgan Kaufman,. 1993. 833 p.

70. Афанасенко, А. С. Высокоточное* измерение движения на видеоизображениях / А. С. Афанасенко // 4-я Международная научно-техническая конференция «Цифровые и информационные технологии в электронной медиаиндустрии 2006»: тез. докл. ГУКиТ. СПб. 2006. С. 24.

71. Bellers, Е. В. Sub-pixel accurate motion estimation,/ E. В. Bellers, G. de Haan //Proceedings of SPIE, VCIP'99. Jan. 1999. Pp. 1452-1463.

72. Zitova, B. Image registration^ methods: a survey / B. Zitova, S. Flusser // Elsevier Image and Vision Computing. 2003. No. 21. Pp. 977-1000.

73. Афанасенко, А. С. Формирование видеопанорамы движущегося состава' в.системе видеонаблюдения на* железной дороге / А'. С. Афанасенко // 8-я научная сессия ГУАП: сб. докл.: в 3 ч*. Ч. I. Технические науки. ГУАП. СПб. 2005. С. 154157.

74. Tsarev, V. A. Basic principles of vehicles optoelectronic identification1 system development / V. A. Tsarev // Pattern Recognition1 and Image Analysis. 2005. Vol. 15. No. 2. Pp. 454-457.

75. Nayar, S. К. Catadioptric Omnidirectional Camera / S. К. Nayar // Proc. of IEEE Computer Vision and Pattern Recognition (CVPR). June 1997.

76. Fischler, М. A. Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography / M. A. Fischler, R.C. Bolles // Communications of the ACM. 1981. No. 24(6). Pp. 381-395.

77. Gevers, T. PickToSeek: Combining Color andf Shape Invariant Features for Image Retrieval / T. Gevers, A. W. M. Smeulders // IEEE Transactions on Image Processing. 2000. No. 9(1). Pp. 102-119.

78. Афанасенко, А. С. Аналитическая обработка изображения^ движущегося железнодорожного состава / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. И. Технические науки. РУАП'. СПб. 2007. С. 5-8.

79. Афанасенко, А, С. Исследование признаков для определения числа вагонов в железнодорожном составе по телевизионному изображению / А. С. Афанасенко, Б. С. Тимофеев // Вестник ТГТУ. 2007. Т. 13. №4. С. 862-873.

80. Viola, P. Rapid Object Detection using a Boosted Cascade of Simple Features / P.Viola, MJ.Jones. IEEE CVPR. 2001.

81. Mallat, S. Multifrequencies Channel Decompositions of Images and Wavelets Models / S. Mallat // IEEE Transactions on Acoustics, Speech and Signal Processing. 1989. No. 37(12).