автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Повышение производительности и качества формирования цилиндрических панорам

На гиси

Чеховский Дмитрий Валериевич

ПОВЫШЕНИЕ ПРОИЗВОДИТЕЛЬНОСТИ И КАЧЕСТВА ФОРМИРОВАНИЯ ЦИЛИНДРИЧЕСКИХ ПАНОРАМ

Специальность: 05.11.16 - Информационно-измерительные и управляющие системы (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

005567073

Тула 2015

005567073

Работа выполнена в ФГБОУ ВПО «Тульский государственный университет»

Научный руководитель: кандидат технических наук, доцент

Цудиков Михаил Борисович

Официальные оппоненты: Привалов Александр Николаевич,

доктор технических наук, профессор, ФГБОУ ВПО " Тульский государственный педагогический университет им. Л.Н. Толстого", кафедра информатики и информационных технологий, профессор

Горшков Алексей Анатольевич, кандидат технических наук, ГКОУ ВПО «Академия ФСО России», г. Орел, кафедра 23, преподаватель

Ведущее предприятие: ОАО «Центральное конструкторское бюро

аппаратостроения»

Защита состоится «19» мая 2015г. в 14:00 часов на заседании диссертационного совета Д 212.271.07 при ФГБОУ ВПО «Тульский государственный университет», 300012, Тула, проспект им.Ленина, 92 (9-101).

С диссертацией можно ознакомиться в библиотеке ФГОУ ВПО «Тульский государственный университет» и на сайте tsu.tula.ru.

Автореферат разослан «_» марта 2015 г.

Ученый секретарь диссертационного совета

Данилкин Фёдор Алексеевич

ВВЕДЕНИЕ

Актуальность работы. В настоящее время показателем высоких стандартов автоматизации и роботизации в промышленности является наличие развитой сенсорной системы, в связи с чем в науке и технике получил широкое развитие целый класс систем сбора данных как для мобильных устройств, так и для стационарных систем.

Основными критериями, по которым оценивают конкурентоспособность той или иной сенсорной системы, являются:

- разрешающая способность сенсоров;

- информационная ёмкость системы;

- соотношений полезный сигнал/шум;

- пропускная способность и др.

Как известно, наиболее удобным для обработки человеком является представление информации в визуальном формате, поскольку 80% процентов получаемой человеком информации составляет информация визуальная. В связи с этим широкое распространение получили системы технического зрения. При этом наиболее перспективными в настоящий момент выглядят системы панорамного (кругового) видеонаблюдения (СПН), как системы, обеспечивающие наибольший объем данных при минимальном количестве оборудования — как правило, такие системы оборудованы только одним видеодатчиком.

Благодаря сочетанию технологичности, высокой информационной ёмкости, возможности установки стационарно или на мобильную платформу подобные системы нашли широкое применение в охранных устройствах, системах мониторинга окружающей среды как для гражданских, так и военных целей: от наблюдения за ареалом обитания диких животных до установки на корпусе бронетехники в качестве видоискателя.

Главной задачей при этом становится получение панорамного изображения с помощью одного видеодатчика, как правило панорамные изображения получаются соединением серии кадров в единое изображение. Одним из общих алгоритмов получения панорамных изображений является следующая последовательность действий:

- получение набора смежных кадров;

- выделение на смежных областях кадров т.н. признаков изображения;

- сопоставление признаков изображения;

- соединение кадров по совпавшим признакам изображения.

Использование систем панорамного наблюдения позволяет существенно

повысить количество обрабатываемой информации, но большие объемы увеличивают время получения и обработки данных. СПН также приходится работать в тяжелых динамических условиях, что может сказаться на качестве итогового изображения. В связи с чем представляется необходимым улучшение быстродействия СПН по получению панорамных изображений при сохранении их разрешения и геометрических характеристик.

Объектом исследования настоящей диссертационной работы являются системы панорамного наблюдения автономных мобильных устройств.

Предметом исследования настоящей диссертационной работы являются качественные характеристики итогового изображения системы панорамного наблюдения, вопросы формирования изображений системами панорамного наблюдения, алгоритмы и методы повышения скорости формирования панорамных изображений.

Степень разработанности темы. Вопросами проектирования оптических и оптико-электронных устройств наблюдения занимались отечественные и зарубежные ученые Х.Бэй, Р. Гонсалес, Г.Н. Грязин, Р. Вудс, Д. Кэнни, Н.В. Кравцов, Д. Лоу, М.М.Мирошников, А. Папулис, В.Л. Поляченко, У. Прэтт, И. Собель, B.C. Титов, Л.Е. Чирков, и др. В известных трудах разработаны методы получения признаков изображения и принципы формирования систем панорамного наблюдения.

Цель диссертации - повышение качества работы СПН: улучшение характеристик итогового изображения, увеличение быстродействия получения панорам.

Основные задачи:

- провести анализ существующих систем панорамного наблюдения;

- провести анализ методов формирования панорам;

- провести анализ ошибок, возникающих при работе СПН, оценить их влияние на формирование панорамных изображений;

- разработать метод получения панорамных изображений без искажений на стыках кадров;

- разработать метод повышения быстродействия системы;

- провести сравнительный анализ разработанного метода и его этапов с существующими аналогами.

Научная новизна заключается в том, что

- разработан метод формирования панорамного изображения по реперным точкам в автоматическом режиме;

- получен упрощенный метод получения и описания особых точек, подходящий по быстродействию для формирования панорамного изображения в автоматическом режиме;

-разработан метод формирования панорамного изображения на основе выбора «окна» - участка изображения, на котором происходит поиск реперных точек.

Практическая значимость работы заключается в том, что предложенные методы формирования изображений увеличивают быстродействие СПН, повышают итоговое качество изображений при сохранении их информационной ёмкости.

Методы исследования настоящей диссертационной работы опираются на методы системного анализа, теории цифровой обработки сигналов, а также методов компьютерного моделирования.

Достоверность полученных результатов обеспечивается корректным применением математических моделей формирования панорамы, получения признаков изображения, натурными испытаниями системы панорамного наблюдения, а также внедрением результатов на предприятии.

На защиту выносятся следующие положения:

1. Математическая модель формирования панорамного изображения.

2. Упрощенный метод получения и оптимизации признаков изображения типа "особая точка".

3. Метод формирования панорамных изображений на основе выбора «окна» - участка изображения, на котором происходит поиск реперных точек.

Реализация и внедрение. Предложенные в диссертации методы и методики реализованы автором в процессе выполнения совместных работ с ООО ТПП «Конус». Результаты научных исследований внедрены в учебный процесс кафедры робототехники и автоматизации производства Тульского государственного университета и использованы для создания новой модернизированной установки панорамного наблюдения.

Апробация работы. Основные результаты диссертации докладывались на 5 научно-технических конференциях, в том числе:

- VI Молодежные инновации, Тула, ТулГУ, 2012;

- Инновационные наукоемкие информационные технологии («У.М.Н.И.К.»), Тула, ТулГУ, 2012;

- XXXIX Гагаринские чтения, Москва, ФГБОУ ВПО «МАТИ -Российский государственный технологический университет им. К. Э. Циолковского», 2013;

Публикации. По теме диссертации опубликован патент на полезную модель №134672 и 14 печатных работ, в том числе и четыре в журналах, входящих в перечень ВАК РФ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех разделов и заключения, изложенных на 144 страницах машинописного текста, включающих 54 рисунка и 9 таблиц, список использованной литературы из 108 наименований.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении к диссертационной работе описана актуальность темы, определены объект, предмет, сформулированы методы и задачи исследования, дана общая характеристика работы, обозначены основные положения, выносимые на защиту, а также приведена аннотация разделов диссертации.

В первой главе "Обзор и анализ систем панорамного наблюдения и принципов получения панорам" проанализированы существующие системы панорамного наблюдения, существующие методы получения признаков изображения, необходимых для получения панорам.

Показана классификация панорамных изображений - виды и типы панорам.

Дана классификация информационно-измерительных систем - систем панорамного наблюдения (СПН) и их структурные схемы:

- по способу управления системой. Показано, что системы панорамного наблюдения, построенные по принципу жесткой программы, в отличие от систем с обратной связью не позволяет реагировать в режиме реального времени на события (например, появление нарушителя), поскольку подобные системы обычно не располагают инструментами для оценки и распознания объектов изображения.

- по способу построения изображения. Показано, что при необходимости кругового обзора, высоких требований к качеству изображений и ограничений на стоимость системы, предпочтительнее получать кадры для панорамы с помощью стандартных объективов, чтобы затем соединять их.

Даны функциональные схемы систем панорамного наблюдения: с неподвижным объективом (широкоугольные и сверхширокоугольные объективы, объектив «рыбий глаз»), с оптической компенсацией поворота изображения, с программной компенсацией поворота изображения. Даны преимущества и недостатки рассмотренных систем. Показано, что наиболее предпочтительной является система панорамного наблюдения с программной компенсацией поворота изображения, как наиболее подходящая по соотношению параметров технологичности, компактности установки, качества изображения. Данная схема обеспечивает достаточное качество панорамы для применения на объектах повышенной важности: при шаге поворота системы в 24° градуса, обладая 4,9 Мп фотоматрицей, итоговое изображение будет составлять с учетом неполного использования площади фотоматрицы 35 Мп.

Рассмотрена возможность сшивания панорамы по реперным точкам, в качестве которых выступят признаки изображения. Дана классификация признаков изображения, описание характеристик. Рассмотрены типы структурных признаков изображения: контуры, особые точки, пятна, хребты. Дано описание основных детекторов каждого типа признаков изображения.

Показано, что признаки изображения "хребты/долины" обладают небольшими принципиальными отличиями по сравнению с признаками изображения типа "контур". При этом они по сравнению с ними требуют большей вычислительной мощности системы. Таким образом, для применения в СПН с программной компенсацией поворота изображения "хребты/долины" не подходят в силу отсутствия преимуществ в сравнении с другими признаками изображений и сложностях поиска подобных признаков изображений в режиме реального времени.

Поставлена задача исследования, заключающаяся в

-разработке алгоритма получения панорамных изображений методом сшивания кадров по реперным точкам;

- определении ошибок, возникающих в системе панорамирования, и их влиянию;

-упрощении существующих способов получения и описания реперных точек для повышения производительности метода.

Вторая глава посвящена математическому описанию процесса сшивания изображений информационно-измерительной системой. Предоставлена общая методика ускорения сшивания изображений:

1) работа не со всей зоной перекрытия кадров, а ее частью, выбранной исходя из предполагаемого количества признаков изображения;

2) работа с наиболее значимыми и крупными объектами на изображении путем уменьшение масштаба выбранной области;

3) переход от цветной модели к полутоновой с последующим преобразованием изображения в бинарное.

Дан алгоритм ускорения сшивания изображений: получив первые два кадра, СПН выравнивает яркость изображений. Затем на основе геометрических характеристик кадров выделяется зона перекрытия. Полученная полоса уменьшается в и раз и бинаризируется для ускорения и упрощения последующей обработки. На бинаризированной зоне перекрытия кадров происходит оценка связанных областей, после чего для "окна" выбирается участок изображения с наибольшим количеством связанных областей. На выбранном "окне" выполняется поиск реперных точек; в случае прохождения точками проверок на пригодность к использованию, в том числе и с помощью статистических методов. По завершении соединения кадров по реперным точкам, происходит съемка нового изображения и цикл сшивания повторяется.

Даны рекомендации по выбору размера кадра. Описаны способы сшивания панорамных изображений по реперным точкам. Даны необходимые критерии для построения шва по двум реперным точкам:

1) Угловой коэффициент отрезка к должен быть больше или равен углового коэффициента диагонали общей полосы К = У/Х. В идеальной ситуации он должен стремиться к бесконечности, т.е. шов должен быть вертикальным.

2) Искомая прямая не должна выходить за вертикальные границы зоны перекрытия.

3) Проверка на совпадение расстояния Ь между реперными точками А' и В на каждом сшиваемом кадре.

4) Проверка на совпадение угла а между «швом» и, например, верхней границей изображения.

Также предложен метод построения шва на общей зоне перекрытия с помощью одной реперной точки.

Рассмотрена ошибка зоны перекрытия ДЗЛ, возникающая из-за отклонения объектива от расчетного положения вследствие действия люфтов в механизме поворотной части СПН, пропуска шагов электродвигателем, внешних воздействий, инерционности механической части СПН. Ошибка зоны перекрытия Азл определяется как разность между центрами расчетного (О) и действительного (О') положения кадров формируемой панорамы и зоны перекрытия

дзл =рр{х,у)-рд{х,у).

Показано, что в общем виде разница между действительной и ожидаемой зоной перекрытия кадров определяется формулой

ЛЗЛ =АМ.С. +д«,с.>

где Амс - погрешности, связанные с механической частью системы, Авс -погрешности, связанные с внешней средой.

Дана оценка величины составляющей ошибки ДЛ1С на точность работы системы панорамного наблюдения и рекомендации по их устранению.

Дана оценка составляющей ошибки Ае с основу ошибки Дв с составляют стационарные стохастические процессы.

Описан процесс выравнивания экспозиции на соседних кадрах панорамного изображения, даны непрерывное градационное преобразование и дискретное.

Описан метод построения и выбора "окон" на зоне перекрытия, в том числе бинаризация изображений. В качестве критерия оценки потенциального количества особых точек на изображении выбрано количество смежных областей на бинаризованном изображении.

Описаны требования к признакам изображения по инвариантности, которые будут использоваться в качестве реперных точек. Описано общий метод получения признаков изображения класса «особая точка», заключающаяся в использовании оператора Лапласа и его приближений для достижения инвариантности относительно сдвига и поворота, и кратномасштабных методов представления изображений для инвариантности относительно масштаба. Описан метод использования статистических методов для проверки полученных особых точек на ложные выбросы.

Приведен вид упрощенного дескриптора для описания особых точек, используемых в качестве реперных для получения панорамного изображения.

Окрестность размером 5x5 вокруг особой точки делится на четыре квадранта, где 5 - ранг маски фильтра уровня пирамиды, на которой была найдена особая точка, для каждого из квадрантов рассчитывается суммарный градиент яркости пикселей

X и(ь,(х + 1,у)~1(х-1,у))2 + (I,(х,у + 1)-1(х,у-1)):

/=лгхл 1=гпуп ^

где / = яхя - количество пикселей на изображении размерами т хп,

- значение яркости /-го пикселя на изображении, обработанном низкочастотным фильтром, (х, у) - координаты пикселя.

Пятой компонентой служит направление градиента особой точки 0.

Получены математическая модель системы панорамирования, структурная схема СПН с программной компенсацией поворота изображения, эквивалентная схема, выражения, описывающие эквивалентную структурную схему.

В третьей главе дается оценка быстродействия информационно-измерительной системы - СПН с программной компенсацией поворота изображения.

Проведен анализ пригодности особых точек/углов для использования в качестве реперных точек для получения панорамы.

Проведено исследование сопоставимости признаков изображения типа "особые точки/углы" при уменьшении изображения, так как методика уменьшения вычислительной сложности программного обеспечения СПН с программной компенсацией поворота изображения основана на уменьшении количества обрабатываемой информации, в том числе путем сжатия изображения и его последующей бинаризации.

Анализ особых точек, полученных с помощью методов SIFT и SURF, заключался в поиске особых точек на исходном изображении и поиска их соответствий на уменьшенном и увеличенном копиях исходного изображения.

Исследования проводились на пяти изображениях разной сложности с разрешением 640x480 пикселей. Исходя из требований минимальных затрат времени, были выбраны области перекрытия в 10 и 20 %. Аберрациями объектива и другими погрешностями пренебрегаем, считая изображения идеальными, так как для панорамного наблюдения используются так называемые «мегапиксельные» объективы, обладающие высоким разрешением и низкими погрешностями.

Анализ особых точек, полученных методом SIFT, показал, что на общей полосе шириной в 10 % от исходного изображения количество особых точек, найденных по методу SIFT, составляет 50...500 шт, а при 20% перекрытии -100... 1500 шт. Время поиска точек для 10% и 20% перекрытия кадров составляет 1.5...4.5 с и 1...6.5 с соответственно. При интерполировании изображения количество совпавших точек составило 8,3% (45 точек из 539), при бинировании изображения количество совпавших точек составило 18,8% (10 точек из 53).

Показано, что 1) размер изображения оказывает большее влияние на время работы метода, чем количество обрабатываемых особых точек; 2) практически во всех случаях наибольшее количество характерных точек получалось при применении интерполяции по ближайшей точке. При билинейной интерполяции изображения SIFT находит наименьшее количество характерных точек. При увеличении разрешения в 2,5 раза билинейная интерполяция дала на 130 особых точек меньше, уменьшив время работы метода на 3,5 секунды. Полученные зависимости и выводы справедливы и для уменьшения изображения.

Анализ особых точек, полученных методом SURF показал, что для общей полосы шириной в 10 % от исходного изображения количество особых точек составляет 1СН-100 шт., а при 20 % перекрытии - 50-250 шт. Время поиска точек для 10 % и 20 % полос составляет 0,5-И,5 с и 1+2,5 с соответственно. Совпадение точек составило около 40 % (78 точек из 193 для

интерполированного изображения, 46 точек из 113 для бинированного изображения).

Показано, что 1) возрастание числа характерных точек линейно зависит от изменения разрешения и не обязательно будет пропорционально увеличению площади картинки. Например, при увеличении в 2 раза окна с разрешением 64x64 пикселей количество характерных точек возросло приблизительно в 4 раза, при увеличении этого же окна в 3 раза количество характерных точек возросло в 15-20 раз;

2) Практически во всех случаях наибольшее количество характерных точек получалось при применении интерполяции по ближайшей точке. При билинейной интерполяции изображения SURF находит наименьшее количество характерных точек. Как видно из рисунка 16 при увеличении разрешения в 2,5 раза билинейная интерполяция дала на 100 характерных точек меньше, что позволило выиграть 1,5 секунды.

Показано, что признаки изображения типа "особая точка" обладают высокой степенью повторяемости даже на масштабированных изображениях.

Проведен выбор участков изображения для поиска признаков изображения.

Показано, что проводить поиск особых точек на изображении большого разрешения нецелесообразно - на изображении размером 1024x768 пикселей может быть найдено несколько тысяч реперных точек, которые будут обрабатываться от 20...30 с до 50...60 с, что не позволяет проводить обработку изображения в реальном масштабе времени. Для сокращения времени нахождения особых точек предлагается работать с отдельно взятыми окнами в общей полосе смежных изображений. Для увеличения содержащейся в окнах полезной информации желательно их выбирать так, чтобы их границы не совпадали с границами общей полосы и находились ближе к ее центру.

В качестве главного критерия для выбора окна на зоне перекрытия выбрано количество ожидаемых особых точек. Поскольку в качестве особых точек обычно выступают точки, полученные как значение первой или второй производной функции яркости, т.е. точки на границах объектов, то их наличие можно оценить по количеству объектов, присутствующих на сцене. В качестве объектов могут выступать связанные области на бинаризованном изображении.

По итогам серии экспериментов показано, что нельзя провести однозначную связь между количеством связанных областей и особых точек-при большом количестве особых точек полученное количество связанных областей не всегда находятся в прямой зависимости между собой. Для изображений с малым количеством особых точек на нем эксперименты показали более однозначные зависимости, достаточные для предварительной оценки наличия признаков изображения на кадре. Таким образом, оценка количества объектов на бинарном изображении позволяет отсечь области кадра с малым количеством особых точек и сократить время работы в несколько раз.

Выполнен анализ быстродействия методов получения и описания особых точек. Выполнен анализ быстродействие методов SURF и SIFT. Показано что

метод SURF работает быстрее SIFT: при повороте изображения - 180 совпадений особых точек в секунду против 400; при изменении масштаба изображения - 95 совпадений в секунду против 230; при вращении самого объекта — 10...15 совпадений в секунду против 1...3.

Выполнен анализ вычислительной сложности методов. Предложены способы уменьшения вычислительной сложности методов путем упрощения детекторов и дескрипторов. Предложен дескриптор на основе подсчета распределения градиента яркости на окрестности вокруг особой точки. Показано, что полученный дескриптор показал хорошую повторяемость результатов при повороте изображения до 10°. Поскольку при штатной работе СПН с программной компенсацией поворота изображения не предусмотрено существенное изменение положения в плоскости крена в течение короткого времени, а также учитывая незначительную величину погрешности Ду, предел инвариантности в 10° является допустимым для успешной работы СПН.

Проведен анализ влияния импульсного шума на определение идентичности определения и описания особых точек.

В четвертой главе описывается практическая реализация исследуемой информационно-измерительной системы - СПН с программной компенсацией поворота изображения. Предоставлен сборочный чертеж СПН с программной компенсацией поворота изображения.

Описаны требования к оптико-механической части СПН.

Выбраны элементы оптико-механической части СПН: фотоматрица и объектив. Выбор подтвержден проведенными рассчетами.

Описана электронная и программная часть СПН с программной компенсацией поворота изображения. Описан блок управления СПН с программной компенсацией поворота изображения, дана схема работы блока управления СПН. Блок управления разделен на «исполнительный» и «тактический» уровни. В задачи «исполнительного» уровня управления входят: 1) непосредственное управление сервоприводом СПН, осуществляющим вращение объектива и системы призм; 2) получение от сервопривода по каналу обратной связи данных о количестве совершенных шагов, оценка положения вала сервопривода по встроенному датчику. Компенсация ошибок проскальзывания на основе полученных данных о положении вала; 3) управление объективом; 4) получения команд с целями и задачами от высокого уровня блока управления - ЭВМ, а именно: угол поворота объектива, направление сканирования местности, скорость сканиварония, управление объективом, затвором и диафрагмой; 5) получение сформированного изображения с многоэлементного фотоэлектронного устройства (фотоматрицы) и передача его на высокий уровень управления СПН - ЭВМ.

В задачи «тактического» уровня блока управления входят: 1) осуществление контроля работы СПН с программной компенсацией поворота изображения; 2) получение отдельных кадров панорамы; 3) сшивание полученных кадров в единое изображение.

Произведен выбор элементной базы блока управления и его уровней.

Описано программное обеспечение блока управления СПН с программной компенсацией поворота: программное обеспечение состоит из модулей, предназначенных для выполнения различных функций получения кадров сканируемой сцены, их обработки, выделения признаков изображений и сшивания кадров в единую панораму. Дана структурная схема программного комплекса СПН с указанием модулей программы и их взаимосвязи. В состав программного обеспечения входят следующие модули: основной модуль, модуль детектора, модуль дескриптора, модуль хранения, модуль отображения, модуль управления двигателями, модуль формирования изображений. Описаны функции программных модулей.

Предоставлены данные о языках программирования и средах разработки, с помощью которых были выполнены работы по созданию программного комплекса.

Предоставлены результаты работы СПН с программной компенсацией поворота. Дано описание графического интерфейса с его изображениями. Описана вкладка «Настройка», на которой пользователь программного комплекса может осуществить выбор следующих параметров:

- количество кадров в панорамном изображении, шт;

- угол поворота объектива, град;

- выбор количества изображений в кратномасштабной пирамиде;

- переключение между режимом сканирования местности и тестовым режимом;

- выбор отображаемых изображений (входные изображения, пирамида размьггых изображений, пирамида разностей изображений, пирамида бинаризированных изобржаений, изображения с найденными особыми точками, итоговое изображение). Результаты выполнения программного обеспечения, как и входящие изображения, отображаются на дочерних окнах;

- настройка экспозиции.

На главном окне программы отображается следующая информация:

- номера входящих кадров;

- количество особых точек на кадрах панорамы;

- координаты реперных точек шва;

- разница между координатами точек шва на смежных кадрах (погрешности Ах и Ду);

-время работы основных программных модулей: время построения пирамиды изображений, вычисления особых точек, их идентификации, время сопоставления особых точках на смежных кадрах.

Описаны возможности программы в тестовом режиме, когда пользователь может загрузить произвольные кадры для сшивания с жестокого диска ЭВМ.

Описана возможность программного комплекса отображения изображений на всех этапах работы с ними: входящие кадры; бинаризированные кадры; пирамида изображений, подвегнутых низкочастотной фильтрации; пирамида разностей изображений; изображения с

выделенными особыми точками, итоговое изображение кадров панорамы с швом; итоговая панорама сцены.

Предоставлена диаграмма временных затрат на формирование панорамного изображения по основным программным модулям, которую выдает пользователю программный комплекс по окончании своей работы.

По итогам диссертационной работы описаны выявленные недостатки в схеме СПН с программной компенсацией поворота изображения:

1) низкая информационная емкость получаемых панорамных изображений, связанная с ограниченным использованием поля фотоэлектронного многоэлементного устройства.

2) часть времени работы программного обеспечения занимает поворот каждого кадра на угол поворота объектива.

3) наличие в схеме дополнительно узла передачи изображения от объектива к многоэлементному фотоэлектронному устройству.

Перечисленные недостатки приводят как к излишней сложности СПН с программной компенсацией поворота изображения, малой информационной емкости получаемых изображений, а также замеделению работы комплекса и к повышению потребления энергии системой.

Предоставлена новая схема СПН для устранения вышеперечисленных недостатков — СПН с вращающимся фотоэлектронным преобразователем. Особенностью данной схемы построения СПН является передача питания и управляющих сигналов по электроконтактному кольцу, что позволяет разместить фотоэлектронный преобразователь вместе с объективом на вращающейся части системы.

Описаны принципы работы СПН с вращающимся фотоэлектронным преобразователем. СПН с вращающейся фотоматрицаей, как и СПН с программной компенсацией поворота изображения, работает в старт-стопном режиме. В СПН с вращающейся фотоматрицаей изображение снимаемой сцены поступает на объектив, а затем на находящийся в одном корпусе с объективом фотоэлектронный преобразователь. Управляющие и силовые сигналы поступают на многоэлементное фотоэлектронное устройство по электроконтактному кольцу. Возможность осмотра сцены объективом обеспечивает привод, передающий вращающий момент на корпус. Сформированное изображение передается по каналу связи в блок управления, а затем на ЭВМ операторского поста. С помощью встроенных датчиков и сервопривода вращения оптической части СПН с вращающейся фотоматрицей оператор обладает возможностью выбора интересующей сцены, прокрутки кадров и т.д. и т.п. Кроме того, блок управления осуществляет контроль положения объектива и корректировку формируемой панорамы в режиме реального времени в случае проскальзывания шагов сервоприводом и/или иных причин.

Описаны преимущества и недостатки новой схемы. К преимуществам относятся: техническая простота в сравнении с СПН с программной и оптической компенсацией поворота изображения. В схеме СПН с вращающейся

фотоматрицей отсутствует сложная в техническом и технологическом плане система призм, как в СПН с оптической компенсацией поворота изображения, при этом она тоже обеспечивает полное использование поля многозлементного фотоэлектронного устройства, т.е. обеспечивает наибольшую информационную емкость входных изображений; нет необходимости в разработке специализированного программного обеспечения для ■ предварительной обработки кадров будущей панорамы (поворот и обрезка), как в СПН с программной компенсацией поворота изображения, отсутствует оптический узел передачи изображения от объектива на фотоматрицу, что также упрощает систему наблюдения и приводит к повышению надежности, уменьшению погрешностей и снижению стоимости системы. Недостатком схемы является сложность передачи сложность передачи управляющих сигналов по токосъемному кольцу в связи с высокочастотными помехами, ухудшающими точность передачи сигнала. Данный недостаток компенсируется установкой модуля беспроводной передачи.

ЗАКЛЮЧЕНИЕ

В представленной диссертационной работе проведена разработка метода повышения производительности и качества формирования панорамных изображений, в том числе:

1. Рассмотрены способы построения систем панорамного наблюдения, структурные и функциональные схемы систем панорамного наблюдения, указаны их недостатки и преимущества. Определена, что наиболее подходящая структурная схем СПН по соотношению параметров технологичности, компактности установки, качества изображения является схема СПН с программной компенсацией поворота изображения.

2. Рассмотрены разные классы признаков изображений, подходящих для использования в качестве реперных точек для соединения кадров. Определено, что в качестве реперных точек для соединения изображений подходят признаки изображения класса «особые точки».

3. Разработан метод ускорения сшивания кадров в единое панорамное изображение, основанный на сокращении объема обрабатываемой информации путем отбрасывания незначимых для формирования панорамы участков изображений.

4. Разработан способ выбора окна на зоне перекрытия смежных кадров панорамы, основанный на предварительной оценке участков изображения на количество особых точек. В результате время формирования кадров было существенно сокращено.

5. Произведена оценка погрешностей, влияющих на смещение кадров при съемке, получено их математическое описания. Даны рекомендации по минимизации и компенсации погрешностей.

6. Получена математическая модель, описывающая получение и описание признаков изображений класса «особые точки», выбранных в качестве

реперных точек для формирования панорамного изображения. Получена математическая модель, описывающая систему панорамирования.

7. Доказана возможность использования особых точек в качестве реперных точек при получении панорамы. Установлена идентичность нахождения и сопоставления данного класса признаков при сжимании изображений. Установлено, что особые точки, полученные с помощью методов SIFT и SURF, обладают высокой повторяемостью.

8. Проведен анализ быстродействия методов SIFT и SURF, данные методы обладают неудовлетворительным быстродействием для сшивания панорамных изображений в режиме реального времени.

9. Предложен способ увеличения быстродействия получения и описания особых точек. Установлена степень влияния импульсного шума на получение и описание особых точек.

10. Выбраны комплектующие оптико-механической части СПН с программной компенсацией поворота изображения, даны их характеристики.

11. Выявлены недостатки СПН с программной компенсацией поворота изображения. Предложена новая схема СПН для их устранения — СПН с вращающимся преобразователем.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1.Пат. на полезную модель 134672 Российская Федерация, МПК G02B26/10. Устройство панорамного наблюдения - / Балясный C.B., Ларкин Б.В., Луцков Ю.И., Пудиков М.Б., Чеховский Д.В.; заявитель и патентообладатель ФГБОУ ВПО Тульский государственный университет, г. Тула, 2013128318/28; заяв. 20.06.2013; опубл. 20.11.2013, бюл. №32. - 2с.: ил.

2. Чеховский Д.В., Цудиков М.Б. Исследование процесса определения характерных точек на смежных изображениях методом SIFT. Известия ТулГУ. Технические науки. Вып. 10 - Тула: изд-во ТулГУ, 2012. - с. 231236.

3. Чеховский Д.В., Цудиков М.Б. Исследование процесса определения характерных точек на смежных изображениях методом SURF. Известия ТулГУ. Технические науки. Вып. 3- Тула: изд-во ТулГУ, 2012. - с. 248-252.

4. Чеховский Д.В., Цудиков М.Б., Балясный C.B. Исследование процесса сшивания нескольких кадров в единое изображение. Известия ТулГУ. Технические науки. Вып. 1 - Тула: изд-во ТулГУ, 2013. - с. 306-313.

5. Чеховский Д.В., Цудиков М.Б. Создание панорамных изображений с использованием метода локальных областей. Известия ТулГУ. Технические науки. Вып.9.Ч .2. - Тула: Изд-во ТуГУ, 2013.- с. 330-335.

6. Цудиков М.Б., Чеховский Д.В. Ошибки формирования панорамных изображений. Приборы и управление: сборник статей. Вып. 12 / под. общ. ред. Е.В. Ларкина. - Тула: изд-во ТулГУ, 2014 - с. 69-73.

7. Цудиков М.Б., Чеховский Д.В. Коррекция экспозиции смежных кад-ров панорамных изображений. Приборы и управление: сборник статей. Вып. 12 / под. общ. ред. Е.В. Ларкина. - Тула: изд-во ТулГУ, 2014 - с.73-76.

8. Чеховский Д.В. Анализ программных средств сшивания панорамных изображений. Разработки, достижения, творчество школьников и студентов Тульской области в различных областях знаний: Доклады Первой всеросийск. науч.-практич. конференции. Тула, 28 октября 2011 г У Под общ. ред. А.Л. Чеботарева. Тула: изд-во ТулГУ, 2011, - с. 196-199.

9. Чеховский Д.В. Методы обнаружения особых точек на изображении. VI молодежная научно-практическая конференция ТулГУ «Молодежные инновации». - Тула: изд-во ТулГУ, 2012, Ч. II. 268 с. 206-208.

10. Чеховский Д.В., Цудиков М.Б. Анализ методов определения особых точек на соседних фрагментах панорамного изображения. XXX научная сессия, посвященная дню радио: Сборник научных статей. - Тула: Изд-во ТулГУ 2012 - с. 217-222.

11. Чеховский Д.В., Цудиков М.Б. Анализ форматов кодирования изображения при панорамном видеонаблюдении. Вестник ТулГУ. Сер. Системы управления. Вып.1 - Тула: Изд-во ТулГУ, 2013. - с. 107-111.

12. Чеховский Д.В., Цудиков М.Б. Выбор матрицы для систем панорамного наблюдения. XXX научная сессия, посвященная дню радио: Сборник научных статей. - Тула: Изд-во ТулГУ, 2012, - с. 226-230.

13. Чеховский Д.В., Цудиков М.Б. Выбор признаков изображений и методов их поиска для системы панорамного видеонаблюдения. XXXI научная сессия, посвященная дню радио: Серия: Научные секции Тульской областной организации. - Тула: РНТО РЭС им. A.C. Попова, 2013. - С. 154-158.

14. Чеховский Д.В., Цудиков М.Б., Андреев A.B. Основные математические методы определения границ изображений в задачах технического зрения. XXXI научная сессия, посвященная дню радио: Серия: Научные секции Тульской областной организации. - Тула: РНТО РЭС им. A.C. Попова, 2013. - с. 150-154.

Изд.лиц.ЛР № 020300 от 12.02.97. Подписано в печэтъ 20.03.2015 Формат бумаги 60x84 1/16. Бумага офсетная. Усл.печ. л. 0,9 Уч.изд. л. 0,8 Тираж 100 экз. Заказ 025 Тульский государственный университет 300012, г. Тула, просп.Ленина, 92. Отпечатано в Издательстве ТулГУ 300012, г. Тула, просп.Ленина, 95.