автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Методы и алгоритмы анализа, передачи и визуализации данных в системах компьютерного стереозрения

Па правах рукописи

Протасов Станислав Игоревич

МЕТОДЫ И АЛГОРИТМЫ АНАЛИЗА, ПЕРЕДАЧИ И ВИЗУАЛИЗАЦИИ ДАННЫХ В СИСТЕМАХ КОМПЬЮТЕРНОГО СТЕРЕОЗРЕНИЯ

Специальность 05.13.17 — Теоретические основы информатики

Автореферат диссертации па соискание ученой степени кандидата физико-математических наук

Воронеж - 2:013

005048314

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Воронежский государственный университет»

Научный руководитель Кургалин Сергей Дмитриевич, доктор

физико-математических наук, доцент

Официальные оппоненты Артёмов Михаил Анатольевич, доктор

физико-математических наук, профессор, Воронежский государственный

университет, заведующий кафедрой программного обеспечения и

администрирования информационных систем

Горбунов Вячеслав Алексеевич, доктор физико-математических наук, профессор, Вологодский государственный

технический университет, заведующий кафедрой информационных систем и технологий

Ведущая организация - Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Воронежский государственный технический университет»

Защита состоится 30 января 2013 года в 15.10 на заседании совета Д212.038.20 при Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Воронежский государственный университет» по адресу: 394006, г. Воронеж, Университетская площадь, д. 1, ауд. 335.

С диссертацией можно ознакомиться в библиотеке Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Воронежский государственный университет»

Автореферат разослан декабря 2012 г.

Ученый секретарь диссертационного совета, кандидат физико-математических наук, доцент

; С.А. Шабров

Общая характеристика работы

Актуальность темы. В настоящее время формирование и обработка стереоизображений являются одними из актуальных направлений научных и прикладных исследований. Практические разработки в области компьютерного стереозрения активпо ведутся лабораториями всего мира; так в конце 2012 г. были опубликованы новые результаты исследований лабораторий School of electrical and computer engineering Университета Оклахомы (г. Норман, США), Video Processing Laboratory Университета Калифорнии (г. Сан-Диего, США), Intelligent system research group института исследований и технологии (г. Мадрид, Испания), Microsoft Research Cambridge (г. Кембридж, Великобритания). Информационные системы компьютерного зрения решают задачи контроля производства, безопасности, автоматизации документооборота, удалённого присутствия, представления информации и др. Алгоритмы компьютерного зрения используются для навигации мобильных роботов, беспилотных летательных аппаратов, автомобилей и т.д. Решение задач высокоскоростной обработки: изображений - является важным показателем производительное™ аппаратно-программных комплексов.

Несмотря на то, что практическому решению задач в области стереозрения уделяется существенное внимание, до сих пор математические модели и теоретические методы были разработаны лишь для этапов калибровки фото- и видеокамер и задач стереосопоставления. Осуществлялись попытки включить модуль машинного стереозрения в математическую модель решения прикладных задач. Во многих известных моделях получение стереопар и стереосопоставление трактуются как «чёрные ящики». Так, А.Ю. Кручинин рассматривает стереозрение как часть модели адаптивной системы для навигации подвижного робота, ¡ а формирование потока снимков осуществляет подсистема взаимодействия с объектом. JT.B. Паутовой была предложена математическая модель лишь для задачи стереовгауализации. Новые методы и алгоритмы стереоспоставления создаются ведущими лабораториями: группа под управлением Дж. Шоттона (Кембридж, Великобритания) предлагает подход к распознаванию поз человека по изображениям, группа Т. Канаде (Карнеги-Меллон, США) предлагает решения трекинга объектов в цилиндрических координатах в реальном масштабе времени.

Представленная диссертационная работа призвана восполнить пробел в этом классе методов и моделей: актуальным является создание математической модели, комплекса методов и алгоритмов, включающих ряд существующих разрозненных наработок в области компьютерного стереозрения, а также новые компоненты, описывающие синхронизацию потоков изображений и ректификацию изображений.

Разработка модели и методов захвата стереоизображений позволяет подойти к задаче получения стереопотока с точки зрения её программною воплощения. Это даёг возможность в процессе захвата ■ стереоизображений реализовать адекватные существующим аппаратным комплексам программно-аппаратные .системы снеобходимым разрешением и частотой кадров минимальными техническими средствами, например, использованием ноутбука со встроенной и одной дополнительной web-камерой.

Диссертационная работа * выполнена на кафедре цифровых технологий Воронежского государственного университета по НИР «Разработка новых методов обработки, хранения, передачи и защиты информации в информационно-

коммуникационных системах» № ГР 01200956642 (2009-2010 гг.); «Разработка новых методов обработки, хранения и передачи информации в информационно-коммуникационных системах» № ГР 01201170666 (2011 г.) аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы».

Цель и задачи исследования. Цель работы — исследование и создание теоретических методов и алгоритмов анализа, подготовки и фильтрации изображений на основе модели информационных процессов получения и преобразования стереоизображений для систем компьютерного стереозрения.

Для достижения цели в работе решались следующие задачи:

1. Разработка модели стереозрения, совместимой с современными моделями и методами стереовизуализации, трёхмерной визуализации, алгоритмами стереоспоставления и стабилизации изображения, экспертными оценками методов синхронизации.

2. Создание комплекса методов получения стереопары: синхронизации потоков изображений, цветовой калибровки стереоизображений, ректификации изображений и передачи стереоизображений; фильтрации карты глубины; распараллеливания локальных алгоритмов стереосопоставления; генерации и визуализации пространственных данных. Исследование методов передачи стереоизображений по каналам связи.

3. Разработка и исследование алгоритмов анализа, подготовки и фильтрации изображений с камер и дальнометрических изображений в системах компьютерного стереозрения; алгоритмов формирования трёхмерных моделей по далыюметрическим изображениям и других алгоритмов, реализующих предложенные методы. Создание программного комплекса, реализующего предложенные алгоритмы получения, обработки и визуализации стереоизображений, особенностью которого является слабая связность модулей, кросс-платформенная реализация и ориентированность на параллельную обработку данных.

Объект исследования — данные в виде цифровых изображений и стереоизображений, получаемые от видеокамер, далызометрические изображения, пространственные полигональные модели; предмет исследования — модель преобразования информации в системах стереозрения, методы фильтрации изображений и алгоритмы анализа цифровых и дальнометрических изображений.

Методы исследования. При выполнении работы использовались: методы математического и компьютерного моделирования, теории алгоритмов, теории вероятностей, параллельной и распределённой обработки данных, численные методы, методы визуального проектирования.

Новизна работы:

1. Создана и исследована единая расширяемая модель получения и обработки стереоизображений, совместимая с большинством современных разработок в сфере компьютерного зрения, дающая возможность использовать как существующие, так и вновь создаваемые методы и алгоритмы для реализации её частей. Предлагаемая модель- допускает возможность параллельной независимой визуализации стереоизображений и трёхмерных моделей снимаемой сцены в реальном масштабе времени.

2. Разработаны: теоретический метод синхронизации потоков изображений с ШВ-камер, использующий особенности частотного распределения кадров и обеспечивающий необходимую точность синхронизации; оптимизационный теоретический метод ректификации стереопары по сцене без предварительной стереокалибровки камер на основе метода стабилизации видеопотока, преимуществом которого является полностью автоматический подход; теоретический метод фильтрации карты глубины, основанный на гипотезе Хенкеля о связности диспаритетов, предназначенный для исключения ошибок алгоритма стереосопоставления; теоретический метод построения полигональных моделей по упорядоченному множеству точек.

3. Созданы алгоритмы синхронизации потоков изображений с иБВ-камер; фильтрации карг диспаритетов на основе гипотезы Хенкеля; ректификации изображений с пары камер по сцене без стереокалибровки; формирования трёхмерных полигональных моделей для визуализации в реальном времени. Разработан кросс-платформенный распределённый комплекс программ, реализующий предложенные алгоритмы фильтрации карт диспаритетов, ректификации изображений и формирования трёхмерных полигональных моделей. Особенностью комплекса является слабая связность модулей и ориентированность на работу в реальном масштабе времени.

Практическая значимость результатов работы заключается в том, что созданные модель, методы, алгоритмы и программы можно использовать для создания, модификации и развития систем компьютерного стереозрения. Это достигается тем, что предлагаемые разработки реализуют модульную концепцию, а все алгоритмы рассчитаны на выполнения в реальном масштабе времени. Возможность замены модулей с учётом выбора платформы внедрения позволяет использовать компоненты систем в приложениях расширенной и виртуальной реальности, мобильных роботах и промышленных системах. Большинство систем компьютерного зрения решает конкретные задачи с использованием специально подобранного оборудования, в то время как предлагаемые подходы позволяют абстрагироваться от оборудования и программных зависимостей.

Область исследования - содержание диссертации соответствует Паспорту специальности 05.13.17 - «Теоретические основы информатики» (физико-математические науки), область исследований соответствует п. 2 «Исследование информационных структур, разработка и анализ моделей информационных процессов и структур»; п. 5 «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечения; разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений»; п. 7 «Разработка методов распознавания образов, фильтрации, распознавания и синтеза изображений, решающих правил. Моделирование формирования эмпирического знания».

Реализация результатов исследования. Результаты диссертации в форме единой модели компьютерного стерезрения, метода и алгоритма фильтрации карт глубины, метода и алгоритма синхронизации ШВ-камер используются в учебном процессе Воронежского государственного университета при чтении спецкурсов, выполнении выпускных квалификационных и курсовых работ.

Основные результаты, выносимые на защиту:

1. Модель компьютерного стереозрения, включающая формирование стереопотока по потокам кадров с двух видеокамер, трёхмерную и стерео- визуализацию сце::гы по её изображениям, и результаты её исследования.

2. Теоретические методы: а) синхронизации потоков изображений с камер с ШВ-интерфейсом, основанный на статистической модели камеры и внесении корректирующих поправок;; б) ректификации изображений без калибровки камер, базирующийся на подходе к стабилизации видео-потока и позволяющий производить ректификацию стереопотока, опираясь на изображения сцены; в) фильтрации карты глубины; г) построения полигональных моделей по упорядоченному множеству точек для трёхмерной визуализации снимаемых сцен в реальном масштабе времени.

3. Параллельные алгоритмы, реализующие методы: а) синхронизации изображений с ШВ-камер; б) ректификации изображений без калибровки камер; в) алгоритм фильтрации карт глубины; г) алгоритм формирования трёхмерной полигональной модели по облаку точек для визуализации в ре;шьном масштабе времени. Комплекс программ для разработанных методов и алгоритмов, включающий: модуль захвата и синхронизации изображений, модуль ректификации изображений, модуль ст ерео-визуализации и модуль трёхмерной визуализации, особенностью которого является слабая связность модулей, кросс-платформенная реализация и ориентированность на параллельную обработку данных.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на XVII Всероссийской научно-методической конференции «Телематика'2010», г. Санкт-Петербург, 2010 г.; ГХ-Х1 международных научно-методических конференциях «Информатика: проблемы, методология, технологии», г. Воронеж, 2009-2011 гг.; Всероссийской научной конференции студентов и аспирантов «Молодые исследователи - регионам», г. Вологда, 2009 г., Всероссийской научной конференции «Современные проблемы математического моделирования, супервычислений и информационных технологий», г. Таганрог, 2012 г.

Публикации. Основные результаты диссертации опубликованы в 9 печатных изданиях [1-9], в том числе три [7-9] - из списка издании, рекомендованных ВАК РФ.

Личный вклад автора. Основные результаты по теме диссертации шэт/чены лично автором. Постановки задач диссертации предложены научным руководителем. Разработка моделей информационных процессов и методов проводились совместно всеми соавторами работ, в которых они опубликованы, в том числе и автором. Проведение рассуждений и вывод аналитических соотношений при разработке моделей, методов и алгоритмов, обоснование модел ей и методов, их исследование и практическая реализация в виде алгоритмов фильтрации, синтеза и обработки изображений, информационных структур и программ, проверка достоверности результатов, получение выводов и их интерпретация выполнены автором.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 102 наименований и 6 приложений. Объем диссертации составляет 144 страницы, включая 114 страниц основного текста, содержащего 44 рисунка и 2 таблицы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цели и задачи исследования, определены научная новизна и практическая значимость. Ставится задача по разработке математической модели и теоретических методов для системы компьютерного стереозрения, а также их реализации в виде комплекса алгоритмов и программ, описывающих процесс получения стереоизображений, их анализа и визуализации,

Первая глава посвящена рассмотрению и анализу имеющихся математических моделей компьютерного стереозрения, существующих методов, алгоритмов и подходов к захвату и обработке стереоизображений. Рассмотрены классические модели оптической системы камеры из современной классификации Д. Форсайта и Ж. Понса (2004 г.): модель камеры-обскуры (pinhole mode!) и проективная модель.

Основной принцип классификации алгоритмов стереосопоставления опирается на размеры окрестности каждой точки сцены, учитывающейся при поиске соответствий. Так, когда для поиска соответствии используется малая окрестность точки, алгоритм относится к категории локальных. Алгоритмы, осуществляющие поиск: соответствий одновременно для большого числа точек (строки или всего изображения) относятся к полуглобальным и глобальным. По применяемым методам наиболее эффективные на настоящий момент алгоритмы можно разделить на алгоритмы, использующие динамическое программирование, алгоритмы, использующие сегментацию графов, и алгоритмы, использующие простые метрики. В главе также дано обоснование нерепрезентативности современного рейтинга алгоритмов стересопоставления. Рассмотрены основные существующие подходы к формированию пространственных данных по дальн ометрическим изображениям.

Одной из наиболее исследованных математических моделей, применяемых в системах компьютерного зрения, является модель оптической системы камеры. Основные подходы к моделированию оптических систем камер изложены в книге Д. Форсайта и Ж. Понса «Компьютерное зрение. Современный подход», а также в книге JI. Шапиро и Дж. Стокмана «Компьютерное зрение».

Стабилизация видеопотока - это актуальная задача, которая решается на настоящий момент как на программном (YouTube), так и на аппаратном уровне. В работах Ч.С. Чжин, Ж. Жу, Г. Цзу описан подход к стабилизации в случаях, когда последовательные кадры могут иметь существенные изменения в расстоянии камеры от снимаемой сцены. Э. Вермюлена рассматривает прикладную задачу размещения камеры на подвижной платформе и решает задачу стабилизации видеопотока в реальном масштабе времени. В работе Т. Чена предложена параметрический Метод видеостабилизации и представлена обобщающая информация по современным подходам к стабилизации видеопотока.

Итогом рассмотрения и анализа имеющихся математических моделей и методов являются следующие выводы: современные модели представления оптических систем: камер достаточны для описания их широкого круга; на настоящий момент точность карт глубины, обеспечиваемая алгоритмами стереосопоставления подошла, практически, к предельному значению и их дальнейшее совершенствование перемещается в сферу повышения производительности; существующие модели цифровых изображений не позволяют осуществлять комплексное моделирование

систем стереозрения. Создание единой модели компьютерного стереозрения позволит унифицировать подход к описанию существующих и разрабатываемых методов, из чего следует существенное упрощению интеграции методов из смежных частей модели. Разработка оригинальных методов и алгоритмов синхронизации стереопотоков, ректификации изображений и формирования полигональных моделей для визуализации в реальном масштабе времени позволит заполнить пробелы в представлении информационных процессов в системах стереозрения.

Вторая глава посвящена разработке и исследованию модели компьютерного стереозрения. В главе представлена базовая математическая модель формирования стереопотока по потокам кадров с двух камер, а также производные модели стереовизуализации и стереосопоставления.

В начальной части главы вводятся базовые объекты, которыми оперируют при описании информационньк процессов в системах стереозрения. Так, при создании математического аппарата использует представление о множестве плоскостей Р, множестве прямых L и цветовом пространстве Color. В математических объектах выражены основные понятия цифровой видеосъёмки. Матрица изображения /iWtI!(iJ) размерности WxH изображения в плоскости / определяется через понятия строк i и столбцов j изображения, а изображение img,vf,(i,j) - как множество / дискретных функций по матрице ^iyM(iJ):

I ={/uWM ~> Color). (1)

Далее в главе вводится символьное определение свойства эпиполярности матриц и изображений и операции ректификации. Эпиполярными будем называть пару матриц изображения ¡uL размерности WLxH и fiR размерности WR*H, такую, что точки, принадлежащие матрицам и находящиеся в строках с одинаковым индексом, лежат в одной плоскости.

Вводятся понятия: кадра

def

S = (img, г) е / х R. как совокупности изображения и момента времени, в который он был снят, и потока кадров F(i) как последовательности кадров в возрастающие моменты времени:

F(i) =(S,),V(i е Z+ )(F<7 + l).r > F(i].z\ (2)

Сформулировано свойство

синхронизированное™ и операции синхронизации потоков кадров с заданной точностью д:

SynchronkeiF^FMjikwd-FiMl . (3)

SynciF^XF^nXS)

Сформулировано условие

калиброванное™ изображений по цвету и введена операция цветовой калибровки. Рис. X. Диаграмма активности для Кроме того, формализованы выходные математической модели формирования сущности модели — «стереокадр» и стереопотока

vm ш

«стереопоток» - через ранее сформулированные свойства и определения. Располагая введёнными понятиями и свойствами, становится возможным построение модели формирования стереопотока по потокам кадров с двух камер. Входные параметры модели задаются как совокупность двух несиш.ронизированных потоков кадров (изображения которых в общем случае не эпиполярны и не откалиброваны по цвету), точность синхронизации S и точность цветовой калибровки <р. Выходным параметром модели является стереопоток, удовлетворяющий входным параметрам модели:

M-.X^-Y, X = (7?, F2, S, <р), Y = (Stereo,). (4)

I! главе приведена структура математической модели формирования стереопотока и дано обоснование для предлагаемой структуры. В состав модели должны входить в некоторой комбинации операции синхронизации потоков кадров Synchronize, ректификации изображений Rf и цветовой калибровки Calibrate. Операции ректификации и цветовой калибровки могут быть зависимыми, так как изменение матрицы изображения ведёт к изменению множества точек изображения, а, значит, влияет на суммарные значения компонент цвета. Таким образом, ректификация изображений в модели должна предшествовать цветовой калибровке. Так как синхронизация потоков кадров зависит только от временной компоненты кадра, то последовательносп. синхронизации по отношению к ректификации и цветовой калибровке не важна. Тем не менее, следует учитывать, что в последующей реализации модели в виде компьютерной программы порядок операций будет влиять на вычислительную сложность. Осуществление синхронизации потоков кадров на последнем этапе в таком случае будет нежелательным, так как часть кадров после проведения операцйй ректификации и цветовой калибровки может быть отброшена в процессе синхронизации.

11а рис. 1 показана UML-диаграмма активности, описывающая порядок преобразования информации в системе стереозрения. Входные параметры модели FL(n) и Fit(n) соответствуют несинхронизированньш потокам кадров, поступающих с USB-камер; последовательность (Fi.(n,), FB(nij) - синхронизированным потокам кадров, а последовательность (FL(n:), F'R(n,)) является для каждой пары кадров калиброванной по цвету. Последовательность (Stereo,) удовлетворяет условиям синхронизированное™, эпинолярноети и калиброванное™ по цвету, а, значит, является стереопотоком.

Далее в главе предложены варианты расширения модели для стереовизуализации и стереосопоставления. Для норного расширения введено понятие анаглифного слияния стереокадра:

(5)

^.гЛ^.т+^.г) ;

■<"«[/, Л = ля«(', Ля.

■^."иМ'.Л-б ;

где - соответственно, левый и

правый кадры стереопотока, - компоненты цвета в формате Ь) точки изображения с координатами

а,./).

Рис. 2. Интервалы между последовательными кадиами и распределение их вероятностей

На базе этого понятия сформулирована задача анаглифного слияния стереопотока. Для второго расширения введены следующие понятия и определения, описывающие поиск соответствий на рассматриваемом изображении для точек опорного изображения. Соответствием можно назвать две пары индексов,

I \ Jef

((<,/) е^х/ЛСШеИ'х//), такие, что j,k = argmin[/,¿1). Значение d = j-k называется диспаритетом. Картой диспаритетов (или картой глубины) называется функция D:WxH ->Z, задающая для каждой точки опорного изображения значение найденного диспаритета. Располагая данными о стереокалибровке камер, карту диспаритетов можно преобразовать и облако точек трёхмерного пространства.

Третья глава посвящена конкретизации предложенной во второй главе математической модели системы сгереозрения, созданию методов синхронизации стереопотока, ректификации изображений, фильтрации дальнометрических изображений, формирования пространственных данных для визуализации, а также исследованию способов увеличения точности и скорости работы локальных алгоритмов стереосопоставления. Предложены методы: синхронизации потоков кадров; ректификации пар изображений; цветовой калибровки изображений; фильтрации карты глубины; построения полигональных моделей по упорядоченному множеству точек для трёхмерной визуализации снимаемых сцен в реальном масштабе времени.

В основе метода синхронизации потоков изображений с USB-камер лежат результаты анализа статистических характеристик потока кадров, получаемых с различных web-камер. По итогам проведенного исследования был сделан вывод о наличии кратных интервалов времени между последовательными кадрами, получаемыми с USB-камер. Свойства временных интервалов между кадрами отражены на рис. 2. Межкадровые интервалы web-камер имеют доминирующие значения — кластеры со средними значениями 96 и 112 мс.

Предложен метод синхронизации потоков кадров с двух USB-камер. При построении статистической модели камеры учитывалось время инициализации камеры 5„ интервалы Т„ которым кратны середины кластера, доминирующие кластеры интервалов {К,)р и их вероятности {РюЪ, а также разброс значений ±5 в кластере. Метод учитывает необходимость внесения компенсирующей поправки при захвате очередной пары кадров. Моделирование процесса синхронизации потоков позволяет предсказывать, когда более «быстрые» камеры должны дожидаться «медленных», обеспечивая при этом выполнения условия синхронизированности с заданной точностью. Среднюю частоту получения кадров синхронизированного видеопотока будем называть полезной производительностью алгоритма синхронизации. В ходе апробации метода были получены следующие результаты: для пары камер со средней частотой обновления кадров FPS„p=l4.9 Jps и вероятностями попадания в доминирующий кластер 0.555 и 0.357, соответственно, верхняя оценка предельной полезной производительности метода может быть рассчитана как FPSщ,- {РкЛг {Рлз}г=14.9 ■ 0.555 - 0.357 = 2.95 Jps. Предел реальной полезной производительность составил 1.934Jps.

Предложенный в данной главе метод ректификации изображений является оригинальной разработкой. Он расширяет подход к задаче стабилизации видео, в котором основой метода решения является нахождение последовательных "трансформаций изображений. Решение задачи состоит из четырёх основных этапов,

базируется на операциях с векторным полем перемещения точек и относится к классу задач оптимизации. Па первом этапе производится поиск и фильтрация точечных особенностей на изображении первой камеры. На втором — строится векторное поле Тр перемещения точек изображения и находится параметр преобразования перемещения Т(р) как средний вектор перемещения: т = Т ■

Сформулирована и доказана лемма о центре деформации растяжения: Исходная область векторного поля Тр перемещений точек, смег>.(ённая на вектор ~Tavg , будет содержать в себе точку, относительно которой осуществляется операция деформации растяжения. Приводится доказательство леммы от противного. Для нетривиальных случаев деформации растяжения и поворота показано, что выбор среднего вектора поля в качестве параметра перемещения Т(р) обязательно приводит к попаданию центра деформации растяжения в пределы исходной области. Доказательство базируется на применении обратной трансформации поворота /? '(/>) к опорным точкам.

На третьем этапе вычисляются параметры трансформации R(p) с учётом предварительной оценки координат точки рс, относительно которой осуществляется трансформация. Для этого производится подбор угла поворота © векторов поля Тр,

> V р-р

максимизирующего сумму скалярных произведении векторов nv., = , А и t = f-——:

ы \р-рл

при ^|cos©J

[nvp >п,

= > COS®.

2Л->о

(6)

где пур - единичный вектор «направления на точку», (р - единичный вектор «направления на центр». На последнем этапе определяются параметры

преобразования Z(p) минимизацией суммарных длин векторов:

(kx,ky) = argmin(ta w ВДВДр.)))" а|,

(7)

щШ ый -

где Р„ — координаты соответствующей точки изображения со второй камеры. Подбор параметров преобразований Т, Я, 2 может быть повторён несколько раз для достижения статистически удовлетворительных результатов: на каждом из повторов на результирующем поле векторов следует исключать векторы с нормой, превышающей

эмпирически найденный порог. Предложенный оригинальный метод предполагает, что его алгоритмическая реализация не зависит от действий пользователя, а значит, программа, реализующая

■■¿ ЛбТййй ї йбрЗТїіШ». ШЖСЯЗМ

-

Оё^зШйМ гяасваш.

Sí;

- 4ííüT&(í& fe

SJ»,

Й Й -19

Р'ис. 3. Сравнение работы алгоритма стерео-сопоставления с прохода и без него

использованием обратного

метод, может работать в автомагическом режиме. Таким образом, он обладает преимуществом с точки зрения конечного пользователя перед методом, основанном на стереокалибровке камер.

В главе представлены и исследованы различные модификации локальных алгоритмов стереосопоставления. Применение интегратьных градиентных изображений дтга поиска точечных особенностей позволяет получить до 20% ускорения алгоритмов стереосопоставления при сохранении точности. Модификация алгоритма с обратным поиском (каждое изображение поочерёдно выступает базовым при сопоставлении, а в результат попадают только совпавшие диспаригеты) двукратно увеличивает время работы алгоритма стереосопоставления (рис. 3) и отбраковывает большой процент выходных данных, что доказывает нецелесообразность его применения в системах реального масштаба времени. Распараллеливание локальных алгоритмов стереосопоставления на многоядерных CPU (рис. 4) и GPU приводит к существенному ускорению: применение четырёхядерного центрального процессора даёт выигрыш до 3 раз, а 24-ядерного GPU - до 21 раза по сравнению с выполнением алгоритма на одном вычислительном ядре. Тестирование проводилось на процегеорах Intel Core i7 и NVidia GeForce 230M.

Для оценки сложности этапов локальных алгоритмов стереосопоставления введён следующий вектор входных значений:

J=<w,h, Tp,c,NhN2, Th,d>, (8)

где w, h — ширина и высота входных изображений; Тр - размерность данных, предстаююющих координаты точек: с - количество компонент цвета изображения; N¡, N2— количество точек, полученнкк после предварительной фильтрации изображения такое, что N¡<wh; Th — количество задействованных процессоров или ядер процессора; d -размерность значений для характеризующей функции точки, то есть размерность пространства Color (1).

Для реализации подэтала предварительного отбора точек изображения требуется время, прямо пропорциональное площади изображения So=©(w/i), а количество необходимой оперативной памяти будет равно сумме памяти, необходимой для хранения двух изображений, и памяти, необходимой для хранения результирующих отобранных точек:

М„ ~2-wh-c+(N,+N¡) d+const. (9)

С учётом уменьшенной после предварительного отбора точек области поиска

получено, что оценка временной сложности алгоритма (выраженная в количестве задействованных тактов процессора) ограничена сверху величиной,

пропорциональной высоте о.цного изображения, умноженной на квадрат ширины изображения (при полном переборе пикселей двух эпиполярных линий), а нижняя оценка временной сложности достигается в случае равномерного распределения областей поиска по

Рис. 4. Зависимость времени работы алгоригаа стереосопоставления от объёма входных данных (cones)

обоим изображениям (Ау/г и АУ/г пикселей в строке соответственно):

Время работы алгоритма прямо пропорционально величине АУЛУЛ, то есть лежит вблизи нижней границы оценки временной сложности (рис.4). Кроме того, распараллеливание задачи при ее реализации на нескольких вычислительных ядрах даёт существенный выигрыш во времени по сравнении) с однопоточной реализацией. Наиболее высокие результаты для восьми потоков при использовании 4-ядерного процессора можно объяснить применением технологии Нурег-Лгеа1_1пг^, однако выигрыш по времени по сравнению с 4-мя потоками составляет ~ 10-15%.

Одним из важных концептуальных особенностей алгоритмов стерео-сопоставления является создание качественно новых пространственных данных, изначально отсутствующих в стереопаре. Получаемые пространственные данные либо могут подвергаться дальнейшему анализу и интерпретации, либо могут быть визуализированы. Для этого необходимо на основании имеющейся карты глубины описать трёхмерную полигональную поверхность. Для расчёта пространственных координат был использован следующий метод: определялся общий перпендикуляр к прямым ¿с и £я, соответствующим известному значению диспаритета, и в качестве искомых координат точки сцены выбиралась его середина. Координаты общего перпендикуляра являются решением системы уравнений:

г О

: О

-•я-р« ель стандарта,ю разниц* клестедог. (20]

5К

..Л:

Ы1Л

/Захвач кадра канерыГЧ /Захват кааоа 1^еры2

-4й-

(П)

где Рс, Рк — точки на прямых Ьс и Ьк, соответствующие координатам их пересечения с общим перпендикуляром; р — Евишдова метрика.

В главе представлен метод постфильтрации карт диспаритетов, использующий гипотезу связности Хенкеля. Применение метода на тестовых изображениях позволяло для порога площади связной области в 15 пикселей снизить долю ошибочно определенных диспаритетов до 3% по сравнению с нефильтрованными

изображениями.

Карты диспаритетов являются входными данными для предложенного метода формирования трёхмерных полигональных моделей снимаемой сцены в реальном масштабе времени. Метод состоит из этапа предварительного отбора точек с учётом опорной сетки для снижения вычислительной нагрузки и построчной триангуляции.

АйЯМт «ЛпвиЛ"^

Нет / .1,-

!нст ,—■■-»."."А.........

I__Зй»эвт кадра каМерыйЛ

V-

Рис. 5. Диаграмма активности синхронизации потоков кадров и8В-камер

для

с

В четвёртой главе представлены и исследованы оригинальные алгоритмы и результаты их реализации в виде комплекса программ. Они основаны на предложенной модели формирования стерам готока по потокам кадров с двух камер, стереовизуализации и стереосопосгавленкя и методах, рассмотренных в третьей главе.

Алгоритм, разработанный для метода синхронизации потока кадров с ШВ-камер, предполагает многопоточную реализацию. ЦМЬ-диаграмма активности (стандарт КОЛЕС 19505-1) алгоритма, рассчитанного на использование двух камер, представлена на рис. 5. В начале его работы загружается информация о доминирующих кластерах камер {К,}, и {К2)1 и вычисляется стандартная разница кластеров Ж>= {К,}1- {К2}/. Перед каждой итерацией захвата вычисляется реальная рассинхронизация камер АО. Величина искусственно вносимого простоя вычисляется как (АО - 8О) для первой камеры, или как (БО - АО) - для втор ой камеры.

В данной главе представлен также алгоритм ректификации стереоизображений. Для алгоритма, созданного на основе оригина.пьного метода, основной структурой данных является векторное поле - упорядоченное множество двумерных дискретных векторов, над которыми производятся преобразования перемещения, поворота и масштабирования. Для метода предложены два способа улучшения точности получаемых результатов. Первый из них исключает ошибочные векторы на векторном поле по завершении использования основной части метода, после чего нужно повторно выполнить основную часть метода. В алгоритме эта модификация представлена циклом с постусловием. Второй - основан на статистическом подходе к получаемым результатам: для одной и той же конфигурации камер производится несколько калибровок для различных сцен, после чего из выборки исключаются выбросы значений параметров, а результирующее значение рассчитывается как среднее значение независимых калибровок. Данный способ реализован в виде многопоточного выполнения независимых калибровок.

Для проверки и тестирования разработанных

алгоритмов создан программный комплекс. На 1-м

этапе — формулирования требований к комплексу —

определены роли пользователей системы:

«конфигуратор модуля захвата», «пользователь

модуля захвата» и «пользователь модуля

визуализации». Функции системы распределены по

модулям. На 2-м этапе — проектирования — в

соответствии с решаемыми задачами сформирована Рис" 6' Результат работы г|пехм'=рно™

_ визуализатора в реальном масштабе

иерархия основных классов. В модуль стереозахвага времени с наложишем теЕСтурь1

выделены пакеты захвата изображений, калибровки

и сетевого взаимодействия. На 3-м этапе — реализации — проводится алгоритмизация предложенных в третьей главе метода синхронизации потоков кадров с и£>В-камер и метода ректификации изображений по сцене бет стереокалибровки камер. Созданный программный комплекс осуществляет захват, передачу, стереосопосгавление, анагли фпую и трёхмерную визуализацию в реальном масштабе времени. Приложения реализованы с учётом модульной концепции, в качестве интерфейса взаимодействия применяется

протокол TCP. Комплекс состоит из трёх основных приложений: сервера, стереовизуализатора и трёхмерного визуализатора. Приложение-сервер включает в себя программные модули захвата, синхронизации, цветовой калибровки и ректификации; оно написано на языке С# (.NET 4.0). Разработанные параллельные алгоритмы реализованы в серверном приложении с использованием механизмов многопоточности платформы .NET. Сгереовизуализатор включает в себя: раздельную и анаглифическую визуализацию стереопотока; приложение использует функциональность открытой библиотеки OpenCV. Модули анаглифической визуализации и визуализации юрт глубины разработаны с использованием масштабируемой многопоточности. Трёхмерный визуализатор представляет собой модуль, отображающий полигональную модель, рассчитанную на основании карты глубины. Модуль реализован на кросс-платформенном языке Processing, предназначенном для быстрого прототмшрования приложений двухмерной и трёхмерной визуализации. Как видно из рис. 6, трёхмерный визуализатор позволяет по картам глубины и теюлурным изображениям формировать в реальном масштабе времени трёхмерную модель сцены и управлять её отображением. Исследовано взаимодействие модулей программного комплекса при использовании каналов связи невысокой пропускной способности. Сделан вывод, что для передачи в реальном масштабе времени изображений (640*480, 8 fps), сжатых без потерь, допустимо использование проводных протоколов связи (FastEthemet, FTTx, Gigabit Ethernet), а также беспроводных протоколов WiFi (802.11) и LTE; передача изображений в регионом масштабе времени, сжатых с потерями, возможна также по беспроводным протоколам третьего поколения (3G UMTS).

К заключении сформулированы основные результаты работы:

1. Создана и исследована расширяемая модель получения и обработки стереоизображепий, совместимая с существующими решениями в этой области и описывающая информационные процессы в системах компьютерного стереозрения.

2. Разработаны и исследованы: метод синхронизации потоков изображений с USB-камер, основанный на статистической модели ьамеры с возможностью внесения корректирующих поправок, определены границы его применимости; метод ректификации стереопары по сцене без предварительной стереокалибровки камер на основе стабилизации видеопотока, позволяющий рассчитать параметры ректификации стереопотока, опираясь на изображения сцены; метод фильтрации карты глубины, основанный на гипотезе Хенкеля; метод построения полигонгшьных моделей по упорядоченному множеству точек для трёхмерной визуализации снимаемых сцен в реальном масштабе времени.

3. Созданы и проанализированы алгоритмы: синхронизации изображений с USB-камер; ректификации изображений без калибровки камер, допускающие параллельную реализацию. Для проверки и тестирования разработанных £1лгоритмов создан комплекс программ. Алгоритмы обеспечивают возможность одновременного использования модулей стерео- и трёхмерной визуализации при работе комплекса в реальном масштабе времени.

Основные публикации по теме диссертации

1. Протасов С.И. Система формирования дальнометрических изображений по данным web-камер / С.И. Протасов, A.A. Крыловецкий // Информатика: проблемы, методология и технологии: материалы Девятой международ, науч.-мстод. ксшф. (12-13 февраля 2009 г.). -Воронеж: Издательско-полиграфический центр Воронежского государственного университета, 2009. - Т. 2. - С. 236-239.

/ ~

f 'О

2. Протасов С.И. Получение далыюметрических данных по набору изображений / С.И. Протасов, A.A. Крыловецкий // Сборник студенческих научных работ факультета компьютерных наук ВГУ — Вып. 3. — Воронеж: Издательско-полиграфический центр Воронежского государственного университета, 2009. - С. 111-119.

3. Протасов С.И. Получение далыюметрических изображений по данным web-камер / С.И. Протасов, A.A. Крыловецкий // Молодые исследователи - регионам: материалы Всерос. науч. конф. студентов и аспирантов. - Вологда, 2009. - Т. 1. - С. 60-61.

4. Протасов С.И. Исследование модификаций атгоритма сгерео-сопоставления / С.И. Протасов, A.A. Крыловецкий, С.Д. Кургалин // Информатика: проблемы, методология и технологии: материалы X мгждународ. науч.-мешд. конф. - г. Воронеж, 11-12 февраля 2010 г.: в 3-х т. - Воронеж : Издательско-полиграфический центр Воронежского государственного университета, 2010. -Т. 2. - С. 132-136.

5. Протасов С.И. Анализ изображений в системах стереозрения реального времени / С.И. Протасов, A.A. Крыловецкий // Телематика' 2010: Труды XVII Всерос. науч.-метод. конф. -12. - г. С.-Петербург, 21-24 июня 2010 г. - СПб.. 2010. - С. 313-314.

6. Протасов С.И. Использование web-камер как источника стереоизображений в реальном времени / С.И. Протасов, АА. Крыловецкий // Информатика: проблемы, методология и технологии: материалы XI международ, науч.-метод. конф. - г. Воронеж, 10-11 февраля 2011г. • в 3-х т. — Воронеж: Издательско-полиграфический центр Воронежского государственного университета, 2011. - Т.2. - С. 229-232.

7. Крыловецкий Л.Л. Алгоритмы анализа изображений в системах стереозрения реального времени / АА. Крыловецкий, С.И. Протасов // Вестник Воронежского государственного университета. Сер. Сисгеїмпьій анализ и информационные технологии. - 2010. - № 2. - С. 9-18.

8. Протасов СЛ. Использование веб-камер в качестве источника стереопар / СЛ. Протасов, С.Д. Кургалин, АА. Крыловецкий // Вестник Воронежского государственного университета. Сер. Системный анализ и информационные технологии.-2011.-№2.- С.80-86.

9. Протасов СЛ. Об одном подходе к решению задачи ректификации стреоизображеиий по сцене без калибровки камер / С.И. Протасов, АА. Крыловецкий, С.Д. Кургалин // Известия Южпого федерального упиверентета. Технические науки. — Тагапроку 2012. — 6: "Проблемы математического моделирования, супервычислений и информаци онных технологий". - С. 144-1421.

Подписано в печать 19.12.12. Формат 60*84 Усл. печ. л. 0,93. Тираж 70 экз. Заказ 1200.

Отпечатано с готового ор и ги пал-макета в типографии Издательско-полшрафического центра Воронежского государственного университета. 394000, Воронеж, ул. Пулкннская, 3

Оглавление.

Введение.

Глава 1. Современные модели, методы и алгоритмы компьютерного стереозрения.

1.1. Компьютерное стереозрение с точки зрения искусственноинтеллектуальных систем.

1.2. Обзор существущих моделей, методов и алгоритмов компьютерного стереозрения.

1.2.1. Математические модели компьютерного стереозрения.

1.2.2. Способы получения стереоизображений.

1.2.3. Классификация алгоритмов стереосопоставления.

1.2.4. Методы и алгоритмы получения трёхмерных данных по карте глубины.

1.3. Выводы о существующих моделях, методах и алгоритмах компьютерного стереозрения.

Глава 2. Математическая модель компьютерного стереозрения.

2.1. Модель копьютерного стереозерния.

2.2. Выводы.

Глава 3. Методы получения и анализа стереопотока.

3.1. Задачи систем стереозрения реального времени.

3.2. Метод синхронизации камер.

3.3. Метод стереокалибровки камер.

3.4. Метод ректификации изображений на основании данных стереокалибровки.

3.5. Метод ректификации стереоизображений по сцене без калибровки камер.

3.6. Цветовая калибровка изображений.

3.7. Передача изображений.

3.8. Модификации локальных алгоритмов стереосопоставление.

3.8.1. Интегральные градиентные изображения.

3.8.2. Оценка алгоритмов стереосопоставления.

3.8.3. Пост-фильтрация диспаритетов.

3.8.4. Выделение множества точек для построения модели.

3.8.5. Применение ОРвРи к задаче стереосопоставления.

3.8.6. Выводы о модификациях локальных алгоритмов стереосопоставления.

3.9. Трёхмерное моделирование по карте глубины.

3.10. Подавление шумов.

3.11. Выводы о методах получения и анализа стереопотока.

4. Анализ и разработка программного комплекса.

4.1. Архитектура системы.

4.2. Характеристики производительности системы.

4.3. Практические приложения распределённого программного комплекса компьютерного стереозрения.

4.4. Выводы.

Актуальность темы. В настоящее время формирование и обработка стереоизображений являются одними из актуальных направлений научных и прикладных исследований. Практические разработки в области компьютерного стереозрения активно ведутся лабораториями всего мира; так в конце 2012 г. были опубликованы новые результаты исследований лабораторий School of electrical and computer engineering Университета Оклахомы (г. Норман, США), Video Processing Laboratory Университета Калифорнии (г. Сан-Диего, США), Intelligent system research group института исследований и технологии (г. Мадрид, Испания), Microsoft Research Cambridge (г. Кембридж, Великобритания). Информационные системы компьютерного зрения решают задачи контроля производства, безопасности, автоматизации документооборота, удалённого присутствия, представления информации и др. Алгоритмы компьютерного зрения используются для навигации мобильных роботов (Т. Лозано-Перез), беспилотных летательных аппаратов (А. Барри) [1], автомобилей (С. Трун) и т.д. Решение задач высокоскоростной обработки изображений является важным показателем производительности аппаратно-программных комплексов.

Несмотря на то, что практическому решению задач в области стереозрения уделяется существенное внимание, до сих пор математические модели были разработаны лишь для этапов калибровки фото- и видеокамер и задач стереосопоставления. Осуществлялись попытки включить модуль машинного стереозрения в математическую модель решения прикладных задач. Во многих известных моделях получение стереопар и стереосопоставление трактуются как «чёрные ящики». Так, А.Ю. Кручинин рассматривает стереозрение как часть модели адаптивной системы для навигации подвижного робота, а формирование потока снимков в модели осуществляет отдельная подсистема взаимодействия с объектом. JLB. Паутовой была предложена математическая модель лишь для задачи стереовизуализации. к

Представленная диссертационная работа призвана восполнить пробел в этом классе моделей: в ней создана математическая модель компьютерного стереозрения, которая включает в себя ряд существующих разрозненных наработок в области моделирования, а также новые компоненты, описывающие синхронизацию потоков изображений и ректификацию изображений.

Разработка математической модели захвата стереоизображений - как части модели компьютерного стереозрения - позволяет подойти к задаче получения стереопотока с точки зрения её программного воплощения. Это даёт возможность при моделировании захвата стереоизображений видеокамерами реализовать адекватные существующим аппаратным комплексам программно-аппаратные системы с необходимым разрешением и частотой кадров минимальными техническими средствами, например, использованием ноутбука со встроенной и одной дополнительной шеЬ-камерой.

Диссертационная работа выполнена на кафедре цифровых технологий Воронежского государственного университета по НИР «Разработка новых методов обработки, хранения, передачи и защиты информации в информационно-коммуникационных системах» № ГР 01200956642 (20092010 гг.); «Разработка новых методов обработки, хранения и передачи информации в информационно-коммуникационных системах» № ГР 01201170666 (2011 г.) аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы».

Цель и задачи исследования. Цель работы - создание математической модели и теоретических методов для систем компьютерного стереозрения, информационных процессов получения и преобразования стереоизображений и их реализация в виде системы алгоритмов и программного комплекса.

Для достижения цели в работе решались следующие задачи:

1. Разработка математической модели стереозрения, совместимой с современными моделями и методами стереовизуализации, трёхмерной визуализации, алгоритмами стереоспоставления и стабилизации изображения, экспертными оценками методов синхронизации.

2. Создание комплекса методов получения стереопары: синхронизации потоков изображений, цветовой калибровки стереоизображений, ректификации изображений и передачи стереоизображений; фильтрации карты глубины; распараллеливания локальных алгоритмов стереосопоставления; генерации и визуализации пространственных данных. Исследование методов передачи стереоизображений по каналам связи.

3. Разработка алгоритмов анализа, подготовки и фильтрации изображений с камер и дальнометрических изображений в системах компьютерного стереозрения; алгоритмов формирования трёхмерных моделей по дальнометрическим изображениям и других алгоритмов, реализующих предложенные методы.

4. Создание программного комплекса, реализующего предложенные алгоритмы получения, обработки и визуализации стереоизображений, особенностью которого является слабая связность модулей, кросс-платформенная реализация и ориентированность на параллельную обработку данных.

Объект исследования - данные в виде цифровых изображений и стереоизображений, получаемые от видеокамер, дальнометрические изображения, пространственные полигональные модели; предмет исследования - модель преобразования информации в системах стереозрения, методы фильтрации изображений, алгоритмы анализа цифровых и дальнометрических изображений, комплексы программ создания и обработки стереоизображений.

Методы исследования. При выполнении работы использовались: методы математического и компьютерного моделирования, теории алгоритмов, теории вероятностей, параллельной и распределённой обработки данных, численные методы, методы визуального проектирования.

Новизна работы:

1. Создана единая расширяемая математическая модель получения и обработки стереоизображений, совместимая с большинством современных разработок в сфере компьютерного зрения, дающая возможность использовать как существующие, так и вновь создаваемые методы и алгоритмы для реализации её частей. Предлагаемая модель допускает возможность параллельной независимой визуализации стереоизображений и трёхмерных моделей снимаемой сцены в реальном масштабе времени.

2. Разработаны: теоретический метод синхронизации потоков изображений с ШВ-камер, использующий особенности частотного распределения кадров и обеспечивающий необходимую точность синхронизации; оптимизационный теоретический метод ректификации стереопары по сцене без предварительной стереокалибровки камер на основе метода стабилизации видеопотока, преимуществом которого является полностью автоматический подход; теоретический метод фильтрации карты глубины, основанный на гипотезе Хенкеля о связности диспаритетов, предназначенный для исключения ошибок алгоритма стереосопоставления; теоретический метод построения полигональных моделей по упорядоченному множеству точек.

3. Созданы алгоритмы синхронизации потоков изображений с ШВ-камер; фильтрации карт диспаритетов на основе гипотезы Хенкеля; ректификации изображений с пары камер по сцене без стереокалибровки; формирования трёхмерных полигональных моделей для визуализации в реальном времени.

4. Создан кросс-платформенный распределённый комплекс программ, реализующий предложенные алгоритмы фильтрации карт диспаритетов, ректификации изображений и формирования трёхмерных полигональных моделей. Особенностью комплекса является слабая связность модулей и ориентированность на работу в реальном масштабе времени.

Практическая значимость результатов работы заключается в том, что созданные модель, методы, алгоритмы и программы можно использовать для создания, модификации и развития систем компьютерного стереозрения. Это достигается тем, что предлагаемые .разработки реализуют модульную концепцию, а все алгоритмы рассчитаны на выполнения в реальном масштабе времени. Возможность замены модулей с учётом выбора платформы внедрения позволяет использовать компоненты систем в приложениях расширенной и виртуальной реальности, мобильных роботах и промышленных системах. Большинство систем компьютерного зрения решает конкретные задачи с использованием специально подобранного оборудования, в то время как предлагаемые подходы позволяют абстрагироваться от оборудования и программных зависимостей.

Область исследования — содержание диссертации соответствует Паспорту специальности 05.13.17 - «Теоретические основы информатики» (физико-математические науки), область исследований соответствует п. 2 «Исследование информационных структур, разработка и анализ моделей информационных процессов и структур»; п. 5 «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечения; разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений»; п. 7 «Разработка методов распознавания образов, фильтрации, распознавания и синтеза изображений, решающих правил. Моделирование формирования эмпирического знания».

Реализация результатов исследования. Результаты диссертации в форме единой модели компьютерного стерезрения, метода и алгоритма фильтрации карт глубины, метода и алгоритма синхронизации иБВ-камер используются в учебном процессе Воронежского государственного университета при чтении спецкурсов, выполнении выпускных квалификационных и курсовых работ

Основные результаты, выносимые на защиту: 1. Математическая модель компьютерного стереозрения, включающая формирование стереопотока по потокам кадров с двух видеокамер, трёхмерную и стерео- визуализацию сцены по её изображениям.

2. Теоретические методы: а) синхронизации потоков изображений с камер с ЩВ-интерфейсом, основанный на статистической модели камеры и внесении корректирующих поправок; б) ректификации изображений без калибровки камер, базирующийся на подходе к стабилизации видео-потока и позволяющий производить ректификацию стереопотока, опираясь на изображения сцены; в) фильтрации карты глубины; г) построения полигональных моделей по упорядоченному множеству точек для трёхмерной визуализации снимаемых сцен в реальном масштабе времени.

3. Параллельные алгоритмы, реализующие методы: а) синхронизации изображений с ШВ-камер; б) ректификации изображений без калибровки камер; в) алгоритм фильтрации карт глубины; г) алгоритм формирования трёхмерной полигональной модели по облаку точек для визуализации в реальном масштабе времени.

4. Структура модульного программного комплекса получения и обработки стереоизображений, особенностью которого является слабая связность модулей, кросс-платформенная реализация и ориентированность на параллельную обработку данных. Комплекс программ для разработанных методов и алгоритмов, включающий: модуль захвата и синхронизации изображений, модуль ректификации изображений, модуль стерео-визуализации и модуль трёхмерной визуализации.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на XVII Всероссийской научно-методической конференции «Телематика'2010», г. Санкт-Петербург, 2010 г.; 1Х-Х1 международных научно-методических конференциях «Информатика: проблемы, методология, технологии», г.Воронеж, 2009-2011 гг.; Всероссийской научной конференции студентов и аспирантов «Молодые исследователи - регионам», г. Вологда, 2009 г., Всероссийской научной конференции «Современные проблемы математического моделирования, супервычислений и информационных технологий», г. Таганрог, 2012 г.

Публикации. Основные результаты диссертации опубликованы в 9 печатных изданиях, в том числе три - из списка изданий, рекомендованных ВАК РФ.

К}

Личный вклад автора. Основные результаты по теме диссертации получены лично автором. Постановки задач диссертации предложены научным руководителем. Разработка моделей информационных процессов и методов проводились совместно всеми соавторами работ, в которых они опубликованы, в том числе и автором. Проведение рассуждений и вывод аналитических соотношений при разработке моделей, методов и алгоритмов, обоснование моделей и методов, их исследование и практическая реализация в виде алгоритмов фильтрации, синтеза и обработки изображений, информационных структур и программ, проверка достоверности результатов, получение выводов и их интерпретация выполнены автором.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 102 наименований и 6 приложений. Объем диссертации составляет 144 страницы, включая 114 страниц основного текста, содержащего 44 рисунка и 2 таблицы.

3.11. Выводы о методах получения и анализа стереопотока

В главе были рассмотрены методы, реализующие компоненты математической модели компьютерного стереозрения, представленной во второй главе. Предолжен оригинальный метод синхронизации USB-камер, основанный на внесении корректирующих временных поправок в процесс захвата изображений.

Рассмотрены модели камер и метод ректификации изображений, использующий стереокалибровку камер. Предложен оригинальный метод ректификации изображений стереопары, не требующий стереокалибровки камер, базирущийся на решении задачи стабилизации видеопотока.

Проведён анализ метода цветовой калибровки изображений для дискретных растровых изображений, показана высокая точность метода для цветных изображений в модели RGB.

В главе рассматривается передача изображений между компонентами системы стереозрения. Проводится сравнение алгоритмов сжатия с потерями и без потерь. Показано, что применение алгоритма сжатия без потерь RLE, используемого в формате BMP, более предпочтительно для представления изображений при использовании в распределённых системах компьютерного зрения ввиду его существенного скоростного преимущества перед другими алгоритмами. Рассмотрен вопрос субъективного восприятия изображений, сжатых с потерями алгоритмом JPEG, конечными потребителями. Показано, что отличать сжатое изображение от несжатого пользователи начинают при коэффициенте сжатия ниже 70/100.

Проведён обзор модификаций локальных алгоритмов стереосопоставления. На этапе предварительного отбора точек показаны эффективность использования интегральных градиентных изображений и неэффективность распараллеливания задачи ввиду высоких накладных расходов. Выявлена неэффективность использования встречного сопоставления ввиду малого объёма выходных данных алгоритма. Проведено сравнение величин ускорения алгоритма при распараллеливании на центральном и графическом процессорах.

В главе рассмотрен ориганальный метод пост-фильтрации карт диспаритетов, основанный на гипотезе Хенкеля о связности. Предложенный метод позволяет снизить долю неверно определённых диспаритетов до 3% при использовании локальных алгоритмов стереосопоставления.

Расмотрены существующие подоходы к формированию и визуализации пространственных данных. Предложен оригинальный метод формирования полигональной модели по картам глубины, позволяющий визуализировать данные в реальном масштабе времени.

Также в главе рассмотрен подход к подавлению шумов, вносимых оптической системой камеры, основанный на статистических характеристиках изображений.

4. Анализ и разработка программного комплекса

4.1. Архитектура системы

При разработке программной системы необходимо учитывать исследовательский характер разрабатываемого программного кода. В ходе поиска оптимального решения той или иной подзадачи часто приходится удалять и создавать заново целые семантические модули программы. Поэтому, при разработке архитектуры подобных программ, в первую очередь, необходимо учитывать модульность решения и низкую связность кода. В хорошо разработанной архитектуре системы модули должны быть заменяемыми на аналогичные, а интерфейсы взаимодействия -универсальными [71]. Подобный подход позволяет не только упростить внесение изменений в существующий код, но и добавляет гибкости при совместной работе группы исследователей над смежными задачами: с одной стороны, хорошо инкапсулированный модуль можно использовать для решения других разнообразных задач, а с другой - использование универсальных интерфейсов взаимодействия модулей снимает привязку к единой технологии разработки. Так, модули, критичные к производительность, могут быть реализованы на языке С и оптимизированы для конкретной платформы, в то время как интерфейс конечного пользователя или трёхмерная визуализация могут быть разработаны с использованием более приспособленных для этого технологий.

Вторым важным аспектом при разработке архитектуры системы является учёт особенностей конкретной решаемой задачи. Проблемы, которые приходится решать при создании программного продукта, могут определять как используемое оборудование и алгоритмы, так и технологии разработки. Исследовательский программный продукт, ввиду неочевидности вариантов использования, часто подвержен заполнению графического интерфейса неиспользуемыми или мало используемыми элементами управления, а также итеративному нарастанию функциональности, приводящему к разрушению, возможно, стройной архитектуры. Именно поэтому в ключевые моменты разработки не следует пренебрегать рефакторингом разрабатываемого проекта, пересмотром архитектуры и пользовательского интерфейса. Необходимо избавляться в рабочей версии проекта от неиспользуемого кода, доверив, по возможности, его сохранение системам контроля версий. Варианты использования системы

В современной практике разработки программных систем немаловажным аспектом в дизайне архитектуры программы является взаимодействие с пользователем системы. Важно понимать, что разработка должна вестись, в первую очередь, не с учётом удобства разработчика, а с учётом потребностей конечного потребителя [11]. Поэтому на самом первом этапе разработки программной системы принято выделять роли пользователей и опроделять основной функционал приложений - ещё до составления технических заданий и радработки архитектуры. В соответствии со стандартом ЦМЬ (КОЛЕС 19505-1) основной функционал системы представлен на рис. 38 диаграммой вариантов использования [95].

Рисунок 38. Диаграмма вариантов использования системы компьютерного стереозрения.

Сложные технические системы требуют предварительной подготовки к эксплуатации. Для решения задач конфигурации в разрабатываемой системе выделяется роль «конфигуратор модуля». Поскольку предложенные методы синхронизации и ректификации предполагают автоматическое выполнение, в данном случае конфигуратор должен обрабатывать только нештатные ситуации. Роли пользователей модулей захвата и визуализации варьируют свои обязанности в соответствии с целевым назначением системы. В предлагаемом прототипном решении «пользователь модуля захвата» является вырожденной ролью: он обязан инициировать процесс захвата и передачи; «пользователь модуля визуализации» может выбирать тип визуализации передаваемых данных. Проектирование системы

Для решения, практически, любой задачи компьютерного зрения на промежуточных и финальных этапах важную роль играет визуализация. Необходимость визуального контроля входных изображений и результатов работы алгоритмов обязывает тщательно подходить к вопросам компоновки интерфейса.

Stereolmage Source

Capture

AsyncOShowCa ptu re О l- IMuitiCapture V

AsyncCorrectiveOShowCapture й 1

Calibration

FeatureDe lector

Vectorf iekiOpera ttons

ImageT transformer

Pía rueDShowCap ture

1

ImageServer

SocketTcpServer CaptureServer

TCP Socket -gH

Рисунок 39. Диаграмма классов подсистемы захвата стереоизображений системы компьютерного стереозрения При разработке систем компьтерного зрения логику разбиения на модули подсказывают задачи, позникающие в ходе исследования. Большая

102 задача получения стереопар оформляется в независимый модуль, который при необходимости может быть заменён заглушкой для тестирования функциональности системы условиях отсутствия камер. На Рис. 39 представлена UML-диаграмма классов (ISO/IEC 19505-1) подсистемы захвата стереоизображений с разбиением на независимые пакеты. В рамках этого модуля необходимо разграничить функциональность, связанную с получением изображений с аппаратуры, алгоритмы нормализации и ректификации изображений, а также методы передачи стереопар. Такое разделение позволит, например, достаточно легко заменить технологию с DirectX на Windows.Media. Capture или сменить транспорт передачи изображений с TCP на Shared Memory, не затрагивая прочую функциональность.

В рамках проведенного исследования решались различные задачи, имеющие как прикладную, так и теоретическую значимость. Так, рассматривались методы стерео-визуализации, анализировались алгоритмы стерео-сопоставления и решалась задача оперативной дальнометрической и ЗО-визуализации. Каждая из задач требует собственного решения в области визуализации и пост-обработки результатов; различные задачи предполагают различные методы визуализации и поэтому они решены с использованием различных технологий. Реализация методов и алгоритмов

Предложенные в третьей главе методы, соответствующие модулям математической модели системы компьютерного стереозрения, были реализованы в виде алгоритмов. На основе алгоритмов были созданы программные модули.

Алгоритм синхронизации потоков кадров. В работе был реализован алгоритм для метода синхронизации потоков изображений, представленного на Рис. 4. Ключевым моментом этого метода является практически подтвеждённая гипотеза о существовании наиболее часто встречающегося интервала между последовательными кадрами, получаемыми с USB-камеры. Также эмпирически показано, что данные интервалы кратны 16 мс.

Из представленной диаграммы видно, что камеры являются равноправными при синхронизации. Выделение одной камеры в качестве основной позволит осуществлять синхронизацию трёх и более камер, однако это существенно снизит полезную производительность алгоритма.

Алгоритм ректификации изображений по сцене. В третьей главе предложен метод ректификации стереозображений по сцене без калибровки камер. Метод имеет основную часть, в рамках которой рассчитываются параметры преобразований перемещения, поворота и масштабирования. В предлагаемом алгоритме основной структурой данных является векторное поле - коллекция двумерных дискретных векторов, над которыми производятся преобразования. Последовательность активностей на диаграмме, представленной на Рис. 41, соответствует порядку нахождения преобразований, описанному в методе. имеющий реализации во всех популярных операционных системах. В системе выделяются три роли вычислительных узлов в соответствии с решаемыми задачами: сервер стереозахвата и два типа клиентов визуализации. Предлагаемая архитектура системы представлена на Рис. 43 ЦМЬ-диаграммой развёртывания (ТБО/ШС 19505-1).

Массив usb-камер о-а

U5B 1 USB 1

Клиент стереовюуаяизацки

4JSB о USB о

Модуль визуализации

Сервер стереозахвата

ТО5 socket Модуль получения изображен» 1 NX ТГР

Модуль захвата изображений

Модуль синхронизации

Модуль ректификат®

Модуль щетовой калибров»®

Модуль сетевого взаимодействия

ТО5 socket

I/

Клиент 3D визуализации

Модуль визуализации Ж

Модуль генерации пространственных данных Модуль получения изображений

TCP socket

Рисунок 43. Диаграмма развёртывания приложения компьютерного стереозрения с распределённой архитектурой Следует отметить, что роли сервера и клиента может выполнять один компьютер, обладающий достаточными ресурсами. Подобный подход решает проблему нагрузки на сеть, однако, не подходит для географически распределённых применений (мобильных роботов и др.). 4.2. Характеристики производительности системы

Разработанная программная реализация рассчитана на установку на персональные компьютеры и портативные устройства. Модули системы реализованы с применением параллельных вычислений для оптимизации использования имеющихся вычислительных ресурсов. Поскольку все модули системы расчитаны на работу в реальном времени, система теоретически независима от медленной дисковой памяти. Однако следует иметь в виду, что операционные системы семейства Windows ориентированы на не всегда оправданное заполнение файла подкачки. Поэтому для исключения потерь производительности, связанных с дисковыми операциями, рекомендуется при эксплуатации систем реального времени отказаться от использования файлов подкачки.

Потребляемые локальные ресурсы. При установке сервера захвата и клиента визуализации на одну работую станцию следует обратить внимание на потребляемую оперативную память. В таблице 2 показаны верхние и нижние значения потребляемой оперативной памяти различными компонентами системы. Можно что для совместного использование модулей достаточно 1 гигабайта свободной оперативной памяти.

1. Bay H. SURF: Speeded Up Robust Features / H. Bay, A. Ess, T. Tuytelaars, Luc Van Gool // Computer Vision and Image Understanding, Vol. 110, No. 3, 2008. pp. 346-359

2. Bennett J. LTE // LTE Encyclopedia. URL: https://sites.google.com/site/lteencyclopedia/home (Дата обращения: 1.11.2012)

3. Chen Ting. Video Stabilization Algorithm Using a Block-Based Parametric Motion Model // Stanford University, Winter 2000, pp. 3-4. URL: http://scien.stanford.edu/pages/labsite/2000/ee392j/projects/chenreport.pdf (Дата обращения: 1.11.2012)

4. Cohen P. OpenCL: What you need to know // MacWorld, август 2008. URL: http://www.macw0rld.c0m/article/l 134858/snowleopardopencl.html (Дата обращения: 1.11.2012)

5. Cormen Т. Introduction to Algorithms / Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein. // MIT Press and McGraw-Hill, Second Edition, pp. 563,655,1043.

6. Deutsch P. DEFLATE Compressed Data Format Specification version 1.3 / RFC-1951. URL: http://tools.ietf.org/html/rfcl951 (Дата обращения: 1.11.2012)

7. Feture Detection and Matching // Computer Science and Engineering, University of Washington. URL: http://www.cs.washington.edu/education/courses/cse455/07wi/homework/hw3/ind ex.html (Дата обращения: 1.11.2012)

8. Foley, James D. Computer Graphics: Principles and Practice // 2nd ed. Redwood City, CA: Addison-Wesley, 1990. pp. 565-577

9. Fried J. Getting Real: The smarter, faster, easier way to build a successful web application / Jason Fried, Heinemeier David Hansson, Matthew Linderman // 37signals, 2006. pp. 92-94

10. Goldstein Amit. Video Stabilization using Epipolar Geometry / Amit Goldstein, Raanan Fattal // In proceedings of ACM Trans. Graph. Vol. 32, №5, article №126, 2012. pp 1-10

11. Graphics Interchange Format // CompuServe Incorporated Columbus, Ohio, 1987 URL: http://www.w3.org/Graphics/GIF/spec-gif87.txt (Дата обращения: 1.11.2012)

12. Grauler-Gray Scott. Disparity Map Computation: Global Style // University of Delaware site. URL: http://www.eecis.udel.edu/~grauerg/globalStereoPresCompVisionClass.pdf (Дата обращения: 1.11.2012)

13. Gregory J. Chaitin. Algorithmic information theory. IBM J. Res.& Dev.,21, 1977, pp. 350-359

14. Harris C. A combined corner and edge detector / C. Harris, M.J. Stephens // In proceedings of Alvey Vision Conference, 1988. pp. 147-152

15. Henkel R. Classical Cooperative Schemas // Bremen University site. URL: http://axon.physik.uni-bremen.de/research/stereo/Coop/index.html (Дата обращения: 1.11.2012)

16. High Level Shader Language // Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/HLSL (Дата обращения: 1.11.2012)

17. Hoppe H. Surface Reconstruction from Unorganized Points / Hugues Hoppe, Tony DeRose, Tom Duchamp, John McDonald, Werner Stuetzle //

18. Proceedings of the 19th annual conference on Computer graphics and interactive techniques, 1992, pp. 71-78

19. Intel Turbo Boost Technology in Intel Core Microarchitecture (Nehalem) Based Processors (PDF) / Intel Corporation. URL: http://download.intel.com/design/processor/applnots/320354.pdf (Дата обращения 1.11.2012)

20. Jin, Jesse S. Digital Video Sequence Stabilization Based on 2.5D Motion Estimation and Inertial Motion Filtering / Jesse S. Jin, Zhigang Zhu, Guangyou Xu // IEEE International Conference on Intelligent Vehicles (2001) Volume 7, Issue 4, pp. 357-365.

21. Joey Montoya. Blender vs. Meshlab. 3D Mesh editor review // Georgia O'Keeffe Museum Imaging Project. URL: http://okeeffeimagingproject.wordpress.com/2012/08/10/blender-vs-meshlab-3d-mesh-editor-review/ (Дата обращения: 1.11.2012)

22. Kanade Takeo. A stereo matching algorithm with an adaptive window: theory and experiment / Takeo Kanade , Masatoshi Okutomi // In proceedings of IEEE Transactions on Pattern Analysis and Machine Intelligence, Sep 1994, pp. 920-932

23. Klaus A. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure / A. Klaus, M. Sormann, K. Karner // In proceedings of 18th International Conference on Pattern Recognition (ICPR), 2006. pp. 15-18

24. Lepetit V. Keypoint recognition using randomized trees / V. Lepetit, P. Fua // In proceedings of IEEE Transactions on Pattern Analysis and Machine Intelligence, Sept 2006. 28(9). pp. 1465-1479

25. Lorensen W. Marching Cubes. A high resolution 3D surface construction algorithm / William E. Lorensen, Harvey E. Cline // in proceedings of the 14th annual conference on Computer graphics and interactive techniques, Vol. 21, №4, July 1987. pp. 163-169

26. Lowe David G. Object recognition from local scale-invariant features // In proceedings of International Conference on Computer Vision, 1999. pp. 1150-1157

27. McAllister David. Computing Anaglyphs using Least Squares Approximation in CIE Color Space. Computer scince dept. of North Carolina State Univercity. URL: http://research.csc.ncsu.edu/stereographics/LS.pdf (Дата обращения: 1.11.2012)

28. Mei X. On building an accurate stereo matching system on graphics hardware / X. Mei, X. Sun, M. Zhou, S. Jiao, H. Wang, X. Zhang // In proceedings of IEEE International Conference on Computer Vision (ICCV), 2011. pp. 467-474

29. Murray D. Using real-time stereo vision for mobile robot navigation / Don Murray, Jim Little // Autonomous Robots Springer Netherlands, Vol. 8, №2, 2000, pp. 161-171

30. Network socket // Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/Networksocket (Дата обращения: 1.11.2012)

31. NVIDIA CUDA С Programming Guide Version 3.2. // Nvidia portal. URL: http://www.nvidia.com/content/cudazone/download/OpenCL/NVIDIAOpenCLP rogrammingGuide.pdf (Дата обращения: 1.11.2012)

32. OpenCV Change Logs // Willow Garage company. URL: http://opencv.willowgarage.com/wiki/OpenCV%20Change%20Logs (Дата обращения: 1.11.2012)

33. Papadimitriou D. Epipolar line estimation and rectification for stereo image pairs / D. Papadimitriou, T. Dennis // In proceedings of IEEE Transactions on Image Processing, April 1996. 5(4): pp. 672-676

34. Pearl J. Reverend Bayes on inference engines: A distributed hierarchical approach // In proceedings of the Second National Conference on Artificial Intelligence, 1982. AAAI-82: Pittsburgh, PA. Menlo Park, California: AAAI Press, pp. 133-136.

35. Pennebaker W.B. Still Image Data Compression Standard / William B. Pennebaker, Joan L. Mitchell Springer, 1993. 650 p.

36. Products and Services: Stereo Vision Products / Point Grey company. URL: http://www.ptgrey.com/products/stereo.asp (Дата обращения: 1.11.2012)

37. Raatikainen P. Algorithmic information theory and undecidability -Synthese 123 (2), 2000. pp. 217-225

38. Randers-Pehrson G. PNG (Portable Network Graphics) Specification, Version 1.2 / Glenn Randers-Pehrson, Thomas Boutell Massachusetts Institute of Technology, 1999. URL: http://www.libpng.org/pub/png/spec/L2/PNG-Credits.html (Дата обращения: 1.11.2012)

39. Rangarajan A. Markov random field models in image processing / Anand Rangarajan, Rama Chellappa // The Handbook of Brain Theory and Neural Networks MIT Press, 1995 pp. 564-567

40. Run-length encoding // Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/Run-lengthencoding (Дата обращения: 1.11.2012)

41. Sandberg R. Design and Implementation or the Sun Network Filesystem / Russel Sandberg, David Goldberg, Steve Kleiman, Dan Walsh, Bob Lyon. -Mountain View, CA: Sun Microsystems, 1985. pp. 119-128

42. Scharstein D. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms / D. Scharstein, R. Szeliski // International Journal of Computer Vision archive, Vol. 47 Issue 1-3, April-June 2002. pp. 7-42

43. Shapiro Lida G. Computer Vision / Linda G. Shapiro and George C. Stockman // New Jersey: Prentice Hall 2001. pp. 37-49.

44. Smith C. 3G Wireless Networks / Collin Smith, Daniel Collins McGraw-Hill, Inc. NY, USA, 2001. pp. 136

45. Stanford Michael. "How does 802.1 In get to 600Mbps?" // Wirevolution. URL: http://www.wirevolution.com/2007/09/07/how-does-8021 ln-get-to-600mbps/ (Дата обращения: 1.11.2012)

46. Stereo camera / Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/Stereocamera (Дата обращения: 1.11.2012)

47. Stereo Matching // University of California, Santa Barbara. URL: http://www.ece.ucsb.edu/~manj/ecel 8 lbS04/L14(morestereo).pdf (Дата обращения: 1.11.2012)

48. Stereo Vision Products. Bumblebee2 Stereo Camera // Point Grey company. URL:http://www.ptgrey.com/products/bumblebee2/bumblebee2stereocamera.asp (Дата обращения: 1.11.2012)

49. Wang Z. A region based stereo matching algorithm using cooperative optimization / Z. Wang, Z. Zheng // In proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2008, pp. 1-8

50. Winner take all // Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/Winner-take-all (Дата обращения: 1.11.2012)

51. Yu W. Real time stereo vision using exponential step cost aggregation on GPU / W. Yu, T. Chen, J. C. Hoe // In proceedings of 16th IEEE International Conference on Image Processing (ICIP), 2009. pp. 4281-4284

52. Zitnick C.L. A Cooperative Algorithm for Stereo Matching and Occlusion Detection / C. L. Zitnick, T. Kanade // In proceedings of IEEE Trans. Pattern Analysis and Machine Intelligence. July 2000. - vol. 22. - №7. pp. 1-14

53. Ziv J. A Universal Algorithm for Sequential Data Compression / Jacob Ziv, Abraham Lempel / In peoceedings of IEEE Transactions on Information Theory, 23(3), 1977, pp.337-343

54. Анаглиф (Спектральное разделение ракурсов) // sView. Stereo software. URL: http://www.sview.ru/help/devices/anaglyph (Дата обращения: 1.09.2012)

55. Антонов A.C. "Параллельное программирование с использованием технологии ОрепМР: Учебное пособие".-М.: Изд-во МГУ, 2009. 77 с.

56. Арсланов Д.М. Метод воксельной растеризации и обработки. // RSDN. URL: http://www.rsdn.ru/article/alg/03-12-voxel.xml (Дата обращения: 1.11.2012)

57. Архитектура и программирование потоковых многоядерных процессоров для для научных научных расчётов // NVidia URL: http://www.nvidia.ru/content/EMEAI/CUDA/lecturedocuments/Lecture44.pdf (Дата обращения: 1.11.2012)

58. Атанов A.B. Пространственная реконструкция в системах компьютерного зрения на основе web-камер / A.B. Атанов, A.A. Крыловецкий, С.Д. Кургалин, С.И. Протасов // Вестник ВГУ. Серия "Системный анализ и информационные технологии". 2011. № 2. С. 149-153.

59. Афиногенов Е.И. Восстановление аффинной структуры сцены по движению.-М.: МГТУ им. Н.Э.Баумана. Тезисы доклада 13-й ММ НТК «Наукоемкие технологии и интеллектуальные системы», 2011, с.136-138

60. Бондаренко С. Создание ЗО-изображений: теория и практика Электронный ресурс. / С. Бондаренко, М. Бондаренко // Сайт проекта 3Domen. 2011, 27 февраля. URL: http://3domen.com/index.php?newsid=5794 (Дата обращения 26.07.2012)

61. Васильев Е. Стабилизация видео // Сетевой журнал iXBT. URL: http://www.ixbt.com/divideo/digital-video-guide/5-2-1 -stabilization.shtml#2 (дата обращения: 1.11.2012)

62. Вахитов А.Т. Обзор алгоритмов стереозрения / А.Т. Вахитов, JI.C. Гуревич, Д.В. Павленко // Стохастическая оптимизация в информатике, Вып. 4 / Под ред. О.Н. Граничина СПб.: Издательство Санкт-Петербургского университета 2008. - С. 151-168.

63. Гельман, Р.Н. Лабораторная калибровка камер с большой дисторсией / Р.Н. Гельман, А.Л. Дунц // Геодезия и картография, 2002. № 7. - С. 23-31

64. Гмурман В.Е. Теория вероятностей и математическая статистика / 9-е изд., стер. М.: Высшая школа, 2003.— С. 69-71.

65. Ерухимов В. Зрение роботов // Материалы Всероссийской научной школы «Суперкомпьютерные технологии», Нижный Новгород, ННГУ, 2010. URL: http://www.hpcc.unn.ru/files/roboticsvision.zip (Дата обращения: 1.11.2012)

66. Жимбуева Л.Д. Метод определения суммарной дисторсии цифровых изображений // Компьютерная оптика, т. 35, №3, 2011. С.347-355

67. Информационные технологии (Учебное пособие. Теория и практика). Модульное программирование // Северский технологический институт URL: http://www.ssti.ru/kpi/informatika/Content/biblio/bl/informman/gll 82.html#m odulprogram (Дата обращения: 1.11.2012)

68. Конушин А. Геометрические свойства нескольких изображений // Сетевой журнал "Компьютерная графика и мультимедиа". Выпуск №4(3)/2006. URL: http://cgm.computergraphics.ru/content/view/141 (Дата обращения: 1.11.2012)

69. Конушин А. Стерео-реконструкция // МГУ, ВМиК. 2008. URL: http://courses.graphicon.ru/files/courses/vision/2008/cv2008l 1 .pdf (Дата обращения: 1.11.2012)

70. Крашенинников В.Р. Основы теории обработки изображений: Учебное пособие. // Ульяновск: УлГТУ, 2003. С 6-10.

71. Крыловецкий A.A. Алгоритмы анализа изображений в системах стереозрения реального времени / A.A. Крыловецкий, С.И. Протасов // Вестник ВГУ. Серия "Системный анализ и информационные технологии". 2010. №2. С.9-18.

72. Крыловецкий A.A. Построение виртуальных моделей по дальнометрическим данным / A.A. Крыловецкий, Г.А. Карапиш, И.С. Черников // Материалы международной конференции Телематика'2008. URL: http://tm.ifmo.ru/tm2008/prog2008.pdf (Дата обращения: 1.11.2012)

73. Курант Р.Что такое математика? Элементарный очерк идей и методов / Р. Курант, Г. Роббинс; пер. с англ. под. ред. А.Н. Колмогорова, 3-е изд., испр. и доп. М.: МЦНМО, 2001, СС.219-222

74. Ларин P.M. Методы оптимизации. Примеры и задачи: учебное пособие / P.M. Ларин, A.B. Плясунов, A.B. Пяткин. Новосибирск: НГУ, 2003. сс. 5 11

75. Левитин A.B. Алгоритмы: введение в разработку и анализ. — М.: Вильяме, 2006. — С. 392—398

76. Обучающая статья по использованию асинхронных сокетов // Форум программистов CyberForum. URL: http://www.cyberforum.ru/blogs/l 99542/blog914.html (Дата обращения: 1.11.2012)

77. Оценка информативности изображений // Профессиональный Wiki ресурс «Техническое зрение». URL: Ьир:/^к1.е11ес1и.пе1/1пёех.рЬр?й11е=Оценкаинформативностиизображений (Дата обращения: 1.11.2012)

78. Первая цифровая серийная стереокамера: FinePix Real 3D W1 // Электронный портал Open3D. URL: http://www.open3d.ru/?p=3994 (Дата обращения: 1.11.2012)

79. Протасов С.И. Использование веб-камер в качестве источника стереопар / С.И. Протасов, С.Д. Кургалин, A.A. Крыловецкий // Вестник ВГУ. Серия "Системный анализ и информационные технологии". 2011. № 2. С.80-86.

80. Романенко A.A. Введение в CUDA. // Сайт Факультета информационных технологий НГУ. URL: http://ccfit.nsu.ru/arom/data/CUDA/4ICaGl .pdf (Дата обращения: 1.11.2012)

81. Сёрль Дж. Разум мозга — компьютерная программа? // "В мире науки". -М.: МГУ, 1990.-№3.- с. 7-13.

82. Стерескопический фотоаппарат // Википедия : свобод, энцикл. URL: http://ru.wikipedia.org/wiki/Cтepeocкoпичecкийфoтoaппapaт (Дата обращения: 1.11.2012)

83. Стивене У.Р. UNIX. Разработка сетевых приложений / У.Р. Стивене, Б. Феннер, Э.М. Рудофф СПб.: Питер, 2007. сс. 98-102

84. Танненбаум Э. Архитектура компьютера / 5-е изд. СПб.: Питер, 2007. С. 404-413,487

85. Трусов П.В. Введение в математическое моделирование: Учеб. пособие / М.: Логос, 2005.-С 18-25.

86. Фаулер М. UML. Основы / М. Фаулер, К. Скотт пер. с англ. - СПб.: Символ-Плюс, 2002, С. 55-64

87. Форсайт Дэвид А. Компьютерное зрение. Современный подход: учебное пособие / Дэвид А. Форсайт, Жан Понс пер. с англ. - М.: Издательский дом «Вильяме», 2004. - 928 с, С. 66-67

88. Хьюбел Д. Глаз, мозг, зрение / под ред. А. Л. Вызова. — М.: Мир, 1990. — С. 171-182

89. Чеканов Д. ATI Stream: тесты приложений на GPU // Tom's Hardware (18 июня 2009 года). URL: http://www.thg.ru/graphic/atistream/ (Дата обращения: 1.11.2012)

90. Черчленд П.М. Может ли машина мыслить? / П.М. Черчленд, П.С. Черчленд // "В мире науки". М.: МГУ, 1990. - № 3. - с. 14-21.

91. Чэн.Ш.К. Принципы проектирования систем визуальной информации / Пер. с англ. А. С. Попова, А. Ю. Швайковского, Д. Р. Шидарева, под ред. В.В. Яншина М.: Мир, 1994, С. 46-49.