автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка математического и программного обеспечения оптических систем слежения реального времени для приложений виртуального окружения

до к

На правах рукописи

ФУРСА Максим Владимирович

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ОПТИЧЕСКИХ СИСТЕМ СЛЕЖЕНИЯ РЕАЛЬНОГО ВРЕМЕНИ ДЛЯ ПРИЛОЖЕНИЙ ВИРТУАЛЬНОГО ОКРУЖЕНИЯ

05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва-2009

003480812

Работа выполнена в базовой организации Кафедры системной интеграции Московского физико-технического института (государственного Университета) - Институте физико-технической информатики (г. Протвино)

Научный руководитель: доктор физико-математических наук

Клименко Станислав Владимирович

Официальные оппоненты: доктор технических наук

Дебелов Виктор Алексеевич

кандидат физико-математических наук Мурзин Федор Александрович

Ведущая организация: Институт системного анализа РАН

Защита диссертации состоится «10» ноября 2009 г. в 15 часов на заседании диссертационного совета Д 003.061.02 при Институте вычислительной математики и математической геофизики СО РАН по адресу: 630090, г. Новосибирск, проспект Академика Лаврентьева, 6.

С диссертацией можно ознакомиться в библиотеке Учреждения Российской академии наук института вычислительной математики и математической геофизики Сибирского отделения РАН.

Автореферат разослан «06» октября 2009 г.

Ученый секретарь

диссертационного совета Д 003.061.02 при ИВМиМГ СО РАН, д.ф.-м.н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность проблемы

Данный момент времени характеризуется быстрым ростом производительности компьютеров. Это позволяет использовать компьютеры для совершения быстрых логико-операционных действий и оптимизировать так называемую операционную деятельность человека. Тем не менее, больших успехов в компьютерном оперировании на уровне образов до сих пор достичь не удалось. Но компьютеры могут помочь в этом человеку. Существенно повысить эффективность визуального анализа данных могут системы виртуальной реальности (ВР), называемые также системами виртуального окружения (ВО). Задача таких систем — погрузить исследователя в искусственный мир анализируемой модели и предоставить естественный интуитивный интерфейс для взаимодействия с её элементами. Это становится особенно актуальным сейчас, при быстром росте производимой человеком информации.

В настоящее время в мире существует более пятисот крупномасштабных установок виртуальной реальности, которые используются в самых различных областях науки и техники для решения задач как фундаментальных научных дисциплин, так и в узко специализированных прикладных направлениях. Разработку технологий виртуального окружения в силу высокой стоимости компонент до последнего времени могли себе позволить только крупные институты, богатые университеты или лаборатории ведущих мировых компаний. Прогресс в создании доступных компьютеров, графических ускорителей и обычных офисных проекторов позволяет разрабатывать доступные установки ВО.

Естественный интуитивный интерфейс является важной частью любой системы виртуальной реальности. Для создания ощущения полного погружения в виртуальную реальность важной компонентой является система слежения (называемая также системой тренинга) за положением и действиями пользователя в пространстве установки ВО. Для создания систем слежения используются различные технологии: существуют механические, электромагнитные, ультразвуковые, оптические и другие системы. Преимуществом оптических систем является удобство в использовании, так как в таких системах отсутствуют длинные провода, часто мешающие работе. Стоимость существующих систем слежения довольно велика, так как большинство таких систем разрабатывалось для сложных и дорогостоящих установок ВО. Появление доступных систем виртуальной реальности требует разработки также и доступных систем слежения, которые удовлетворили бы требованиям пользователей таких установок. Использование современных недорогих аппаратных компонент позволяет это сделать. Оборудование для ввода зрительных данных сегодня является доступным, но требует разработки новых методов анализа данных.

Существующие сегодня оптические системы слежения (ОСС) привязаны к конкретному оборудованию и не позволяют пользователям модернизировать программную платформу. Кроме того, системы слежения на основе двух камер, широко применяемые сегодня, обладают рядом недостатков. Так

например, точность в таких системах ухудшается с увеличением расстояния до камер, а в случае отсутствия прямой видимости между приемником и источником отслеживание перемещения становится невозможным.

В диссертации предлагается математическое и программное обеспечение, позволяющее разрабатывать расширяемые оптические системы слежения реального времени на основе анализа зрительных данных от нескольких камер. Созданные программные средства обеспечивают быструю разработку ОСС на основе доступного оборудования с учётом требований и ограничений конкретных установок и приложений ВО за счёт повторного использования её компонент.

Цель и задачи работы

Цель диссертационной работы заключается в исследовании и разработке математического и программного обеспечения оптических систем слежения для новой информационной технологии — технологии виртуального окружения. Разработанное обеспечение основано на применении унифицированной архитектуры программных модулей и реализующих эту архитектуру алгоритмических и программных средств. В результате должны быть построены программные комплексы оптических систем слежения для различных установок виртуального окружения. Для достижения этой цели были поставлены следующие задачи:

1. Разработать архитектуру программных модулей ОСС «Трекинг» для создания программных комплексов слежения реального времени.

2. Разработать математические и программные средства для реконструкции положений объектов в пространстве на основе анализа изображений и модели проективного преобразования с учётом требований реального времени.

3. Провести апробацию разработанных математических и программных средств, реализовав программный комплекс ОСС «Трекинг», интегрированный с аппаратным и программным обеспечением установок виртуального окружения и интерактивными устройствами.

Научная новизна

В работе предложена унифицированная архитектура расширяемых оптических систем слежения для установок виртуального окружения. Предложена структура алгоритмов реконструкции положений объектов в пространстве на основе анализа изображений, включающая комбинированный алгоритм поиска центров образов маркеров на основе анализа параллельных хорд и яркостей точек образов, алгоритм реконструкции, учитывающий её локальную точность и устойчивость, зависящую от конфигурации камер, и управляющий алгоритм, оптимизирующий точность и скорость обработки данных на основе результатов предварительного анализа.

Практическая ценность

Практическая значимость работы подтверждается эффективностью применения разработанных математических и программных средств для создания систем слежения для нескольких установок ВО, а именно для установок типа VEonPC, функционирующих в Институте физико-технической информатики и Московском физико-техническом институте в г. Москве и для установок типа CAVE Фраунгоферовского института медиакоммуникаций (г. Санкт Августин, Германия). Разработанные программные средства могут быть использованы многими лабораториями виртуального окружения в разных установках и конфигурациях. Полученные результаты могут быть полезны разработчикам установок виртуального окружения для создания собственных систем слежения на основе доступного оборудования и для их технического анализа с целью сравнения. Кроме того, на основе некоторых модулей ОСС «Трекинг», а именно алгоритмов реконструкции и компенсации искажений, было улучшено качество работы оптической системы, работающей на основе структурной подсветки, при восстановлении поверхностей объектов.

Апробация работы.

Материал диссертации опубликован в работах [1-13], а также докладывался и обсуждался на научных семинарах в Институте физико-технической информатики (Протвино), в Научно-исследовательском вычислительном центре МГУ (Москва), в Институте медиакоммуникаций (Санкт Августин, Германия) и следующих международных конференциях: «Системы виртуального окружения на кластерах персональных компьютеров» VEonPC 2001 (сентябрь 2001, Протвино — Иркутск, Россия); VEonPC 2002 (сентябрь 2002, Протвино — Санкт Петербург, Россия); VEonPC 2003 (июнь 2003, Москва — Ханты-Мансийск, Россия), «Международная конференция по человеко-машинному взаимодействию» (июль 2007, Пекин, Китай), «Пространство виртуальной реальности и её приложения в промышленности» АСМ SIGGRAPH VRCAI 2004, (июнь 2004, Сингапур). Разработанная система слежения была продемонстрирована на европейской конференции по компьютерному видению ECCV 2004, (май 2004, Прага, Чехия). Некоторые результаты упоминались в учебном курсе «Введение в обработку изображений и компьютерное видение» ("Introduction to the Image Processing and Computer Vision"), читавшемся в международном центре информационных технологий BIT (Bonn-Aachen Information Center), а также использовались в европейском проекте HUMODAN.

Личный вклад автора.

Все основные результаты, изложенные в работе, получены автором лично. Автором разработана архитектура ОСС «Трекинг», алгоритмические и программные средства, реализующие эту архитектуру, а также программный комплекс «Трекинг», использующий созданные средства и интегриро-

ванный с оборудованием и программным обеспечением нескольких установок ВО.

Структура и объем диссертации.

Диссертационная работа состоит из введения, трех глав, заключения и списка цитируемой литературы, содержащего 126 наименований. Основной текст диссертации (без списка литературы) составляет 121 страницу.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность темы работы, определяются её цели и задачи, раскрывается практическая значимость.

В первой главе представлены установки ВО, принципы их работы, программное обеспечение для создания и выполнения приложений ВО; дано определение систем слежения, приведена классификация таких систем и сформулированы требования к их работе; представлена предлагаемая автором архитектура программных модулей ОСС «Трекинг».

Представлены существующие технологии получения стереоэффекта и крупномасштабные системы ВО, в том числе система типа VEonPC, в создании которой автор принимал участие, и система типа CAVE, в создании приложений для которой автор также принимал участие. Предназначение виртуальных окружений заключается в том, чтобы обеспечить пользователей или группу пользователей — учёных, инженеров, дизайнеров — виртуальным рабочим пространством, в котором они могут наблюдать, исследовать и создавать в реальном времени необходимые им виртуальные объекты. Большинство виртуальных окружений имеют сходную аппаратурную конфигурацию. Прежде всего, это графический обработчик, то есть специально разработанное для создания стереоскопических изображений программное обеспечение. Следующим обязательным элементом является проекционная система, которая отображает просчитанную сцену на экран. Обязательным элементом являются и специальные очки, необходимые пользователю для восприятия трёхмерного изображения. Многоканальная аудио система может способствовать погружению пользователя в виртуальный мир модели. Устройство слежения, измеряющее положение и ориентацию головы пользователя, а также, возможно, руки, указки или других объектов, позволяет графическому обработчику вычислять перспективно правильное изображение для любой точки зрения пользователя, а пользователю предоставляет возможность интерактивной работы с данными.

Описана одна из программных сред разработки и выполнения приложений ВО — Аванго, обеспечивающая разработчиков приложений специальными функциональными возможностями и концепцией обобществлённого графа сцены, доступного всем процессам, образующим распределённое приложение.

Приведена классификация существующих систем слежения; представляются слабые и сильные места разных технологий. Указаны производители некоторых популярных коммерческих систем слежения и их технические ха-

рактеристики. Представлен анализ требований пользователей к таким системам.

Опыт работы с различными системами слежения и установками ВО позволил автору разработать унифицированную архитектуру ОСС «Трекинг». Данная архитектура предназначена для определения положений объектов в пространстве на основе анализа конфигураций опорных точек (маркеров), принадлежащих отслеживаемым объектам, видимых на видеоизображениях, в режиме реального времени. Требование реального времени является мягким и заключается в том, чтобы частота предоставления данных была не ниже 25 Герц, так как в противном случае нарушится эффект присутствия в установке ВО. Архитектура ОСС «Трекинг» определяет основные шаблоны программных модулей, их выполняемые функции и взаимосвязь между ними.

В архитектуре выделяется следующий ряд модулей: модуль получения зрительных данных, зависящий от аппаратной конфигурации системы, модуль пользовательского интерфейса, зависящий от операционной системы, модуль передачи данных, зависящий от программного комплекса ВО и независимые модули, осуществляющие обработку данных и контроль реального времени.

Рис. 1. Схема взаимосвязей между модулями архитектуры ОСС «Трекинг».

Архитектура предполагает функционирование системы в режимах настройки и слежения. Режим настройки предназначен для оценки быстродействия и точности различных методов обработки изображений с целью выбора наиболее подходящих методов с учётом аппаратных конфигураций, особенностей освещения и требований пользователей. В режиме слежения используются методы, обеспечивающие функционирование системы в режиме реального времени с оптимальной точностью реконструкции. Модули ОСС «Трекинг» и взаимосвязь между ними представлены на Рис. 1.

Во второй главе рассматриваются математические модели и алгоритмы, на основе которых работают модули ОСС «Трекинг», а именно алгоритмы поиска образов маркеров на изображении, алгоритмы поиска соответствующих точек, алгоритмы трехмерной реконструкции координат маркеров, алгоритмы расчёта положения и ориентации объектов в пространстве и управляющие алгоритмы.

Наиболее часто используемыми маркерами в системах слежения являются отражающие маркеры и светодиоды. В зависимости от формы маркеров, их образами на изображениях могут быть круги или, в общем случае, эллипсы. Существующие алгоритмы обнаружения эллипсов на изображениях, основанные на высокоуровневой обработке изображений (например, вычисление параметров эллипса на основе анализа его граничных точек) требуют очень большого количества вычислений и не подходят для режима реального времени. Алгоритмы оценки параметров эллипса с помощью анализа точек, принадлежащих его границам, требуют применения итеративных методов, что приводит к тому, что необходимое количество операций с плавающей точкой составляет несколько тысяч. В работе предлагается улучшенный комбинированный алгоритм, основанный на анализе длин параллельных хорд образов маркеров и яркостей точек, принадлежащих образам. Данный алгоритм использует тот факт, что линия, проходящая через середины параллельных хорд эллипса, проходит также через его центр и является его диаметром. После того, как найдены две параллельные хорды, может быть определена линия, проходящая через их середины, которая и будет являться его диаметром. Более точный алгоритм основан на выделении хорд, принадлежащих эллипсу на основе анализа изменений их длин и центров, аппроксимации квадратов длин хорд эллипса квадратичным многочленом, вычислении параметров многочлена с помощью метода наименьших квадратов и последующем вычислении параметров эллипса. В случае если образ маркера не является эллипсом, центр образа маркера можно вычислить на основе анализа яркостей всех его точек. К преимуществам алгоритма относится высокая скорость выполнения (требуется несколько десятков операций с плавающей точкой), возможность определения взаимно перекрываемых или неполностью видимых эллипсов, возможность быстрой оценки параметров эллипса по нескольким хордам. Схема работы алгоритма поиска образов маркеров показана на Рис. 2.

Рис. 2. Схема работы алгоритма поиска образов маркеров.

Основными источниками искажений изображения, получаемого камерой, являются геометрические аберрации (дисторсии) — радиальные и тангенциальные искажения объектива. Наличие дисторсий приводит к изменению линейного увеличения по полю зрения объектива и различному смещению точек снимаемого объекта относительно их идеальных позиций. Причинами искажений являются конструктивные особенности оптики или ошибки при её сборке. Величины поправок дисторсий могут быть описаны с помощью коэффициентов уравнений, характеризующих дисторсии; эти коэффициенты могут быть определены в процессе калибровки камер и использованы для компенсации искажений. После того, как центры образов маркеров вычислены, следует вычислить их неискажённые координаты с учётом известных коэффициентов дисторсий.

Для того чтобы найти соответствующие маркеру неискажённые центры его образов на изображениях разных камер, можно вычислить так называемые эпиполярные линии. Эпиполярная линия е2 камеры С2 — это проекция луча, соединяющего точку M с её образом т\ на плоскости изображения камеры С\ на плоскость изображения камеры С2. Образ точки M на плоскости изображения камеры С2 теоретически должен лежать на этой линии, однако фактические погрешности могут приводить к тому, что она будет лежать рядом с этой линией. Если известны внутренние параметры (такие как оптический центр, фокусное расстояние и др.) и внешние параметры (описывающие положение камеры в некоторой системе координат) камер, то уравнение эпи-полярной линии в плоскости камеры Ci может быть получено в аналитическом виде как функция параметров камер и координат т\. Таким образом, для определения соответствующих точек следует вычислить расстояния до эпиполярной линии для всех анализируемых точек плоскости камеры Сг и использовать точку, имеющую наименьшее расстояние до линии в качестве наилучшего кандидата. Если в системе имеется больше двух камер, в плоскости камеры С2 может быть вычислены дополнительные эпиполярные линии. В этом случае в качестве наилучшего кандидата следует использовать точку, имеющую наименьшее расстояние до точки пересечения эпиполярных линий.

Задачу реконструкции трёхмерных координат точки М по её образам т, в плоскостях изображений i камер можно свести к решению системы линейных уравнений. Проективное преобразование в гомогенных координатах записывается следующим образом: т = РМ, где М — координаты точки в мировой системе координат (X, У, 2, Т)Т, т — координаты образа точки в плоскости изображения камеры (V, V, а Р — матрица проективного преобразования, зависящая от внешних и внутренних параметров камеры. Для вычисления координаты точки М нужно решить систему уравнений вида АМ = Ъ при условии М = (х, у, г, 1)т, где А и Ь — матрицы, элементы которых являются функциями Р, и т,. С помощью метода наименьших квадратов решение может быть получено в аналитическом виде: М = (АТА)~'АТЬ\ решение верно, если ранг матрицы А полный. С вычислительной точки зрения правильно решать систему уравнений с помощью вспомогательного сингулярного разложения матрицы А с последующей итеративной минимизацией разницы ||/и,- - т?р\\2, где т1Ьр — проекция найденной в предыдущем шаге точки М, вычисленная по уравнению проективного преобразования.

Оценить точность и устойчивость реконструкции можно теоретически и экспериментально. Теоретический способ основан на вычислении ковариационной матрицы, связывающей ошибки определения 2Б координат с ошибками определения ЗБ координат, с помощью дифференцирования решения, полученного выше, по частным производным. Экспериментальный способ, предлагаемый в работе, основан на измерении ошибки реконструированного расстояния между двумя жёстко закреплёнными маркерами, добавлении нормально распределенного шума к исходным данным и вычислении выходных данных. Область неопределенности реконструкции можно оценить, проецируя условные векторы направлений на плоскости изображения камер и реконструируя их образы с учетом ошибок в плоскости изображений камер. Разница между оригинальным и реконструированным вектором и будет являться характеристикой области неопределенности. Можно разделить исследуемый объём на объёмы небольшого размера, для каждого из которых вычислить средние ошибку и устойчивость реконструкции для разных пар камер. В зависимости от требований пользователей и условий работы, информация о локальной точности реконструкции может быть использована для оптимизации точности или времени выполнения цикла реконструкции. Схема работы алгоритма реконструкции показана на Рис. 3.

После того, как произведена реконструкция всех образов маркеров, следует определить принадлежность маркеров различным объектам и вычислить их положение и ориентацию в пространстве. Так как расстояния между маркерами отслеживаемых объектов известны, можно вычислить таблицу евклидовых расстояний между реконструированными образами маркеров и на основе анализа этой таблицы определить маркеры, принадлежащие различным объектам. По координатам трёх и более маркеров, реконструированных в системе координат системы слежения (М,), известных в локальной системе координат (Щ и принадлежащих одному объекту, можно вычислить его положение (вектор смещения Т) и ориентацию (матрицу вращения /?) в про-

странстве с помощью метода минимизации функции ошибки е(Я,Т) = Х,=/Л' ||А/) - ~Т}\2 на основе сингулярной декомпозиции кросс-ковариационной матрицы множеств точек М, и N.. Кроме того, в работе предложен алгоритм контроля шести степеней свобод для объекта с двумя маркерами, закреплёнными на концах двух перпендикулярных осей, на основе анализа смещений маркеров.

Рис. 3. Схема работы алгоритма реконструкции в режиме оптимизации времени выполнения цикла реконструкции.

Управляющий алгоритм ОСС «Трекинг» работает в режимах настройки и слежения. В режиме слежения в течение первых нескольких секунд производится инициализация, во время которой вычисляется уровень шума на изображениях, определяются начальные положения отслеживаемых объектов на основе полного анализа изображений со всех камер и точной реконструкции. Кроме того, оцениваются скорости движения объектов и их образов, в результате чего определяются наиболее вероятные области появления образов маркеров на следующем кадре. В дальнейшем поиск производится, прежде всего, в наиболее вероятных областях появления образов, которые обновляются для каждого кадра в зависимости от скорости движения маркеров.

Алгоритмы, описанные выше, были реализованы в виде объектно-ориентированных классов на языке программирования С++.

В третьей главе описывается процесс интеграции разработанных программных модулей с оборудованием и программным обеспечением установок ВО; приводятся результаты анализа работы системы; описывается использование разработанных модулей в задаче трёхмерной реконструкции поверхностей объектов.

В качестве аппаратного обеспечения системы слежения была выбрана оптическая система камер и светодиодов. Три монохромные камеры были подключены к фреймграбберу, обеспечивающему синхронизованное получение изображений и соединённому с персональным компьютером по шине PCI. Чтобы уменьшить влияние окружающего освещения на работу системы, был выбран инфракрасный канал работы светодиодов и камеры, чувствительные в инфракрасном диапазоне. Устройства для слежения представляли собой группу из трех светодиодов, монтируемую на очки, указку с тремя све-тодиодами и устройство с одним светодиодом и портом синхронизации для измерений задержки.

Для передачи реконструируемых положений устройств приложениям виртуального окружения были созданы программные модули на основе архитектуры клиент-сервер. Серверная часть была интегрирована с программными модулями ОСС «Трекинг», а клиентская часть и работала как один из модулей программного комплекса ВО. Схема программно-аппаратной интеграции представлена на Рис. 4. Интерфейс программного комплекса (ПК) «Трекинг» представлен на Рис. 5.

Калибровка камер проводилась в два этапа с помощью калибровочной цели, которая представляла собой куб с распределёнными внутри него на специальных рёбрах точками с известными координатами. На первом этапе вычислялись внутренние параметры камеры, а именно фокусное расстояние, коэффициенты радиального искажения, центр радиального искажения, масштабные коэффициенты. На втором этапе вычислялись внешние параметры камеры — параметры смещения и вращения. Качество калибровки оценивалось по нескольким параметрам: вычислялась нормализованная ошибка калибровки, являющаяся отношением поперечной погрешности реконструкции к среднеквадратичной ошибке оцифровывающего шума, а также вычислялись ошибки в плоскости изображения и пространственные ошибки.

Наиболее важными параметрами, характеризующими систему слежения, являются точность, скорость реакции системы и рабочая область. Для определения точности было измерено среднеквадратичное отклонение реконструированного расстояния между двумя жестко закрепленными диодами. Точность реконструкции, измеренная на расстоянии 150 см, не превышала 2 мм. Рабочее расстояние между пользователем и камерами составляло от 50 до 300 см. Частота обновления системы определялась частотой обновления фреймграббера и составляла около 25 Гц. Запаздывание системы показывает, насколько быстро система слежения реагирует на действия пользователя. Общее запаздывание системы складывается из следующих задержек: задержка регистрации сигнала от излучателей камерами, задержка при передаче фреймграббером изображений программному обеспечению, задержка при обработке изображений и реконструкции позиции и ориентации, задержка данных при передаче их по сети пользовательскому приложению. Для измерения полной задержки автором использовался специально разработанный алгоритм. Триггер со светодиодом соединялся с одним из входов осциллографа. С другим входом осциллографа соединялся последовательный порт

компьютера, на котором работал модуль ПК «Трекинг», принимающий данные и который генерировал сигнал при получении реконструированных данных. По разнице между импульсами определялась общая задержка системы, составившая около 60 мс. Кроме того, были измерены производительность и точность работы системы для разных режимов оптимизации. Было показано, что оптимизация точности позволяет ускорить процесс определения реконструированных положений устройств в 2.5 раза без потери точности, а оптимизация времени выполнения - в 6.6 раз, однако с увеличением ошибки реконструкции в 1.4 раза.

Программный комплекс «Трекинг»

Рис. 4. Схема интеграции программного комплекса «Трекинг» с оборудованием и ПО виртуального окружения.

Рис. 5. Интерфейс программного комплекса «Трекинг».

Задачу по разработке аналогичной системы слежения ставили перед собой К.Дорфмюллер и Х.Вирт из Дармштадтского центра компьютерной

графики. Их система базировалась на двух аналогичных камерах и инфракрасных светодиодах. Ошибка реконструкции в их системе не превышала 2 см; частота обновления составляла 23 кадра в секунду. В коммерческой системе слежения фирмы А.Я.Т. используются четыре камеры высокого разрешения со встроенной обработкой изображений, а также сферические отражающие маркеры. Ошибка реконструкции в такой системе не превышает 1 мм, а частота обновления составляет 60 Гц.

Система слежения реконструирует в пространстве положения объектов с помощью триангуляции. В этом смысле к системам слежения близки системы реконструкции формы объектов, называемые 3£> сканеры. Модули программного комплекса «Трекинг» были использованы для улучшения качества работы одного из таких устройств, работающих на основе структурной подсветки. Последовательность действий в работе устройства включает калибровку, фотографирование объекта со структурной подсветкой и без неё, реконструкцию поверхности на основе анализа образа спроецированной структуры, наложение текстуры и объединение различных участков объекта. При обработке результатов, полученных от ЗБ сканера, была замечена систематическая ошибка реконструкции, связанная с тем, что программное обеспечение сканера не принимало во внимание оптических искажений. Для решения этой проблемы была проведена альтернативная реконструкция с помощью модулей ПК «Трекинг». Для этого по калибровочным изображениям были вычислены радиальные искажения камеры, калибровочные матрицы камеры и проектора и применены модули компенсации искажений и реконструкции ПК «Трекинг».

В заключении представлены основные результаты диссертационной работы, выносимые на защиту:

1. Унифицированная архитектура «Трекинг» для создания расширяемых оптических систем слежения реального времени для приложений виртуального окружения.

2. Структура алгоритмов реконструкции положений объектов в пространстве на основе анализа изображений, включающая комбинированный алгоритм поиска центров образов маркеров на основе анализа параллельных хорд и яркостей точек образов, алгоритм реконструкции, учитывающий её локальную точность и устойчивость, зависящую от конфигурации камер, и управляющий алгоритм, оптимизирующий точность и скорость обработки данных на основе результатов предварительного анализа.

3. Программный комплекс «Трекинг», созданный на основе разработанной архитектуры и алгоритмов, интегрированный с несколькими установками виртуального окружения и интерактивными устройствами.

Автор выражает благодарность своему научному руководителю, доктору физико-математических наук, профессору Станиславу Владимировичу Клименко за помощь и поддержку в течение всей работы над диссертацией.

Кроме того, автор выражает признательность сотруднику Института физико-технической информатики Игорю Никитину и сотрудникам Фраунгоферов-ского института медиакоммуникаций Герольду Веше и Марине Колесник за комментарии и помощь в разрешении технических вопросов.

По теме диссертации опубликованы следующие работы:

В рецензируемых журналах из списка ВАК:

1. Фурса М.В. Реконструкция сложных трехмерных объектов методом структурированного освещения // Автометрия. — 2008, № 1, Т.44, С.118-126

В других изданиях:

2. Фурса М.В. Система оптического трекинга реального времени для установок виртуального окружения // Электронный журнал «Исследовано в России». — 2006. No.198, С.1859-1867

3. Винтер Г., Гебель М., Кук Р., Фурса М. Реконструкция и визуализация статуй И Труды конференции VEonPC2003, ИФТИ, Протвино. — 2003. — С.71-79

4. Афанасьев В.О., Байгозин Д.А., Батурин Ю.М., Брусенцев П.А., Бугаев А.С., Гебель М., Долговесов Б.С., Жирнов А.А., Клименко С.В., Коло-меец Е.В., Фурса М.В. Создание и разработка индуцированной системы виртуального окружения для задач космических исследований // Труды конференции VEonPC2003. ИФТИ, Протвино. — 2003. — С.55-70

5. Афанасьев В.О., Байгозин Д.А., Брусенцев П.А., Батурин Ю.М., Бугаев А.С., Вигер И.Н., Гебель М., Долговесов Б.С., Жирнов А.А., Клименко С.В., Фурса М.В. Системы виртуальной реальности в науке, промышленности и образовании: исследования & разработка & демонстрация // Труды конференции ГазПрома: Ситуационные центры: технологии, проекты, варианты решений, 30 октября 2003

6. Брусенцев П.А., Клименко С.В., Матвеев С.В., Никитин И.Н., Никитина Л.Д., Фролов П.В., Фурса М.В. Лаборатории виртуального окружения на базе персональных компьютеров: принципы работы и приложения // Труды конференции VEonPC2002. ИФТИ, Протвино. — 2002. — С.1-9

7. Фурса М.В. Система инфракрасного трекинга для приложений виртуального окружения: от идей до прототипа // Труды конференции VEonPC2002. ИФТИ, Протвино. — 2002. — С.85-93

8. Фурса М.В. Система инфракрасного трекинга для приложений виртуального окружения И Труды конференции VEonPC2001. ИФТИ, Протвино. — 2001. — С.115-121

9. Foursa М., Wesche G. Movement-based interaction and event management in virtual environments with optical tracking systems II Proc. of the 12th International Conference on Human-Computer Interaction (HCII). Lecture Notes in Computer Science. — 2007. Springer Berlin/Heidelberg. — Vol.4552/2007, pp.615-624

10. Foursa M., Wesche G. Interaction and Event Management with Optical Tracking Systems // Proc. of the 3d International Conference on Digitization and Chinese Cultural Heritage, Oct. 14-17. — 2005. Xi'an, China — pp.6577

11. Perales F., Buades J., Mas R., Varona X., Gonzalez M., Suescun A., Agui-naga I., Foursa M., Zissis G., Touman M., Mendoza R. A New Human Motion Analysis System Using Biomechanics 3D models // International Conference on Computer Graphics and Interactive Techniques. — 2004. ACM New York, NY, USA. — p.83

12. Foursa M. Real-time infrared tracking system for Virtual Environments // Proc. of the 2004 ACM SIGGRAPH international conference on Virtual Reality continuum and its applications in industry (VRCAI). 2004. ACM New York, NY, USA. - pp.427-430

13. Foursa M. A Real-Time Infrared Tracking System for Virtual Environments // ERCIM News. — 2003. No.53, pp.45-46

Бумага для множительных аппаратов. Печать офсетная. Формат 60x84/16. Тираж 100 экз. Заказ №836

Типография ООО "ФЭД+", Москва, ул. Кедрова, д. 15, тел. 774-26-96

Введение

1 Системы виртуального окружения и системы слежения

1.1 Основные элементы систем виртуального окружения.

1.2 Эффект пространственного погружения.

1.3 Крупномасштабные системы виртуального окружения.

1.4 Аппаратные конфигурации систем виртуального окружения

1.5 Программная среда разработки приложений виртуального окружения Авапго.

1.5.1 Основные принципы.

1.5.2 Распределённые приложения.

1.6 Системы слежения.

1.7 Анализ существующих систем слежения.

1.8 Архитектура ОСС "Трекипг''.

1.8.1 Требования пользователей.

1.8.2 Преобразования, формирующие изображения.

1.8.3 Компоненты ОСС "Трекипг"

2 Модели и алгоритмы модулей ОСС "Трекинг"

2.1 Поиск образов маркеров.

2.2 Оптические искажения

2.3 Поиск соответствующих точек.

2.3.1 Простая модель камеры.

2.3.2 Эпиполярпая геометрия.

2.4 Трёхмерная реконструкция.

2.4.1 Неопределённость реконструированных значений

2.4.2 Алгоритм реконструкции.

2.5 Расчёт положения и ориентации объектов в пространстве

2.6 Управляющий модуль.

3 Программный комлекс "Тренинг": интеграция, анализ работы и повторное использование

3.1 Создание комплекса слежения.

3.2 Калибровка системы слежения.

3.3 Р1птегрирование ОСС "Трекинг" со средой разработки Аваиго

3.4 Оценка рабочих параметров системы слежения.

3.5 Использование модулей ОСС "Трекинг' в задаче создания точных 3D-моделей.

3.5.1 Краткий обзор существующих технологий 3D-скапирования

3.5.2 Процесс сканирования.

3.5.3 Альтернативный метод реконструкции.

Актуальность проблемы Данный момент времени характеризуется быстрым ростом производительности компьютеров. Это позволяет использовать компьютеры для совершения быстрых логико-операционных действий и оптимизировать так называемую операционную деятельность человека Тем по менее, больших успехов в компьютерном оперировании па уровне образов до сих пор достичь не удалось. Но компьютеры могут помочь в этом человеку. Существенно повысить эффективность визуального анализа данных могут системы виртуальной реальности (BP), называемые также системами виртуального окружения (ВО). Задача таких систем - погрузить исследователя в искусственный мир анализируемой модели п предоставить естественный интуитивный интерфейс для взаимодействия с её элементами. Это становится особенно актуальным сейчас, при быстром росте производимой человеком информации.

В настоящее время в мире существует более пятисот крупномасштабных установок виртуальной реальности, которые используются в самых различных областях науки и техппкп для решения задач как фундаментальных научных дисциплин, так и в узко специализированных прикладных направлениях. Разработку технологий виртуального окружения в силу высокой стоимости компонент до последнего времени могли себе позволить только крупные институты, богатые университеты или лаборатории ведущих мировых компаний. Прогресс в создании доступных компьютеров, графических ускорителей и обычных офисных проекторов позволяет разрабатывать доступпые установки ВО.

Естественный интуитивный интерфейс является важной частью любой системы виртуальной реальности. Для создания ощущения полного погружения в виртуальную реальность важной компонентой является система слежения (называемая также системой трскиига) за положением и действиями пользователя в пространстве установки ВО. Для создания систем слежения используются различные технологии: существуют механические, электромагнитные. ультразвуковые, оптические и другие системы. Преимуществом оптических систем является удобство в использовании, так как в таких системах отсутствуют длинные провода, часто мешающие работе. Стоимость существующих систем слежения довольно велика, так как большинство таких систем разрабатывалось для сложных и дорогостоящих установок ВО. Появление доступных систем виртуальной реальности требует разработки также и доступных систем слежения, которые удовлетворили бы требованиям пользователей таких установок. Использование современных недорогих аппаратных компонент позволяет это сделать. Оборудование для ввода зрительных данных сегодня является доступным, по требует разработки новых методов анализа данных.

Существующие сегодня оптические системы слежения (ОСС) привязаны к конкретному оборудованию и ие позволяют пользователям модернизировать программною платформу. Кроме того, системы слежения па основе двух камер, широко применяемые сегодня, обладают рядом недостатков. Так например, точность в таких системах ухудшается с увеличением расстояния до камер, а в случае отсутствия прямой видимости между приемником и источником отслеживание перемещения становится невозможным.

В диссертации предлагается математическое и программное обеспечение, позволяющее разрабатывать расширяемые оптические системы слежения реального времени па основе анализа зрительных данных от нескольких камор. Созданные программные средства обеспечивают быструю разработку ОСС на основе доступного оборудования с учётом требований и ограничений конкретных установок и приложений ВО за счёт повторного использования её компонент.

Цель и задачи работы Цель диссертационной работы заключается в исследовании и разработке математического и программного обеспечения оптических систем сложения для повой информационной технологии — технологии виртуального окружения. Разработанное обеспечение основано па применении унифицированной архитектуры программных модулей и реализующих эту архитектуру алгоритмических и программных средств. В результате должны быть построены программные комплексы оптических систем слежения для различных установок виртуального окружения. Для достижения этой цели были поставлены следующие задачи:

• Разработать архитектуру программных модулей ОСС "Трскипг" для создания программных комплексов слежения реального времени.

• Разработать математические и программные средства для реконструкции положений объектов в пространстве па основе анализа изображений и модели проективного преобразования с учётом требований реального времени.

• Провести апробацию разработанных математических и программных средств, реализовав программный комплекс ОСС "Трекинг", интегрированный с аппаратным и программным обеспечением установок виртуального окружения.

Научная новизна В работе предложена унифицированная архитектура расширяемых оптических систем слежения для установок виртуального окружения. Предложена структура алгоритмов реконструкции положении объектов в пространстве па основе анализа изображений, включающая комбинированный алгоритм поиска центров образов маркеров на основе анализа параллельных хорд и яркостей точек образов, алгоритм реконструкции, учитывающий её локальную точность и устойчивость, зависящую от конфигурации камер, и управляющий алгоритм, оптимизирующий точность и скорость обработки данных па основе результатов предварительного анализа.

Практическая ценность Практическая значимость работы подтверждается эффективностью применения разработанных математических и программных средств для создания систем слежения для нескольких установок ВО, а именно для установок типа VEonPC, функционирующих в Институте физико-технической информатики и Московском фпзико-тсхппческом институте в г. Москве и для установок типа CAVE Фраунгоферовского института меднакоммупикаций (г. Санкт Августин, Германия). Разработанные программные средства могут быть использованы многими лабораториями виртуального окружения в разных установках и конфигурациях. Полученные результаты могут быть полезны разработчикам установок виртуального окружения для создания собственных систем слежения па основе доступного оборудования и для их технического анализа с целью сравнения. Кроме того, на основе некоторых модулей ОСС "Трекипг", а именно алгоритмов реконструкции и компенсации искажений, было улучшено качество работы оптической системы, работающей па основе структурной подсветки, при восстановлении поверхностей объектов.

Апробация работы Материал диссертации опубликован в работах [1-13], а также докладывался и обсуждался на научных семинарах в Институте физпко-техппческой информатики (Протвино), в Научно-исследовательском вычислительном центре МГУ (Москва), в Институте меднакоммупикаций (Санкт Августин, Германия) п следующих международных конференциях: "Системы виртуального окружения на кластерах персональных компьютеров" VEonPC 2001 (сентябрь 2001, Протвино - Иркутск, Россия); УЕоцРС 2002 (сентябрь 2002, Протвино - Санкт Петербург, Россия); VEonPC 2003 (июнь 2003, Москва - Ханты-Мансийск, Россия), "Международная конференция по человеко-машинному взаимодействию" (июль 2007, Пекин, Китай), "Пространство виртуальной реальности и её приложения в промышленности" ACM SIGGRAPH VRCAI 2004, (июнь 2004, Сингапур). Разработанная система слежения была продемонстрирована па европейской конференции по компьютерному видению ECCV 2004, (май 2004, Прага, Чехия). Некоторые результаты упоминались в учебном курсе "Введение в обработку изображений и компьютерное видение" ("Introduction to the Image Processing and Computer Vision"), читавшемся в международном центре информационных технологий BIT (Bonn-Aachen Information Center), а также использовались в европейском проекте HUMODAN.

Личный вклад автора Все основные результаты, изложенные в работе, получены автором лично. Автором разработана архитектура ОСС "Тре-кииг", алгоритмические и программные средства, реализующие эту архитектуру, а также программный комплекс "Трекппг", использующих! созданные средства и интегрированный с оборудованием и программным обеспечением нескольких установок ВО.

Структура и объём диссертации Диссертационная работа состоит из введения, трёх глав, заключения и списка цитируемой литературы, содержащего 126 наименований. Основной текст диссертации (без списка литературы) составляет 121 страницу.

Результаты работы по анализу и улучшению работы 3D сканера, работающего по принципу «структурной подсветки», были доложены на конференциях VEonPC (Virtual Environment on PC clusters), Москва - Ханты-Мансийск 2003, "Digitization and Chinese cultural heritage", Сиапь 2005 и опубликованы в журнале "Автометрия" [1, 3, 10].

Благодарности

Я благодарю моего научного руководителя, доктора физико-математических наук, профессора Станислава Владимировича Клименко за помощь и поддержку в течение всей работы над диссертацией. Я благодарен сотруднику Института физико-технической информатики Игорю Никитину и сотруднику Фраунгоферовского института медиаком-муникаций Марине Колесник за полезные советы и помощь в разрешении технических вопросов.

Эта работа была частично поддержана Российским Фондом Фундаментальных Исследований (гранты РФФИ 02-07-90363, 05-07-90382).

1 июня 2009г.

Заключение

1. Фурса М.В. Реконструкция сложных трехмерных объектов методом структурированного освещения // Автометрия. — 2008, No.l, Т.44, С.118-126

2. Фурса М.В. Система оптического трекинга реального времени для установок виртуального окружения // Электронный журнал «Исследовано в России». 2006. No.198, С.1859-1867

3. Винтер Г., Гебель М., Кук Р., Фурса М. Реконструкция и визуализация статуй // Труды конференции VEonPC2003, ИФТИ, Протвино. — 2003. С.71-79, ISBN 5-88835-009-5

4. Фурса М.В. Система инфракрасного трекинга для приложении виртуального окружения: от идей до прототипа // Труды конференции VEonPC2002. ИФТИ, Протвино. 2002. - С.85-93, ISBN 5-88835-011-7

5. Фурса М.В. Система инфракрасного трекинга для приложений виртуального окружения // Труды конференции VEonPC2001. ИФТИ, Протвино. 2001. - С.115-121, ISBN 5-88835-032-Х

6. Foursa M., Wesche G. Interaction and Event Management with Optical Tracking Systems // Proc. of the 3d International Conference on Digitization and Chinese Cultural Heritage, Oct. 14-17. — 2005. Xi'an, China — pp. 65-77

7. Foursa M. A Real-Time Infrared Tracking System for Virtual Environments // ERCIM News. 2003. No.53, pp.45-46

8. Валюс H.A. Стереоскопия. M.: Изд. АН СССР, 1962. - 379 с.1G. Trambcrcnd H., Avocado: A Distributed Virtual Reality Framework // Proc. of the IEEE Virtual Reality. 1999. IEEE. — pp. 14-21.

9. Rohlf J., Hclman J. IRIS Performer: A High Perfomance Multiprocessing Toolkit for Real Time 3D Graphic. // In: A. Glassner (ed): Proc. of the 21st annual confcrence on Computer graphics and interactive techniques — 1994. ACM. pp.381-394.

10. Wernccke J. Open Inventor Architecture Group, The Inventor Mentor: Programming Object-Oriented 3D Graphics with Open Inventor. — Addison-Wesley, Reading, MA, USA, 1994. 560 p.

11. Wernecke J. Open Inventor Architecture Group, The Inventor Toolmaker: Extending Open Inventor. — Addison-Wesley, Reading, MA, USA, 1994. — 336 p.

12. R. Carey and G. Bell. The VRML 2.0 Annotated Reference Manual. -Addison-Wesley, Reading, MA, USA, 1997. 504 p.

13. OpenGL Optimizer Programmer's Guide. // Technical Report, Silicon Graphics Inc, 1998. — 422 p.

14. Stancker D. S. A first step towards occlusion culling in OpenSG PLUS // In: Proc. of the 1st OpenSG Symposium. — 2002. — 5 p.

15. Bartz D. et al. Jupiter: A Toolkit for Interactive Large Model Visualization // In: Proc. of the symposium on parallel and large-data visualization and graphics. 2001. IEEE. - pp. 129-134

16. McDowall I., Bolas M. Revieweing Single and Multiple Viewer Stereo with DLP Projectors // In: Proc. of 7th Annual Symposium on Immersion Projection Technologies. — 2002. Orlando, Florida, USA. — 8 p.

17. Страница компании TAN, http://www.tan.de/english/prod/infitec.html

18. Страница компании Polhemus, http://www.polhemus.com/

19. Страница компании Ascension Technology Corporation,http://www.ascension-tech.com/

20. Страница компании FakeSpace Inc, http://www.fakespacesystems.com/

21. Страница компании Iscan IllC, http://www.iscaninc.com/

22. Страница компании Northern Digital, http://www.ndigital.com/

23. Страница компании Origin Instruments, http://orin.com/index.htm

24. Страница, компании 3rdTech, http://www.3rdtech.com/

25. Страница компании Intcrscnsc, http://www.intersense.com/

26. Страница компании A.R.T., http://www.ar-tracking.de/

27. Страница компании 3rdTech, http://www.3rdtech.com/3G. Страница компании Immersion Inc. http://www.immersion.com/

28. Страница компании Laipac, http://www.laipac.com/

29. Joanneum Research, Страница компании Joanneum Research,http://www.j oanneum.ac.at/

30. Lipscomb J. S., Wooten W. L. Reducing crosstalk between stereoscopic views j j In Proc. SPIE Stereoscopic Displays Virtual Reality Systems. — 1994. SPIE. Vol.2177, pp.92-96.

31. Dybvig R. К., The Scheme programming language: ANSI Scheme. — P T R Prentice-Hall, Englewood Cliffs, NJ 07632, USA, second edition, 1996. 272 p.

32. Mulder A. Human movement tracking technology. — School of Kinesiology, Simon Fraser University, 1994. — 14 p.

33. Youngblut C., Johnson R. E., Nash S. H., Wicnclaw R. A., Craig A. W., Review of Virtual Environment Interface Technology. — 1996. Institute for Defense Analysis. — 252 p.

34. Welch G., Foxlin E., Motion Tracking: no silver bullet, but a respectable, arsenal // Computer Graphics and Applications. — 2002. IEEE. — No.22(6), pp.24-38

35. Meyer K., Applewhite H. L., Biocca F. A., A Survey of Position Trackers // Presence: Teleoperators and Virtual Environments. — 1992. MIT Press.- Vol. 1, No. 2, pp.173-200

36. Pintaric Т., Kaufmann H. Affordable Infrared-Optical Pose Tracking for Virtual and Augmented Reality //In Proc. of IEEE VR Workshop on Trends and Issues in Tracking for Virtual Environments. —2007. Shaker Verlag. — pp.44 51

37. Clarke T. A., Wang X. Extracting high-precision information from CCD images // In Proc. of International conference on optical methods and data processing in heat and fluid flow. London, — 1998. ROYAUME-UNI.- vol. 1998, 2, pp.311-320.

38. Fitzgibbon A.W., Pilu M., and Fisher R.B., Discrete Least Square Fitting, of Ellipses //In IEEE Trans. Pattern Analysis and Machine Intelligence. — May 1999. IEEE. vol. 21, 110. 5, pp.476-480.

39. Fitzgibbon A. and Fisher R.B. A Buyers Guide to Conic Fitting // In Proc.Sixth British Conf. Machine Vision — 1995. BMVA Press Surrey, UK.- vol. 2, pp.513-522.

40. Davis L. D. Conformal tracking for virtual environments // University of Central Florida, 2004. — 133 p.

41. Tsai R. Т. An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision // In Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 1986. IEEE. — pp.364-374.

42. Faugeras O. D., Toscani G. The calibration problem for stereo // In Proc. of IEEE Computer Vision and Pattern Recognition. — 1986. IEEE. — pp. 1520.

43. Faugeras O. D. Three dimensional computer vision. — The MIT Press, 1992. 695 p.

44. Faugeras O. D., Luong Q.-T. The geometry of multiple images. — The MIT Press, 2001. 646 p.

45. Hartley R., Zisserman A. Multiple view geometry in computer vision. — Cambridge university press, 2000. — 672 p.

46. Шапиро Л., Стокмап Дж., Компьютерное зрение. М.: Издательство Бином. Лаборатория знаний, 2006 г.— 752 с.

47. Страшща пакета LAPACK, http://math.nist.gov/lapack++/

48. Страница библиотеки оптимизации М. Луракпса и А. Аргироса,http://www.ics.forth.gr/lourakis/sba/

49. Hartley R., Sturm P. Triangulation // Journal of Computer Vision and Image Understanding. — 1997. No.68(2), pp.146-157

50. Triggs В., McLauchlan P., Hartley R., Fitzgibbon A. Bundle adjustment- A modern synthesis // Proc. of the International Workshop on Vision Algorithms: Theory and Practice. — 1999. Springer Verlag, London, UK.- pp.298-372

51. Русинов M.M. Композиция оптических систем. — Л.Машиностроение, 1989. 383 с.

52. Slama С. С. (ed.) Manual of Photogrammetry. 4th ed. — American Society of Photogrammetry, Falls Church, Virginia, 1980. — 1050 p.

53. Liu X., Cevikalp H., Fitzpatrick J. M. Marker orientation in fiducial registration // Medical Imaging 2003: Image Processing — 2003. SPIE.- Vol. 5032, pp. 1176-1185

54. Salvi J., Armangue X., Batlle J. A Comparative Review of Camera Calibrating Methods with Accuracy Evaluation // Pattern Recognition. 2000. - Vol.35, Issue 7, pp. 1617-1635

55. Weng J., Cohen P., Herniou M. Camera Calibration with Distortion Models and Accuracy Evaluation //' IEEE Transactions On Pattern Analysis And Machine Intelligence. — 1992. IEEE. — Vol.14, No. 10, pp.965-980

56. Sun W., Cooperstock ,T.R. Requirements for Camera Calibration: Must Accuracy Come with a High Price // Seventh IEEE Workshop on Application of Computer Vision. 2005. IEEE. — Vol.1, pp.356-361

57. Azarbayejani A., Pentland A. Recursive Estimation of Motion, Structure, and Focal Length // IEEE Trans, on Pattern Analysis and Machine Intelligence. 1995. IEEE. - Vol.17, Issue 6, pp.562-575

58. Azarbayejani A., Pentland A. Camera sclf-calibration from one point correspondence. — (Perceptual Computing Technical Report 341):MIT Media Laboratory, 1995. — 6 p.

59. Hartley R. Euclidean reconstruction from uncalibratecl views /'/ Lecture Notes In Computer Science. — 1994. Springer-Verlag, London, UK. — Vol. 825, pp.908-912

60. Pollefcys M. van Gool L. Sclf-calibration from the absolute conic on the plane at ininity j j Lecture Notes in Computer Science. — 1997. Springer Berlin / Heidelberg. Vol. 1296/1997, pp.175-182

61. Tarel J.-P., Gagalowicz A. Calibration dc camera a base d'ellipses // Traitement du Signal. 1995. - Vol.12, No.2, pp. 177-187.

62. Heikkila J., Silven O. A four-step camera calibration procedure with implicit image correction // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. — 1997. IEEE. — pp. 1106-1112

63. Zhang Z. Flexible Camera Calibration by Viewing a Plane from Unknown Orientations // Proc. Int. Conference on Computer Vision. — 1999. Corfu, Greece. — pp. 666-673

64. Pollefcys M. Sclf-calibration and metric 3D reconstruction from uncalibratecl image sequences // K.U.Leuvcn, doctoral thesis, 1999

65. Faugeras 0., Luong D., Maybank Q. Camera self-calibration: Theory and experiments // Lecture Notes in Computer Science. — 1992. — Vol. 588/1992, pp.321-334

66. Azuma R. T. Tracking Requirements for Augmented Reality. /'/' Communications of the ACM. — 1993. — Vol.36, Issue 7, pp.50-51

67. Miller J., Anderson M., Wenzel E., McClain B. Latency Measurment of A Real-Time Virtual Acoustic Environment Rendering System // Proceedings of the International Conference on Auditory Display. — 2003. Boston, MA, USA. pp.111-114

68. Chen X, Davis J, Camera Placement Considering Occlusion for Robust Motion Capture. — Stanford University Computer Science Technical Report, CS-TR-2000-07, 2000. 8 p.

69. Chen X., Davis J., Slusallek P. Wide area camera calibration using virtual calibration objects // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, 2000. IEEE. - pp.520-527

70. Wilson R. Implementation of Tsai calibration method.http://www-2.cs.emu.edu/afs/cs.emu.edu/user/rgw/www/

71. Bouguet J. Y. Camera calibration toolbox for mat lab.http://www.vision.caltech.edu/bouguetj/calibdoc/.

72. Press W. H., Flannery B. P., Teukolsky S. A., Vettering W.T. Numerical Recipes: The Art of Scientific Computing. 3d edition. — Cambridge University Press, 2007. 1256 p.

73. Wenzel E. M. The role of system latency in multi-sensory virtual displays for space applications // Proceedings of Human-Computer Interaction International Conference. — 2001. New Orleans, LA, USA. — pp.619-623

74. Kalman R. E. A New Approach to Linear Filtering and Prediction Problems // Transaction of the ASME-Journal of Basic Engineering. — 1960. — Vol.82, pp.35-45

75. Brown R. G., Hwang P. Y. C. Introduction to Random Signals and Applied Kalman Filtering. 3d Edition. — John Wiley and Sons, Inc. 1996. — 496 p.

76. Svoboda Т., Martincc D., Pajdla T. A convenient multi-camera self-calibration for virtual environments. // PRESENCE: Telcoperators and Virtual Environments. — 2005. — No. 14(4), pp.407-422

77. Welch G. SCAAT: Incremental Tracking with Incomplete Information // University of North Carolina at Chapel Hill, doctoral dissertation, 1996.

78. Cur less В., Seitz S. 3D Photography // ACM SIGGRAPH Course No. 19.- 2000. New Orleans, LA, USAhttp://www.cs.cmu.edu/ seitz/course/SiggOO/notes.html

79. Bernardini F., Rushmeier H. E. 3D Model Acquisition, //Proceedings of Eurographics conference. — 2000. August 24-25, Eurographics Association.- pp.41-62.

80. Isdale J. 3D Scanner Technology Review. Sept. 1999 //http://vr.isdale.com/3DScanners/3DScannerReview.html

81. Gcomagic: 3D Scanner Report,http://www.geomagic.com/support/resources/3scannersA.pdf

82. Страница компании Brcuckmaim, http://www.breuckmann.com/

83. Страница компании Genextech, http://www.genextech.com/

84. Страница компаипи Gom, http://www.gom.com/

85. Страница компании Steinbiclllcr, http://www.steinbichler.de/

86. Страница компаипи TC2, http://www.tc2.com/

87. Страница компаипи Inspeck, http://www.inspeck.com/

88. Страница компапип Leica-Geosystcms, http://hds.leica-geosystems.com/

89. Страница компании Kreon, http://www.kreon3d.com/

90. Страница компании Cyberwarc, http://www.cyberware.com/

91. Страница компании Ar аСОГ, http://www.aracor.com/

92. Страница КОМПа.ИИИ Fai'O, http://www.faro.com/

93. Страница компании Renishaw, http://www.renishaw.com/

94. Страница компании Mensi, http://www.mensi.com/

95. Страница компании Konica-Minolta Inc, http://konicarainolta.com

96. Страница компании Callidus Inc, http://www.callidus.de/

97. Страница компании Roland Inc, http://www.rolanddga.com/

98. Roccliini C., Cignoni P., Montani C., Pingi P., Scopignoy R. A low cost 3D scanner based on structured light /'/ Eurographics. — 2001. — Vol.20, No.3, pp.299-308

99. Sadlo F., Weyrich Т., Peikert. R., Gross M. A Practical Structured Light Acquisition System for Point-Based Geometry and Texture // Proc. of the Eurographics Symposium on Point-Based Graphics. — 2005. IEEE. — pp. 89-98

100. Reznicck J., Pavelka K. New low-cost 3D scanning techniques for cultural heritage documentation // Proc. of the International Society for Photogrammctry and Remote Sensing Congress. — 2008. Beijing, China. pp.237-240

101. Страппца проекта Digital Michelangelo,http://graphics.Stanford.edu/proj ects/mich/

102. Levoy M. ct al The Digital Michelangelo Project: 3D scanning of largo statues // Proc. of the 27th annual conference on Computer graphics and interactive techniques. — 2000. ACM. — pp.131 144

103. Davis J., Marschner S., Garr M., Levoy M. Filling holes in complex surfaces using volumetric diffusion // Proc. of the First International Symposium on 3D Data Processing, Visualization, Transmission. — 2002. IEEE. — pp. 428-861

104. Страница проекта Picta Project, http://www.research.ibm.com/pieta/

105. Bernardini F., Mittleman J., Rushnieier H., Taubin G. Building a digital model of Michelangelo's Florentine Pieta //Computer Graphics and Applications. 2002. IEEE. — Vol.22, Issue 1, pp.59-67

106. Страница КОМПаНИИ Eytronics, http://www.eyetronics.com/

107. Horaud R., Monga O. Vision par ordinateur: outils fondamentaux. — Hermes. 1995. — 427 p.

108. Система объединения данных Scanalyze,http://graphics.Stamford.edu/software/scanalyze/

109. Turk G., Levoy M. Zipperecl polygon meshes from range images // Proc. of the 21st annual conference on Computer graphics and interactive techniques. — 1994. ACM Press. — pp.311-318

110. Godin G. Bcraldin J.-A. Rioux M., Levoy M., Cournoyer L.} Blais F. An Assessment of Laser Range Measurement of Marble Surfaces .// In: proc. fifth conference on optical 3-D measurement techniques. — 2001. Vienna, Austria. — pp.49-56

111. Garland M. , Heckbert P. S. Surface simplification using quadric error metrics // Proc. of the 24th annual conference on Computer graphics and interactive techniques. — 1997. ACM Press. pp.209-216Q