автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка системы трекинга и методов реконструкции сложных трёхмерных объектов для приложений виртуального окружения

На правах рукописи

Фурса Максим Владимирович

Исследование и разработка системы трекинга и методов реконструкции сложных трёхмерных объектов для приложений виртуального окружения

Специальность 05 13 11 — математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Москва 2007

003061430

Работа выполнена в базовой организации Кафедры системной интеграции Московского физико-технического института (государственного университета) — Институте физико-технической информатики (г Протвино)

Научный руководитель

доктор физ -мат наук, профессор С В Клименко

Официальные оппоненты

доктор физ -мат наук, профессор

кандидат физ -мат наук, доцент

Ведущая организация Институт системного анализа РАН

Защита диссертации состоится « » 2007 г в часов

на заседании Диссертационного совета Д 520 009 04 при Российском научном центре «Курчатовский институт» (123182, г Москва, пл И В Курчатова, Д 1)

С диссертацией можно ознакомиться в научной библиотеке Российского научного центра «Курчатовский институт»

Автореферат разослан « » 2007 г

Р Т Исламов

(Международный центр ядерной безопасности)

С П Прохоров

(Институт системною программирования РАН)

Ученый секретарь

Диссертационного совета Д 520 009 04 кандидат технических наук

Г В Яковлев

ОБЩЛ.Я ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Данный момент времени характеризуется быстрым ростом производительности компьютеров Это позволяет использовать компьютеры для совершения быстрых логико-операционных действий и оптимизировать так называемую операционную деятельность человека Тем не менее, больших успехов в компьютерном оперировании на уровне образов до сих пор достичь не удалось Но компьютеры мог\т помочь в этом человеку Существенно повысить эффективность визуального анализа данных могут системы виртуальной реальности (ВР), называемые также системами виртуального окружения (ВО) Задача таких систем — погрузить исследователя в искусственный мир анализируемой модели и предоставить естественный интуитивный интерфейс для взаимодействия с ее элементами Это становится особенно актуальным сейчас, при быстром росте производимой человеком информации В настоящее время в мире существует более пятисот крупномасштабных установок виртуальной реальности, которые испоаьзуются в самых различных областях науки и техники для решения задач как фундаментальных научных дисциплин, так и в узко специализированных прикладных направлениях Разработку техноюгий виртуального окружения в силу высокой стоимости компонент до последнего времени могли себе позволить только крупные институты, богатые у ниверситеты или лаборатории ведущих мировых компаний Прогресс в создании доступных компьютеров, графических ускорителей и обычных офисных проекторов позволяет разрабатывать доступные установки ВР Естественный интуитивный интерфейс является важной частью любой системы виртуальной реальности Для создания ощущения полного погружения в виртуальную реальность важной компонентой является система слежения за положением пользователя в установке ВР, а точнее — система слежения за направлением его взгляда Такие системы, отслеживающие перемещения и действия пользователя внутри установки ВР и, как правило, позволяющие ему манипулировать данными, называются системами тре-кинга Существуют большое разнообразие таких систем, основанных на разных принципах механические, электромагнитные, оптические, ультразвуковые Стоимость самой простой системы тренинга довольно велика, т к большинство таких систем разрабатывалось для сложных и дорогостоящих установок ВР Появление доступных систем виртуальной реальности требует разработки также и доступных систем трекинга, которые удовлетворили бы требованиям пользователей таких установок Использование современных недорогих аппаратных компонент позволяет это сделать Оптические технологии сегодня являются и недорогими, и удовлетворяют требованиям пользователей, но требуют разработки новых методов анализа данных Кроме того, оптическая система может быть более удобна в использовании, т к она не имеет длинных проводов, часто мешающих работе В настоящее вре-

мя широкое применение нашли системы трекинга на основе двух камер Однако такие системы обладают рядом недостатков, таких как невысокая точность и большая вероятность отказа, связанная с проблемой совпадения образов отслеживаемых объектов в одной из камер или невозможностью их разделения В настоящей работе предложено использовать три камеры для решения этих проблем Система трекинга фактически реконструирует в пространстве положение пользователя В этом смысле к системам трекинга близки системы реконстру кшш геометрии сложных объектов, называемых ЗВ сканеры Классическое моделирование с помощью измерительных устройств является очень трудоемким процессом и имеет ограниченную точность, что усугубляется сложной формой измеряемого объекта Поэтому задача автоматизации реконструкции сложных объектов является актуальной Как и в случае С установками ВР, такие сканеры не являются доступными широкому кругу пользователей, поэтому появилась необходимость улучшения качества работы наиболее доступных устройств и реализующих их программных комплексов

Главная цель диссертационной работы — разработка и исследование оптической системы трекинга реального времени и устройства манипулирования данными для установок виртуального окружения В рамках данной работы ставятся следующие задачи

• разработать аппаратную платформу системы трекинга, включающую устройства интерактивного манипулирования данными,

• разработать метод реконструкции тр°\мерных координат многих источников света по их изображениям в нескольких камерах,

• создать алгоритмы на основе вышеу ^азанного метода и реализовать их в виде программного обеспечения,

• исследовать параметры созданной системы трекинга, провести ее сравнение с другими аналогичными системами и интегрировать с системой виртуальной реальности,

Кроме того, в работе было дополнительно приведено исследование доступного метода реконструкции геометрии сложных трехмерных объектов для использования в приложениях виртуальной реальности Для достижения этой цели ставилась следующая задача

проанализировать доступные методы реконструкции геометрии сложных объектов, применить один из таких методов и улучшить качество его работы

Научная новизна Представленные в диссертации результаты являются оригинальными Разработанная методика реконструкции положения и ориентации объектов в виртуальном окружении отличается от аналогичных методик тем, что применение улучшенных математических моделей позволяет системе иметь лучшие характеристики, чем аналогичные системы, базирующиеся на тех же аппаратных конфигурациях Разработан критерий оценки надежности системы Созданы оригинальные устройства для трекинга Разработаны оригинальные алгоритмы графической

обработки, позволяющие быстро выделять и реконструировать требуемые объекты на изображении Некоторые методы были использованы для улучшения методики восстановления геометрии мраморньк статуй, на основе технологии «структурированного света», ранее считавшейся неподходящей для этой задачи В частности, учет оптических искажений камеры и предварительная графическая обработка изображений позволила повысить точность реконструкции

Практическая ценность Созданная автором система тренинга была интегрирована с установкой виртуального окружения VEonPC, установленной в Институте физико-технической информатики в г Москве, а также с установкой типа CAVE Фраунгоферовского института медиакоммуникаций (Санкт Августин, Германия) Данная система трекинга может быть .использована многими лабораториями виртуального окружения в разных установках и конфигурациях Применение доступного оборудования для создания системы позволяет использовать ее даже в недорогих установках, что существенно расширяет круг потенциальных пользователей системы Кроме того, полученные результаты могут быть полезны разработчикам установок виртуального окружения для создания собственных систем трекинга и для их технического анализа с целью сравнения

Автор защищает

• Метод реконструкции трехмерных координат с помощью нескольких камер на основе модели проективного преобразования декартовых координат

• Алгоритмы, созданные на основе вышеуказанного метода реконструкции, позволяющие одновременно реконструировать и передавать трехмерные координаты нескольких источников света, реализованные в программном комплексе «Трекинг»

• Методика исследования параметров оптических систем трекинга, методика анализа и критерий надежности системы

• Метод улучшения оптической технологии реконструкции «структурированного света» на основе модели стерео реконструкции и компенсации оптических искажений

Апробация работы. Материал диссертации опубликован в работах [1, 2, 3, 5, 4, 6, 7, 8, 9, 10, 11], а также докладывался и обсуждался на научных семинарах в Институте физико-технической информатики (Протвино), в Научно-исследовательском вычислительном центре МГУ (Москва), в Институте медиакоммуникаций (Санкт Августин, Германия) и следующих международных конференциях «Системы виртуального окружения на кластерах персональных компьютеров» VEoaPC'2002 (сентябрь 2001, Протвино - Санкт Петербург, Россия) и VEonPC'2003 (сентябрь 2002, Москва - Ханты-Мансийск, Россия), «Пространство виртуальной реальности и ее приложения в промышленности» VRCAI'2004, (июнь 2004, Сингапур) Разработанная система трекинга была продемонстрирована на европейской конференции по

компьютерному видению ECCV'2004, (май 2004, Прага, Чехия) Некоторые результаты упоминались в учебном курсе «Введение в обработку изображений и компьютерное видение» ("Introduction to the Image Processing and Computer Vision"), читавшемся в международном центре информационных технологий BIT (Bonn- Aachen Information Center), а также использовались в европейском проекте HUMODAN

Личный вклад автора Автором исследована и разработана система трекин-га реального времени, функционирующая на основе созданных автором алгоритмов реконструкции трехмерных координат многих источников света по их изображениям, сделанным несколькими камерами и алгоритмов быстрого анализа изображений для поиска «световых пятен», разработаны устройства интерактивного взаимодействия со средой виртуальной реальности, разработана методика анализа работы оптической системы трекинга, включающая анализ надежности системы, }лучшено качество работы оптической технологии «структуриоованного света» при восстановлении геометрии сложных объектов На базе разработанных алгоритмов и методик созданы соответствующие программные модули

Структура диссертации Диссертационная работа изложена на 116 страницах, состоит из введения, четырех глав и заключения, содержит 57 рисунков, 6 таблиц и список цитируемой литературы, содержащий 118 наименований

СОДЕРЖАНИЕ РАБОТЫ

В первой главе дано описание стереоэффекта, на котором основана работа систем виртуального окружения Представлены существующие технологии получения стереоэффекта и крупномасштабные системы виртуального окружения, в том числе система, в создании которой автор принимал участие Описана программная среда, необходимая для создания приложений виртуальных окружений Показана актуальность разработки новой системы трекинга

В первой части представлены задачи систем виртуального окружения и дано описание их основных элементов Предназначение виртуальных окружений заключается в том, чтобы обеспечить пользователей или группу пользователей — ученых, инженеров, дизайнеров — виртуальным рабочим пространством, в котором они могут наблюдать, исследовать и создавать в реальном времени необходимые им виртуальные данные Большинство виртуальных окружений имеют сходную аппаратурную конфигурацию Прежде всего это графический обработчик, то есть специально разработанное для создания стереоскопических изображений программное обеспечение Следующим обязательным элементом является проекционная система, которая отображает просчитанную сцену на экран Многоканальная аудио система может способствовать погружению пользователя в виртуальный мир модели Устройство слежения (или трекинга), измеряющее положение и ориентацию головы

пользователя, а также возможно руки или указки, позволяет графическому обработчику вычислять перспективно правильное изображение для любой точки зрения пользователя, а пользователю предоставляет возможность интерактивной работы с данными Обязательным элементом являются и специальные очки, необходимые пользователю для восприятия трехмерного изображения

Во второй части рассмотрен эффект стерео-восприятия, дано определение элек-троскопического формата и описаны разные технологии для его создания

В третьей части произведено детальное описание, сравнение и анализ преимуществ и недостатков разл1гчных конфигураций крупномасштабных систем виртуального окружения Описаны основные проблемы, возникающие при создании таких систем

В четвертой части описаны конкретные установки и приведены их технические и функциональные характеристики В числе прочих систем, описана установка VEonPC, в создании которой автор принимал участие Это доступная, но весьма эффективная мобильная система виртуального окружения, состоящая из проекционной системы, включающей два LCD или DLP проектора, снабженных поляризационными фильтрами, специального экрана, обладающего наименьшими деполяризующими свойствами, поляризационных очков, двух графических станции, а также вспомогательного компьютера, используемого для синтеза звуковых эффектов

Описывается также установка Cyberstage, в создании приложений для которой автор принимал участие В качестве штатной системы трекинга установкой использовалась электромагнитная система Polhemus Fasttrack Надо заметить, что система была не очень удобна в использовании, из-за проводов, идущих от очков и от указки и из-за погрешностей работы системы, усиливающихся по мере удаления передатчика от приемника

Опыт работы с этими системами позволил автору сформулировать требования и концепцию новой системы трекинга, описанной в следующей главе

В пятой части описана программная среда Аванго, обеспечивающая разработчиков приложений виртуального окружения специальными функциональными возможностями и концепцией обобществленного графа сцены, доступного всем процессам, образующим распределенное приложение Каждый процесс в этой системе обладает локальной копией графа сцены и содержащейся в нем информации о состоянии, которая поддерживается синхронизованной Разработка таких распределенных приложений особенно необходима для реализации виртуальных окружений на кластерах Linux PC

Во второй главе введено определение системы трекинга, описаны основные параметры систем, рассмотрены существующие системы трекинга и принципы их работы Подробно описана разработанная автором система трекинга В рамках этого описания рассказало о математических моделях, использованных автором для реконструкции, моделировании камеры, компенсации искажений и тд Дано описание алгоритмов, с помощью которых удалось осуществить быструю реконструкцию положений источников света, а также их поиск на изображении Показана структура

созданного автором программного обеспечения Описаны разработанные автором аппаратные системы — устройство для трекинга, монтируемое на очки, и указка — используемые в работе системы трекинга Эти устройства инфракрасные излучающие диоды, и именно их позиции реконструирует программное обеспечение

В первой части представлено понятие «системы трекинга» как системы слежения за положением и ориентацией объектов в пространстве Описаны основные цели таких систем и требования к ним Такие системы позволяют устэ-новке ВО рассчитывать перспективно правильную проекции в зависимости от положения пользователя, распределять звук по каналам аудио системы, осуществлять навигацию в виртуальном окружении и тд Основными параметрами, с помощью которых можно оценить качество работы системы трекинга, являются точность, разрешающая способность и скорость реакции системы

Во второй части приведена классификация существующих систем трекинга Прежде всего они подразделяются на механические, магнитные, неинерционные, оптические, акустические, инерционные Представляются слабые и сильные места этих технологий Указаны производители некоторых популярных коммерческих систем трекинга и их технические характеристики

В третьей части говорится о разработанной автором системе трекинга Сначала представляются этапы создания системы прежде всего это выбор и конфигурирование согласовано работающего аппаратного обеспечения, затем — подготовка модели камеры и математического аппарата, на котором будет базироваться ядро программного обеспечения — реконструкция и компенсация искажений, далее идет разработка собственно программного обеспечения Следующие этапы — калибровка камер, создание интерфейса к среде разработки приложений виртуальной реальности и измерение параметров созданной системы — рассматриваются в следующей главе Чтобы избежать влияния работы синхронизаторов проекционной системы на камеры, был выбран инфракрасный канал и камеры, чувствительные в инфракрасном диапазоне

СЗ (В)

ИК-диоды

С1 (Ы

ИК диод

XV Z

| : ■ [ RGB

(

локальная сеть

мультиплексор

PC

Рис 1 Схема установки трекинга

Оптическая система базируется на трех камерах, снабженных фильтрами, уменьшающими поток видимого света Камеры подключены через мультиплексор к компьютеру (рис 1) Камеры работают в монохромном чересстрочном синхронизованном режиме Программное обеспечение получает одно изображение сразу с трех камер, закодированные по каналам RGB В качестве излучателей были выбраны диоды с длинной волны около 860 нм На базе диодов автором были созданы устройства для трекинга (рис 2), а именно триггер (устройство с одним диодом), конструкция для крепления к стерео-очкам, состоящая из трех диодов, указка, содержащая три диода и телескопическую трубу — для лучшей реконструкции направления Источником тока для этих устройств служит 9В батарейка, диоды питаются постоянным током, который может варьироваться от 5 до 50 мА в зависимости от условий освещенности Система трекинга отслеживает перемещения шести диодов одновременно

Рис.2. Устройства для тр«книга

Последовательность операций программного обеспечения (ПО), разработанного автором, следующая:

1. прежде всего ПО производит поиск ярких пятен (эллипсов), созданных инфракрасными устройствами;

2. далее вычисляются неискажённые камерой координаты центров эллипсов;

3. затем производится поиск соответствующих друг другу центров на изображениях с трёх камер;

4. если соответствующие точки найдены хотя бы на двух камерах, производится реконструкция 30 координат этой точки;

5. если реконструировано положение исех диодов на очках и указке, то система рассчитывает параметры смещения и вращения этих объектов и передаёт их управляющей программе установки виртуальной реальности.

Тот факт, что камеры работают в чересстрочном режиме в разных условиях освещённости, приводит к тому, что пятна — образы диодов, могут быть размыты или видны нечётко. Поэтому автором был разработан алгоритм, основанный на предсказании положений пятна (что позволяет ускорить поиск, начав его в месте наиболее вероятного появления пятна) и на различных ограничениях, выявленных экспериментальным путём.

Чтобы понять, как работает вычисление неискажённых координат, поиск соответствующих точек и реконструкция, рассмотрим соответствующие математические модели. Автор использовал модель камеры с точечной диафрагмой и искажениями. Проективное преобразование в гомогенных координатах записывается следующим образом: т = РМ, где М — координаты точки в мировой системе координат {X, У, 2,Т)Т, т — координаты образа точки в плоскости изображения камеры

{и, V, б')7", а Р — матрица проективного преобразования Вернуться от гомогенных координат к обычным достаточно просто координаты точки т будут выглядеть как {и = и/Б,у = У/Б)7 При отсутствии искажений, матрица Р имеет вид

Р =

а« —аи cot в uq

av/sin 9 vo

О

Г Т

91

„т

92 „Т

|_9з

1

914 924 934

[R i] =

= [Q q] ,

(1) (2)

где первая матрица отвечает за внутренние параметры камеры аи и а„ — масштабирующие коэффициенты, помноженные на фокусное расстояние камеры, и0 и уо — оптический центр камеры, в — угол между сторонами ячеек камеры Вторая матрица содержит следующие элементы Ь — вектор смещения камеры относительно центра координат и Я — матрицу вращения камеры Если определена евклидова система координат ХУ 2 и углы а, £¡,7 как углы вращения вокруг осей X, У и Ъ соответственно по часовой стрелке если смотреть в направлении оси, эта матрица примет такой вид

Я =

cos Р cos 7 cos /3 sm 7 — sin /3

sin q sin ¡3 cos 7 — cos ce sin 7 sin a sin/3 sin 7-f cos a cos 7 sinacos ¡3 cos a sin/3 cos 7 + smasin7 cos a sin 0sm 7 + sin a cos 7 cos a cos /3

(3)

Размерность матрицы <5 - 3x3 Она состоит из векторов д, размерностью три Вектор д состоит из трех скалярных величин 9,4 Основными источниками искажений изображения, получаемого камерой, являются геометрические аберрации (дис-торсии) радиальные искажения, тангенциальные искажения и искажения тонкой призмы Наличие искажений приводит к тому, что изображение объекта выглядит неправильно и каждая точка снимаемого объекта более или менее смещена Расчеты показали, что в нашем случае тангенциальными искажениями и искажениями тонкой призмы можно пренебречь, поэтому в расчеты было введено только радиальное искажение Поправка радиального искажения описывается следующим уравнением

где г — радиус, к, координатах (u,v)

<5г'г> = kir3 4- for5 (4)

коэффициенты радиального искажения, или в декартовых

и = Г COS в, V = г sin о 5u{T) = u(kir2 + kir4), <5и(г) = v(kir2 + fc2r4)

(5)

(6)

Если вносить поправки радиального искажения непосредственно в уравнение (1), то оно станет нелинейным Поэтому, автором были заранее вычислены искажения камеры и соответствующие поправки вносились в величину т В работе показано, что для того, чтобы реконструировать координаты точки в мировой системе координат, то есть вычислить М по известным гпх=(и,,у,) и Р, для хотя бы двух камер, нужно решить систему уравнений

ЧлМ-

а?2 М -

■ У-хЧхгМ = 34 - 9.14

ЬгЯгзМ = V,|},34 — 9,24,

где г > 2 — номер камеры Это решение выглядит следующим образом

М = (АТАГХАТЬ,

где

Л =

г т т 9.1 - «9,з т т

Яг2 -

и, <7,34 — 9.14 Ух 9.34 — 9.24

(7) (3)

(9)

(10)

Это решение верно, если ранг матрицы А — полный Теоретически иногда это решение может быть плохо обусловленным, однако в силу геометрии установки таких проблем не возникало В случае наличия соответствующих точек на изображениях с нескольких камер, можно провести реконструкцию их координат по всем парам камер, после чего усреднить получившийся результат с учетом коэффициента доверия, определяемого точностью калибровки

Для того, что найти точки, соответствующие друг другу на разных камерах, нужно вычислить так называемые эпиполярные линии Эпиполярная линия камеры С1 — это проекция луча, соединяющего точку М с ее образом тп\ на плоскости изображения камеры С\, на плоскость изображения камеры Сп Образ точки М на камере Сг теоретически должен лежать на этой линии, однако фактические погрешности приводят к тому, что она лежит рядом с этой линией, но это все равно помогает в поиске Уравнение этой линии имеет вид

е\ = (91 - С}1(}г~хчг) х СЬфг"

7712 |

(И)

где 9, и <3. — элементы проективной матрицы в записи (2)

Найдя все точки, программа приписывает их соответствующему устройству (очкам или указке) и, поскольку положение диодов на этих устройствах фиксировано и известно, вычисляет параметры вращения и смещения этих устройств в системе координат установки виртуального окружения и передает их приложению

В третьей главе представлена методика калибровки камер Описаны основные методы оценки работы системы тренинга, представлены разработанные автором методики оценки надежности и определения задержки оптической системы трекинга

Также приведено описание разработанных автором процедур интеграции системы трекинга с программным комплексом Аванго, описанным в первой главе.

В первой части формулируется задача калибровки камеры, состоящая в вычислении внутренних и внешних параметров камеры в зависимости от модели. Рассказывается о различных методах калибровки. Подробно рассказывается о методе прямого линейного преобразования и методе Р.Цая, которые использовались автором.

Калибровка камер проводилась в два этапа с помощью калибровочной цели, которая представляла из себя куб с распределёнными внутри него на специальных рёбрах точками с известными координатами. На первом этапе вычислялись внутренние параметры камеры, а именно фокусное расстояние, коэффициент радиального искажения, центр радиального искажения, масштабные коэффициенты. На второй этапе вычислялись внешние параметры камеры — параметры смещения и вращения. Дело в том, что при каждом изменении положения камеры требуется калибровать камеру заново, татя меняются только внешние параметры. Но первый этап калибровки не требует повторения при изменении положения камеры и является более сложным и долгим процессом в силу его нелинейности Поэтому проделав первый этап калибровки только один раз, при изменении положения камеры можно применять только калибровку по второму методу, сохраняя высокую точность реконструкции.

Во второй части говорится о методах технического анализа системы трекинга. Наиболее важными параметрами, характеризующими саму систему трекинга являются точность, разрешающая способность, скорость реакции системы и рабочая область. Кроме того, иажно сравнить работоспособность системы, основанной на трёх камерах и системой, основанной на двух камерах

Точность реконструкции и рабочая область были измерены автором непосредственно.

Рис.З. Точность реконструкции

Зависимость точности реконструкции от расстояния между камерами и светоди-одами — квадратичная (рис 3). Зависимость точности реконструкции от фокусного

расстояния — линейная Увеличение расстояния между камерами способствует повышению точности реконструкции На большом расстоянии от камер увеличиваются ошибки реконструкции и уменьшается сигнал светодиодов, поэтому комфортным является расстояние пользователя от камер, составляющее от одного до двух с половиной метров

Частота обновления системы определялась частотой обновления мультиплексора и составляла около 25 Гц

Использование трех камер вместо двух позволяет повысить вероятность безотказной работы системы, те ее надежность Путем анализа и реконструкции некоторых характерных движений пользователя, было установлено, что вероятность сбоя реконструкции у системы, основанной на трех камерах, на 10% меньше, чем у системы, основанной на двух камерах

Запаздывание системы показывает, насколько быстро система трекинга реаги-р>ет на действия пользователя Допустимым значением запаздывания являются величины менее 500 мс, комфортным — менее 100 мс Запаздывание, как правило, измеряется при отсутствии фильтрации так как последнее увеличивает запаздывание, но уменьшает шумы Общее запаздывание системы складывается из следующих задержек задержка регистрации сигнала от излучателей камерами, задержка при передаче изображений с камер мультиплексором программе, задержка при обработке изображений и реконструкции позиции и ориентации, задержка данных при передаче их по сети приложению-пользователю Для измерения задержки автором использовался специально разработанный алгоритм Триггер со светодиодом соединялся с одним из входов осциллографа через усилитель С другим входом осцил-юграфа соединялся последовательный порт сервера трекинга, который был запрограммирован на генерацию сигнала при получении реконструированных данных По разнице между имп>льсами о определяюсь общая задержка системы, составившая 60 мс Основной вклад в задержку вносит аппаратная часть скорость работы затвора камеры (1/100 с ~ 10 мс) и частота обновления мультиплексора (1/25 с ~ 40

Показателем точности калибровки системы является нормализованная ошибка калибровки (НОК или КСБЕ)

где и а» - масштабирующие коэффициенты, помноженные на фокусное расстояние, {тг», Угг, гп} — реконструированные, а {хг,Уг,2г} реальные 3-Б координаты 1-ой точки Значения НОК трактуются следующим образом НОК <1С 1 говорит о том, что ошибка реконструкции значительно меньше оцифровывающего шума на данном расстоянии, НОК ~ 1 говорит о хорошей калибровке, где остаточные искажения пренебрежимо малы, НОК » 1 говорит о плохой калибровке НОК в наших калибровках равнялся 1-2, что являлось показателем довольно точной калибровки системы При росте количества калибровочных точек значение НОК растет, так

мс)

(12)

как каждая точка вносит дополнительную ошибку Если определить точки, вносящие наибольшую ошибку в калибровку и исключить их из нее, то можно улучшить точность калибровки Кроме НОК, являющегося интегральной характеристикой, можно вычислить локальные ошибки обратного проецирования Обратное проецирование — это вычисление с помощью матрицы проективного преобразования 2Б координат изображений точек на камере по их известным ЗБ координатам Эту ошибку можно вычислить для точек, использованных при калибровке, чтобы убедиться в ее качественности Для хорошей калибровки такая ошибка должна быть существенно меньше одного пикселя НОК может быть использована для вычисления коэффициентов доверия пары камер, которые придают больший вес результатам реконструкции, полученным с помощью наиболее точно откалиброванных камер

В третьей части говорится о разработанном автором модуле передачи данных от системы трекинга системе управляющей виртуальным окружением, Аванго

В четвертой главе обсуждаются проблемы созданий точных ЗБ моделей сложных реальных объектов, описывается дополнительная задача, стоящая перед автором Приводится обзор существующих технологий так называемого ЗО-сканирования Рассказывается об одной из таких технологий Описывается ее математическая модель Рассказывается о применении данной технологии и о проблемах, возникающих при этом Далее описывается методика, разработанная автором, позволяющая улучшить качество работы данного метода

В первой части формулируется задача стоящая перед автором, а именно с помощью доступного метода реконструкции реконструировать мраморные статуи, созданные скульптооом Бернини и установленные в Риме, и создать их модели для использования в установках виртуального окружения

Далее рассказывается о различных методах трехмерного сканирования, приводится классификация таких методов Подробно рассказывается об оптических методах реконструкции, как наиболее простых и доступных в использовании Рассказывается об аналогичных проектах и о технологиях, которые там использовались

В следующей части рассматривается математическая модель «активного сенсора», на которой основан принцип работы большинства оптических систем сканирования

Далее говорится о выбранной методике сканирования, о применении ее и о проблемах, возникающих при этом В качестве базового продукта использовался продукт БЬареСат от компании Еуе^ошсэ Этот продукт состоит из камеры и специальной вспышки, установленных, на рамке на расстоянии нескольких десятков сантиметров Вспышка проецирует специальную сетку, по искажениям которой и производится реконструкция Процесс сканирования объектов состоит из следующих элементов установка параметров, калибровка, фотографирование объектов, реконструкция, наложение текстуры, объединение участков объекта в единое целое Работа продукта ЗЬареСат была неудовлетворительной, поэтому некоторые ее элементы потребовали улучшения, а именно качество большинства изображений потребовало улучшений для лучшего распознавания сетки, автоматическая рекон-

струкция не принимала во внимание оптических искажений камеры, что приводило к накоплению ошибок и невозможности создать замкнутую реконструированную модель, различие поверхностей статуй требовало провести классификацию тесктур Для классификации текстур и улучшения качества изображений были созданы специальные программы на базе графической обработки и анализа изображений, позволяющие оптимизировать этот процесс Для учета искажений пришлось вычислить зависимость искажений камеры от фокусного расстояния и учесть их при калибровке и реконструкции Для этого, с помощью метода РЦая, проводилась независимая калибровка камеры, где в качестве ЗБ координат калибровочной цели использовались ее центры эллипсов, а в качестве 2Б координат — образы центров эллипсов, найденных на изображении После того, как камера была откалибрована, требовалось откалибровать вспышку Для этого, по известным 2Б координатам узлов сетки и известной калибровочной матрице камеры вычислялись ЗЮ координаты узлов сетки Эти координаты, а так же внутренние 2Б координаты узлов сетки вспышки использовались для калибровки вспышки После этого, по двум известным матрицам проективного преобразования и осуществлялась реконструкция аналогично формуле (9) с использованием калибровочных матриц камеры и вспышки

Далее в работе приводятся результаты, снабженные иллюстрациями

В заключении представлены результаты, основные идеи и выводы диссертационной работы Автором решены следующие задачи

• Разработан оригинальный метод реконструкции трехмерных координат с помощью нескольких камер на основе модели проективного преобразования декартовых координат

• Созданы алгоритмы, сделанные на основе вышеуказанного метода реконструкции, позволяющие одновременно реконструировать и передавать трехмерные координаты нескольких источников света и реализованные в программном комплексе «Трекинг»

• Разработана методика исследования параметров оптических систем трекинга, методика анализа и критерий надежности системы

• Разработан метод улучшения оптической технологии реконструкции «структурированного света» на основе модели стерео реконструкции и компенсации оптических искажений

Автор выражает благодарность своему научному руководителю, доктору физико-математических наук, профессору Станиславу Владимировичу Клименко за помощь и поддержку в течение всей работы над диссертацией Кроме того, автор выражает признательность сотруднику Института физико-технической информатики Игорю Никитину и сотрудникам Фраунгоферовского института медиаком-муникаций Герольду Веше и Марине Колесник за комментарии и помощь в разрешении технических вопросов

По теме диссертации опубликованы следующие работы

[1| ¡VI Фурса, «Система инфракрасного трекинга для приложений виртуального окружения», Труды конференции VEonPC2001, Сентябрь 2001, стр 115-121 ISBN 5-S8835-032-X

[2| П Брусенцев М Фурса, П Фротов С Клименко, С Матвее в, М Никитин, JT Никитина «Лаборатории виртуального окружения на базе персональных компьютеров принципы работы и приложения», Труды конференции VEonPC2002, стр 1-9, ISBN 5-88835-011-7

[3] М Фурса «Система инфракрасного трекинга для приложений виртуального окружения от идей до прототипа», Труды конференции VEonPC2002, стр 8593, ISBN 5-8S835-011-7

[4] Г Винтер, М Гебель, Р Кук, М Фурса «Реконструкция и визуализация статуй», Труды конференции VEonPC2003, стр 71-79, ISBN 5-88835-009-5

[5] М Фурса «Система оптического трекинга реального времени для установок виртуального окружения», Электронный журнал «Исследовано в России», 198, стр 1859-1867, 2006 г

[6] М Foursa A. Real-Time Infrared Tracking System for Virtual Environments", ERCIM News No 53, p 45-46, April 2003

[7| В Афанасьев и др «Создание и разработка индуцированной системы виртуального окружения для задач космических исследований», Труды конференции VEonPC2003, стр 55-70, ISBN 5-88835-009-5

[8| I Aguinaga A Suescun, М Foursa R Mendoza, G Zissis, F Perales, M Touman HUMOD.AN project overview", ACM SIGGRAPH VRCAI 2004 conference proceedings, ACM ISBN 1-58113-884-9

[9] F Perales, J Buades, R Mas, X \arona, M Gonzalez, A Suescun, I Aguinaga, M Foursa, G Zissis, M Touman, R Mendoza, "A New Human Motion Analysis System Using Biomechanics 3D models", ACM SIGGRAPH Full conference 2004, Los Angeles, California, ISBN 1-58113-896-2

[10] M Foursa "Real-time infrared tracking system for Virtual Environments", ACM SIGGRAPH VRCAI 2004 conference proceedings, pp 427-430, ACM ISBN 1-58113884-9

[11] M Foursa, G Wesche 'Interaction and Event Management with Optical Tracking Systems", The 3d International Conference on Digitization and Chinese Cultural Heritage, Oct 14-17 2005, Xi'an, China, Proceedings, pp 65-77

Работа, принятая к публикации М Фурса «Создание сложных трехмерных объектов для использования в установках виртуального окружения», журнал «Автометрия», октябрь 2007

D24456

Введение

1 Анализ технологий виртуальной реальности

1.1 Основные элементы систем виртуального окружения.

1.2 Как можно получить эффект пространственного погружения

1.3 Крупномасштабные системы виртуального окружения.

1.4 Аппаратные конфигурации.

1.4.1 CyberStage.

1.4.2 i-CONE

1.4.3 Responsive Workbench.

1.4.4 Teleport.,.

1.4.5 VEonPC.

1.5 Программная среда Аванго.

1.5.1 Основные принципы.

1.5.2 Распределённые приложения.

2 Системы тренинга

2.1 Что такое система трекинга (описание, требования).

2.2 Анализ существующих систем трекинга.

2.3 Система оптического трекинга реального времени.

2.3.1 Аппаратное обеспечение и схема установки.

2.3.2 Программное обеспечение.

2.3.3 Модели камер, реконструкция и компенсация искажений

3 Использование системы трекинга

3.1 Калибровка системы.

3.1.1 Метод прямого линейного преобразования

3.1.2 Метод Р. Цая.

3.1.3 Вычисление калибровочной матрицы.

3.2 Оценка рабочих параметров системы

3.3 Интегрирование системы в программную среду Аванго

4 Создание точных ЗБ-моделей

4.1 Введение.

4.2 Краткий обзор существующих технологий ЗБ-сканирования

4.3 Реконструкция: активный сенсор.

4.4 Описание процесса сканирования.

4.5 Обработка результатов сканирования для визуализации и анимации

4.6 Альтернативный метод реконструкции точек.

4.7 Результаты.

Актуальность проблемы. Данный момент времени характеризуется быстром ростом производительности компьютеров. Это позволяет использовать компьютеры для совершения быстрых логико-операционных действий и оптимизировать так называемую операционную деятельность человека. Тем не менее, больших успехов в компьютерном оперировании на уровне образов до сих пор достичь не удалось. Но компьютеры могут помочь в этом человеку. Существенно повысить эффективность визуального анализа данных могут системы виртуальной реальности (BP), называемые также системами виртуального окружения (ВО). Задача таких систем — погрузить исследователя в искусственный мир анализируемой модели и предоставить естественный интуитивный интерфейс для взаимодействия с её элементами. Это становится особенно актуальным сейчас, при быстром росте производимой человеком информации.

В настоящее время в мире существует более пятисот крупномасштабных установок виртуальной реальности, которые используются в самых различных областях науки и техники для решения задач как фундаментальных научных дисциплин, так и в узко специализированных прикладных направлениях. Разработку технологий виртуального окружения в силу высокой стоимости компонент до последнего времени могли себе позволить только крупные институты, богатые университеты или лаборатории ведущих мировых компаний. Прогресс в создании доступных компьютеров, графических ускорителей и обычных офисных проекторов позволяет разрабатывать доступные установки BP. Естественный интуитивный интерфейс является важной частью любой системы виртуальной реальности. Для создания ощущения полного погружения в виртуальную реальность важной компонентой является система слежения за положением пользователя в установке BP, а точнее — система слежения за направлением его взгляда. Такие системы, отслеживающие перемещения и действия пользователя внутри установки BP и. как правило, позволяющие ему манипулировать данными, называются системами трекинга. Существуют большое разнообразие таких систем, основанных на разных принципах: механические, электромагнитные, оптические, ультразвуковые. Стоимость самой простой системы трекинга довольно велика, т.к. большинство таких систем разрабатывалось для сложных и дорогостоящих установок BP.

Появление доступных систем виртуальной реальности требует разработки также и доступных систем трекинга, которые удовлетворили бы требованиям пользователей таких установок. Использование современных недорогих аппаратных компонент позволяет это сделать. Оптические технологии сегодня являются и недорогими, и удовлетворяют требованиям пользователей, но требуют разработки новых методов анализа данных. Кроме того, оптическая система может быть более удобна в использовании, т.к. она не имеет длинных проводов, часто мешающих работе. В настоящее время широкое применение нашли системы трекинга на основе двух камер. Однако такие системы обладают рядом недостатков, таких как невысокая точность и большая вероятность отказа, связанная с проблемой совпадения образов отслеживаемых объектов в одной из камер или невозможностью их разделения. В настоящей работе предложено использовать три камеры для решения этих проблем. Система трекинга фактически реконструирует в пространстве положение пользователя. В этом смысле к системам трекинга близки системы реконструкции геометрии сложных объектов, называемых 3D сканеры. Классическое моделирование с помощью измерительных устройств является очень трудоёмким процессом и имеет ограниченную точность, что усугубляется сложной формой измеряемого объекта.

Поэтому задача автоматизации реконструкции сложных объектов является актуальной. Как и в случае с установками BP, такие сканеры не являются доступными широкому кругу пользователей, поэтому появилась необходимость улучшения качества работы наиболее доступных устройств и реализующих их программных комплексов.

Главная цель диссертационной работы — разработка и исследование оптической системы трекинга реального времени и устройства манипулирования данными для установок виртуального окружения. В рамках данной работы ставятся следующие задачи:

• разработать аппаратную платформу системы трекинга, включающую устройства интерактивного манипулирования данными;

• разработать метод реконструкции трехмерных координат многих источников света по их изображениям в нескольких камерах;

• создать алгоритмы на основе вышеуказанного метода и реализовать их в виде программного обеспечения;

• исследовать параметры созданной системы трекинга, провести её сравнение с другими аналогичными системами и интегрировать с системой виртуальной реальности;

Кроме того, в работе было дополнительно приведено исследование доступного метода реконструкции геометрии сложных трёхмерных'объектов для использования в приложениях виртуальной реальности. Для достижения этой цели ставилась следующая задача:

• проанализировать доступные методы реконструкции геометрии сложных объектов, применить один из таких методов и улучшить качество его работы.

Научная новизна. Представленные в диссертации результаты являются оригинальными. Разработанная методика реконструкции положения и ориентации объектов в виртуальном окружении отличается от аналогичных методик тем, что применение улучшенных математических моделей позволяет системе иметь лучшие характеристики, чем аналогичные системы, базирующиеся на тех же аппаратных конфигурациях. Разработан критерий оценки надёжности системы. Созданы оригинальные устройства для трекинга. Разработаны оригинальные алгоритмы графической обработки, позволяющие быстро выделять и реконструировать требуемые объекты на изображении. Некоторые методы были использованы для улучшения методики восстановления геометрии мраморных статуй, на основе технологии "структурированного света", ранее считавшейся неподходящей для этой задачи. В частности, учет оптических искажений камеры и предварительная графическая обработка изображений позволила повысить точность реконструкции.

Практическая ценность. Созданная автором система трекинга была интегрирована с установкой виртуального окружения VEonPC, установленной в Институте физико-технической информатики в г. Москве, а также с установкой типа CAVE Фраунгоферовского Института медиакоммуникации в г.Бонне. Данная система трекинга может быть использована многими лабораториями виртуального окружения в разных установках и конфигурациях. Применение доступного оборудования для создания системы позволяет использовать её даже в недорогих установках, что существенно расширяет круг потенциальных пользователей системы. Кроме того, полученные результаты могут быть полезны разработчикам установок виртуального окружения для создания собственных систем трекинга и для их технического анализа с целью сравнения.

Автор защищает.

• Метод реконструкции трёхмерных координат с помощью нескольких камер на основе модели проективного преобразования декартовых координат.

• Алгоритмы, созданные на основе вышеуказанного метода реконструкции, позволяющие одновременно реконструировать и передавать трёхмерные координаты нескольких источников света, реализованные в программном комплексе "Трекинг".

• Методика исследования параметров оптических систем трекинга; методика анализа и критерий надёжности системы.

• Метод улучшения оптической технологии реконструкции "структурированного света;' на основе модели стерео реконструкции и компенсации оптических искажений.

Апробация работы. Материал диссертации опубликован в работах [1 13], а также докладывался и обсуждался на научных семинарах в Институте физико-технической информатики (Протвино), в Научно-исследовательском вычислительном центре МГУ (Москва), в Институте медиакоммуникаций (Санкт Августин, Германия) и следующих международных конференциях: "Системы виртуального окружения на кластерах персональных компьютеров" VEonPC'2002 (сентябрь 2001, Протвино - Санкт Петербург, Россия) и VEonPC'2003 (сентябрь 2002, Москва - Ханты-Мансийск, Россия), "Пространство виртуальной реальности и её приложения в промышленности" VRCAI'2004, (июнь 2004, Сингапур). Разработанная система трекинга была продемонстрирована на европейской конференции по компьютерному видению ECCV'2004, (май 2004, Прага, Чехия). Некоторые результаты упоминались в учебном курсе «Введение в обработку изображений и компьютерное видение» ("Introduction to the Image Processing and Computer Vision"), читавшемся в международном центре информационных технологий BIT (Bonn-Aachen Information Center), а также использовались в европейском проекте HUMODAN.

Личный вклад автора. Автором исследована и разработана система трекинга реального времени, функционирующая на основе созданных автором алгоритмов реконструкции трёхмерных координат многих источников света по их изображениям, сделанным несколькими камерами и алгоритмов быстрого анализа изображений для поиска «световых пятен»; разработаны устройства интерактивного взаимодействия со средой виртуальной реальности; разработана методика анализа работы оптической системы трекинга, включающая анализ надёжности системы; улучшено качество работы оптической технологии «структурированного света» при восстановлении геометрии сложных объектов. На базе разработанных алгоритмов и методик созданы соответствующие программные модули.

Рис.0.1. Установка BP типа CAVE с устройствами для трекинга

Структура диссертации. Диссертационная работа изложена на 115 страницах, состоит из введения, четырёх глав и заключения, содержит 57 рисунков, б таблиц и список цитируемой литературы, содержащий 11С наименований.

Результаты работы по анализу и улучшению работы 3D сканеров были доложены на конференциях VEonPC (Virtual Environment on PC clusters), Москва - Ханты-Мансийск 2003, "Digitization and Chinese cultural heritage", Сиань 2005 и приняты к опубликованию в журнале "Автометрия" [4,6,13].

Благодарности

Я благодарю моего научного руководителя, доктора физико-математических наук, профессора Станиславу Владимировичу Клименко за помощь и поддержку в течение всей работы над диссертацией. Я благодарен сотруднику Института физико-технической информатики Игорю Никитину и сотруднику Фраунгоферовского Института меди-акоммуникаций Марине Колесник за полезные советы и помощь в разрешении технических вопросов.

Эта работа была частично поддержана Российским Фондом Фундаментальных Исследований (гранты РФФИ 02-07-90363, 05-07-90382).

1 октября 2006г.

Заключение

В данной работе были даны описания различных типов крупномасштабных установок виртуальной реальности, необходимого для их работы программного обеспечения и приведены примеры их использования. Было показано, что некоторые из этих установок могут быть построены из недорогих компонент и вполне доступны научно-исследовательским институтам и университетам. Был дан обзор систем трекинга'й представлена основные задачи и проблемы таких систем. Была описана созданная автором система инфракрасного трекинга реального времени. Дан обзор устройств, позволяющих получать геометрию объектов и описаны методы работы с одним из этих устройств, позволяющие улучшить качество реконструкции.

Автором решены следующие задачи:

• Разработан метод реконструкции трехмерных координат с помощью нескольких камер на основе модели проективного преобразования декартовых координат.

• Созданы алгоритмы, сделанные на основе вышеуказанного метода реконструкции, позволяющие одновременно реконструировать и передавать трехмерные координаты нескольких источников света и реализованные в программном" комплексе «Трекинг».: -i- 2?-;'

• Разработана методика исследования параметров оптических систем трекинга; методика анализа и критерий надежности системы.

• Разработан метод улучшения оптической технологии реконструкции "структурированного света" на основе модели стерео реконструкции и компенсации оптических искажений.

Помимо этого, автор принимал участие:

• в создании и разработке установки виртуальной реальности низкой стоимости:

• в создании приложений для установок виртуальной реальности.

Исходные коды программного обеспечения, написанного на языке программирования С—г, составляют примерно 10.000 строк.

Созданная автором система трекинга была интегрирована с установкой виртуального окружения VEonPC, установленной в Институте физико-технической информатики в г. Москве, а также с установкой типа CAVE Фраунгоферовского Института медиакоммуникации в г. Бонне, (рис.1, рис.1.6).

Разработанные автором методы позволяют достигать высоких характеристик системы трекинга при использовании недорого аппаратного обеспечения, а удобные беспроводные устройства для трекинга позволяют пользователям лучше сконцентрироваться на самих приложениях виртуальной реальности.

Система трекинга в работе была продемонстрирована на международной конференции ECCV (European Conference on Computer Vision) 2004 в Праге и представлена в виде печатных работ и докладов на ряде конференций и в журналах [2,3,5,7,10,13]. Некоторые результаты упоминались в учебном курсе "Введение в обработку изображений и компьютерное видение" ("Introduction to the Image Processing and Computer Vision"), читавшемся в международном центре информационных технологий BIT (Bonn-Aachen Information Center), а также использовались в европейском проекте HUMODAN [11,12,53].

1. Иванов Вяч. Be. Нечет и -чет. Асимметрия мозга и динамика знаковых систем / Избранные труды по семиотике и истории культуры. Том I. — М.: "Языки русской культуры", 1999.

2. Спрингер С., Дейч Г. Левый мозг, правый мозг. — М.: Мир, 1983.

3. А. Ваганов, Интервью с С. Кареловым, НГ-Наука, N06 от 20 июня 2001 года.

4. Н.А. Валюс. Стереоскопия. Изд. АН СССР, М., 1962.

5. Н. Tramberend, Avocado: A Distributed Virtual Reality Framework, Proc. of the IEEE Virtual Reality, 1999.

6. J. Rohlf and J. Helman. IRIS Performer: A High Perfomance Multiprocessing Toolkit for Real Time 3D Graphic. In A. Glassner, editor. Proceedings of SIGGRAF '94, 1994.

7. J. Wernecke, Open Inventor Architecture Group, The Inventor Mentor: Programming Object-Oriented 3D Graphics with Open Inventor, Release 2, Addison-Wesley, Reading, Massachusetts, 1994:

8. J. Wernecke, Open Inventor Architecture Group, The Inventor Toolmaker: Extending Open Inventor, Release 2, Addison-Wesley, Reading, Massachusetts, 1994.

9. R. Carey and G. Bell. The VRML 2.0 Annotated Reference Manual. Addison-Wesley, Reading, MA, USA. Jan.1997.

10. Silicon Graphics Inc. OpenGL Optimizer Programmer's Guide. Technical . Report, 1998.

11. D. S. Staneker, A first step towards occlusion culling in OpenSG PLUS, in Proc. of the 1st OpenSG Symposium, 2002.

12. D. Bartz et al, Jupiter: A Toolkit for Interactive Large Model Visualization, Proc. of Symposium on Parallel and Large Data Visualization and Graphics, 2001.

13. I. McDowall, M. Bolas, Revieweing Single and Multiple Viewer Stereo with DLP Projectors, Proc. of 7th Annual Symposium on Immersion Projection Technologies', IPT 2002, Orlando, Florida, USA, 2002.

14. TAN Infitec™ Stereo Viewing, страница компании TAN:http://www.tan.de/english/prod/inf itec.html

15. Polhemus Company, страница компании Polhemus: http://www.polhemus.com/

16. Ascension Technology Corporation, страница компании Ascension Technology Corporation: http://www.ascension-tech.com/

17. FakeSpace Inc., страница компании FakeSpace:http://www.fakespacesystems.com/

18. Iscan Inc., страница компании Iscan: http://www.iscaninc.com/

19. Northern Digital, страница компании Northern Digital:http://www.ndigital.com/

20. Origin Instruments, страница компании Origin Instruments:http://orin.com/index.htm33. 3rdTech, страница компании 3rdTech http://www.3rdtech.com/

21. Intersense, страница компании Intersense http://www.intersense.com/

22. Laipac страница компании Laipac http://www.iaipac.com/

23. Joanneum Research, страница компании .Joanneum Research:http://www.joanneum.ac.at/

24. J. S. Lipscomb, W. L. Wooten, Reducing crosstalk between stereoscopic views, IBM Research Paper,http://www.research.ibm.com/people/l/lipscomb/www-ctalk.html

25. R. K. Dybvig, The Scheme programming language: ANSI Scheme. P T R Prentice-Hall, Englewood Cliffs, NJ 07632, USA, second edition, 1996.

26. A. Mulder. "Human movement tracking technology". Technical report, School of Kinesiology, Simon Fraser University, 1994.

27. C. Youngblut, R. E. Johnson, S. H. Nash, R. A. Wienclaw, and A. W. Craig, "Review of Virtual Environment Interface Technology", Institute for Defense Analysis, 1996.

28. G. Welch, E. Foxlin, "Motion Tracking: no silver bullet, but a respectable arsenal", Computer Graphics and Applications, 2002.

29. Meyer, H. L. Applewhite and F. A. Biocca, "A Survey of Position Trackers", Presence: Teleoperators and Virtual Environments, Vol. 1, No. 2, 1992.

30. К. Dorfmuller and H. Wirth "Real-Time Hand and Head Tracking for Virtual Environments Using Infrared Beacons", Proceedings of First International Workshop on Modeling and Motion Capture Techniques for Virtual Environments, 1998.

31. R. Hartley, A. Zisserman "Multiple view geometry in computer vision", Cambridge university press, 2000.

32. Armangue, J. Salvi and J. Batlle. "A Comparative Review of Camera Calibrating Methods with Accuracy Evaluation". Proceedings of 5th Ibero-American Symposium on Pattern Recognition, 2000.

33. HUMODAN project, страница проекта HUMODAN http://www.humodan.com/

34. J. Weng, P. Cohen, M. Herniou, "Camera Calibration with Distortion Models and Accuracy Evaluation", IEEE Transactions On Pattern Analysis And Machine Intelligence, Vol. 14, No. 10, October 1992.

35. FaJie Li, Q. Zang and R. Klette "Accuracy Improvement in Camera Calibration", Image and Vision Computing, Palmerston North, November 2003.

36. A. Azarbayejani and A. Pentland. June 1995. "Recursive Estimation of Motion, Structure, and Focal Length" IEEE Trans. Pattern Analysis and Machine Intelligence, June 1995.

37. A. Azarbayejani, A. Pentland, Camera self-calibration from one point correspondence (Perceptual Computing Technical Report 341):MIT Media Laboratory, 1995.

38. R. Hartley. Self-calibration from multiple views with a rotating camera. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994.

39. R. Hartley. Euclidean reconstruction from uncalibrated views. In CVPR94, 1994.

40. M. Pollefeys and L. van Gool. Self-calibration from the absolute conic on the plane at ininity. Proc. Computer Analysis of Images and Patterns, 1997.

41. B. Triggs, Autocalibration from planar scenes,ECCV98, 1998.

42. J.-P. Tarel and A. Gagalowicz. Calibration de camera a base d'ellipses. Traitement du Signal, 1995.

43. Heikkila and Silven, A Four-step Camera Calibration Procedure with Implicit Image Correction, CVPR97, 1997.

44. D. C. Brown, Lens Distortion for Close-Range Photogrammetry, Photometric Engineering, Vol. 37, No. 8, 1971.

45. D. C. Brown, Decentering Distortion of Lenses, Photometric Engineering, Vol. 32, No. 3, 1966.

46. Z. Zhang, Flexible Camera Calibration by Viewing a Plane from Unknown Orientations, ICCV99, 1999.

47. W. I. Grossky and L. A. Tamburino. A Unified Approach to the Linear Camera Calibration Problem IEEE Trans. Pattern Anal. Machine Intell. Vol.12,n.7, 1990

48. M. Armstrong, A. Zisserman, and R. Hartley. Euclidean reconstruction from image triplets. Computer Vision — ECCV'96, 1996.

49. T. Moons, L. Van Gool, M. Proesmans, and E Pauwels. Affine reconstruction from perspective image pairs with a relative object-camera translation in between. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996.

50. R. Т. Azuma, Tracking Requirements for Augmented Reality. Communications of the ACM. July 1993.

51. J. Miller, M. Anderson, E. Wenzel, B. McClain "Latency Measurment of A Real-Time Virtual Acoustic Environment Rendering System", ICAD, 2003.

52. R. Tsai code by R. Wilson, страница R. Wilson:http://www-2.cs.emu.edu/af s/cs.emu.edu/user/rgw/www/

53. W. H. Press, B. P. Flannery, S. A. Teukolsky, W.T. Vettering, Numerical Recipes: The Art of Scientific Computing. Cambridge University Press, 1986.

54. E. M. Wenzel, "The role of system latency in multi-sensory virtual displays for space applications", Proc. HCI Intl., New Orleans, LA, August 2001.

55. R. E. Kalman. 1960. "A New Approach to Linear Filtering and Prediction Problems" Transaction of the ASME-Journal of Basic Engineering, March 1960.

56. R. G. Brown and P. Y. C. Hwang. Introduction to Random Signals and Applied Kalman Filtering, 2nd Edition, John Wiley and Sons, Inc. 1992.

57. G. Welch. "SCAAT: Incremental Tracking with Incomplete Information" University of North Carolina at Chapel Hill, doctoral dissertation, 1996.

58. Digital Michelangelo Project, страница проекта Digital Michelangelo:http://graphics.Stanford.edu/proj ects/mich/

59. M. Levoy et al, The Digital Michelangelo Project: 3D scanning of large statues, In Siggraph, ACM Siggraph, 2000.

60. Pieta Project, страница проекта Pieta: http://www.research.ibm.com/pieta/

61. F. Bernardini, J. Mittleman, H. Rushmeier, G. Taubin, J. Wasserman., Studying sculpture with a digital model: Understanding Michelangelo's' Pieta of the Cathedral. SIGGRAPH 98 Application Sketches. Orlando, Florida, July 1998.

62. Eyetronics Company, страница компании Eytronics:http://www.eyetronics.com/

63. Система объединения данных Scanalyze,http://graphics.Stanford.edu/software/scanalyze/

64. G. Turk and M. Levoy. Zippered polygon meshes from range images. In Siggraph 1994, ACM Siggraph, 1994.

65. B. Curless and M. Levoy. A volumetric method for building com-plex models from range images. In Siggraph 1996, ACM Siggraph, 1996.

66. J. Davis, S. Marschner, M. Garr, and M. Levoy, Filling holes in complex surfaces using volumetric diffusion, First International Symposium on 3D Data Processing, Visualization, Transmission, June, 2002.

67. F. Bernardini, I. M. Martin, and H. Rushmeier. High-quality texture reconstruction from multiple scans. Technical report, IBM Research Rep. RC 21656, Feb., 2000.

68. F. Bernardini, J. Mittleman, H. Rushmeier, G. Taubin, Scanning Michelangelo's Florentine Pieta: Making the Results Usable. Eurographics 99, Milan, Italy, September 1999.

69. K. Pulli, Multiview Registration for Large Data Sets, Proc. Second International Conference on 3-D Digital Imaging and Modeling, 1999.

70. M. Garland, P. S. Heckbert, Surface simplification using quadric error metrics, In Siggraph, ACM Siggraph 1997.

71. P. E. Debevec and J. Malik, Recovering High Dynamic Range Radiance Maps from Photographs. In SIGGRAPH 97, August 1997.

72. C. Rocchini, P. Cignoni, C. Montani, P. Pingi and R. Scopignoy, A low cost 3D scanner based on structured light, Eurographics 2001.

73. G. Godin, J.-A. Beraldin, M. Rioux, M. Levoy, L. Cournoyer, F. Blais, An Assessment of Laser Range Measurement of Marble Surfaces, Proc. Fifth Conference on optical 3-D measurement techniques, Vienna University of Technology, Vienna, Austria, 2001

74. Breuckmann, страница компании Breuckmann http://www.breuckmaim.com/

75. Genextech, страница компании Genextech http://www.genextech.com/

76. Gom, страница компании Gom http://www.gom.com/

77. Steinbichler, страница компании Steiiibichler httP://www.steinbichier.de/

78. TC2, страница компании ТС2 http://www.tc2.com/

79. Inspeck, страница компании Inspeck http://www.inspeck.com/

80. Leica-Geosystems, страница компании Leica-Geosystemshttp://hds.leica-geosystems.com/

81. Kl'eon, страница компании Kreon http://www.kreon3d.com/

82. Cyberware, страница компании Cyberware http://www.cyberware.com/

83. Aracor, страница компании Aracor http://www.aracor.com/

84. Faro, страница компании Faro http://www.faro.com/

85. Renishaw, страница компании Renishaw http://www.renishaw.com/

86. Mensi, страница компании Mensi http://www.mensi.com/

87. Brian Curless and Steven Seitz, 3D Photography, ACM Siggraph '00 Course Notes, Course No. 19, August 24th 2000

88. F. Bernardini and H. E. Rushmeier, 3D Model Acquisition, Eurographics 2000, State of the Art Reports Proceedings, Eurographics Association, August 24-25 2000, pp. 41-62.

89. J. Isdale, 3D Scanner Technology Review, August 1998.http: //vr.isdale.com/3DScanners/3DScaimerReview.html