автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка метода трёхмерной реконструкции в системах слежения реального времени для приложений виртуального окружения

УДК 519.688

На правах рукописи

Фурса Максим Владимирович

Исследование и разработка метода трёхмерной реконструкции в системах слежения реального времени для приложений виртуального окружения

Специальность 05.13.11 — математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание учёной степени кандидата физико-математических наук

, г.

л I ?'Л\ ...у-'"1

Москва 2009 1 : •

003469223

Работа выполнена в базовой организации Кафедры системной интеграции Московского физико-технического института (государственного университета) — Институте физико-технической информатики (г.Протвино).

Научный руководитель:

доктор физ.-мат. наук, профессор С.В.Клименко.

Официальные оппоненты:

доктор физ.-мат. наук, профессор

доктор технических наук, профессор

Ведущая организация: Институт системного анализа РАН

Р. Т. Исламов

(Международный центр ядерной безопасности)

С.Д. Кузнецов

(Институт системного программирования РАН)

Защита диссертации состоится « » мая 2009 г. в часов на заседании Диссертационного совета Д.002.087.01 при Институте системного программирования РАН по адресу: 109004, Москва, ул. А. Солженицына (бывшая Б. Коммунистическая), д.25, Институт системного программирования РАН, конференц-зал (комн. 110).

С диссертацией можно ознакомиться в библиотеке Института системного программирования РАН.

Автореферат разослан « » апреля 2009 г.

Учёный секретарь Диссертационного совета кандидат физ.-мат. наук / ■/ " Прохоров С.П.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Данный момент времени характеризуется быстрым ростом производительности компьютеров. Это позволяет использовать компьютеры для совершения быстрых логико-операционных действий и оптимизировать так называемую операционную деятельность человека. Тем не менее, больших успехов в компьютерном оперировании на уровне образов до сих пор достичь не удалось. Но компьютеры могут помочь в этом человеку. Существенно повысить эффективность визуального анализа данных могут системы виртуальной реальности (ВР), называемые также системами виртуального окружения (ВО). Задача таких систем — погрузить исследователя в искусственный мир анализируемой модели и предоставить естественный интуитивный интерфейс для взаимодействия с её элементами. Это становится особенно актуальным сейчас, при быстром росте производимой человеком информации. В настоящее время в мире существует более пятисот крупномасштабных установок виртуальной реальности, которые используются в самых различных областях науки и техники для решения задач как фундаментальных научных дисциплин, так и в узко специализированных прикладных направлениях. Разработку технологий виртуального окружения в силу высокой стоимости компонент о последнего времени могли себе позволить только крупные институты, богатые университеты или лаборатории ведущих мировых компаний. Прогресс в создании доступных компьютеров, графических уско-> ителей и обычных офисных проекторов позволяет разрабатывать до-тупные установки ВР. Естественный интуитивный интерфейс являет-я важной частью любой системы виртуальной реальности. Для созда-ия ощущения полного погружения в виртуальную реальность важной компонентой является система слежения за положением пользователя в становке ВР, а точнее — система слежения за направлением его взгля-а. Такие системы, отслеживающие перемещения и действия пользователя внутри установки ВР и, как правило, позволяющие ему манипули-овать данными, называются системами слежения, или трекинга.

Существуют большое разнообразие таких систем, основанных на раз ных принципах: механические, электромагнитные, оптические, ультрс звуковые. Стоимость самой простой системы слежения довольно вели ка, так как большинство таких систем разрабатывалось для сложны и дорогостоящих установок В Р. Появление доступных систем вирту альной реальности требует разработки также и доступных систем сл жения, которые удовлетворили бы требованиям пользователей такн установок. Использование современных недорогих аппаратных комп нент позволяет это сделать. Оборудование для оптических систем сег дня является доступным и удовлетворяет требованиям пользователей но требует разработки новых методов анализа данных. Преимущество оптических систем является удобство в использовании, так как в такн системах отсутствуют длинные провода, часто мешающие работе. Од нако системы реконструкции положения объектов на основе двух каме широко применяемые сегодня, обладают рядом недостатков. Так напри мер, точность в таких системах ухудшается с увеличением расстояшг до камер, а в случае отсутствия прямой видимости между приемнико и источником отслеживание перемещения становится невозможным. I настоящей работе используются три камеры для анализа возможны решений этих проблем. Система слежения реконструирует в простраи стве положения объектов с помощью триангуляции. В этом смысле I системам слежения близки системы реконструкции формы сложны объектов, называемые ЗО сканеры. Классическое моделирование с по мощью измерительных устройств является очень трудоёмким процес сом и имеет ограниченную точность, что усугубляется сложной формо измеряемых объектов. Поэтому задача автоматизации реконструкцш формы сложных объектов является актуальной. Как и в случае с уста новками ВР, такие сканеры не являются доступными широкому круг пользователей, поэтому появилась необходимость улучшения качеств' работы наиболее доступных устройств и реализующих их программны комплексов.

Главная цель диссертационной работы — разработка и иссле дование оптической системы слежения реального времени и устрой ства манипулирования данными для установок виртуального окруже ния. Для достижения этой цели были поставлены следующие задачи:

• разработать аппаратную платформу системы слежения, включающую устройства интерактивного манипулирования данными;

• разработать метод реконструкции трёхмерных координат многих источников света по их изображениям в нескольких камерах;

• создать алгоритмы на основе вышеуказанного метода и реализовать их в виде программного обеспечения;

• исследовать параметры созданной системы слежения, провести её сравнение с другими аналогичными системами и интегрировать с системой виртуальной реальности.

Научная новизна: В работе предложена оригинальная оптическая система слежения, работающая на основе доступного оборудования и позволяющая отслеживать перемещения объектов в пространстве виртуального окружения.

Важнейшим элементом системы является разработанный автором метод реконструкции трёхмерных координат многих источников света по их изображениям в нескольких камерах, учитывающий локальную точность реконструкции, зависящую от конфигурации камер.

Предложена методика оценки параметров системы, включающая критерий надежности.

Практическая ценность: Созданная автором система слежения была интегрирована с установкой виртуального окружения VEonPC, установленной в Институте физико-технической информатики в г.Москве, а также с установкой типа CAVE Фраунгоферовского института медиа-коммуникаций (Санкт Августин, Германия). Данная система слежения может быть использована многими лабораториями виртуального окружения в разных установках и конфигурациях. Применение доступного оборудования для создания системы позволяет использовать её даже в недорогих установках, что существенно расширяет круг потенциальных пользователей системы. Полученные результаты могут быть полезны разработчикам установок виртуального окружения для создания собственных систем слежения и для их технического анализа с целью сравнения. Кроме того, с помощью разработанного метода реконструкции

было улучшено качество работы оптической технологии «структурного света» при восстановлении формы сложных объектов.

На защиту выносятся следующие основные результаты:

• Метод реконструкции трёхмерных координат с помощью нескольких камер на основе модели проективного преобразования декартовых координат.

• Алгоритмы, созданные на основе вышеуказанного метода реконструкции, позволяющие одновременно реконструировать и передавать трёхмерные координаты нескольких источников света, реализованные в программном комплексе «Трекинг».

• Методика исследования параметров оптических систем слежения; методика анализа и критерий надёжности системы.

Апробация работы. Материал диссертации опубликован в работах [1-13], а также докладывался и обсуждался на научных семинарах в Институте физико-технической информатики (Протвино), в Научно-исследовательском вычислительном центре МГУ (Москва), в Институте медиакоммуникаций (Санкт Августин, Германия) и следующих международных конференциях: «Системы виртуального окружения на кластерах персональных компьютеров» VEonPC 2001 (сентябрь 2001, Протвино — Иркутск, Россия); VEonPC 2002 (сентябрь 2002, Протвино — Санкт Петербург, Россия); VEonPC 2003 (июнь 2003, Москва — Ханты-Мансийск, Россия), The 31 International Conference on computer graphics ACM SIGGRAPH 2004 (август 8-12, 2004, JToc Анжелес, США), «Пространство виртуальной реальности и её приложения в промышленности» ACM SIGGRAPH VRCAI 2004, (июнь 2004, Сингапур). Разработанная система слежения была продемонстрирована на европейской конференции по компьютерному видению ECCV 2004, (май 2004, Прага, Чехия). Некоторые результаты упоминались в учебном курсе «Введение в обработку изображений и компьютерное видение» ("Introduction to the Image Processing and Computer Vision"), читавшемся в международном центре информационных технологий BIT (Bonn-Aachen Information Center), а также использовались в европейском проекте HUMODAN.

Личный вклад автора. Автором исследована и разработана система слежения реального времени, функционирующая на основе созданных автором алгоритмов реконструкции трёхмерных координат многих источников света по их изображениям, сделанным несколькими камерами, и алгоритмов поиска «световых пятен»; разработаны устройства интерактивного взаимодействия со средой виртуальной реальности; разработана методика анализа работы оптической системы слежения, включающая анализ надёжности системы. Разработанный метод реконструкции был использован для улучшения качества работы оптической установки «структурного света» в задаче восстановления формы сложных объектов. На базе разработанных методов и алгоритмов созданы соответствующие программные модули.

Структура диссертации. Диссертационная работа состоит из введения, четырёх глав, заключения и списка цитируемой литературы, содержащего 122 наименования. Основной текст диссертации (без списка литературы) составляет 114 страниц.

СОДЕРЖАНИЕ РАБОТЫ

В первой главе дано описание стереоэффекта, на котором основана работа систем виртуального окружения. Представлены существующие технологии получения стереоэффекта и крупномасштабные системы виртуального окружения, в том числе система, в создании которой автор принимал участие. Описана программная среда, необходимая для создания приложений виртуальных окружений. Показана актуальность разработки новой системы слежения.

В первой части представлены задачи систем виртуального окружения и дано описание их основных элементов. Предназначение виртуальных окружений заключается в том, чтобы обеспечить пользователей или группу пользователей — учёных, инженеров, дизайнеров — виртуальным рабочим пространством, в котором они могут наблюдать, исследовать и создавать в реальном времени необходимые им виртуальные объекты. Большинство виртуальных окружений имеют сходную

аппаратурную конфигурацию. Прежде всего это графический обработчик, то есть специально разработанное для создания стереоскопических изображений программное обеспечение. Следующим обязательным элементом является проекционная система, которая отображает просчитанную сцену на экран. Многоканальная аудио система может способствовать погружению пользователя в виртуальный мир модели. Устройство слежения, измеряющее положение и ориентацию головы пользователя, а также, возможно, руки, указки или других объектов, позволяет графическому обработчику вычислять перспективно правильное изображение для любой точки зрения пользователя, а пользователю предоставляет возможность интерактивной работы с данными. Обязательным элементом являются и специальные очки, необходимые пользователю для восприятия трёхмерного изображения.

Во второй части рассмотрен эффект стерео-восприятия, дано определение электроскопического формата и описаны разные технологии для его создания.

В третьей части произведено детальное описание, сравнение и анализ преимуществ и недостатков различных конфигураций крупномасштабных систем виртуального окружения. Описаны основные проблемы, возникающие при создании таких систем.

В четвёртой части описаны конкретные установки и приведены их технические и функциональные характеристики. В числе прочих систем, описана установка VEonPC, в создании которой автор принимал участие. Это доступная, но весьма эффективная мобильная система виртуального окружения, состоящая из проекционной системы, включающей два LCD или DLP проектора, снабжённых поляризационными фильтрами, специального экрана, обладающего наименьшими деполяризующими свойствами, поляризационных очков, двух графических станции, а также вспомогательного компьютера, используемого для синтеза звуковых эффектов.

Описывается также установка Cyberstage, в создании приложений для которой автор принимал участие. В качестве штатной системы тре-кинга в установке использовалась электромагнитная система Polhemus Fasttrack. Надо заметить, что система была не очень удобна в использовании из-за проводов, идущих от очков и от указки к контрольным

окам, и из-за погрешностей работы системы, усиливающихся по мере аления передатчика от приёмника.

Опыт работы с этими системами позволил автору сформулировать ебования и концепцию новой системы слежения, описанной в следу-щей главе.

В пятой части описана пр<^граммная среда Аванго, обеспечиваю-ая разработчиков приложений виртуального окружения специальны-и функциональными возможностями и концепцией обобществлённого афа сцены, доступного всем процессам, образующим распределённое иложение. Каждый процесс в этой системе обладает локальной коей графа сцены и содержащейся в нем информации о состоянии, ко-рая поддерживается синхронизованной. Разработка таких распреде-"нных приложений особенно необходима для реализации виртуальных ружений на кластерах Linux PC.

0 второй главе введено определение системы слежения, описаны новные параметры систем, рассмотрены существующие системы сле-ения и принципы их работы. Подробно описана разработанная авто-м система слежения. В рамках этого описания представлены матема-ческие модели, использованные автором для реконструкции, модели-вании камер, компенсации искажений и т.д. Дано описание алгорит-

ов, с помощью которых удалось осуществить быструю реконструкцию ложений источников света, а также их поиск на изображении. Пока-на структура созданного автором программного обеспечения. Описа-

1 разработанные автором аппаратные системы — система излучате-й, монтируемая на очки, и указка — используемые в работе системы екинга. В этих устройствах используются инфракрасные светодиоды, именно их позиции реконструирует программное обеспечение.

В первой части представлено понятие «системы трекинга» как си-емы слежения за положением и ориентацией объектов в простран-ве. Описаны основные цели таких систем и требования к ним. Такие стемы позволяют установке ВО рассчитывать перспективно правильна проекции в зависимости от положения пользователя, распределять ук по каналам аудио системы, осуществлять навигацию в виртуаль-ом окружении и т.д. Основными параметрами, с помощью которых ожно оценить качество работы системы слежения, являются точность,

разрешающая способность и скорость реакции системы.

Во второй части приведена классификация существующих систем слежения. Прежде всего они подразделяются на механические, магнитные, неинерционные, оптические, акустические, инерционные. Представляются слабые и сильные места этих технологий. Указаны производители некоторых популярных коммерческих систем слежения и их технические характеристики.

В третьей части говорится о разработанной автором системе слежения. Сначала представляются этапы создания системы: прежде всего это выбор и конфигурирование согласованно работающего аппаратного обеспечения; после этого описываются основные модули и структура программного обеспечения; затем — подготовка модели камеры и математического аппарата, на котором будет базироваться ядро программного обеспечения — реконструкция и компенсация искажений. Следующие этапы — калибровка камер, создание интерфейса к среде разработки приложений виртуальной реальности и измерение параметров созданной системы — рассматриваются в следующей главе. Чтобы уменьшить влияние окружающего освещения на работу системы, был выбран инфракрасный канал и камеры, чувствительные в инфракрасном диапазоне.

мультиплексор

Рис.1. Схема установки трекинга 10

Оптическая система базируется на трёх камерах, снабжённых филь-'трами, уменьшающими поток видимого света. Камеры подключены через мультиплексор к компьютеру (рис.1). Камеры работают в монохромном чересстрочном синхронизованном режиме. Программное обеспечение получает одно изображение сразу с трёх камер, закодированные по каналам RGB. В качестве излучателей были выбраны диоды с длинной волны около 860 нм. На базе диодов автором были созданы устройства для трекинга (рис.2), а именно триггер (устройство с одним Диодом Ti), конструкция для крепления к стерео-очкам, состоящая из трёх диодов Oi, указка, содержащая три диода [Д и телескопическую {трубу. Источником тока для этих устройств служит 9В батарейка, диоды питаются постоянным током, который может варьироваться от 5 ;:о 50 мА в зависимости от условий освещённости. Система трекинга отслеживает перемещения шести диодов одновременно.

Последовательность операций программного обеспечения (ПО), разработанного автором, следующая:

1. прежде всего ПО производит поиск ярких пятен (эллипсов), созданных инфракрасными устройствами;

о3

Рис.2. Устройства для трекинга

2. далее вычисляются координаты центров эллипсов с компенсацией искажений, вносимых объективом камеры;

3. затем производится поиск соответствующих друг другу центров на изображениях с трёх камер;

4. если соответствующие точки найдены хотя бы на двух камерах, производится реконструкция 3D координат этой точки. При этом используется информация о локальной точности реконструкции, зависящей от конфигурации камер;

5. если реконструировано положение всех диодов на очках и указке, то система рассчитывает параметры смещения и вращения этих объектов и передаёт их управляющей программе установки виртуальной реальности.

Тот факт, что камеры работают в чересстрочном режиме в разных условиях освещённости, приводит к тому, что пятна — образы диодов — могут быть размыты или видны нечётко. Поэтому автором был разработан алгоритм, основанный на предсказании положения пятна (что позволяет ускорить поиск, начав его в месте наиболее вероятного появления пятна) и на различных ограничениях, выявленных экспериментальным путём.

Чтобы понять, как работает вычисление неискажённых координат, поиск соответствующих точек и реконструкция, рассмотрим соответствующие математические модели. Автор использовал модель камеры с точечной диафрагмой и искажениями. Проективное преобразование в гомогенных координатах записывается следующим образом: т = РМ, где М — координаты точки в мировой системе координат (X,Y,Z,T)T, 7Ti — координаты образа точки в плоскости изображения камеры (U,V,S)T, а Р — матрица проективного преобразования. Вернуться от гомогенных координат к обычным достаточно просто: координаты точки т будут выглядеть как (u — U/5, v — V/S)T, 5^0. При отсутствии искажений, матрица Р имеет вид:

аи — аисоЬв щ

О ау/вт ( О О

ио 1

Яг Яи Я2 924 $ 934.

[Я 1} =

= в ч]

(1) (2)

где первая матрица отвечает за внутренние параметры камеры: аи и ау — масштабирующие коэффициенты, помноженные на фокусное расстояние камеры, ио и г^о — оптический центр камеры, в — угол между сторонами ячеек камеры. Вторая матрица содержит следующие элементы: Ь — вектор смещения камеры относительно центра координат ий - матрицу вращения камеры. Если определена евклидова система координат и углы а,/3,7 как углы вращения вокруг осей X, У и

Z соответственно по часовой стрелке если смотреть в направлении оси, эта матрица примет такой вид:

Д =

соб /3 соэ 7 соэ /3 вш 7 — эт /3

эт а эт/3 сое 7 — сое а вт 7 вт а эт(3 бш 7 + сое а соэ 7 эта сов/3 сое а эт /? сое 7 + эт а бш 7 соэ а зш /3 э^п 7 + эт а сое 7 сое а соэ /3

Размерность матрицы ф — 3 х 3. Она состоит из векторов размерностью три. Вектор <7 состоит из трех скалярных величин ^4. Основными источниками искажений изображения, получаемого камерой, являются геометрические аберрации (дисторсии) — радиальные и тангенциальные искажения объектива. Наличие дисторсий приводит к изменению линейного увеличения по полю зрения объектива и различному смещению точек снимаемого объекта относительно их идеальных позиций. Расчёты показали, что в нашем случае тангенциальными искажениями можно пренебречь, поэтому во внимание принималось только радиальное искажение. Поправка радиального искажения описывается следующим уравнением:

¿Г(г) = &1Г3 + к2гь 13

где г — радиус, кг — коэффициенты радиального искажения; или в декартовых координатах (и, у):

и = г соэ в, V = г виг в = и(к!Г2 + /г2г4),<5и(г) = у{к\г2 + к2гА)

(5)

(6)

Бели вносить поправки радиального искажения непосредственно в уравнение (1), то оно станет нелинейным. Поэтому, автором были заранее вычислены искажения камеры и соответствующие поправки вносились в величину т. В работе показано, что для того, чтобы реконструировать координаты точки в мировой системе координат, то есть вычислить М по известным тщ—(щ,Уг) и для хотя бы двух камер, нужно решить систему уравнений:

&М - Щ(£гМ = гцф34 - дй4 М - Угд[3М = гадз4 - дт,

(7)

(8)

где г — номер камеры. Это решение выглядит следующим образом:

М = (АТА)~1АТЬ, (9)

где

А =

■ гр гр-

Гп ~ ия1з т т Яг2 - «?й.

,Ь =

34 - Яг14 ViЧm - 9г24

(10)

Это решение верно, если ранг матрицы А — полный. Однако с вычислительной точки зрения правильно решать систему уравнений (7-8) с помощью вспомогательного разложения БУБ с последующей итеративной минимизацией разницы Цт^-т^Ц2, где тщр - проекция найденной в предыдущем шаге точки М, вычисленная по уравнению проективного преобразования. В случае наличия соответствующих точек на изображениях с нескольких камер, можно провести реконструкцию их координат по всем парам камер, после чего усреднить получившийся результат с учётом коэффициента доверия, определяемого локальной точностью и устойчивостью калибровки

Для того, чтобы найти точки, соответствующие друг другу на разных камерах, нужно вычислить так называемые эпиполярные линии. Эпиполярная линия камеры С\ — это проекция луча, соединяющего точку М с её образом тпг на плоскости изображения камеры С\ на плоскость изображения камеры Съ Образ точки М на плоскости изображения камеры Сг теоретически должен лежать на этой линии, однако фактические погрешности приводят к тому, что она лежит рядом с этой линией, но это все равно помогает в поиске. Уравнение этой линии имеет вид:

¿1 = 0?1 - <Э1<32~Ч2) X <Э1<22_1т2, (11)

где и — элементы проективной матрицы в записи (2).

Найдя все точки, программа приписывает их соответствующему устройству (очкам или указке) и, поскольку положение диодов на этих устройствах фиксировано и известно, вычисляет параметры вращения и смещения этих устройств в системе координат установки виртуального окружения и передаёт их приложению.

В третьей главе представлена методика калибровки камер. Описаны основные методы оценки работы системы слежения, представлены разработанные автором методики оценки надёжности и определения задержки оптической системы трекинга. Также приведено описание разработанных автором процедур интеграции системы трекинга с программным комплексом Аванго, описанным в первой главе.

В первой части формулируется задача калибровки камеры, состоящая в вычислении внутренних и внешних параметров камеры в зависимости от модели. Описываются различные методы калибровки. Подробно представляются методы прямого линейного преобразования и Р. Цая, которые использовались автором.

Калибровка камер проводилась в два этапа с помощью калибровочной цели, которая представляла из себя куб с распределёнными внутри него на специальных рёбрах точками с известными координатами. На первом этапе вычислялись внутренние параметры камеры, а именно фокусное расстояние, коэффициент радиального искажения, центр радиального искажения, масштабные коэффициенты. На втором этапе вычислялись внешние параметры камеры — параметры смещения и

вращения. Дело в том, что при каждом изменении положения камеры требуется калибровать камеру заново, хотя меняются только внешние параметры. Но первый этап калибровки не требует повторения при изменении положения камеры и является более сложным и долгим процессом в силу его нелинейности. Поэтому, проделав первый этап калибровки только один раз, при изменении положения камеры можно применять только калибровку по второму методу, сохраняя высокую точность реконструкции.

Во второй части говорится о методах технического анализа системы слежения. Наиболее важными параметрами, характеризующими саму систему слежения, являются точность, устойчивость к ошибкам определения 2Б координат, разрешающая способность, скорость реакции системы и рабочая область. Кроме того, важно сравнить работоспособность систем, использующих три и две камеры.

Точность реконструкции и рабочая область были измерены автором непосредственно. При этом для определения точности измерялось среднеквадратичное отклонение реконструированного расстояния между двумя жестко закрепленными диодами. Точность реконструкции и рабочая область показаны на рис.3.

50 150 250

расстояние, см

Рис.3. Рабочая область (слева) и точность реконструкции (справа)

В работе показано, что зависимость продольной ошибки реконструкции ег от фокусного расстояния /, стереобазы Ь, ошибки определения центров световых пятен ер и расстояния г от отслеживаемого объекта до линии, соединяющей камеры, следующая: ег ~ На большом

и

область рскоксхрук-ции по трем камерам

□

область реконструкции по двум камерам

Р,=150см 0;=200 см 200 см

расстоянии от камер падает разрешение и уменьшается сигнал светоди-одов, в результате чего увеличиваются ошибки реконструкции. Поэтому комфортным расстоянием между пользователем и камерами, является расстояние до двух с половиной метров.

Локальные ошибки реконструкции могут быть оценены с помощью обратного проецирования, то есть вычисления с помощью матрицы проективного преобразования 2Б координат изображений точек на камере по их реконструированным ЗБ координатам. Можно также оценить область неопределенности реконструкции, проецируя условные векторы направлений на плоскости изображения камер и реконстрируя их образы с учетом ошибок в плоскости изображений камер. Разница между оригинальным и реконструированным вектором и будет являться характеристикой области неопределенности.

Определить устойчивость к ошибкам определения 2Х) координат можно двумя способами. Можно вычислить ковариационную матрицу, связывающую ошибки определения 2Б координат с ошибками определения 30 координат дифференцируя уравнение (9) по частным производным. Такая оценка будет приблизительной. Или же можно измерить устойчивость экспериментально, добавив нормально распределенный шум к исходным данным и вычислив выходные данные. Можно разделить исследуемый объем на на объемы небольшого размера, для каждого из которых вычислить средние ошибку и устойчивость реконструкции и использовать эту информацию при окончательной реконструкции, что позволит вовремя заметить критические изменения в настройках системы и увеличить её устойчивость к ошибкам.

Частота обновления системы определялась частотой обновления мультиплексора и составляла около 25 Гц.

Если определить допустимую ошибку реконструкции, можно вычислить отношение успешно реконструированных кадров (то есть таких кадров, где ошибка реконструкции не превышает заданную) к общему количеству кадров. Чем ближе это отношение будет к единице, тем выше будет надёжность системы. Использование трёх камер вместо двух позволяет повысить надёжность системы за счет увеличения её устойчивости к ошибкам. Путём анализа и реконструкции некоторых характерных движений пользователя, было установлено, что у трехкамер-

ной системы существенно меньше количество кадров, где реконструкция невозможна и где ошибка реконструкции превышает допустимую.

Запаздывание системы показывает, насколько быстро система слежения реагирует на действия пользователя. Допустимым значением запаздывания является величина менее 70 мс. Запаздывание, как правило, измеряется при отсутствии фильтрации, так как последнее увеличивает запаздывание, но уменьшает шумы. Общее запаздывание системы складывается из следующих задержек: задержка регистрации сигнала от излучателей камерами, задержка при передаче изображений с камер мультиплексором программному обеспечению, задержка при обработке изображений и реконструкции позиции и ориентации, задержка данных при передаче их по сети пользовательскому приложению. Для измерения задержки автором использовался специально разработанный алгоритм. Триггер со светодиодом соединялся с одним из входов осциллографа через усилитель. С другим входом осциллографа соединялся последовательный порт сервера трекинга, который был запрограммирован на генерацию сигнала при получении реконструированных данных. По разнице между импульсами определялась общая задержка системы, составившая 60 мс. Основной вклад в задержку вносит аппаратная часть: скорость работы затвора камеры (1/100 с ~ 10 мс) и частота обновления мультиплексора (1/25 с ~ 40 мс).

Ошибки обратного проецирования можно вычислить для точек, использованных при калибровке, чтобы убедиться в её качестве. Для хорошей калибровки такая ошибка должна быть существенно меньше одного пикселя.

Показателем точности калибровки камеры является нормализованная ошибка калибровки (НО К или МСЕ):

где аи и ау — масштабирующие коэффициенты, помноженные на фокусное расстояние, {жг»>2/н>2п} — реконструированные, а реальные 3-Б координаты ¡-ой точки (при этом координаты £н>Уп вычисляются как точки пересечения луча обратного проецирования с плоскостью гт{ = 2г). Значения НОК трактуются следующим образом: НОК

(12)

1 говорит о том, что ошибка реконструкции значительно меньше оцифровывающего шума на данном расстоянии; НОК ~ 1 говорит о хорошей калибровке, где остаточные искажения пренебрежимо малы; НОК 1 говорит о плохой калибровке. НОК в наших калибровках был равен 1, что являлось показателем довольно точной калибровки системы. При росте количества калибровочных точек значение НОК может как расти, так и падать, в зависимости от качества калибровочных данных. Если определить точки, вносящие наибольшую ошибку в калибровку и исключить их из неё, то можно улучшить точность калибровки.

Задачу по разработке аналогичной системы трекинга ставили перед собой К.Дорфмюллер и Х.Вирт из Дармштадтского центра компьютерной графики. Их система базировалась на двух аналогичных камерах и инфракрасных светодиодах. Ошибка реконструкции в их системе не превышала 2 см; частота обновления состовляла 23 кадра в секунду. В коммерческой системе трекинга фирмы А.Я.Т. используются четыре камеры высокого разрешения со встроенной обработкой изображений, а также сферические отражающие маркеры. Ошибка реконструкции в такой системе не превышает 1 мм, а частота обновления составляет 60 Гц.

В третьей части говорится о разработанном автором модуле передачи данных от системы слежения системе Аванго, управляющей виртуальным окружением.

В четвёртой главе говорится о применении разработанного метода реконструкции в задаче создания точных ЗБ моделей сложных реальных объектов.

Прежде всего приводится обзор существующих технологий так называемого ЗБ-сканирования. Рассказывается об одной из таких технологий. Описывается её математическая модель. Рассказывается о применении данной технологии и о проблемах, возникающих при этом. Далее описывается методика, позволяющая улучшить качество работы данного метода на основе описанного выше метода реконструкции.

В первой части формулируется стоявшая перед автором задача, а именно: с помощью доступного метода реконструкции реконструировать мраморные статуи, созданные скульптором Бернини и установленные в Риме, и создать их модели для использования в установках

виртуального окружения.

Далее описываются различные методы трёхмерного сканирования, приводится классификация таких методов. Подробно представляются оптические методы реконструкции, как наиболее простые и доступные в использовании. Описываются аналогичные проекты и технологии, использованные в них.

В следующей части рассматривается математическая модель, на которой основан принцип работы оптических систем сканирования.

Далее говорится о выбранной методике сканирования, о применении её и о проблемах, возникающих при этом. В качестве базового продукта использовался продукт БЬареСат от компании Еуекотсэ. Этот продукт состоит из камеры и специальной вспышки, установленных, на рамке на расстоянии нескольких десятков сантиметров. Вспышка проецирует специальную сетку, по искажениям которой и производится реконструкция. Процесс сканирования объектов состоит из следующих элементов: установка параметров, калибровка, фотографирование объектов, реконструкция, наложение текстуры, объединение участков объекта в единое целое. Работа продукта ЭЬареСат была неудовлетворительной, поэтому некоторые её элементы потребовали улучшения, а именно: настройки многих изображений должны были быть изменены для лучшего распознавания сетки; автоматическая реконструкция не принимала во внимание оптических искажений камеры, что приводило к накоплению ошибок и невозможности создать замкнутую реконструированную модель. Кроме того, различие поверхностей статуй требовало провести классификацию тесктур. Для классификации текстур и улучшения качества изображений были созданы специальные программы на базе графической обработки и анализа изображений, позволяющие оптимизировать этот процесс. Для учёта искажений пришлось вычислить зависимость искажений камеры от фокусного расстояния и учесть их при калибровке и реконструкции. Для этого с помощью метода Р. Цая проводилась независимая калибровка камеры, где в качестве 30 координат калибровочной цели использовались её центры эллипсов, а в качестве 20 координат — образы центров эллипсов, найденных на изображении. После того, как камера была откалибрована, требовалось откалибровать вспышку. Для этого по известным 20 координатам уз-

лов сетки и известной калибровочной матрице камеры вычислялись ЗБ координаты узлов сетки. Эти координаты, а так же внутренние 2Б координаты узлов сетки вспышки использовались для калибровки вспышки. После этого, по двум известным матрицам проективного преобразования и осуществлялась реконструкция аналогично решению системы уравнений (7-8) с использованием калибровочных матриц камеры и вспышки. Так как съемка осуществлялась с перекрытием, некоторые участки статуи были видны на нескольких изображениях. На этапе создания окончательной модели использовались такие участки, точность локальной реконструкции которых была максимальна.

Далее в работе приводятся результаты, снабжённые иллюстрациями.

В заключении представлены результаты диссертационной работы:

• Разработан оригинальный метод реконструкции трёхмерных координат с помощью нескольких камер на основе модели проективного преобразования декартовых координат.

• Созданы алгоритмы, сделанные на основе вышеуказанного метода реконструкции, позволяющие одновременно реконструировать и передавать трёхмерные координаты нескольких источников света и реализованные в программном комплексе «Трекинг».

• Разработана методика исследования параметров оптических систем слежения, методика анализа и критерий надёжности системы.

Автор выражает благодарность своему научному руководителю, доктору физико-математических наук, профессору Станиславу Владимировичу Клименко за помощь и поддержку в течение всей работы над диссертацией. Кроме того, автор выражает признательность сотруднику Института физико-технической информатики Игорю Никитину и сотрудникам Фраунгоферовского института медиакоммуника-ций Герольду Веше и Марине Колесник за комментарии и помощь в разрешении технических вопросов.

По теме диссертации опубликованы следующие работы:

[1] Фурса М.В. Реконструкция сложных трехмерных объектов методом структурированного освещения // Автометрия. — 2008, No.l, Т.44, С.118-126. ISSN 0320-7102

[2] Фурса М.В. Система оптического трекинга реального времени для установок виртуального окружения // Электронный журнал «Исследовано в России». - 2006. No.198, С.1859-1867. ISSN 1819-4192

[3] Винтер Г., Гебель М., Кук Р., Фурса М. Реконструкция и визуализация статуй // Труды конференции VEonPC2003, ИФТИ, Протвино. - 2003. - С.71-79, ISBN 5-88835-009-5

[4] Афанасьев В.О., Байгозин Д.А., Батурин Ю.М., Брусенцев П.А., Бугаев A.C., Гебель М., Долговесов Б.С., Жирнов A.A., Клименко C.B., Коломеец Е.В., Фурса М.В. Создание и разработка индуцированной системы виртуального окружения для задач космических исследований // Труды конференции VEonPC2003. ИФТИ, Протвино. - 2003. - С.55-70, ISBN 5-88835-009-5

[5] Афанасьев В.О., Байгозин Д.А., Брусенцев П.А., Батурин Ю.М., Бугаев A.C., Вигер И.Н., Гебель М., Долговесов Б.С., Жирнов A.A., Клименко C.B., Фурса М.В. Системы виртуальной реальности в науке, промышленности и образовании: исследования & разработка & демонстрация // Труды конференции ГазПрома: Ситуационные центры: технологии, проекты, варианты решений, 30 октября 2003

[6] Брусенцев П.А., Клименко C.B., Матвеев C.B., Никитин И.Н., Никитина Л.Д., Фролов П.В., Фурса М.В. Лаборатории виртуального окружения на базе персональных компьютеров: принципы работы и приложения // Труды конференции VEonPC2002. ИФТИ, Протвино. - 2002. - С.1-9, ISBN 5-88835-011-7

[7] Фурса М.В. Система инфракрасного трекинга для приложений виртуального окружения: от идей до прототипа // Труды конфе-

ренщга VEonPC2002. ИФТИ, Протвино. - 2002. - С.85-93, ISBN 5-88835-011-7

[8] Фурса М.В. Система инфракрасного трекинга для приложений виртуального окружения // Труды конференции VEonPC2001. ИФТИ, Протвино. - 2001. - С.115-121, ISBN 5-88835-032-Х

[9] Foursa М., Wesche G. Movement-based interaction and event management in virtual environments with optical tracking systems // Proc. of the 12th International Conference on Human-Computer Interaction (HCII). Lecture Notes in Computer Science. — 2007. Springer Berlin/Heidelberg. - Vol.4552/2007, pp.615-624. ISBN 9783-540-73108-5

0] Foursa M., Wesche G. Interaction and Event Management with Optical Tracking Systems // Proc. of the 3d International Conference on Digitization and Chinese Cultural Heritage, Oct. 14-17. — 2005. Xi'an, China — pp.65-77

1] Perales F., Buades J,, Mas R., Varona X., Gonzalez M., Suescun A., Aguinaga I., Foursa M., Zissis G., Touman M., Mendoza R. A New Human Motion Analysis System Using Biomechanics 3D models // International Conference on Computer Graphics and Interactive Techniques. - 2004. ACM New York, NY, USA. - p. 83. ISBN 158113-896-2

2] Foursa M. Real-time infrared tracking system for Virtual Environments // Proc. of the 2004 ACM SIGGRAPH international conference on Virtual Reality continuum and its applications in industry (VRCAI). - 2004. ACM New York, NY, USA. -pp.427-430. ISBN 1-58113-884-9

3] Foursa M. A Real-Time Infrared Tracking System for Virtual Environments // ERCIM News. - 2003. No.53, pp.45-46. ISSN 09264981