автореферат диссертации по инженерной геометрии и компьютерной графике, 05.01.01, диссертация на тему:Интерактивная визуализация 3D-данных на виртуальном глобусе в стереоскопических системах

На правах рукописи

Бобков Александр Евгеньевич

ИНТЕРАКТИВНАЯ ВИЗУАЛИЗАЦИЯ 31)-ДАННЫХ НА ВИРТУАЛЬНОМ ГЛОБУСЕ В СТЕРЕОСКОПИЧЕСКИХ СИСТЕМАХ

05.01.01 - Инженерная геометрия и компьютерная графика

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

31 ОКТ 2013

005536515

Нижний Новгород - 2013

005536515

Работа выполнена в ФГБОУ ВПО «Нижегородский государственный архитектурно-строительный университет»

Научный руководитель

доктор физико-математических наук, старший научный сотрудник Афанасьев Валерий Олегович

Официальные оппоненты:

Косяков Сергей Витальевич, доктор технических наук, профессор, ФГБОУ ВПО «Ивановский государственный энергетический университет», заведующий кафедрой программного обеспечения компьютерных систем Бондарев Александр Евгеньевич кандидат физико-математических наук, Федеральное государственное бюджетное учреждение науки «Институт прикладной математики им. М.В. Келдыша Российской академии наук», старший научный сотрудник

Ведущая организация: федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Нижегородский государственный университет им. Н.И.Лобачевского»

Защита состоится «19» ноября 2013 года в 15-00 на заседании диссертационного совета Д 212.162.09 при ФГБОУ ВПО «Нижегородский государственный архитектурно-строительный университет» по адресу: 603950, г. Нижний Новгород, ул. Ильинская, д. 65, корпус 5, ауд. 202.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Нижегородский государственный архитектурно-строительный университет»

Автореферат разослан «17» октября 2013 г.

Учёный секретарь диссертационного совета

кандидат педагогических наук, доцент

Жилина Н.Д.

Общая характеристика работы

Развитие виртуальных глобусов началось около 10 лет назад. Под виртуальным глобусом понимается трехмерная модель планеты Земля, воссозданная с определенной точностью по спутниковым данным, с интерактивным программным обеспечением, которое позволяет работать с трехмерной моделью Земли, рассматривать её на любых масштабах и визуализировать данные (объекты, модели) с привязкой к географическим координатам. Первые глобусы позволяли просматривать высокодетализированные спутниковые снимки, наложенные на трехмерный рельеф. Последние годы растет интерес к использованию виртуальных глобусов для более практических задач визуализации и анализа различных типов данных на глобусе. Во-первых, появились спутниковые данные высокого разрешения, цифровая модель рельефа почти всей Земли в свободном доступе (SRTM). Во-вторых, широкое распространение получил интернет, что позволило хранить большие объемы спутниковых данных на удаленных серверах. Видеокарты позволили интерактивно отображать трехмерный рельеф, высокодетализированную спутниковую подложку и дополнительные эффекш вроде атмосферного рассеяния. Основные области применения: геоинформационные системы (ГИС), системы автоматизированного проектирования и исследования процессов, компьютерные игры и т.п.

Таким образом, виртуальный глобус является мощным инструментом для специалистов разных областей, которым требуется визуализация данных в географическом контексте. Виртуальный глобус может стать единой платформой для визуализации всех типов данных с географической привязкой. Для этого необходимо разрабатывать методы визуализации указанных данных, методы взаимодействия и управления данными в

трехмерном пространстве.

В отечественной науке существенный вклад в развитие теоретических основ и практических решений в области геометрического моделирования и визуализации внесен научными школами Бондарева А.Е., Васина Ю.Г., Галакгионова В.А., Дебелова В.А., Денискина ЮЛ, Долговесова Б.С., Желтова С.Ю., Журкина И.Г., Кеткова Ю.Л., Кучуганова В.Н., Никитина И.Н., Роткова С.И., Сурина А.И., Толока A.B., Турлапова В.Е., Утробина В.А. и ряда других исследователей.

Актуальность работы обусловлена тем, что, не смотря на существование в настоящее время большого количество реализаций различных алгоритмов генерации и визуализации виртуального глобуса (включая атмосферу), визуализации ЗО-данных на глобусе (31>модели, векторные наложения на рельеф) и др., пока остаются нерешёнными задачи визуализации полупрозрачной поверхности на глобусе, визуализации облаков точек и объемных данных на глобусе, необходимые для создания программных систем визуализации научных данных (в частности, подземных геофизических данных), данных лазерного сканирования и других видов данных, которые появляются в настоящее время как следствие использования новых методов и аппаратуры зондирования.

Цель диссертационной работ состоит в создании алгоритмического и программного обеспечения формирования и визуализации пространственной географической информации.

Для достижения поставленной цели необходимо было решить следующие задачи:

• разработать способ визуализации глобуса с полупрозрачной поверхностью с возможностью как надземного, так и подземного просмотра;

• разработать алгоритмы визуализации облаков точек и объемных данных с учетом особенностей виртуального глобуса и виртуального окружения;

• разработать программный комплекс для стереоскопической визуализации данных на виртуальном глобусе, проектирования, конструирования в общегеографическом контексте.

Научная новизна:

1. Разработан новый способ визуализации виртуального глобуса, который позволяет, благодаря полупрозрачной поверхности, визуализировать ЗБ-объекты под поверхностью глобуса и обеспечить отсутствие графических артефактов, связанных с полупрозрачностью, и возможность как надземного, так и подземного просмотра.

2. Разработан новый алгоритм визуализации облаков точек, характерной особенность которого является использование географических координат, возможность работы с облаками точек любого

размера и динамическая фильтрация точек на графическом процессоре по заданным критериям.

3. Разработан новый алгоритм визуализации объемных данных на виртуальном глобусе, который работает с данными в географической системе координат и при визуализации учитывает форму глобуса.

Практическая значимость.

Результаты работы были использованы для создания интерактивного научно-популярного приложения «Виртуальная Долина гейзеров», которое было внедрено и используется в музее Кроноцкого государственного природного биосферного заповедника.

Результаты работы были использованы для реалистичной визуализации горнолыжных трасс для горнолыжного тренажера в Московском физико-техническом институте. Диссертант является соавтором статьи по горнолыжному тренажеру, которая была доложена на конференции Cyberworlds 2011 и получила награду Best Paper Award.

Результаты работы также внедрены в Институте проблем безопасного развития атомной энергетики Российской академии наук, Всероссийском научно-исследовательском институте по эксплуатации атомных электростанций, Институте истории естествознания и техники Российской академии наук, Институте физико-технической информатики.

Основные положения, выносимые на защиту:

1. Способ визуализации виртуального глобуса с полупрозрачной поверхностью рельефа, который обеспечивает как надземный, так и подземный просмотр геометрических объектов под поверхностью глобуса и устраняет графические артефакты, вызванные перекрытием слоев рельефа и вспомогательной геометрии.

2. Алгоритм визуализации облаков точек на глобусе с уровнями детализации, учетом формы глобуса, контролем плотности точек на экране и фильтрации по заданным критериям на графическом процессоре.

3. Алгоритм визуализации объемных данных, заданных в географической системе координат и учитывающий форму глобуса.

Достоверность изложенных в работе результатов обеспечивается корректным применением аппарата компьютерной геометрии и графики, подтверждена экспериментальным тестированием алгоритмов и программ, результатами опытной эксплуатации разработанных программных средств.

Апробация работы.

Основные результаты диссертации докладывались на следующих конференциях: международных конференциях MEDIAS 2010, MEDIAS 2011, MEDIAS 2012 (г. Лимассол, Республика Кипр), Графиков 2010 (г. Санкт-Петербург), Графикон 2012 (г. Москва), «Ситуационные центры и информационно-аналитические системы класса 4i» (2011, г. Москва), на 53й научной конференции МФТИ (2010, г. Долгопрудный), на 54-й научной конференции МФТИ (2011, г. Долгопрудный), на 3-й научно-технической конференции «Проблемы комплексного геофизического мониторинга Дальнего Востока России» (2011, г. Петропавловск-Камчатский).

Результаты работы демонстрируются посетителям Постоянно действующей выставки достижений РАН. В августе 2012 результаты работы были представлены участникам 33-й Генеральной ассамблеи Европейской сейсмологической комиссии и были высоко оценены ими.

Работа велась в том числе в рамках грантов РФФИ 12-07-31043 мол_а, 10-07-00407-а.

Публикации. Основные результаты по теме диссертации изложены в 12 научных работах, 4 из которых опубликованы в изданиях, рекомендованных ВАК Минобрнауки России.

Структура и объем диссертации

Диссертация состоит из оглавления, введения, 4 глав, основных результатов и выводов, заключения, приложений, словаря терминов, библиографии. Общий объем диссертации 143 страницы, включая 70 рисунков, библиографический список из 144 наименований на 12 страницах, 4 приложения.

Содержание работы

Во введении обоснована актуальность темы диссертационной работы, сформулирована цель и задачи, раскрыты научная новизна и практическая значимость, представлены выносимые на защиту научные положения, кратко изложено содержание работы по главам.

В первой главе представлен обзор современных методов, применяемых для построения и визуализации виртуальных глобусов и географической визуализации.

Приводятся источники данных, которые можно использовать для построения виртуального глобуса: спутниковые снимки, цифровые модели

рельефа, источники векторных данных. Приводятся основные форматы хранения и протоколы передачи геоданных. Делается обзор и сравнение подходов к генерации трехмерного рельефа: регулярные, нерегулярные сетки, geometry clipmap, уровни детализации, квадродерево. Рассматриваются их модификации для случая глобуса и варианты разбиения поверхности глобуса на плитки.

Рассматриваются технические сложности и особенности визуализации виртуального глобуса: точность координат типа float, которая приводит к эффекту дрожания (jitteringУ, падение разрешающей способности буфера глубины из-за большого разброса между ближней и дальней плоскостями отсечения; учет эллипсоидной формы Земли; необходимость работы с большими объемами данных дистанционного

зондирования Земли.

Вводятся основные понятия, связанные с виртуальным глобусом: системы координат, эллипсоид, датум, геоцентрическая и геодезическая нормали.

Делается вывод о том, что при переносе алгоритмов визуализации из обычного рельефа на виртуальный глобус необходимо учитывать, что нормаль к поверхности уже не является константой и отличается от точки к точке.

Геодезическая нормаль вычисляется по формуле:

- rXs т ~ V'b^'c2''

_ т

где Щ - вектор нормали, т - вспомогательный вектор, (а, Ь, с) - радиусы эллипсоида, (х& ys, - точка на поверхности эллипсоида.

Вторая глава посвящена технологиям визуализации и различным режимам рендеринга глобуса. В ней предложен способ визуализации глобуса с полупрозрачной поверхностью (рис. 1).

В зависимости от потребностей отрасли науки, в которой используется виртуальный глобус, дерево плиток рельефа можно отображать на экране по-разному: модифицировать саму геометрию (растяжение по высоте), раскрашивать с помощью палитры цветов (по высоте, по крутизне склона рельефа и т.д.), смешивать несколько текстур, модифицировать цвет текстуры (учитывать освещение, атмосферное рассеяние).

Рис. 1. Пример полупрозрачной поверхности глобуса с ЗП данными эпицентров землетрясений в камчатском регионе за. 50 лет до 700 км по глубине (по данным КФ ГС РАН)

Для просмотра подземных объектов (например, в геофизике) необходимо сделать поверхность глобуса полупрозрачной. Традиционный подход к прозрачности в случае глобуса приводит к ряду графических артефактов, связанных с порядком рендеринга разных объектов: просвечивают «юбки» плиток рельефа, просвечивает атмосфера, подземные объекты у дальней и ближней сторон глобуса визуально смешиваются.

Предлагается способ визуализации глобуса, который устраняет эти артефакты с помощью двухпроходного рендеринга:

• строится концентрическая сфера внутри глобуса, которая должна закрыть объекты у дальней стороны глобуса;

• строятся подземные объекты;

• производится отрисовка глобуса с отключенной записью в буфер цвета (при этом заполняется буфер глубины);

• производится отрисовка глобуса второй раз с записью в буфер цвета при условии, что глубина фрагмента равна глубине, сохраненной в буфере глубины. Дополнительно формируется маска в буфере трафарета;

• рисуются звезды, Солнце, Луна и атмосфера с отключенным тестом глубины, но с отсечением по маске в буфере трафарета;

• строятся все остальные объекты сцены.

Последовательность шагов представлена на рис. 2.

с с с

с

Концентрическая сфера внутри глобуса

Подеенные объекты

Рельеф 1й проход

Рельеф 2й проход

>1

>

>1

Буфер цвета

Буфер глубины

Буфер цвета

Буфер глубины

Буфер глубины

Буфер цвета

Буфер глубины (только тест)

Буфер трафарета (только запись)

С Атмосфера, Солнце, Луна, заезы

Буфер цвета

Буфер трафарета (только тест)

С

Надземные объекты

>1

Буфер цвета

Буфер глубины

Рис. 2. Предлагаемый порядок рендеринга для полупрозрачного рельефа

При визуализации глобуса важно уменьшить разброс между ближней и дальней плоскостями отсечения. На этот разброс может сильно влиять вспомогательная геометрия для визуализации атмосферы. Поэтому она отрисовывается отдельно после рельефа с отключенной записью в буфер глубины с помощью маски из буфера трафарета.

Дополнительно рассматривается случай, когда камера находится под поверхностью рельефа. В этом случае предложенный способ работает с рядом модификаций: необходимо переключить режим отбрасывания граней поверхности рельефа с обратных на лицевые, отключить отрисовку

«юбок» плиток рельефа и атмосферы.

Третья глава посвящена визуализации данных на глобусе.

Рассматриваются облака точек и объемные данные.

Облака точек - один из самых простых типов данных. Современные видеокарты позволяют рендерить миллионы точек с интерактивной частотой кадров. Однако при обычной визуализации облако точек на экране превращается в «кашу». Использование стереоскопической визуализации позволяет визуально разделить ближние и дальние точки.

Стереовизуализация - мощный инструмент визуального анализа облаков точек.

Один из источников облаков точек - лазерное сканирование. Оно позволяет получать облака для зданий и любых объектов. Каждое такое облако может иметь 50-100 миллионов точек. С помощью лазерного сканирования можно получать облака точек для ЗБ-моделей целых городов.

Для визуализации таких облаков точек разработан алгоритм, который основан на использовании древовидной структуры данных для изменения детализации видимой части облака точек на экране. Древовидная структура данных является смесью квадро- и октодеревьев. В случае квадродерева вся область рекурсивно разбивается на 4 ячейки. В случае октодерева — на 8 ячеек. Все точки в рамках одной ячейки объединяются в массив вершин и рассматриваются как один геометрический элемент.

Последовательность шагов для построения дерева элементов:

0. Предварительный этап: координаты точек преобразуются из декартовой в географическую систему координат, и точки из всех облаков точек (если их несколько) объединяются в единое облако точек.

1. Вычисление корневого ограничивающего бокса: все точки перебираются для определения минимальных и максимальных значений координат по 3-м осям (rminи гтах).

2. Первичное построение дерева: производится рекурсивное разбиение пространства географических координат сначала на 4 ячейки (по долготе и широте), затем на 8 ячеек (дополнительно по разбиение по высоте). Разбиение продолжается пока в каждой ячейки будет не больше чем Nt точек. В конце этого шага все точки будут находиться в листовых узлах дерева.

3. Перераспределение точек в дереве: точки поднимаются с нижних узлов дерева в верхние (путём случайного выбора), пока в каждом промежуточном узле не станет N2 точек.

4. Формирование геометрических элементов: вычисляется центр облака точек для каждого узла дерева. Координаты всех точек узла преобразуются из географической в локальную декартову систему координат данного узла. Это позволяет избежать эффекта «дрожания» (jittering), связанного с недостаточной точностью типа float при работе с виртуальным глобусом. Все точки узла помещаются в массив вершин.

5. Вычисление расстояния видимости узла:

где Я - радиус ограничивающей сферы, М - число точек в узле, арх -угловой размер пикселя экрана.

Если камера находится на расстоянии (1 от центра узла, то его необходимо отобразить на экране. Это позволяет контролировать визуальную плотность точек на экране и динамически ее менять.

Для динамического расчета визуальных параметров точек (цвет, размер) на основе атрибутивных данных, а также динамической фильтрации точек на основе заданных критериев генерируется вершинный шейдер.

Пример визуализации облака точек на трехмерном рельефе виртуального глобуса приведен на рис. 3.

Объемные данные представляют собой трехмерную матрицу значений, в ячейках которой записана плотность. Традиционно такие данные получают в медицине методом томографии. Данные содержатся в параллельном параллелепипеде в декартовой системе координат.

Рис. 3. Облако точек лазерного сканирования Денисовой пещеры на Алтае (по данным ИИЕТ РАН)

В случае виртуального глобуса объемные данные описывают характеристики земной коры. Данные получаются в результате

распространение сейсмических волн (сейсмотомография). Отличием является то, что данные находятся в географической системе координат. Для отрисовки их на экране необходимо преобразование в декартову систему координат.

Прямоугольный параллелепипед в географических координат превращается в фигуру сложной формы в декартовых координатах.

Если объем касается небольшой площади территории на глобусе, то можно считать поверхность земли локально плоской и использовать традиционный метод отрисовки.

Но если объем покрывает большую площадь, то необходима модификация метода прямого объемного рендеринга.

Различают прямой объемный рендеринг и алгоритм Marching cubes. Прямой объемный рендеринг основан на вычислении количества света, которое попадает в наш глаз в результате прохода через объем. Задается передаточная функция (transfer function), которая ставит в соответствие плотности цвет (RGB) и прозрачность (А). Для расчета цвета каждого пикселя через равные интервалы вдоль луча считывается значение плотности, преобразуется в цвет и смешивается по следующей формуле.

С[ = AiQ + (1 - Л}Сг+1>

где С; и At - цвет и прозрачность в точке объема, i, С' - накопленный цвет. Суммирование ведется от п — 1 до 0.

Предлагается 2-хпроходной алгоритм рендеринга объемных данных на виртуальном глобусе, который является модификацией оригинального алгоритма прямого объемного рендеринга:

• сначала генерируется полигональная поверхность объёма с заданным уровнем приближения к поверхности эллипсоида (рис. 4). Далее эта поверхность отрисовывается в два прохода;

• во время первого прохода происходит отрисовка в текстуру задней части поверхности. Текстура имеет формат RGB и содержит числа с плавающей точкой. В текстуру записываются декартовы координаты фрагментов задней части поверхности;

• во время второго прохода отрисовывается уже передняя часть поверхности объёма. Вычисляются декартовы координаты фрагмента, которые являются координатами точки входа луча в объем. Также во фрагментный шейдер передается текстура, полученная во время первого

прохода. Из нее берутся декартовы координаты точки выхода луча из объема;

• зная координаты точки входа луча и точки выхода луча, производится проход вдоль луча с заданным шагом и получение декартовых координаты промежуточных точек;

• декартовы координаты каждой из промежуточных точек преобразуются в географические координаты с помощью формул, которые обеспечивают точность в 1 см для высот меньше 1 ООО км;

« зная географические координаты, вычисляются текстурные координаты в объеме и задача сводится к оригинальному алгоритму прямого объемного рендеринга.

О

Камера

На рис. 5 приведен пример использования объемного рендеринга для данных сейсмотомографии.

Рис. 5. Визуализация результатов сейсмической томографии в восточной части Евразии, по данньм д.г.-м.н. И.Ю. Кулакова (ИНГГ СО РАН)

Четвертая глава посвящена способам взаимодействия пользователя с глобусом и данными на глобусе в виртуальном окружении. В ней описан программный комплекс, который реализует эти способы и разработанные алгоритмы визуализации данных из первых трех глав.

Программный комплекс использует в своей работе различные сторонние библиотеки. Диаграмма зависимостей между используемыми библиотеками показана на рис. 6.

Рис. 6. Схема зависимостей от сторонних библиотек

В основе комплекса лежит графический инструментарий OpenSceneGraph, который является надстройкой над OpenGL. Генерация плиток рельефа виртуального глобуса осуществляется с помощью инструментария osgEarth. Графический интерфейс пользователя реализован с помощью инструментария Qt. Kinect SDK служит для организации трекинга головы с помощью сенсора Kinect. Directlnput используется для управления от джойстка.

Программный комплекс использует модульную архитектуру. Имеется ядро, которое отвечает за базовую функциональность: создание каркаса, инициализацию графического окна и графического интерфейса пользователя, управление режимами визуализации глобуса, навигацию по глобусу. Основные классы ядра показаны на рис, 7. ,

MainWindow .

I aserPolnter

MapNode

VlewManager

SceneRoot

■ т ~

V

SkyNode

SpaceNavDevice -

z> View

z

CameraManipulator

К

It

О Stereo Viewer

V 1. .2

EarthManager Picker Camera

---1- i "

KinectAdapter

Graphic!,Context

Device

1 rirstPersonEarthManlpulator TrackballEarth Manipulator

Рис. 7. Основные классы ядра программного комплекса

Каркас программного комплекса задают классы инструментариев OpenSceneGraph, osgEarth и Qt. Эти классы были модифицированы, дополнены и добавлены новые классы. Комплекс позволяет работать с несколькими независимыми трехмерными сценами параллельно. Класс View управляет визуализацией одной трехмерной сценой. Он включает одну или несколько (в случае стерео-режима) виртуальных камер (класс Camera). С каждой камерой связан графический контекст (класс GraphicsContext), в который и происходит отрисовка. Класс StereoViewer хранит все экземпляры View, позволяет их создавать и настраивать стерео-режимы. Для трекинга головы с помощью сенсора Kinect он обращается к классу Kinect Adapter.

Класс ViewManager занимается настройкой, высокоуровневым управлением трехмерной сценой и содержит ряд инструментов для работы со сценой. Picker - позволяет взаимодействовать с объектами сцены с помощью инструмента «виртуальная лазерная указка», LaserPointer -рисует луч указки, SceneRoot - настраивает графические эффекты, EarthManager - управляет режимами визуализации глобуса (класс MapNode) и атмосферы (класс SkyNode).

Для навигации используются несколько классов, производных от CameraManipulator. Разные: классы реализуют разные режимы навигации. Они могут использовать данные от устройств ввода (класс Device), таких как джойстик SpaceNavigator (класс SpaceNavDevice).

Для управления трехмерной сценой через графический интерфейс используется класс Main Window, производный от QMain Window.

Программный комплекс предназначен для визуализации и взаимодействия с ЗО-данными на глобусе в виртуальном окружении. В нем реализованы три основных направления:

1. Поддержаны различные стерео-режимы, совместимые с современным оборудованием. Настройки сте]эеоэффекта динамически подстраиваются в зависимости от высоты камер над глобусом, что позволяет воспринимать объем как глобуса целиком из космоса, так и отдельных небольших объектов на поверхности глобуса.

2. Поддержаны различные режимы навигации, которые позволяет в разных задачах по-разному осматривать интересующие ЗО-данные на глобусе.

3. Поддержаны различные способы взаимодействия с данными как через графический интерфейс пользователя (с учетом особенностей, возникающих при стереовизуализации), так и с помощью инструмента «виртуальная лазерная указка», который заменяет мышь при работе в стерео-режиме.

Результаты четвертой главы были использованы при разработке горнолыжного тренажера.

В заключении приведены основные результаты работы и выводы:

1. Разработан способ визуализации виртуального глобуса с полупрозрачной поверхностью рельефа, который обеспечивает как надземный, так и подземный просмотр геометрических объектов под поверхностью глобуса и устраняет графические артефакты, вызванные перекрытием слоев рельефа и вспомогательной геометрии.

Предложенный способ можно использовать для решения задач реконструкции зданий и сооружений, в которых проектирование осуществляется на основе облака точек. Способ позволяет анализировать расположение проектируемого объекта относительно соседних зданий и окружающего рельефа, учитывать трассировку подземных коммуникаций и т.д.

2. Разработан алгоритм визуализации облаков точек на глобусе с уровнями детализации, учетом особенностей глобуса, контролем плотности точек на экране и фильтрации по заданным критериям на графическом процессоре.

3. Разработан алгоритм визуализации объемных данных, заданных в географической системе координат, который позволяет осуществлять просмотр данных сейсмотомографии, в том числе производить анимацию изменений во времени. Разработанные алгоритмы визуализации объемных данных и полупрозрачной поверхности глобуса могут быть использованы для представления и исследования процессов в земной коре с помощью данных сейсмотомографии для больших территорий. Источником объемных данных может быть также климатическое моделирование.

4. Разработан программный комплекс, который обеспечивает визуализацию виртуального глобуса, данных и ЗО-объектов на глобусе, взаимодействие с ними в виртуальном окружении на современном оборудовании. Разработанный программный комплекс может использоваться для организации автоматизированного рабочего места. Он обеспечивает удобную навигацию в трехмерном пространстве виртуального глобуса, стереоскопическую визуализацию с учетом разных масштабов, поддержку графического интерфейса пользователя.

Публикации по теме диссертационной работы

Статьи, опубликованные в изданиях, рекомендованных ВАК:

1. Бобков, А. Е. Интерактивное ЗБ-приложение «Виртуальная Долина гейзеров»/ А. А. Алейников, А. Е. Бобков, В. А. Дрознин // Компьютерные инструменты в образовании. - 2011. - №. 4. - С. 41—49.

2. Бобков, А. Е. Виртуальное моделирование территории на основе данных дистанционного зондирования/ А. В. Леонов, А. А. Алейников,

A.Е.Бобков// Известия высших учебных заведений. Геодезия и аэрофотосъёмка. - 2011. — № 2. - С. 46—52.

3. Бобков, А. Е. Устройство для тренировки восприятия виртуального пространства на основе адаптивной оптики/ В. П. Алешин,

B. О. Афанасьев, А. Е. Бобков // Приборы. - 2012. -№ 11. - С. 35-41.

4. Бобков, А. Е. ЗЭ-документирование территории для систем виртуальной реальности/ А. В. Леонов, А. Е.Бобков, Е. Н. Ерёмченко // Вестник компьютерных и информационных технологий. - 2012. - № 9. -

C.13-17.

Статьи в сборниках научных трудов и сборниках конференций:

5. Бобков, А. Е. Разработка инструментария для показа стерео-презентаций из файлов в КМЬ-формате/ А. Е. Бобков, И. П. Казанский,

C.B. Клименко // MEDIAS 2010: тр. междунар. науч. конф. - 2010. - С. 4147.

6. Бобков, А. Е. Разработка инструментария для показа стерео-презентаций из файлов в KML-формате/ А. Е.Бобков, И. П. Казанский, С. В. Клименко // ГрафиКон'2010: тр. 20-Й Междунар. конф. по компьютерной графике и зрению. — СПб., 2010. - С. 285-291.

7. Бобков, А. Е. Возможности ЗО-визуализации для эффективного представления результатов научных исследований/ Д.Е. Белосохов, А.Е.Бобков, А. В. Леонов// Проблемы комплексного геофизического мониторинга Дальнего Востока России: тр. 3-й науч.-техн. конф. -Петропавловск-Камчатский, 2011. — С. 347-351.

8. Бобков, А. Е. ЗО-реконструкция территории Ленинградской атомной электростанции для задач моделирования чрезвычайных ситуаций/ Р. И. Бакин, А. Е.Бобков, С. В. Клименко // Ситуационные центры и информационно-аналитические системы класса 4i. SC-IAS4Í-VRTerro2011: тр. Междунар. науч. конф. - Протвино-М.: Изд-во ИФТИ, 2011.-С.176-184.

9. Бобков, А. Е. Исследование и разработка методов визуализации территорий на виртуальном глобусе/ А. Е. Бобков, С. В. Клименко, А. В. Леонов // MEDIAS 2011: Тр. междунар. науч. конф. - 2011. - С. 33-37.

10. Бобков, А. Визуализация сейсмических данных на виртуальном глобусе/ А. Бобков, А. Леонов, В. Чебров // ГрафиКон'2012: Тр. 22-й Междунар. конф. по компьютерной графике и зрению. - М., 2012. - С. 163168.

11. Bobkov, A. Visual 3d perception of the ski course and visibility factors at virtual space/ A. Bobkov and [oth.] // in Proceedings CW2011 International Conference on Cyberworlds. - Banff, Alberta, Canada, 2011. -PP.222-226.

12. Бобков, A. E. Интерактивная визуализация 3D данных на виртуальном глобусе в стереоскопических системах (по материалам кандидатской диссертации)/ А. Е. Бобков // СРТ2013: тр. Междунар. конф. по физико-технической информатике. - Протвино-М.: Изд-во ИФТИ, 2013. -С. 75-84.

Подписано в печать М,40>13>г- Формат 60x90 1/16 Печать трафаретная. Бумага офсетная. Уел .печ.л. 1,0 Тираж 100 экз. Заказ №321

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Нижегородский государственный архитектурно-строительный университет» 603950, Н.Новгород, Ильинская, 65. Полиграфцентр ННГ АСУ, 603950, Н.Новгород, Ильинская, 65

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Нижегородский государственный архитектурно-строительный университет»

На правах рукописи

О 4 2 014 53376

Бобков Александр Евгеньевич

Интерактивная визуализация ЗВ-данных на виртуальном глобусе в стереоскопических

системах

Специальность 05.01.01 - Инженерная геометрия и компьютерная графика

ДИССЕРТАЦИЯ на соискание учёной степени кандидата технических наук

Научный руководитель: доктор физико-математических наук Афанасьев Валерий Олегович

Нижний Новгород — 2013

СОДЕРЖАНИЕ

ВВЕДЕНИЕ.................................................................................................................4

ГЛАВА 1. Методы построения и визуализации виртуальных глобусов......9

1.1. Прошлое и настоящее виртуальных глобусов.................................................9

1.2. Обзор программных решений и открытых стандартов.................................21

1.3. Генерация рельефа для виртуальных глобусов.............................................26

1.4. Выводы по 1 главе...........................................................................................37

ГЛАВА 2. Визуализация виртуального глобуса.............................................39

2.1. Варианты отображения виртуального глобуса..............................................39

2.2. Полупрозрачная поверхность глобуса...........................................................46

2.3. Применимость для подземных объектов.......................................................58

2.4. Выводы по 2 главе...........................................................................................60

ГЛАВА 3. Визуализация данных на виртуальном глобусе...........................61

3.1. Облака точек....................................................................................................61

3.2. Объемные данные............................................................................................75

3.3. Выводы по 3 главе...........................................................................................82

ГЛАВА 4. Описание программного комплекса..............................................84

4.1. Программный комплекс..................................................................................85

4.2. Стереоскопическая визуализация...................................................................90

4.3. Навигация и взаимодействие..........................................................................96

4.4. Выводы по 4 главе.........................................................................................114

ЗАКЛЮЧЕНИЕ......................................................................................................115

БЛАГОДАРНОСТИ...............................................................................................117

СЛОВАРЬ ТЕРМИНОВ........................................................................................118

СПИСОК ЛИТЕРАТУРЫ....................................................................................119

!

ПРИЛОЖЕНИЕ А. Источники геоданных.....................................................131

ПРИЛОЖЕНИЕ Б. Шейдеры для объемной визуализации.........................134

ПРИЛОЖЕНИЕ В. Расчет стереоэффекта......................................................137

ПРИЛОЖЕНИЕ Г. Аппаратное обеспечение.................................................143

ВВЕДЕНИЕ

Общая характеристика работы

Развитие виртуальных глобусов началось около 10 лет назад. Под виртуальным глобусом понимается трехмерная модель планеты Земля, воссозданная с определенной точностью по спутниковым данным, с интерактивным программным обеспечением, которое позволяет работать с трехмерной моделью Земли, рассматривать её на любых масштабах и визуализировать данные (объекты, модели) с привязкой к географическим координатам. Первые глобусы позволяли просматривать

высокодетализированные спутниковые снимки, наложенные на трехмерный рельеф. Последние годы растет интерес к использованию виртуальных глобусов для более практических задач визуализации и анализа различных типов данных на глобусе. Во-первых, появились спутниковые данные высокого разрешения, цифровая модель рельефа почти всей Земли в свободном доступе (8ЯТМ). Во-вторых, широкое распространение получил интернет, что позволило хранить большие объемы спутниковых данных на удаленных серверах. Видеокарты позволили интерактивно отображать трехмерный рельеф,

высокодетализированную спутниковую подложку и дополнительные эффекты вроде атмосферного рассеяния. Основные области применения: геоинформационные системы (ГИС), системы автоматизированного проектирования и исследования процессов, компьютерные игры и т.п.

Таким образом, в настоящее время виртуальный глобус является мощным инструментом для специалистов разных областей, которым требуется визуализация данных в географическом контексте. Виртуальный глобус может стать единой платформой для визуализации всех типов данных с географической привязкой. Для этого необходимо разрабатывать методы визуализации указанных данных, методы взаимодействия и управления данными в трехмерном пространстве.

В отечественной науке существенный вклад в развитие теоретических основ и практических решений в области геометрического моделирования и визуализации внесен научными школами Бондарева А.Е., Васина Ю.Г., Галактионова В.А., Дебелова ВА., Денискина Ю.И., Долговесова Б.С., Желтова С.Ю., Журкина И.Г., Кеткова Ю.Л., Кучуганова В.Н., Никитина И.Н., Роткова С.И., Сурина А.И., Толока A.B., Турлапова В.Е., Утробина В.А. и ряда других исследователей.

Актуальность работы обусловлена тем, что, не смотря на существование в настоящее время большого количество реализаций различных алгоритмов генерации и визуализации виртуального глобуса (включая атмосферу), визуализации ЗБ-данных на глобусе (ЗБ-модели, векторные наложения на рельеф) и др., пока остаются нерешёнными задачи визуализации полупрозрачной поверхности на глобусе, визуализации облаков точек и объемных данных на глобусе, необходимые для создания программных систем визуализации научных данных (в частности, подземных геофизических данных), данных лазерного сканирования и других видов данных, которые появляются в настоящее время как следствие использования новых методов и аппаратуры зондирования.

Цель диссертационной работы состоит в создании алгоритмического и программного обеспечения формирования и визуализации пространственной географической информации.

Для достижения поставленной цели необходимо было решить следующие задачи:

• разработать способ визуализации глобуса с полупрозрачной поверхностью с возможностью как надземного, так и подземного просмотра;

• разработать алгоритмы визуализации облаков точек и объемных данных с учетом особенностей виртуального глобуса и виртуального окружения;

• разработать программный комплекс для стереоскопической визуализации данных на виртуальном глобусе, проектирования, конструирования в общегеографическом контексте.

Научная новизна:

1. Разработан новый способ визуализации виртуального глобуса, который позволяет, благодаря полупрозрачной поверхности, визуализировать ЗБ-объекты под поверхностью глобуса и обеспечить отсутствие графических артефактов, связанных с полупрозрачностью, и возможность как надземного, так и подземного просмотра.

2. Разработан новый алгоритм визуализации облаков точек, характерной особенность которого является использование географических координат, возможность работы с облаками точек любого размера и динамическая фильтрация точек на графическом процессоре по заданным критериям.

3. Разработан новый алгоритм визуализации объемных данных на виртуальном глобусе, который работает с данными в географической системе координат и при визуализации учитывает форму глобуса.

Практическая значимость.

Результаты работы были использованы для создания интерактивного научно-популярного приложения «Виртуальная Долина гейзеров», которое было внедрено и используется в музее Кроноцкого государственного природного биосферного заповедника.

Результаты работы были использованы для реалистичной визуализации горнолыжных трасс для горнолыжного тренажера в Московском физико-техническом институте. Диссертант является соавтором статьи по горнолыжному тренажеру, которая была доложена на конференции Cyberworlds 2011 и получила награду Best Paper Award.

Результаты работы также внедрены в Институте проблем безопасного развития атомной энергетики Российской академии наук, Всероссийском научно-исследовательском институте по эксплуатации атомных электростанций, Институте истории естествознания и техники Российской академии наук, Институте физико-технической информатики.

Основные положения, выносимые на защиту:

1. Способ визуализации виртуального глобуса с полупрозрачной поверхностью рельефа, который обеспечивает как надземный, так и подземный просмотр геометрических объектов под поверхностью глобуса и устраняет графические артефакты, вызванные перекрытием слоев рельефа и вспомогательной геометрии.

2. Алгоритм визуализации облаков точек на глобусе с уровнями детализации, учетом формы глобуса, контролем плотности точек на экране и фильтрации по заданным критериям на графическом процессоре.

3. Алгоритм визуализации объемных данных, заданных в географической системе координат и учитывающий форму глобуса.

Достоверность изложенных в работе результатов обеспечивается корректным применением аппарата компьютерной геометрии и графики, подтверждена экспериментальным тестированием алгоритмов и программ, результатами опытной эксплуатации разработанных программных средств.

Апробация работы.

Основные результаты диссертации докладывались на следующих конференциях: международных конференциях MEDIAS 2010, MEDIAS 2011, MEDIAS 2012 (2010 г., 2012 г., г. Лимассол, Республика Кипр), Графикон 2010 (2010 г., г. Санкт-Петербург), Графикон 2012 (2012 г., г. Москва), «Ситуационные центры и информационно-аналитические системы класса 4i» (2011 г., г. Москва), на 53-й научной конференции МФТИ (2010 г., г. Долгопрудный), на 54-й научной конференции МФТИ (2011 г., г. Долгопрудный), на 3-й научно-технической конференции «Проблемы комплексного геофизического мониторинга Дальнего Востока России» (2011 г., г. Петропавловск-Камчатский).

Результаты работы демонстрируются посетителям Постоянно действующей выставки достижений РАН. В августе 2012 результаты работы были представлены участникам 33-й Генеральной ассамблеи Европейской сейсмологической комиссии и были высоко оценены ими.

Работа велась в том числе в рамках грантов РФФИ 12-07-31043 мол_а, 10-07-00407-а.

Публикации. Основные результаты по теме диссертации изложены в 12 научных работах, 4 из которых опубликованы в изданиях, рекомендованных ВАК Минобрнауки России.

Структура и объем диссертации

Диссертация состоит из введения, 4 глав, заключения, словаря терминов, библиографии и 4 приложений. Общий объем диссертации 143 страницы, из них 113 страницы текста, включая 70 рисунков. Библиография включает 144 наименований на 12 страницах.

ГЛАВА 1. Методы построения и визуализации виртуальных

глобусов

1.1. Прошлое и настоящее виртуальных глобусов

1.1.1. Географическая визуализация до виртуальных глобусов

Одно из самых важных применений виртуальных глобусов — это географическая визуализация. В статье [13] приводится определение географической визуализации: это применение графического представления данных для облегчения пространственного понимания вещей, понятий, условий, процессов и событий в человеческом мире.

Считается, что одним из первых случаев применения географической визуализации является «холерная карта» Джона Сноу (рис. 1.1). В 1854 Сноу обозначил на карте Лондона случаи заражения холерой и отметил все водяные насосы для подачи питьевой воды. Большинство случаев заражения концентрировались вокруг одного насоса. Сноу использовал карту для подтверждения свой теории, что источником заражения является этот насос [14].

В результате роста научного знания к середине 2 Ого века появилось множество теорий, описывающих геопространственные процессы (геологические, климатические, экономические и антропологические теории), результаты которых необходимо было отображать на географических картах.

В начале 1960-х годов развитие компьютеров привело к появлению первых геоинформационных систем (ГИС) [15].

ГИС — это система для сбора, хранения, анализа и визуализации геопространственных данных и связанных с ними атрибутов. ГИС развивают идею Джона Сноу по наложению на географические карты дополнительных слоев данных с целью их учета и анализа. Первые ГИС развивались с государственной поддержкой (ГИС Канады) и использовались для городского планирования, переписи населения [16].

В начале 1980-х годов начали появляться коммерческие ГИС. Одна из самых известных компаний-разработчиков ГИС ESRI выпустила свой продукт ARC/INFO в 1982 г. ГИС стали доступны широкому кругу пользователей и превратились в мощный инструмент для работы с картографическими данными и тематическими геоданными [17].

Постепенно стал доступен сетевой доступ к данным, а с развитием высокоскоростного интернета стал распространяться способ работы с ГИС через тонкие клиенты (браузеры). В настоящее время карты уже не являются статическими, а генерируются в процессе работы на основе информации из базы данных по запросу пользователя. Возможно динамические объединение информации из разных источников, разных сайтов, встраивание картографических сервисов на любой сайт.

Параллельно с развитием классических 2D ГИС в 1990-х годах возникает концепция 3D ГИС [18]. 3D ГИС позволяет изучать трехмерный рельеф с любых

точек зрения, городские сооружения и инфраструктуру, визуализировать проектируемые здания, планировать развитие территорий, производить оценку высотных характеристик, области видимости, проводить визуальный анализ.

Однако внедрение ЗБ ГИС идет медленно. В работе [19] перечисляются основные причины этого:

• организация 3О-данных. Существуют разные методы представления ЗБ-моделей. У каждого есть свои преимущества и недостатки. Не ясно, в каком виде хранить модели в базах данных предпочтительнее и как конвертировать между разными представлениями;

• реконструкция ЗБ-объектов. ЗБ ГИС должны иметь возможность просмотра моделей реальных объектов. Для этого необходимо выполнить их ЗБ-реконструкцию. Быстрые методы реконструкции выдают грубые и не точные модели. Более детальные модели выполняются вручную или полуавтоматически и требуют много времени. Реконструкция большого числа объектов (ЗБ-городов) — крайне затратная операция;

• ЗБ-визуализация. Для реалистичной визуализации ЗБ-объектов необходимо решить ряд задач: разработать алгоритмы освещения, затенения, анимации объектов, поддержать уровни детализации, туман, навигацию по трехмерной сцене, взаимодействие с ЗБ-объектами. При этом технологии постоянно развиваются и усложняются, растут требования к реалистичности.

В нескольких регионах России в 2010-2012 гг. начались пилотные проекты по внедрению ЗБ ГИС [20-22]. Виртуальные глобусы — это дальнейшее логическое развитие идеи ЗБ ГИС.

1.1.2. Первые виртуальные глобусы

В работе с 2Б- и ЗБ-представлением геоданных существует большая разница. Для 2Б-данных (как растровых, так и векторных) давно разработаны алгоритмы визуализации, анализа, хранения, используются стандартные форматы и множество программных продуктов для разных задач.

Рис. 1.2. Виртуальный глобус в игре Х-СОМ: UFO Defense (1994 г.)

Но для визуализации виртуального глобуса необходимы трехмерная графика и большие объемы данных, а главным требованием является интерактивная частота кадров (не менее 30 кадров в секунду). При этом не существует общепринятых стандартов к работе с данными на виртуальном глобусе, к навигации в пространстве виртуального глобуса. Всё это замедляет внедрение виртуальных глобусов для решения практических задач.

В 80-е годы и начале 90-х годов основным ограничителем являлась мощность видеокарт. Глобусы использовались для показа простейших векторных данных, таких как границы континентов и государств, орбиты космических аппаратов (рис. 1.2).

В 90-е годы мощность персональных компьютеров позволила использовать более детализированные текстуры земной поверхности. В конце 90-х годов появились такие продукты как Encarta Virtual Globe компании Microsoft (1998 г.) и 3D World Atlas компании Cosmi Corporation (1999 г.) (рис. 1.3). Это были мультимедийные приложения, где глобус сочетался с разнообразной энциклопедической информации о странах мира. Разрешение текстур было невысоким, поэтому они помещались на обычные CD-диски [23, 24].

mm

Çtob« j sa,» I tnfo i Chart» i

Рис. 1.3. 3D World Atlas (1999 г.)

Параллельно с этим в 90-е годы была заложена идеологическая основа виртуальных глобусов. Так в 1992 году вышел роман Нила Стивенсона «Лавина» в жанре киберпанк, в котором было описано приложение «Земля» для доступа к разнообразным данным. Впоследствии роман оказал влияние на создателей виртуального глобуса Google Earth [25].

31 января 1998 г. вице-президент США Альберт Гор произнес речь «Цифровая Земля: понимание нашей планеты в XXI веке», в которой он предложил создать «Цифровую Землю» — приложение, которое должно включать все увеличивающее количество геоданных, быть подсоединено к базам данных и знаний всего мира и обеспечить лучшее описание и понимание окружающего мира и человеческой деятельности [26].

В конце 90-х — начале 2000-х гг. произошел перелом в развитии

д

ви