автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование и разработка методов визуализации в крупномасштабных системах виртуального окружения для научных, образовательных и промышленных приложений

Введение

1 Крупномасштабные системы виртуального окружения

1.1 Аппаратные конфигурации.

1.1.1 CyberStage.

1.1.2 i-CONE.

1.1.3 Responsive Workbench.

1.1.4 Teleport.

1.1.5 VEonPC.

1.2 Программная среда Аванго.

1.2.1 Основные принципы.

1.2.2 Распределенные приложения.

2 Методы, разработанные автором для визуализации в крупномасштабных системах виртуального окружения

2.1 Устранение артефактов деполяризации пассивных стерео-систем.

2.1.1 Особенности пассивной стерео-проекции

2.1.2 Метод устранения артефактов.

2.1.3 Результаты.

2.1.4 Дополнение: настройка пассивной стереосистемы

2.2 Ускорение графической обработки с помощью анализа видимости объектов для отрисовки сцен высокой сложности.

2.2.1 Реализация алгоритма исключения заслоненных объектов

Результаты

Методы визуализации, разработанные автором для применения в научных, образовательных и промышленных целях

3.1 Математическая визуализация в виртуальном окружении

3.1.1 Методы визуализации

3.1.2 Видеофильм: "Приключения ленты Мебиуса"

3.1.3 Результаты.

3.1.4 Дополнение: деформация стерео-текстур

3.2 Астрономическая визуализация в виртуальном окружении

3.2.1 Нелинейная геометрическая модель

3.2.2 Модель движения наблюдателя.

3.2.3 Изображения планет

3.2.4 Звездные данные.

3.2.5 Созвездия.

3.2.6 Навигация

3.2.7 Звуковое сопровождение

3.2.8 Принципиальная схема

3.2.9 Результаты.

3.3 Моделирование деформаций упругих объектов в виртуальных окружениях в реальном времени

3.3.1 Использование метода конечных элементов и предвычисленных функции Грина

3.3.2 Использование метода граничных элементов

3.3.3 Результаты.

3.3.4 Дополнение 1: За пределами теории малых деформаций

3.3.5 Дополнение 2: О точном определении области физического контакта

Примеры использования систем виртуального окружения в научных, образовательных и промышленных целях

4.1 Научные приложения.

4.1.1 Визуализация структуры решений в теории релятивистских струн.

Объединение достижений в компьютерной графике и научной визуализации с прогрессом в области человеко-машинного интерфейса привели к появлению систем виртуальной реальности (или виртуального окружения), которые могут существенно повысить эффективность визуального анализа данных, погружая исследователя в искусственный мир анализируемой модели и предоставляя естественный интуитивный интерфейс для взаимодействия с ее элементами. Разработка таких систем стала особенно актуальной в современных условиях быстрого роста производимой человечеством информации. В настоящее время в мире существует более ста крупномасштабных установок виртуальной реальности, которые используются в самых различных областях науки и техники для решения задач как фундаментальных научных дисциплин (химия, физика, астрономия, математика), так и в узко специализированных прикладных направлениях: аэрогидродинамика (визуализация динамики течения потоков), океанология и геофизика (инженерия землетрясений), металлообработка (авто- и авиа-индустрия), сопротивление материалов (моделирование упругих объектов), анализ столкновений и разрушений (моделирование аварий и катастроф), биомедицинская инженерия (протезирование и диагностика), и др. Разработкой технологий крупномасштабных систем виртуального окружения занимаются исследовательские группы в США (НАСА, Военно-морская исследовательская лаборатория, Ливер-морская национальная лаборатория, Национальные суперкомпьютерные центры), в Европе (Фраунгоферовские институты в Дармштадте, Санкт-Августине, Аахене - Германия; ИНРИА -Франция; Женевский университет и Лозаннская высшая политехническая школа - Швейцария; Резерфордовская лаборатория и Университет Манчестера - Великобритания) и многие другие. В России до последнего времени такие исследования не проводились. Общим недостатком крупномасштабных систем виртуального окружения до недавнего времени оставалась необычайно высокая стоимость их компонент, в результате чего их практическое использование было доступно только крупнейшим промышленным компаниям. В настоящее время развитие архитектуры персональных компьютеров позволяет создавать вычислительные комплексы большой производительности для моделирования и визуализации, используя технику распределенных систем и параллельных вычислений. Преимущество таких комплексов заключается в их невысокой стоимости, что обеспечивает им перспективу широкого распространения. В связи с этим возникла необходимость в разработке общедоступных крупномасштабных систем виртуального окружения на основе таких вычислительных комплексов, а также специализированного программного обеспечения для поддержания высокого качества изображения, ускорения графической обработки и предоставления эффективного пользовательского интерфейса. Такие системы виртуального окружения могут использоваться научно-исследовательскими институтами и образовательными центрами в их повседневной практике, расширение области использования этих систем также требует разработки соответствующих методов визуализации и реализующих их программных комплексов, поэтому данная работа явкяется актуальной.

Цель диссертационной работы — исследование и разработка методов визуализации в крупномасштабных системах виртуального окружения, основанных на кластерах персональных компьютеров и общедоступном проекционном оборудовании, для научных, образовательных и промышленных приложений. Для достижения поставленной цели в работе решались следующие задачи:

• исследование различных типов помех стерео-изображения в системах виртуального окружения и разработка схем их устранения;

• разработка алгоритма исключения заслоненных объектов на основе анализа видимости и параллелизации вычислений, для ускорения графической обработки высоко-детализованных моделей;

• разработка специальных алгоритмов ускорения стандартных механизмов графической обработки прозрачных поверхностей, применимых для объектов сложной структуры, возникающих в математической визуализации;

• исследование возможности помещения стерео-фотографий реальных объектов в виртуальные модели, определение условий сохранения стерео-восприятия таких фотографий при их нелинейных деформациях;

• разработка специальных методов для реалистического воспроизведения астрономических объектов в системах виртуального окружения;

• исследование различных подходов к моделированию упругих объектов в системах виртуального окружения, реализация наиболее эффективных из них в специальном комплексе программ, предназначенном для использования в машиностроении при отработке технологических сценариев сборки механизмов; в разработка прототипа крупномасштабной установки виртуальной реальности на основе персональных компьютеров и общедоступных проекционных систем, снабженной программным обеспечением для научной, образовательной и промышленной визуализации, набором демонстрационных приложений и прототипным сценарием лекторской презентации в виртуальном окружении.

Научная новизна: Все представленные в диссертации результаты являются новыми. Впервые в крупномасштабных системах виртуального окружения использована схема устранения помех стерео-изображения. Это позволяет значительно улучшить качество стереовосприятия в пассивных стерео-проекционных системах (такие системы состоят из недорогих компонент и поэтому предпочтительны для широкого использования). Ускорение графической обработки посредством исключения невидимых объектов является популярным направлением разработки современного аппаратного и программного обеспечения. Впервые для этой дели разработан общий метод, применимый для произвольных трехмерных сцен, использующий только стандартные аппаратные возможности и основанный на параллельных вычислениях. Эти свойства делают данный метод особенно удобным для реализации на кластере персональных компьютеров. Специальные методы для ускорения графической обработки прозрачных объектов также разработаны впервые. Эти методы позволяют достигать обновления изображения в реальном времени в тех ситуациях, когда сложная топологическая структура изображаемых объектов не позволяет применять стандартные алгоритмы. В связи с этим данные специальные методы весьма эффективны для математической визуализации при использовании в исследовательских и образовательных целях. Включение стереофотографий реальных еден в качестве фона для виртуальных моделей позволяет достигать высокой степени реализма представления. Также были разработаны методы реалистического изображения астрономических объектов, на основе которых было впервые создано программное приложение, предназначенное для обучения астрономии в крупномасштабных установках виртуальной реальности. В разработанном автором комплексе программ по моделированию упругих деформаций объектов в виртуальных окружениях были использованы точная теория сопротивления материалов, эффективные численные методы и оптимальная организация вычислительных процессов, что впервые позволило расчитывать такие деформации в реальном времени для моделей высокой степени сложности.

Крупномасштабная установка виртуального окружения на персональных компьютерах создана в России впервые. В декабре 2001 года эта установка была продемонстрирована студентам и преподавателям Московского Физико-Технического Института. Демонстрация проходила в лекторском зале, зрители имели возможность самостоятельно осуществлять навигацию в виртуальном пространстве и взаимодействовать с виртуальными объектами.

Практическая ценность: Применение общедоступных систем виртуальной реальности в повседневном учебном процессе позволяет существенно обогатить лекционный материал, включая в него объемные модели изучаемых объектов, свободно парящие в пространстве лекторского зала, с которыми можно взаимодействовать, изучая их поведение и внутреннюю структуру. Установки такого типа и разработанные для них методы визуализации и программное обеспечение позволяют использовать виртуальную реальность в научно-исследовательских институтах, образовательных центрах и на промышленных предприятиях для решения самых разнообразных задач: визуализация сложных инженерных сооружений и физических установок (атомные электростанции, корабли и подводные лодки, ускорители, нефтехимические предприятия); визуализация критичных транспортных и дорожных сооружений (газо- и нефтепроводы, тоннели и мосты, кабельные системы и инженерные коммуникации) ; моделирование чрезвычайных ситуаций и катастроф с учетом конкретного рельефа местности (ситуационное моделирование); визуализация моделей космических аппаратов, создание виртуальных лабораторий в космосе и их дистанционное управление; визуализация в авиационной, автомобильной, судостроительной промышленности (обтекание, окраска, интерьер, динамика разрушений при столкновений и пр.); визуализация в системах конструирования и быстрого макетирования (CAD); планирование и отработка технологии сборки сложных конструкций и строительства сложных сооружений; конструирование молекул в химии и фармацевтике; визуализация в медицине и создание медицинских тренажеров; создание виртуальных музеев, планетариев, лекционных залов; реконструкция в археологии и виртуальный туризм (путешествия по древним и современным городам); синтетическое искусство, телевидение и кино; и др.

Автор защищает:

• Алгоритмы устранения артефактов стерео-проекционных систем, повышающие качество воспринимаемого стереоизображения с помощью предварительной фильтрации изображения перед передачей его на экран.

• Алгоритмы ускорения графической обработки на основе анализа видимости и исключения заслоненных объектов, в результате применения которых к архитектурной модели, содержащей 260 тыс. текстурированных треугольников, достигается ускорение графики в четыре раза, а именно, от интерактивной скорости (8 стерео-кадров в секунду) до скорости, обеспечивающей гладкое восприятие (32 стерео-кадра в секунду).

• Методы для высококачественной графической обработки прозрачных поверхностей в реальном времени, необходимой для включения в виртуальные окружения неориентированных самопересекающихся трехмерных форм, возникающих в математической визуализации.

• Методы использования стерео-текстур как фона для трехмерных сцен, позволяющие достигать достаточного реализма представления, делая виртуальные окружения полезным средством для математического обучения.

• Специальные методы для астрономической визуализации, основанные на: нелинейной геометрической модели, используемой для представления разномасштабных объектов внутри одной виртуальной сцены; модели движения наблюдателя, разрешающей аналогичную проблему различия масштабов времени; реализации автоматического планировщика маршрутов для предотвращения столкновения с планетами.

• Методы моделирования упругих деформаций объектов высокой сложности в реальном времени, использующие методы конечных элементов и граничных элементов для представления уравнений теории упругости и оптимальную организацию вычислительного процесса, что позволяет моделировать в виртуальной реальности интерактивные деформации упругих объектов, состоящих из 10,000 узлов, при скорости графики 85 стерео-кадров в секунду, на компьютерах типа Athlon 1.3 ГГц.

Апробация работы. Материал диссертации опубликован в работах [1-9], а также докладывался и обсуждался на научных семинарах в Институте Физико-Технической Информатики (Протвино), Научно-Исследовательском Вычислительном Центре МГУ (Москва), Института Медиакоммуникаций (г.Санкт Августин, Германия) и следующих международных конференциях: VEonPC'2002 (сентябрь 2002, Протвино - Санкт Петербург, Россия), Еврографика'2002 (май 2002, Барселона, Испания) , XVIII Международный симпозиум по вычислительной геометрии (июнь 2002, Барселона, Испания), Евромикро'2001 (сентябрь 2001, Варшава, Польша), VEonPC'2001 (сентябрь 2001, Протвино - Иркутск, Россия), Международная конференция по деформируемому моделированию (сентябрь 2001, Бонн, Германия).

Разработанные автором программные приложения постоянно демонстрируются в системах виртуальной реальности Института Физико-Технической Информатики и Института Медиакоммуникаций во время студенческих и школьных экскурсий. Приложения также представлялись на зарубежных выставках ZeitReise 2000 (Берлин), CeBIT 1998-2002 (Ганновер), Industrial Messe 2001 (Ганновер). Разработанные автором методы в настоящее время используются крупными машиностроительными компаниями (Фольксваген, Стил) в технологических сценариях сборки сложных механизмов.

Личный вклад автора: исследование и разработка оптимальных методов устранения артефактов стерео-проекционных систем, графического ускорения на основе анализа видимости и исключения заслоненных объектов, высококачественной графической обработки прозрачных поверхностей, использования стерео-текстур как фона для трехмерных сцен, реалистичной визуализации астрономических объектов, моделирования упругих деформаций объектов высокой сложности в реальном времени. Разработка программных модулей, реализующих эти методы. Объединение разработанных модулей в демонстрационные приложения, предназначенные для использования в крупномасштабных системах виртуального окружения.

Структура диссертации. Диссертационная работа состоит из введения, четырёх глав, заключения и приложения.

Заключение

Основным результатом данной работы является исследование и разработка представленных методов визуализации и создание действующей установки виртуального окружения, с использованием общедоступных компонентов. В ходе выполнения представленной работы автором были разработаны:

• программный модуль для устранения артефактов стерео-проекционных систем, повышающий качество воспринимаемого стерео-изображения;

• программный модуль для ускорения графической обработки, основанный на алгоритмах анализа видимости и исключения заслоненных объектов;

• методы для высококачественной графической обработки прозрачных поверхностей в реальном времени;

• методы использования стерео-текстур как фона для трехмерных сцен;

• специальные методы для астрономической визуализации;

• методы моделирования упругих деформаций объектов высокой сложности в реальном времени.

Методы реализованы автором в комплексе программ, который составляет в исходных кодах 20,000 строк (75% С++, 25% scm). Разработанные методы позволяют достигать высокого реализма представления, делая виртуальные окружения полезным средством для использования в научных, образовательных и промышленных целях. Описанные программные приложения постоянно демонстрируются в системе CyberStage Института Медиа-коммуникаций г.Санкт Августин (Германия) во время студенческих и школьных экскурсий. Приложения также представлялись на зарубежных выставках ZeitReise 2000 (Берлин), CeBIT 19982002 (Ганновер), Industrial Messe 2001 (Ганновер). Разработанные автором методы в настоящее время используются крупными машиностроительными компаниями в технологических сценариях сборки сложных механизмов.

В декабре 2001 года система виртуального окружения VEonPC была продемонстрирована студентам и преподавателям Московского Физико-Технического Института. Демонстрация проходила в лекторском зале, зрители имели возможность самостоятельно осуществлять навигацию в виртуальном пространстве и взаимодействовать с виртуальными объектами. Применение подобных общедоступных систем виртуальной реальности в повседневном учебном процессе позволит существенно обогатить лекционный материал, включив в него объемные модели изучаемых объектов, свободно парящие в пространстве лекторского зала, с которыми можно взаимодействовать, изучая их поведение и внутреннюю структуру. Удобный пользовательский интерфейс и мощный инструментарий Аванго позволяют быстро конструировать требуемые демонстрационные приложения.

Благодарности.

Работа была выполнена в Институте Физико-Техничесхой Информатики (ИФТИ), г. Протвино, во время выполнения работы автор являлась соискателем Московского Физико-Технического Института (МФТИ), г. Долгопрудный. Работа была выполнена в рамках проектов ИФТИ, поддержанных грантами Российского Фонда Фундаментальных Исследований (РФФИ 99-01-00451, 01-07-90327 и 02-01-01139) и Международного Фонда ИНТАС (96-0778). Часть работы была выполнена в Институте Медиакоммуникаций (ИМК), г. Санкт-Августин, Германия, во время командировки автора в рамках сотрудничества ИМК и ИФТИ.

Я благодарна моему научному руководителю д.ф.м.н. проф. С.В.Клименко за помощь и поддержку в течение всей работы над диссертацией. Я благодарю соавторов работ, опубликованных по теме диссертации: П.А.Брусенцева, Г.Геббельса, М.Гёбеля, С.В.Клименко, С.М.Матвеева, И.Н.Никитина, Г.М.Нильсона, П.В.Фролова, М.В.Фурсу, за ценный вклад в выполнение работ и подготовку материалов к публикации. Я признательна В.В.Парьеву за ценные консультации и К.Г.Раутенбергу за помощь в производстве видео-фильмов.

20 ноября 2002г.

1. Никитина Л.Д., Никитин И.Н., Клименко С.В., Структура особенностей на мировых листах релятивистских струн, Исследовано в России 37 (2003) с.404-417.

2. Труды 1-ой Международной Конференции По Системам Виртуального Окружения На Кластерах Персональных Компьютеров. VE on PC 2001. Протвино, 22-25 сентября 2001 г., Институт Физико-Технической Информатики, 2001.

3. Dai P., Eckel G., Gobel М., Hasenbrink F., Lalioti V., Lechner U., Strassner J., Tramberend H., Wesche G. Virtual

4. Spaces: VR Projection System Technologies and Applications. Tutorial Notes. Eurographics '97, Budapest, 1997, 75 pages.

5. R. Kent Dybvig. The Scheme programming language: ANSI Scheme. P T R Prentice-Hall, Englewood Cliffs, NJ 07632, USA, second edition, 1996.

6. H. Tramberend, Avocado: A Distributed Virtual Reality Framework, Proc. of the IEEE Virtual Reality, 1999.

7. J.Rohlf and J.Helman. IRIS Performer: A High Perfomance Multiprocessing Toolkit for Real Time 3D Graphic. In A. Glassner, editor, Proceedings of SIGGRAPH '94, pp. 381-395.

8. Josie Wernecke, Open Inventor Architecture Group, The Inventor Mentor: Programming Object-Oriented 3D Graphics with Open Inventor, Release 2, Addison-Wesley, Reading, Massachusetts, 1994 (ISBN 0-201-62495-8);

9. Josie Wernecke, Open Inventor Architecture Group, The Inventor Toolmaker: Extending Open Inventor, Release 2, Addison-Wesley, Reading, Massachusetts, 1994 (ISBN 0-20162493-5).

10. R. Carey and G. Bell. The VRML 2.0 Annotated Reference Manual. Addison-Wesley, Reading, MA, USA. Jan. 1997.

11. Д.В.Сивухин, Общая физика, т.4, Оптика, М.-.Наука, 1985.

12. J.P.Boyd, Scientific Visualization and Information Architecture, Lecture Notes,http://www-personal.engin.umich.edu/~ j pboyd/ENG503.html

13. R.W.Berger, Why Do Images Appear Darker on Some Displays? An Explanation of Monitor Gamma,http://www.bberger.net/gamma.html

14. T.A.Germer, Polarized light scattering by microroughness and small defects in dielectric layers, J. Optical Society of America A, V.18, N.6, pp. 1279-1288 (2001).

15. A.H.Hielscher et al, Diffuse backscattering Mueller matrices of highly scattering media, Optics Express, V.l, N.13, P.441 (1997).

16. James S. Lipscomb, Wayne L. Wooten, Reducing crosstalk between stereoscopic views, in Proc. of SPIE (Stereoscopic Displays and Virtual Reality Systems II), Vol. 2409, pp.31-40, Feb. 1995.

17. Janusz Konrad et al, Cancellation of image crosstalk in time-sequential displays of stereoscopic video, IEEE Transactions On Image Processing, Vol. 9, No. 5, pp. 897-908, May 2000.

18. E.J.Wegman et al, The MiniCAVE A voice-controlled IPT environment, Proc. of 3d Int. Immersive Projection Technology Workshop, pp.179-190 (eds. H.-J.Bullinger and O.Riedel, Springer-Verlag, Berlin, 1999).

19. H.Davson, Physiology of the Eye, 5th ed. London: Macmillan Academic and Professional Ltd, 1990.

20. Barco Projection Systems web pagehttp://hww.barсо.com/projectionsystems

21. I.McDowall, M.Bolas, Revieweing Single and Multiple Viewer Stereo with DLP Projectors, Proc. of 7th Annual Symposium on Immersion Projection Technologies, IPT 2002, Orlando, Florida, USA.

22. TAN Infitecm Stereo Viewing, домашняя страничка компании TAN: http://www.tan.de/english/prod/infitec.html

23. M. Evers et al, Analysis of Correlation and Predictability: What Makes Two-Level Branch Predictors Work, Proceedings of the 25th International Symposium on Computer Architecture, Barcelona, June 1998, pp.52-61.

24. S.V. Klimenko, I.N. Nikitin, W.F. Urazmetov. Methods of numerical analysis of 1-dimensional 2-body problem in Wheeler-Feynman electrodynamics, Computer Physics Communications, Vol.126 (2000) pp. 82-87.

25. G. Hirota, S. Fisher, M. Lin, Simulation of Non-penetrating Elastic Bodies Using Distance Fields. UNC Technical Report TROO-O18, 2000.48. домашняя страничка проекта Xanten:http://viswiz.imk.fraunhofer.de/~lia/xanten

26. Boy W., Uber die Curvatura integra und die Topologie geschlossener Flachen, Dissertation, Gottingen, 1901; Math.Ann. 57 (1903) 151-184.

27. Apery F., Models of the Real Projective Plane, F.Vieweg und Sohn, Braunschweig/Wiesbaden, 1987.

28. Francis G., Topological Picturebook, Springer-Verlag, 1987.

29. Gobel M.,, Tramberend H., Klimenko S., Nikitin I. "Visualization in topology: assembling the projective plane" Proc. of Visualization in Scientific Computing conference, (Boulogne-sur-Mer, France, April 1997) p.95, Springer-Verlag 1997.

30. Cruz-Neira C. Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE. Computer Graphics Proc., Annual Conference Series, 1993, pp 135-142.

31. McMillan L., An Image-Based Approach to Three-Dimensional Computer Graphics, Ph.D. Dissertation, UNC Computer Science Technical Report TR97-013, University of North Carolina, April 1997, http://www.es.unc.edu/~ibr/pubs.html

32. А. О. Frank, I. A. Twombly, J. D. Smith, Finite Element Methods for real-time Haptic Feedback of Soft-Tissue Models in Virtual Reality Simulators, Proceedings of VR2001.

33. U. Meier et al, Real-Time Simulation of Minimally-Invasive Surgery with Cutting Based on Boundary Element Methods, Lecture Notes in Computer Science (2001) V.2208, p.1263.

34. S.Wolfram, The Mathematical Book, Cambridge University Press 1999.

35. M.Lin, A.Gottschalk, Collision Detection between Geometrical Models: A Survey, Proc. IMA Conference on Mathematics of Surfaces, 1998.

36. Robert Davies, NewMat С++ Matrix Class,http://ideas.uqam.ca/ideas/data/Softwares/codccplusnewmat.html

37. Klimenko et al, Visualization of complex physical phenomena and mathematical objects in virtual environment, Report INTAS-96-0778, http://www. intas.be/catalog/961-0778.htm

38. S.Klimenko et al, Visualization Of Complex Physical Phenomena And Mathematical Objects In Virtual Environment, Late Breaking Hot Topics Proceedings, Visualization'98, Oct.21-23, Research Triangle Park, NC, USA, pp.53-56.

39. S.Klimenko et al, Visualization in string theory, Computers and Graphics, Vol.24 (1) (2000) pp. 23-30.

40. S. Klimenko, I.Nikitin and L.Nikitina, Structure of singularities on the world sheets of relativistic strings, article hep-th/0110042 in library of e-prints at Cornell University,http://xxx.arxiv.Cornell.edu/archive/hep-th