автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Программные технологии синтеза реалистичных изображений

Российская академия наук «

Институт прикладной математики им. М.В. Кеддь^па

□ОЗОБТОУ1

Программные технологии синтеза реалистичных

изображений

Специальность 05.13.11 - математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей.

Автореферат диссертации на соискание ученой степени доктора физико-математических наук

Москва - 2006

Работа выполнена в Институте прикладной математики им. М.В. Келдыша РАН (г. Москва)

Научный консультант: доктор физико-математических наук

Горбунов-Посадов Михаил Михайлович

Официальные оппоненты:

член-корреспондент РАН, профессор Рябов Геннадий Георгиевич

доктор физико-математических наук, профессор Любимский Эдуард Зиновьевич

доктор физико-математических наук, профессор Клименко Станислав Владимирович

Ведущая организация: Институт вычислительной математики и математической геофизики Сибирского отделения РАН

Защита состоится 27 февраля 2007 г. в 11:00 час. на заседании диссертационного совета Д 002.024.01 при Институте прикладной математики им. М.В. Келдыша РАН по адресу: 125047, Москва, Миусская пл., 4.

С диссертацией можно ознакомиться в библиотеке Института прикладной математики им. М.В.Келдыша РАН.

Автореферат разослан " {9_" 2006 г.

Ученый секретарь диссертационного совета,

Г

доктор физико-математических наук Т.А. Полилова

Общая характеристика работы

Методы синтеза реалистичных изображений, основанные на физически аккуратном (корректном) моделировании распространения света, являются эффективным средством повышения производительности труда в самых различных областях человеческой деятельности и, прежде всего, в архитектурном проектировании, градостроительстве, ландшафтном дизайне, автомобильной и авиационной промышленности.

Предварительные расчеты освещения и визуальная оценка архитектурных и дизайнерских решений являются обязательными этапами процесса проектирования и строительства зданий, жилых и офисных помещений, интерьеров автомобилей и самолетов. При этом контролируется эстетичность интерьеров и внешнего вида, рациональность, экономичность, соответствие стандартам систем освещения дневным и солнечным светом.

Методы компьютерного физически аккуратного моделирования применяются также для визуализации и оценки различных промышленных изделий до запуска их в производство. Так при производстве современных автомобильных красок намного дешевле и эффективнее задать состав и свойства краски в цифровом виде и оценить, как она будет выглядеть при различных условиях освещения на виртуальной модели автомобиля, чем произвести такую краску и покрасить ею реальный автомобиль. Это относится не только к автомобилям, но и к широкому спектру других изделий, таких как телефонные трубки, портативные компьютеры, различная бытовая техника и др.

Еще одним известным применением методов физически аккуратного синтеза изображений является их использование в индустрии развлечений - в производстве кинофильмов и компьютерных игр. Реалистичность и достоверность изображения играет здесь решающую роль и является одним из главных факторов успеха фильма или компьютерной игры. Практически все зрелищные фильмы последнего времени сняты с использованием компьютерных программ синтеза изображений.

Другим не менее важным классом актуальных задач, которые могут решаться методами физически аккуратного расчета распространения света, являются задачи компьютерного моделирования и проектирования осветительных систем оптико-электронных приборов и устройств. К таким устройствам относятся системы подсветки разного рода жидкокристаллических (ЖК) дисплеев, панелей приборов автомобилей, осветительные приборы автомобилей (фары, фонари заднего вида), светодиодные системы.

Новейшие технологии и материалы, применяемые при производстве подобных систем, основываются на сложных физических эффектах. К

таким эффектам относятся рассеивание света на стохастических микронеровностях (шероховатостях) поверхностей и на регулярных микрорельефах поверхностей (десятки и сотни миллионов микро-призм заданной формы, размера и распределения), объемное рассеивание света на микрочастицах внутри материала, поляризационное рассеивание света в тонких пленках и другие подобные явления. Компьютерное моделирование таких оптических систем и устройств требует применения специальных подходов, основанных на комбинации законов волновой и геометрической (лучевой) оптики.

Вышеперечисленные проблемы представляют собой широкий класс важных и актуальных для современной науки и практики задач из разных предметных областей. Их объединяет то, что все они связаны с моделированием распространения света в различных оптических средах.

Цель работы заключается в разработке технологии физически аккуратного моделирования распространения света, которая бы позволяла физически корректным образом вычислять освещенности, строить изображения фотореалистичного качества, а также моделировать и рассчитывать сложные светопроводящие системы. В результате должны быть построены программные системы компьютерной графики для моделирования распространения света в различных оптических средах для задач синтеза фотореалистичных изображений, а также для расчетов оптических светопроводящих систем и устройств.

Научная новизна. Разработана эффективная технология физически аккуратного моделирования распространения света, позволяющая на базе единого механизма и алгоритмической базы синтезировать фотореалистичные изображения, вычислять и анализировать освещенности, моделировать и проектировать сложные оптические системы и устройства. В основе этой технологии лежит двунаправленная трассировка лучей с использованием методов Монте-Карло.

Реализованы алгоритмические и программные средства для построения фотореалистичных изображений сцен, содержащих оптически сложные материалы, при различных условиях искусственного и естественного освещения. Реалистичность изображений обеспечивается использованием алгоритмов, основанных на физических законах распространения света, учетом особенностей зрительного восприятия человека, поддержкой фотоэффектов.

Предложены новые физически обоснованные алгоритмы использования изображений с большим (более 104) динамическим диапазоном яркостей в качестве источников естественного освещения и фона для виртуальных сцен, содержащих материалы со сложными оптическими свойствами (автомобильные многослойные краски, ткани и др.). Впервые реализована технология, позволяющая рассчитывать физически аккуратную освещенность виртуальной сцены на основе

фотоснимков реального ландшафта. Разработаны алгоритмы распознавания солнца, генерации теней, задания фона. Предложен эффективный метод преобразования большого динамического диапазона яркостей в диапазон, реально отображаемый на экране монитора.

Разработана архитектура, технологические и программные решения для создания Интернет-приложений физически аккуратного моделирования освещенности и генерации реалистичных изображений. С целью достижения приемлемого времени отклика предложены, реализованы и экспериментально проверены различные методы ускорения расчетов освещения.

Разработаны принципы построения и архитектура системы физически аккуратной визуализации в режиме интерактивной 3D навигации сцен, содержащих оптически сложные материалы, естественное освещение, эффекты вторичной освещенности. Базовый уровень визуализации построен на основе широко распространенной графической библиотеки OpenGL, в то время как для расчета вторичной освещенности используется метод квази- Монте-Карло. Таким образом, предлагаемое решение является компромиссом между высоким качеством изображений, созданных методами физически аккуратного моделирования освещенности, и быстрой генерацией изображений аппаратными средствами графических акселераторов.

Разработаны алгоритмические и программные средства моделирования сложных оптических систем и устройств. Предложен оригинальный подход выделения оптических элементов, позволяющий более эффективно и точно решать задачи проектирования светопроводящих систем, построенных на основе микроструктурных и объемных рассеивающих объектов. Предложены и разработаны универсальные программные интерфейсы, позволяющие осуществлять оптическое моделирование как в лучевом, так и в волновом приближениях.

Практическая значимость работы. На основе концепций, методов и алгоритмов, предложенных в диссертационной работе, был реализован ряд программных продуктов, которые широко используются в нашей стране и за рубежом. Среди них:

- программный комплекс для физически аккуратного расчета освещенности и построения фотореалистичных изображений сцен, содержащих оптически сложные материалы, при различных условиях искусственного и естественного освещения. Освещение может быть задано в том числе и изображениями с большим динамическим диапазоном;

- система для физически аккуратного моделирования освещенности и синтеза реалистичных изображений через Интернет;

- программный комплекс физически аккуратной визуализации в режиме ЗБ навигации сцен, содержащих оптически сложные материалы и естественное освещение, с учетом эффектов вторичного освещения;

- программный комплекс для моделирования и проектирования сложных оптических систем и устройств, включая системы, содержащие новейшие микроструктурные рассеивающие материалы, применяемые в современном проектировании оптических светопроводящих систем.

Каждый из созданных программных комплексов находится на уровне или превосходит по ряду ключевых показателей имеющиеся в мире аналоги.

Проведенные экспериментальные сравнения результатов физически аккуратных расчетов освещенности на реальных сценах, а также оптических характеристик, полученных путем моделирования оптических устройств, с результатами измерений аналогичных характеристик на реальных объектах и оптических устройствах продемонстрировали высокую точность моделирования (выше, чем у известных автору аналогов).

Апробация работы. Основные результаты диссертации были представлены на ряде профильных международных научных конференций [4, 7, 13, 14, 20-22], на научной школе «Будущее прикладной математики» [12]. Результаты диссертации также докладывались на Научной сессии «Проблемы и методы компьютерной визуализации» Отделения информационных технологий и вычислительных систем РАН, на заседании Ученого совета ИПМ им. М.В.Келдыша РАН, на научном семинаре «Программирование» ИПМ им. М.В.Келдыша РАН под рук. проф. М.Р.Шура-Бура и проф. Д.А.Корягина.

Публикации. По результатам работы имеется 24 публикации, включая 10 статей в рецензируемых научных журналах (из них 9 из списка ВАК) [2,3, 5,6, 8, 9,18, 19,23,24], 7 докладов на международных научных конференциях [4, 7, 13, 14, 20-22], 1 монография [1], 1 статья в сборнике [12] и 5 препринтов [10,11,15-17].

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановки задач и их алгоритмические решения, получены автором лично или выполнены под его научным руководством и при непосредственном участии. В работе приводятся ссылки на две кандидатские диссертации и одну дипломную работу, выполненные под научным руководством автора, а также кандидатскую диссертацию, в которой автор выступал в качестве научного консультанта.

Структура и объем работы. Диссертация состоит из введения, семи глав, заключения и списка литературы. Содержание работы

изложено на 246 страницах. Список литературы включает 176 наименований. В работе содержится 118 рисунков и 8 таблиц.

Содержание работы

Во введении в историческом плане кратко рассматриваются пути развития компьютерной (машинной) графики, как у нас в стране, так и за рубежом. Упоминаются работы автора и его личный вклад в развитие этого научного направления в 70-80-е годы прошлого века, прежде всего в разработку графического пакета ГРАФОР и создание системы отечественных графических стандартов. Обосновывается актуальность и практическая значимость работы. Подчеркивается важность и перспективность направления современной компьютерной графики, связанного с физически аккуратным (т.е. основанным на физических законах оптики) моделированием распространения света в различных средах. Излагается краткое содержание следующих глав.

Первая глава посвящена созданию алгоритмических и программных средств физически аккуратного расчета освещенности и синтеза фотореалистичных изображений. Подчеркивается, что в целом ряде приложений физическая достоверность изображений имеет важное, а порой и решающее значение. Так, в архитектуре и дизайне интерьеров, при моделировании внешнего вида автомобилей и даже бытовой техники (телефонных трубок, ноутбуков и др.) часто нельзя отвлечься от физической реальности, ограничившись построением привлекательных «красивых» картинок. Изображения, полученные на этапе проектирования, будут впоследствии сравниваться с готовым изделием (архитектурным сооружением или интерьером, внешним видом автомобиля, окрашенного спроектированной оптически сложной краской). При физически некорректном, хотя может быть и визуально привлекательном, моделировании дизайнером может бьггь принято неправильное решение.

Описывается цифровая модель исходных данных, которая используется предлагаемыми в работе алгоритмами. Излагаются применяемые способы задания светорассеивающих свойств поверхностей. Свойства объектов и поверхностей определяются в системе физическими законами распространения света внутри сред и взаимодействия света с поверхностями. Оптически сложные материалы могут описываться двунаправленными функциями отражения/пропускания (ДФО/ДФП), которые в общем случае являются функциями четырех углов, определяющих направления падения и отражения/пропускания света, и длины волны падающего света.

Описываются модели освещения, поддерживаемые системой. Параметры освещенности и интенсивности источников света задаются в физических (фотометрических) единицах. Поддерживаются разнообразные типы источников искусственного света, однако чаще всего они задаются своими гониометрическими диаграммами

(гониодиаграммами), в оптике также называемыми индикатриссами рассеяния. Гониодиаграмма определяет угловое пространственное распределение световой энергии, излучаемой источником света.

Описываются способы задания естественного дневного освещения (солнечный свет, облачное небо и т.д.). В частности, для задания естественного освещения можно выбрать подходящий элемент из библиотеки дневного (небесного) и солнечного света. Библиотека содержит параметры для различных географических регионов (городов) в разное время суток. Можно также с помощью редактора параметров солнечного и дневного освещения задать его в терминах географических координат, даты (времени года) и времени суток, либо в терминах положения солнца (высота над горизонтом и азимут) и освещенности горизонтальной плоскости. Существует также и ряд других способов задания естественного освещения. Один из них будет подробно рассмотрен в гл. 2. В редакторе также задается степень облачности. Моделирование небесного освещения для случаев 100% облачности и ее отсутствия соответствует стандарту Международной комиссии по освещению CIE. Небесное освещение с неполной облачностью моделируется с использованием интерполяции.

Ставится задача глобальной освещенности, когда учитывается не только прямая освещенность поверхностей сцены лучами, идущими непосредственно от источников света, но и вторичная освещенность, создаваемая лучами, отраженными или преломленными другими поверхностями. Обозначаются пути ее решения. Подчеркивается, что за основу физически аккуратного моделирования берутся законы лучевой оптики. Поэтому одним из главных методов решения этой задачи является трассировка лучей света с использованием метода Монте-Карло. Для физически аккуратного моделирования освещенности и построения фотореалистичных изображений в работе используются технологии прямой и обратной трассировки лучей.

Созданный на основе этой технологии программный комплекс нашел широкое применение в сфере архитектурного проектирования, дизайна интерьеров, проектирования систем освещения зданий, при моделировании внешнего вида и интерьеров автомобилей и пр. Пример его использования для решения конкретных практических задач показан на рис. 1.

Вторая глава посвящена методам задания естественного дневного освещения, при котором источником света является изображение реальных сцен с большим динамическим диапазоном яркостей (БДЦИ). Большой (более 104) динамический диапазон яркостей без труда воспринимается человеческим глазом, однако он не может быть отображен на современных графических дисплеях, чей динамический диапазон мал - соотношение самой яркой области с самой темной не превышает у них сотен раз.

Современная компьютерная графика все больше внимания уделяет БДДИ (в англоязычной литературе HDRI - High Dynamic Range Images) как исключительно мощному и простому в использования способу представления данных об окружающем мире. В БДДИ значения яркости для каждой точки выражаются реальными физическими величинами, т.е.

Рис. 1. Пример моделирования оспещения интерьера при (а) дневном и (б) ночном освещении, а также распределения (в) результирующей освещенности и (г) яркости источников вторичного освещения в нсеадо цветах.

числами с плавающей точкой. Они позволяют передать реальные интенсивности окружающей среды даже за пределами чувствительности человеческого глаза. Наиболее интенсивно развивающимся применением БДДИ является технология освещения, когда источник света задается изображением. Одновременно с заданием освещения БДДИ решает также проблему задания окружения (фона) моделируемой сцены. На рис. 2 показана компьютерная модель автомобиля, освещенная с помощью БДДИ и помещенная в заданный им реальный ландшафт.

БДДИ, используемое для освещения изображением, должно обладать двумя свойствами. Во-первых, оно должно содержать точки для всех направлений фотографируемого окружающего мира, то есть фактически изображение с большим динамическим диапазоном должно быть сферической панорамой. Во-вторых, значение яркости каждой точки должно быть пропорционально количеству света, приходящему с данного направления в реальном мире.

В главе рассмотрены различные технологии создания БДДИ, в частности, БДДИ реальных сцен могут быть получены путем обработки последовательности фотографий, сделанных с различной экспозицией, или специальным панорамным сканированием.

Рис. 2, Изображение автомобиля. Рис. 3. Использование технологии созданное с помощью разработанных «двойное кадра» для представлении программных средств с использоеа- реалистичного фона при изображении ниием технологии освещения изобра- компьютерной модели автомобиля, жен нем.

Отмечается, что многие существующие системы моделирования и визуализации, такие как 3DSMax (Mental Ray, VRay), Softimage, Maya и др., используют БДДИ в качестве фоновых панорам, что существенно повышает правдоподобность получаемых итоговых изображений. Лишь немногие системы пытаются рассчитывать освещение сцены, анализируя БДДИ. Однако даже в них хорошо обрабатываются только случаи протяженных и площадных источников света, таких как облачное небо. Подобные источники дают размытые, мягкие тени с неявным направлением на источник света. Ни одна из известных автору систем не способна правильно моделировать освещенность, задаваемую БДДИ с безоблачным небом и прямо видимым солнцем. Например, для генерации четких теней, порождаемых таким ярко-выраженным источником света, как солнце, предлагается вручную устанавливать дополнительный источник света по направлению солнца с соответствующим масштабированием (уменьшением) яркостей БДДИ.

В главе описывается разработанный метод освещения изображением, который позволяет в автоматическом режиме корректно строить освещение даже для БДДИ с таким мощным источником света, каким является солнце. Предложены физически обоснованные алгоритмы расчета яркости точки оптически сложной поверхности, заданной с помощью ДОО. Она эффективно вычисляется с использованием метода Монте-Карло обратной трассировки лучей для большинства видов ДФО. Однако для расчета глобальной освещенности необходимо также учитывать свет, отраженный от других диффузных поверхностей сцены. В описываемом алгоритме для расчета этой компоненты используется метод Монте-Карло прямой трассировки лучей. Непосредственное применение

этого метода для БДДИ, как источника света, является неэффективным. Поэтому для учета глобальной освещенности разработан алгоритм выделения из сферической панорамы БДДИ источников света (областей с большими яркостями) и замены их соответствующими параллельными источниками. Расчет компоненты глобальной освещенности производится для этих традиционных источников света.

Выделение областей с большой яркостью и замена их на параллельные источники света решает задачу построения четких теней от солнца или другого яркого источника освещения. Как уже упоминалось, существующие программные системы предлагают пользователю вручную устанавливать дополнительный источник света, отбрасывающий четкую тень. Распознавание и выделение источников света позволило впервые правильно промоделировать освещенность для БДДИ с видимым солнцем без дополнительных, искусственно установленных источников света.

Важным также является вопрос о получении корректных теней при технологии освещения изображением. Сложность заключается в том, что когда виртуальный объект (например, цифровая модель автомобиля) помещается в окружение, задаваемое БДДИ, он должен отбрасывать тень на дорогу (как это показано на рис. 2), которая присутствует в изображении, но которой нет в описании сцены. Для решения этой задачи в сцену вводится полностью прозрачная виртуальная плоскость, расположенная перпендикулярно к направлению зенита. На этой плоскости как бы стоит автомобиль. Далее рассчитывается освещенность точек этой плоскости для случаев с моделью автомобиля и без нее. Соотношение этих величин является фактором затенения видимого фона. Освещенность точек на виртуальной плоскости рассчитывается методом Монте-Карло обратной трассировки лучей.

Мощный механизм использования БДДИ в качестве источника света для моделирования освещенности еще не гарантирует получения физически корректных изображений фотографического качества. Анализ нескольких десятков БДДИ, содержащих небо, показал, что физически корректные БДДИ встречаются крайне редко. Все БДДИ имеют недостатки в области представления солнца, а именно, недооценка яркости солнца и появление паразитных «солнц». Это связано с невозможностью напрямую измерить яркость солнца с помощью современной цифровой фототехники. Другие проблемы обусловлены размытостью фона по сравнению с четким изображением объектов сцены (модели автомобиля), что связано с недостаточностью пространственного разрешения используемой БДДИ. (Кроме этого, нередко БДДИ не содержат реального диапазона яркостей, а являются просто обычными фотопанорамами. Очевидно, что такие БДДИ не могут корректно задать освещение сцены и приводят к некорректностям при синтезе реалистичных изображений.)

В связи с этим были разработаны модификации алгоритмов, учитывающие и компенсирующие известные недостатки БДДИ. Проблема

недостаточности пространственного разрешения БДДИ решается с помощью технологии «двойного кадра», при которой освещенность сцены рассчитывается с помощью БДДИ с относительно небольшим пространственным разрешением. В то же время представление фона требует достаточного пространственного разрешения, а большой динамический диапазон здесь не важен, так как в итоге изображение будет приведено к динамическому диапазону монитора. Поэтому для фона можно использовать простое изображение, полученное с помощью обычной бытовой цифровой камеры. Необходимо только, чтобы это изображение было сделано с той же позиции, что и все БДДИ. На рис. 3 показано изображение, сгенерированное построенной графической системой с использованием технологии «двойного кадра», дающей хорошую степень реалистичности.

Однако наиболее существенным фактором является компенсация недостатков, связанных с заданием солнечного света. Недооценка яркости солнца может быть компенсирована, если взять за основу стандартные модели неба, принятые Международной комиссией fio освещению (CIE). При выделении источников света производится расчет освещенности горизонтальной поверхности от выделенного источника (т.е. солнца) и от модифицированной верхней полусферы БДДИ панорамы (т.е. неба за исключением солнца). Яркость выделенного источника света масштабируется таким образом, чтобы его освещенность соответствовала стандартной модели неба (рис. 4). Изменять яркость неба было бы некорректно, так как именно яркость солнца является недооцененной. Производители аппаратуры для создания БДДИ утверждают, что яркости, представляющие в БДДИ все окружение за исключением солнца, измеряются с высокой точностью.

Рис, 4. Применение компенсации некорректггости задания солнца. Левое изображение построено без компенсации, правое - с компенсацией. Видны соответствующие солнечному дню четкие тени, которые появились в результате включения режима компенсации.

В итоге реализованные алгоритмы позволяют подучить более корректный результат, являются автоматическими и устойчивыми к

различным ошибкам БДДИ. Это расширило число приемлемых БДДИ, которые можно использовать для синтеза реалистичных изображений. Приводятся примеры использования разработанных алгоритмов в системах компьютерной графики для генерации высокореалистичных изображений.

В третьей главе рассматриваются вопросы влияния особенностей зрительного восприятия человека на процесс синтеза изображений. Построенная технология физически аккуратного моделирования освещенности позволяет с высокой точностью рассчитывать освещенность моделируемых сцен и синтезировать реалистичные изображения. Однако в ряде приложений, особенно в архитектуре и дизайне, одной физической достоверности моделирования часто бывает недостаточно для построения действительно качественных образов. Необходимо также учитывать специфику и психофизиологию человеческого зрения.

Так использование изображений с большим динамическим диапазоном яркостей вызывает проблемы при отображении их на стандартных устройствах (графические мониторы, принтеры), динамический диапазон которых существенно уже, чем диапазон яркостей реального мира. Для отображения БДДИ на обычных дисплеях и принтерах этот диапазон должен быть сжат до уровня, который может быть воспроизведен на этих устройствах.

К тому же глаз и нервная система человека по-разному обрабатывают большой и малый диапазоны яркости видимого изображения. Механизм обработки сигналов, который успешно работает при большом диапазоне яркостей (например, при соотношении яркостей сотни тысяч к одному), не включается при обработке изображения с экрана, где диапазон мал (сотни к одному). Следовательно, для создания реалистичного изображения необходимо смоделировать процесс обработки больших яркостей глазом. В литературе такой оператор сжатия называется tone mapping или tone reproduction. Качество работы таких операторов оценивается главным образом по уровню сохранения деталей изображения, локального контраста и отсутствию артефактов (некорректных изображений). Существенным фактором являются также скорость работы алгоритма и объем требуемой памяти, поскольку в настоящее время все более актуальным становится обеспечение работы в режиме реального времени.

Для создания эффективного оператора сжатия за основу был взят оператор, называемый улучшенным оператором Тумблина-Рушмеера, в основе которого лежит вычисление адаптационной яркости изображения

Lwa ; определяемой как среднее логарифмическое всех яркостей изображения. Оператор сжатия использует модель сохранения яркости, основанную на математической модели человеческого зрения Стивенса. Целью этой модели является обеспечение постоянного отношения яркости

изображения, воспринимаемого с экрана монитора, к яркости соответствующей части реальной сцены при любых условиях освещения. Улучшенный оператор Тумблина-Рушмеера уменьшает контраст изображения на мониторе для очень темных изображений, что предотвращает избыточность контраста.

В общем случае, в результате использования улучшенного оператора сжатия Тумблина-Рушмеера яркость некоторых точек монитора, соответствующих наиболее яркой части сцены, может превышать максимальную яркость монитора и соответствующая часть изображения будет перенасыщена. Для преодоления этой проблемы разработанный оператор использует формулу, предложенную Рейнхардом и др. Формула сжимает большие яркости, используя уровень белого

Lwhite, отображаемый в чисто белый цвет.

Разработанный алгоритм хорошо работает без дополнительных настроек практически для любого изображения (проверялись сотни изображений, включая изображения с соотношением яркостей порядка сотен тысяч к одному). Предложенный алгоритм сравнивался с другими аналогичными методами. Показано, что он проявляет себя, как наиболее эффективный из них. Сравнения скорости вычислений показали, что разработанный алгоритм приблизительно в 15 раз быстрее других опубликованных методов.

Как отмечалось выше, для того чтобы синтезированные физически достоверные изображения «воспринимались» как реалистичные, необходимо принимать во внимание особенности зрительной системы человека. Если мы посмотрим в затемненных условиях на ярко горящую лампу с некоторого расстояния, то увидим вокруг нее некоторый ореол или свечение (glare effect), который может существенно влиять на видимость объектов около лампы. Этот ореол не воспроизводится автоматически путем физически аккуратного моделирования освещенности. Его природа обусловлена особенностями строения человеческого глаза. Можно улучшить реализм синтезированных изображений, если добавить в качестве постобработки смоделированных данных некоторые эффекты, учитывающие природу зрения человека.

В разработанной графической системе обеспечивается воспроизведение таких эффектов, как размытие или «блуминг» (blooming) и «реснитчатая корона» (ciliary corona) вокруг ярких источников света -фонарей, ярких бликов на глянцевых поверхностях и др. (рис.5). Размытие вызывает уменьшение контраста, которое влияет на видимость соседних объектов. Оно обусловлено последовательным рассеянием света на трех частях глаза: роговице, хрусталике и первом слое сетчатки, -приблизительно с равным вкладом.

Реснитчатая корона выглядит состоящей из многочисленных радиальных лучей случайной амплитуды, исходящих из точечного источника света. Ее природа обусловлена дифракцией света на частицах,

клетках и волокнах хрусталика, т.е. случайных флуктуациях плотности вещества хрусталика глаза, которые вызывают рассеяние света, не зависимое от длины волны. С увеличением размера светового источника реснитчатая корона все более «расплывается» и вносит вклад в эффект размытия.

Рис. 5. Воспроизведение ореолов (эффектов размытия и реснитчатой короны) вокруг ярких источников света в соответствии с особенностями зрительного восприятия человека.

Кроме учета особенностей зрительного восприятия человека, повышению реалистичности способствует также возможность поддерживать эффекты фотографических изображений. Система позволяет воспроизводить такие фотоэффекты, как ореолы вокруг ярких источников, как первичных, так и вторичных, дефокусировку изображений и эффект экспозиции при изображении водных поверхностей. В работе приводятся особенности реализации каждого из этих методов.

Вышеупомянутые эффекты реализованы в виде постобработки сгенерированных первичных изображений в физических величинах, что позволяет пользователю быстро подбирать желаемые параметры этих эффектов.

Четвертая глава посвящена моделированию освещенности и синтезу реалистичных изображений с использованием Интернета. Технология, представленная в этой главе, была разработана для создания интерактивных Интернет презентаций, предоставляющих средства для динамического моделирования и синтеза изображений при заданных пользователем условиях освещения, расположения объектов и др. На базе этой технологии был реализован программный комплекс, предназначенный для разработки Интернет-приложений компьютерной

графики, позволяющих синтезировать реалистичные изображения сцен на основе алгоритмов физически аккуратного моделирования освещенности,

Графическое приложение для интерактивного моделирования освещенности выполняется в глобальной распределенной среде, включающей компьютер пользователя и компьютер, предоставляющий приложение. Эффективность работы приложения в значительной мере зависит от решений, связанных с распределением вычислительной нагрузки между компьютерами и организацией взаимодействия между выполняющимися на них компонентами. Для того чтобы обеспечить возможность работы с максимальным числом пользователей, необходимо учитывать, что доступные вычислительные ресурсы на компьютере пользователя могут быть ограничены, а скорость сетевого обмена с ним -не слишком высокой. Поэтому все ресурсоемкие вычисления, связанные с моделированием освещенности и синтезом изображений, выполняются на компьютерном кластере сайта, предоставляющего приложение. На нем также хранятся данные сцен, представление которых может включать сотни тысяч и даже миллионы объектов.

Дополнительным аргументом в пользу такого решения является необходимость защиты данных, представляющих сцены. Для получения высококачественных изображений требуются сцены с высокой степенью детализации геометрии, тщательно подобранными (или даже измеренными) свойствами поверхностей и источников света. Создание таких сцен является дорогостоящим процессом, и обычно они являются объектом собственности, не подлежащим свободному распространению. Поэтому важно, чтобы детальные описания сцен не передавались за пределы предоставляющего их сайта.

Архитектура Интернет-приложения для интерактивного физически аккуратного моделирования освещенности и организация взаимодействия между его компонентами показана на рис. 6. Эта архитектура и была реализована в программном комплексе.

Функциональность программного комплекса, предоставляющего физически аккуратное моделирование освещенности, проиллюстрирована на диаграмме, показывающей общую схему работы пользователя (рис. 7). Расчет глобальной освещенности и создание высокореалистичных изображений требуют значительных вычислительных затрат. В то же время слишком большое время ожидания реакции системы, скорее всего, приведет к низкой посещаемости Интернет-сайта. Поэтому эффективная реализация ресурсоемких операций в контексте Интернет-приложений приобретает критическое значение.

Программы пользовательского интерфейса

й

Запросы

Изображения, параметры камеры и т.п.

£

Серверная программа L kernel

Запросы

• Расчет освещенности и сингтез изображен^;

- Библиотеки смен ы объектов;

■ Данные пользовательских сеансов.

Рис, 6. Организация Интернет-приложения для интерактивного физически аккуратного моделирования освещенности; взаимодействие компонентов пользовательского интерфейса с серверным компонентом.

Рис. 7. Схема работы пользователя.

Главной причиной необходимости большого объема вычислений при расчете глобальной освещенности является стохастический шум, присущий всем Монте-Карло алгоритмам. Поскольку освещенность в основном является гладкой функцией, для которой шум хорошо заметен, то получение качественных изображений невозможно без избавления от него. Поэтому для ускорения расчета глобальной освещенности использование псевдослучайной числовой последовательности было заменено на использование квази-случайных выборок. Преимущество квази- Монте-Карло метода заключается в значительно меньшем стохастическом шуме, а также, при определенных условиях, более высокой скорости сходимости.

В табл. 1 приведены результаты измерений, демонстрирующих ускорение вычислений, достигнутое за счет использования квазислучайных выборок вместо псевдослучайных последовательностей при расчете глобальной освещенности методом Монте-Карло. Измерения проводились на реальных сценах, предоставленных пользователем -фирмой-производителем осветительных приборов 2ипйоЬе1, с различными значениями итоговой точности. Время вычислений указано в секундах.

Сцена Точность (%) Тмс Tqmc Ускорение (раз)

Office 97 332.164 224.057 1.48

Office 98 757.918 486.441 1.56

Montage 97 54.202 32.624 1.66

Montage 98 135.731 70.717 1.92

Montage 99 972.882 243.072 4.00

Таблица 1. Сравнение времени вычислений при использовании псевдослучайных последовательностей (ТМс) и квазислучайных выборок (Т<зМС) в расчетах глобальной освещенности методом Монте-Карло.

Другим способом ускорения расчета глобальной освещенности стало исключение первичных лучей из процесса трассировки лучей методом Монте-Карло. Трассировка первичных лучей была заменена на детерминистический расчет прямой освещенности. При этом строятся дополнительные карты прямой освещенности, которые потом используются и как вторичный источник света для дальнейшего его моделирования методом Монте-Карло, и для визуализации сцены. В итоге суммарное время, необходимое для создания изображения, уменьшается. Однако эффективность этого способа сильно зависит от освещенности сцены. Реальное ускорение вычислений в сравнении с квази- Монте-Карло методом может составлять от нескольких процентов до нескольких раз.

Кроме алгоритмических методов для ускорения синтеза изображений и расчета глобальной освещенности были также реализованы параллельные вычисления. Применяется как горизонтальный параллелизм, основанный на использовании кластеров из нескольких компьютеров, объединенных в сеть, так и вертикальный параллелизм многопотоковых вычислений, эффективно использующих несколько процессоров в одном компьютере.

Идея параллельной реализации алгоритма обратной трассировки, применяемой для генерации изображений, основана на том, что значения светимости отдельных пикселей могут вычисляться независимо. Экран адаптивно разделяется на несколько непересекающихся областей так, чтобы обеспечивалась равномерная загрузка процессоров. Каждый процессор выполняет трассировку для заданных областей, исполняя последовательную версию алгоритма. Завершенные фрагменты объединяются в итоговое изображение. Параллельная реализация прямой

трассировки при расчете глобальной освещенности основана на том, что трассировка каждого луча может проводиться независимо.

Разработанные методы ускорения вычислений (как алгоритмические, так и аппаратные) позволили довести время расчета освещенности для сложных сцен до десятков секунд, а в отдельных случаях - даже до нескольких секунд. Такие времена можно считать приемлемыми для Интернет-приложений, предоставляющих сервис по физически аккуратному моделированию освещенности.

Пятая глава посвящена задаче построения физически аккуратных изображений сцен, содержащих оптически сложные материалы, в режиме интерактивной 3D навигации на базе персональных компьютеров. На данном этапе обычные персональные компьютеры не могут обеспечить интерактивной скорости расчета освещенности. В то же время большинство из распространенных графических карт не поддерживают физически аккуратного моделирования освещенности.

Было решено использовать OpenGL в качестве базового уровня визуализации, а для расчета вторичной освещенности - квази- Монте-Карло метод, применявшийся ранее в других приложениях. Таким образом, созданная система является компромиссом между высоким качеством изображений, созданных методами физически аккуратного моделирования освещенности, и быстрой генерацией изображений аппаратными средствами графических акселераторов. Отличительной чертой системы является задание свойств материалов и источников света в физических величинах. Только на последней стадии при выводе изображения они перекодируются в OpenGL координаты.

В системе реализовано несколько режимов генерации изображения:

1) простой режим, где изображение генерируется с помощью закраски по Фонгу, аппаратно поддерживаемой через OpenGL;

2) режим вывода глобальной освещенности, где в качестве цветов вершин используются преобразованные физические значения глобальной освещенности, рассчитанные предварительно с помощью модуля физически аккуратного моделирования;

3) специальный режим, использующийся для быстрого моделирования естественного освещения солнечным светом.

Архитектура программного комплекса Fly, позволяющего генерировать реалистичные изображения в режиме 3D навигации, показана на рис. 8. Сцена хранится в иерархической структуре по объектам. Объектами этой структуры являются не только геометрические тела, но и описания оптически сложных материалов, а также описания источников света вместе с их гониодиаграммами. Такое полное описание сцены используется для моделирования освещенности, генерации высокореалистичных изображений трассировкой лучей и для быстрой генерации изображений с помощью OpenGL.

В реализованном программном комплексе Fly имеется два ядра для генерации изображений: генерация изображений методом обратной трассировки лучей (BRT - Backward Ray Tracing) и визуализация сцены через OpenGL. Каждое из этих ядер предъявляет свои требования к представлению сцены в памяти. Например, пространственное разбиение сцены необходимо для ускорения трассировки лучей, в то время как геометрические объекты могут быть заданы как полигональными сетками, так и замкнутыми объектами (сферами, цилиндрами и т.д.). Для визуализации сцены через OpenGL геометрия сцены должна быть

Библиотеки объектов, источников

света, материалов, и ДР.

Иерархическое описание сцены

VRML, тег,

DXF, 3ds, etc.

Прелроцессированное описание сцеш (KT)

Прелроцессированное описание сцены (OGL)

Моделирование освещенности IfBRT.lMCRn Интерактивный иодуль визуализации

КГ изображение OpenGL

Рис. 8. Архитектура системы генерации реалистичных изображений в реальном времени.

представлена набором треугольников, а пространственное разбиение сцены не требуется. Поэтому описание сцены подготавливается (препроцес-сируется) специальным образом для каждого ядра визуализации. Такая схема с единым начальным представлением сцены и отдельными подготовленными представлениями для каждого ядра позволяет легко расширять методы визуализации, использующиеся в системе.

Освещение сцены солнечным светом является специальным режимом генерации изображения, используемым в архитектурном проектировании и градостроительстве. Следующие алгоритмы были реализованы для создания визуально достоверных и физически аккуратных изображений:

• генерация источников света, соответствующих солнцу и небесному освещению;

• генерация заднего плана, изображающего небо и солнце;

• генерация теней от солнца и текстур освещения, которые используются для визуализации теней.

Пользователь может задать естественное дневное освещение несколькими способами: можно выбрать географическое положение из списка городов, можно указать географические координаты (широта и

долгота), после этого указывается дата и локальное время для генерации солнца и неба. Альтернативным методом является задание высоты солнца над горизонтом и ориентация его относительно сцены.

Реализованный программный комплекс Fly обеспечивает визуализацию оптически сложных материалов, заданных через двунаправленную функцию отражения (ДФО). ДФО может быть определена в наиболее общем, табличном виде. Визуализация в интерактивном режиме таких функций является непростой задачей, так как доступ к большим таблицам и интерполяция значений функции на направления, непредставленные в таблице, требуют существенных вычислительных затрат. Выла использована оригинальная технология поточечного вычисления освещения поверхности с оптически сложным материалом, описываемым ДФО, Технология основывается на вычислении специальной текстуры, которая накладывается на объект с помощью аппаратных средств. Текстуры строятся для каждого источника света, а потом складываются и наносятся на объект с помощью аппаратных средств через OpenGL (reflection mapping).

Разработанный метод применим для визуализации ДФО при условии, что сцена освещена удаленными источниками света. Метод дает хорошие результаты при визуализации оптически сложных автомобильных красок (с металлическим эффектом и перламутровых). «Идеальные» изображения красок, полученные трассировкой лучей, мало отличаются от изображений, полученных в режиме 3D навигации (рис. 9).

Рис, 9. Изображения оптически сложной автомобильной краски, освещенной пятью источниками света. Левый рисунок получен трассировкой лучей. Правый рисунок получен я реальном времени.

Вторичная освещенность рассчитывается модулем моделирования освещенности методом Монте-Карло. Моделирование вторичной освещенности не генерирует изображения, а строит карты освещенности всех поверхностей сцены. Карты освещенности хранятся в вершинах треугольников, что хорошо согласуется с интерфейсом OpenGL. Для уменьшения числа треугольников в сцене освещенность на плоских поверхностях преобразуется в текстуры освещенности. Для таких поверхностей используется мак с и мать но упрощенная геометрия.

В комплексе также реализованы алгоритмы, необходимые для изображения зеркальных поверхностей, возможности интерактивной навигации и интерактивного изменения геометрии сцены, назначения материалов и спецификации освещения сцены.

Тесты, а также примеры использования в практических приложениях, показали, что программный комплекс способен строить реалистичные изображения сцен с естественным освещением, визуализацией материалов, описываемых ДФО, вторичной освещенностью в режиме интерактивной 3D навигации. Результаты тестов, оценивающих производительность комплекса на сценах различной сложности, показаны в табл. 2. Тесты выполнены на обычном персональном компьютере (Pentium4 2,8 ГГц, 1 Гб оперативной памяти, графическая карта Radeon 9700 Pro). Значения приведены в количестве кадров в секунду.

Сцена Количество треугольников Вывод карт освещенности Простой режим Естественное освещение

Mercedes 137551 35 к/с 33 к/с 12 к/с

Jaguar 107222 38 к/с 33 к/с 14 к/с

House 312923 26 к/с 24 к/с 7 к/с

Таблица 2. Скорость генерации изображений (к/с — число кадров в секунду).

Разработанный программный комплекс показал себя мощным интерактивным средством реалистичной визуализации (3D browser), исследования и модификации трехмерных сцен, содержащих оптически сложные материалы.

Созданная технология расчета распространения света, рассмотренная в предыдущих главах, оказалась столь эффективной и точной, что позволила сделать следующий шаг и перейти к программному моделированию и инженерному проектированию сложных оптических светопроводящих систем и устройств, таких как осветительные системы жидкокристаллических (ЖК) дисплеев, приборные панели современных автомобилей, светодиодные системы, автомобильные фары и огни и др. Вопросам создания алгоритмических и программных средств оптического моделирования, позволяющих решать подобные задачи, посвящена шестая глава.

Одним из самых распространенных и сложных в моделировании оптических устройств является осветительная система жидкокристаллического монитора. На рис. 10 показана структура конструкции системы подсветки и элементы, из которых она состоит. Свет, излучаемый люминисцентной лампой или светодиодами, отражается от рефлектора и поступает через входную грань в светопроводящую пластину (СПП) -основной оптический элемент системы. В зависимости от конструкции

СПП может быть прозрачной (состоять из акрила), либо содержать внутри своего объема ев еторас сбивающие микрочастицы. Распространяясь внутри пластины, свет претерпевает рассеивание на микрочастицах и многократные полные внутренние отражения от ее поверхностей. Другие элементы устройства (диффузные и призменные слои, поляризационные фильтры) служат для усиления яркости и обеспечения ее равномерности на выходной поверхности монитора.

Рис. ! 0. Структура системы подсиетки жидкокристаллического монитора и ее элементы.

Расчет подобных устройств сводится, в основном, к проектированию:

■ структуры микрогеометрии на нижней, рассеивающей, части СПП для получения пространственно равномерного распределения света над ее выходной (верхней) гранью, поскольку равномерная плотность распределения микроэлементов создает неравномерную освещенность экрана над поверхностью светопроводящей пластины, в частности, зоны вблизи источников света оказываются сильно засвеченными;

■ одного или нескольких призменных слоев (BEF - Brightness Enchancement Film) для концентрации и усиления светового потока на выходе жидкокристаллического экрана;

■ диффузного и/или поляризационного фильтра (DBEF - Dual Brightness Enchancement Film) для усиления яркости экрана.

В главе описываются разработанные программные средства для анализа и визуализации результатов моделирования оптической системы. Основным инструментом при этом являются элементы наблюдения,

представляющие собой виртуальные светочувствительные сенсоры (угловые и пространственные), которые, не оказывая влияния на распространение света в модели, регистрируют лучи в процессе их трассировки и накапливают распределение световой энергии в соответствии с заданными пользователем параметрами.

Система поддерживает различные графические формы отображения результатов, полученных при помощи элементов наблюдения. Для распределений яркости или освещенности поддерживаются отображения в виде диаграммы яркости (изображение светопроводящей пластины), графиков (для сечений по любому из двух направлений), изолиний с тоновой заливкой (изображение в псевдо цветах) (рис.16-17).

Другим механизмом отображения и анализа результатов моделирования, реализованным в системе, является визуализация распространения света в модели в виде траекторий множества лучей, которые отображаются в ходе трассировки. Изображаются только лучи, удовлетворяющие критериям выборочной визуализации, установленным пользователем. Примерами простых критериев являются следующие:

• лучи, проходящие (не проходящие) через указанную поверхность;

• лучи, зарегистрированные (не зарегистрированные) указанным элементом наблюдения;

• лучи, претерпевшие определенный тип оптического преобразования (зеркальное отражение, преломление, диффузное отражение или пропускание, поглощение, полное внутреннее отражение и т.д.);

• лучи, «забракованные» в ходе трассировки, т.е. лучи, которые признаны некорректными в контексте данной модели. Визуализация лучей, с одной стороны, позволяет выявить и

исправить ошибки, которые могли быть допущены в описании модели устройства, а с другой - подсказать проектировщику источник несоответствия модели критериям проектирования. Пример практического использования этого метода показан на рис. 11,

Рис,

Далее в главе рассмотрены механизмы описания и представления элементов моделируемых оптических систем. Общепринятые геометрические представления в виде множеств многоугольников или в виде сплайнов, применяемые в традиционных САПР, во многих

__Частицы

11. Визуализация траекторий лучей в кластере светодиодов тина 1ШСВ. помешенных в среду с объемным рассеянием.

случаях не удовлетворяют потребностям определения оптически сложных элементов, являющихся ключевыми компонентами систем подсветки. Проблемы могут быть связаны либо с эффектами волновой природы света, которые необходимо учитывать при моделировании, либо с необходимостью поддерживать представление сложнейшей микрогеометрии, включающей десятки и сотни миллионов геометрически сложных элементов (выпуклостей, бороздок, ячеек). При этом должна обеспечиваться высокая эффективность представления сложных элементов как по объему необходимой памяти, так и с точки зрения вычислений, требуемых для трассировки лучей, проходящих через данные элементы.

Описываются три реализованных механизма расширения традиционной базы данных системы, ориентированных на потребности оптического моделирования:

■ процедурные представления оптических текстур и геометрии, при которых элементы задаются в процедурной (аналитической) форме с параметрами, посредством которых пользователь может интерактивно изменять форму геометрического объекта или «рисунок» текстуры;

■ встроенные модули для генерации различных типов поверхностей и текстур, используемых в проектировании систем подсветки. Применение встроенных модулей заключается в том, что сначала средствами какой-либо САПР создается базовая часть геометрии, которая затем дополняется элементами, сгенерированными при помощи встроенных модулей;

■ и, наконец, оптические объекты, о которых речь пойдет ниже.

Все указанные механизмы могут совмещаться со стандартными средствами создания сцен при помощи сторонних САПР.

Генераторы элементов специального вида и генераторы процедурной геометрии значительно расширили класс задач оптического моделирования, решаемых при помощи разработанной системы оптического моделирования. Однако они в конечном счете создают традиционные представления поверхностей в виде треугольной сетки. Это значит, что количество микроэлементов в модели ограничивается величинами порядка 103 -105_ в то время как в реальных оптических устройствах количество микроэлементов может достигать величин порядка 106 -109 . Кроме того, такое представление не обеспечивает в должной мере эффективной трассировки лучей и, следовательно, замедляет процесс расчета таких систем. Так же, оно не решает проблемы описания других классов оптически сложных компонентов, таких как поляризационное рассеивание света в тонких пленках (фильтрах).

Для решения указанных проблем предложен и реализован механизм оптических элементов (ОЭ). ОЭ можно определить как объекты программно моделируемой оптической системы или устройства, которые позволяют использовать оптически более сложные модели

распространения света, чем поддерживаемые в традиционных программных комплексах оптического моделирования.

Компонент модели, представленный в виде ОЭ, по программному интерфейсу совместим с трассировкой лучей методом Монте-Карло, используемой в базовой системе оптического моделирования. Благодаря унификации ОЭ могут использоваться с различными системами моделирования, действуя по отношению к ним как «черные ящики», работающие как излучатели, преобразователи и накопители световой энергии. Унификация же позволяет достаточно легко расширять семейство оптических объектов - все, что требуется при разработке нового класса ОЭ, - следование общим правилам их реализации и поддержка стандартных внешних интерфейсов.

Рис. 12 иллюстрирует концепцию оптического элемента. В данном случае микрогеометрия (в виде ОЭ) расположена на нижней грани светопроводящей пластины и служит для рассеивания и вывода света из нее. Получая на вход луч, этот объект должен обрабатывать его и выдавать на выход преобразованный луч. ОЭ имеет форму параллелепипеда и располагается вплотную к поверхности СПП.

Луч попадает и сц&ку к п&р»сй(сает границу Ш

Дуй по к гадает ОЭ и продолжает распространение в сцене

| 1 Оптический

Луч прообразуется Опгс.чвсккм элсшштом зломакт

Рис. 12, Иллюстрация механизма функционирования оптического элемента.

Основными требованиями к ОЭ и их программному интерфейсу как к элементам систем оптического моделирования являются следующие:

• высокая производительность и точность оптического моделирования;

• независимость ОЭ от моделируемой оптической системы или устройства и от системы оптического моделирования, которая его использует;

• Объектно-ориентированная организация ОЭ - ОЭ предоставляет оптической системе только ин терфейс своих базовых классов;

• возможность работы ОЭ в параллельных и распределенных вычислениях.

Поскольку ОЭ являются внешними объектами по отношению к системе оптического моделирования, интерфейс их взаимодействия с этой системой реализован максимально унифицированным и абстрактным. То есть ОЭ ничего не знают о программе, которая их вызывает, а сама программа должна обращаться к ОЭ посредствам фиксированного набора запросов. Пример такого взаимодействия для случая трассировки луча

внутри светопроводящей пластины, содержащей ОЭ поверхностного рассеяния, показан на рис. 13.

Пересечение луча с границей оптического элемента

Новые параметры луча на выходе оптического элемента

Рис. 13. Преобразование луча ОЭ.

В качестве программного языка реализации ОЭ использовался язык С++, который с одной стороны обеспечивает высокую эффективность в вычислительных приложениях, а с другой - является объектно-ориентированным языком, что упрощает объектно-ориентированную реализацию ОЭ. Кроме того, большинство систем оптического моделирования также используют язык С++, что упрощает интеграцию ОЭ в данные системы.

Преимущества абстрактного интерфейса ОЭ и его пассивность проявляются при его интеграции в среду систем оптического моделирования. Интерфейс ОЭ предполагает два основных типа взаимодействия. Это преобразование света ОЭ, т.е. собственно оптическое моделирование, и формирование ОЭ и его привязка к внешней оптической системе.

В оптическом моделировании используется лучевой интерфейс взаимодействия, основанный на трассировке лучей методом Монте-Карло. Поскольку разные системы оптического моделирования применяют различные модификации метода Монте-Карло, для интерфейса ОЭ была выбрана наиболее универсальная модель - «русская рулетка».

Для обеспечения лучевого интерфейса было разработано два основных метода, которые позволяют произвести интеграцию ОЭ в системы оптического моделирования, использующие трассировку лучей методом Монте-Карло:

• Поиск пересечения луча с границей ОЭ, т.е. определение, с каким объектом оптической системы пересекается луч, испущенный внешним трассировщиком, - базовым элементом моделируемого оптического устройства или ОЭ.

• Преобразование луча самим ОЭ в случае, когда пересечение луча с границей ОЭ найдено. Для преобразования луча могут использоваться любые решения - от лучевых до волновых. Важно, чтобы на входе в ОЭ был всегда один луч, а на выходе - либо луч, либо событие поглощения.

Для формирования объекта ОЭ был разработан специальный интерфейс описания ОЭ, который приводится в главе. С точки зрения представления данных ОЭ представляет собой описатель, управляемый набором внешних параметров и содержащий всю информацию, необходимую для его создания и автономного функционирования.

Концепция ОЭ была применена на практике в разработанном программном комплексе SPECTER, что позволило расширить его элементную базу различными типами микрорассеивающих элементов и существенно повысить точность и скорость моделирования.

Этот комплекс позволяет рассчитывать не только системы подсветки жидкокристаллических мониторов, но и другие осветительные системы, такие как фары и фонари автомобилей, светодиоды и др. На рис. 14 приведен пример использования программного комплекса для анализа результатов моделирования осветительных приборов автомобиля. В данном случае контролировалась равномерность распределения интенсивности светового потока, а также привлекательность внешнего вида самой фары. Результаты компьютерного моделирования с хорошей точностью совпали с измеренным световым потоком реального устройства.

Рис. 14: а) Визуализация компьютерной модели автомобильной фары в дневных

условиях при естественном солнечном освещении, б) Результат физически аккуратного моделирования значений яркости света на объектах, освещенных спроектированной фарой.

В седьмой главе рассмотрены основные типы оптических элементов, разработанных и интегрированных в созданный комплекс оптического моделирования. Это ОЭ поверхностного рассеяния, ОЭ объемного рассеяния и ОЭ поляризационного рассеяния. Интеграция была осуществлена в модуль трассировки лучей. Все три типа ОЭ загружаются, присоединяются к оптической системе и преобразуют лучи единообразно, так что система не отличает один ОЭ от другого.

Светорассеиваюшая микроструктура - это набор геометрических микро элементов, нанесенных на поверхность оптической системы. Как правило, микроэлементы используются в свето про водящих пластинах (для вывода света из пластины) и как рассеивающие элементы пленок (для создания необходимой гониометрической диаграммы излучения).

Алгоритм распространения луча света в ОЭ поверхностного рассеяния, описанный в главе, сводится к трем основным операциям;

• распространение луча света в среде ОЭ;

• поиск пересечения луча с поверхностями ОЭ;

• преобразование луча на поверхностях ОЭ.

Эти операции однотипны для любого ОЭ с поверхностным рассеиванием. Основная специфика лежит в описании моделей элементов микрогеометрии и их распределения.

Поддерживаются два типа светорассеиваюших микроструктур: статистические и регулярные.

Нерегулярное (статистическое) описание формы поверхности применяется к поверхностям с нерегулярной микрогеометрией, чьи характеристики (диаграмма рассеивания) одинаковы по всей поверхности, или, по крайней мере, в некоторой ее локальной зоне (рис. 15).

и ! иг^ш Ж Г^Л^^Я'—V О /

Рис. 15. Типы свсторассеикающих Рис. 14. Сверху - примеры микроструктур: слева - два уровня построения форм микроэлементов представления поверхности со с помощью логических операций, статистическим описанием формы (с Внизу - построение распределений «шероховатой» фактурой); справа - микрогеометрических элемегггов примеры регулярных микроструктур. путем комбинирования форм

разных типов.

Микроструктуры данного типа определяют локальный рельеф поверхности и имеют две формы представления — явное, задаваемое распределением высот рельефа на регулярной сетке, и неявное, задаваемое распределен кем нормалей микрограней рельефа. В соответствии с векторами ориентации и нормали к поверхности микрорельеф, определенный в локальной зоне, распределяется по всей поверхности, к которой присоединен данный ОЭ. При реальном моделировании чаще всего используется явное распределение высот микрорельефа поверхности, измеряемое ЗП сканерами в малой, но достаточно представительной зоне образца. Разработанный алгоритм трассировки лучей позволяет производить эффективное моделирование такого типа шероховатых поверхностей, представленных сотнями миллионов точек микропрофиля.

В регулярных микроструктурах форма, положение и ориентация каждого микроэлемента строго определены по всей рассеивающей

поверхности. К этому типу объектов относятся поверхности с призменным слоем (микробороздки) или микроэлементами произвольной формы, которые могут бьггь распределены по поверхности некоторым регулярным или случайным образом (рис. 15). Фиксированное описание формы микрорассеивающих элементов, как правило, применяется к элементам оптических систем, которые осуществляют строго определенное преобразование падающего света, например, построение изображения в растровых системах или неравномерное отражение в случае систем подсветки жидкокристаллических мониторов. Количество микроэлементов на поверхности светопроводящей пластины может составлять десятки и сотни миллионов. Поэтому были разработаны решения, позволяющие формировать на поверхности ОЭ распределения практически неограниченной сложности.

Задание регулярных микроструктур сводится, в основном, к описанию форм микроэлементов, из которых состоит микроструктура, и распределению этих форм по поверхности ОЭ. Формы микроэлементов строятся с помощью логических операций над базовыми формами, такими как плоскость, параллелепипед, различного рода пирамиды и цилиндры, эллипсоид, тор, треугольная сетка и др. Таким образом можно построить практически произвольную форму микроэлемента (рис. 16). Формы примитивов также могут быть подготовлены с использованием сторонних САПР и импортированы через форматы IGES, STEP, DXF и др. Анализ распределений элементов микрогеометрии, используемых в реальных системах подсветки жидкокристаллических дисплеев, выявил шесть основных типов распределений, которые и были реализованы для ОЭ с поверхностным рассеиванием. Каждый способ имеет преимущества для своего круга задач. Примеры распределений микроэлементов разных типов показаны на рис. 16.

ОЭ объемного рассеяния позволяют моделировать рассеяние света не на поверхности, а внутри материала, который представляет собой некоторую субстанцию, в которой находятся микрочастицы. Свет, проходящий через подобный материал, подвергается спонтанному рассеянию на этих частицах.

Поддерживаются две модели объемного рассеяния. Первая описывает рассеяние света в изотропной среде, содержащей однородные сферические частицы, определяемые параметрами - радиусом, коэффициентом преломления (где мнимая часть задает коэффициент поглощения), концентрацией. В другой пользователь явно задает функцию рассеяния света для отдельной частицы (фазовую функцию), а также объем частицы и размер сечений для функций рассеяния и поглощения. Для обеих моделей поддерживается возможность задавать смеси из неограниченного числа разновидностей частиц, имеющих различные значения параметров, заданных в той или иной модели.

Как и любой ОЭ, тело, содержащее материал с объемным рассеиванием, должно удовлетворять двум основным методам ОЭ. Это

нахождение пересечения луча с границей ОЭ и преобразование луча внутри ОЭ. Описанный в главе алгоритм распространения света в рассеивающей среде внутри ОЭ базируется на гибридном решении, т.е. на комбинации лучевой модели распространения света в изотропной среде между частицами и волновой модели рассеивания света на частицах. В этом случае к лучу применяется пять основных операций:

• Преобразование луча на границе ОЭ объемного рассеивания.

• Поиск пересечения луча с границей ОЭ объемного рассеивания.

• Определение дистанции прямолинейного распространения света в ОЭ (т.е. прямолинейной траектории «луча» от частицы до частицы).

• Прямолинейное распространение (перенос) «луча» на дистанцию прямолинейного распространения (определяемую параметрами рассеивающей среды).

• Рассеивание света на частицах.

Все «случайные» компоненты «волновой» части алгоритма основываются на методе «русской рулетки» - энергия луча всегда постоянная и никаких разделений «лучей» при рассеивании света на частицах не происходит. Поэтому данное решение полностью согласуется с базовым интерфейсом ОЭ.

Описываемые далее ОЭ поляризационного рассеяния позволяют моделировать сложные поляризационные фильтры (DBEF), определяемые двунаправленными функциями рассеяния (ДФР). Подобного рода материалы активно применяются в производстве современных жидкокристаллических мониторов.

На базе комплекса SPECTER с интегрированными моделями ОЭ было проведено большое количество расчетов реальных оптических систем и устройств, в основном, осветительных систем ЖК мониторов. Некоторые из таких расчетов приведены в диссертации. На рис. 17 показана система подсветки реального ЖК монитора. На рис. 18 приведены результаты моделирования с целью достижения равномерной яркости экрана. Слева показаны распределения яркости экрана при постоянном размере микроэлементов (всего их 8,5 млн.), справа - после окончания итерационного процесса проектирования путем изменения распределения размера микроэлементов (рис. 17-в). Видно, что в результате получено распределение (правый нижний рисунок на рис. 18), обеспечивающее равномерный выход светового потока из осветительной системы ЖК монитора.

Рассмотрен также пример расчета методом трассировки лучей осветительного элемента, состоящего из кластера из четырех светодиодов типа RGGB, помещенных в среду с объемным рассеянием. На рис. 11 уже демонстрировалась визуализация траекторий лучей в этом случае. На рис. 19 показаны результаты моделирования - распределения яркости (в виде

Рис, 17. Осветительная система жидкокристаллического монитора: а-б) изображение и схематичное представление моделируемой системы; в) форма микроэлемента, где размер а1- изменяемый параметр.

С&етоднолы

Светопроводящая пластина

Сеетодиоды

Рефлекторы

■ VI о я а

3BLЭ_sis:

Рис. 18. Распределения яркости поверхности экрана и распределения микроэлементов на нижней грани светелроводя щеft пластины до и после процесса

проектирования,

изображений соответствующих элементов наблюдения и графиков для сечений) над выходной стороной кластера.

В главе приведен сравнительный анализ реализованного решения с ОЭ с функционально аналогичными решениями, используемыми в существующих в мире коммерческих системах оптического моделирования, таких как LighTools, SPEOS, ASAP, TracePro. В частности отмечается, что предлагаемое решение превосходит лучшие из них по ряду ключевых показателей: скорости моделирования не менее чем в 2,5 раза, количеству поддерживаемых элементов микрогеомегрии - в 5 раз и

1

-Г

■л 1Н5- м-■ - л Л л-м Р—(—I—1—(—

а)

б)

в)

Рис. 19. Распределения яркости над выходной стороной кластера светодиодов для случаев: а) прозрачной среды без объемного рассеяния, 6) среды с объемным рассеянием, в) среды с объемным рассеянием и вдвое большим размером рассеивающих частиц.

т.д. Решение с ОЭ обеспечивает также большую гибкость в описании форм рассеивающих микроэлементов и сред и более высокую точность моделирования.

В заключении сформулированы основные результаты работы.

Основные результаты работы состоят в следующем:

1. Разработана эффективная технология физически аккуратного моделирования распространения света, построенная на основе двунаправленной трассировки лучей с использованием методов Монте-Карло, Технология позволяет, используя единый механизм и алгоритмическую базу, решать широкий класс задач компьютерной графики и оптики; синтезировать изображения фотореалистичного качества, вычислять и анализировать освещенности, моделировать и проектировать сложные оптические системы и устройства.

2. На основе созданной технологии разработаны алгоритмические и программные средства моделирования сложных оптических систем и устройств. Предложен оригинальный подход выделения оптических элементов, позволяющий более эффективно и точно решать задачи проектирования светопровода щих систем, построенных на основе микроструктурных И объемных рассеивающих объектов.

3. На основе созданной технологии и алгоритмов расчета распространения света реализованы программные комплексы синтеза фотореалистичных изображений и моделирования сложных оптических светопроводящих систем. Комплексы находят широкое применение в нашей стране и за рубежом.

Публикации по теме диссертации

1. Банковский Ю.М., Галактионов В.А., Михайлова Т.Н. Графор. Графическое расширение фортрана // М.: Наука, 1985.

2. Галактионов В.А., Барладян Б.Х., Зуева Е.Ю., Кугушев Е.И. Параметрические модели трехмерных объектов и их использование для реконструкции сцен // Открытые системы, №5,1995, с.13-16.

3. B.Kh.Barladyan, E.Yu.Zueva, V.A.Galaktionov, A.Yu.Kargashin, E.LKugushev, E.L.Starostin Computer Modeling of Real Scenes and Objects Based on Their Photographs // Pattern Recognition and Image Analysis, vol.8, No.2,1998, pp.162-163.

4. Bayakovsky Yu.M., Galaktionov V.A. 50th anniversary of the Keldysh Institute for Applied Mathematics (KIAM). 40 years of Computer Graphics in KIAM // Proc. 13th International Conference on Computer Graphics and Vision GraphiCon-2003, Russia, Moscow, September 5 -10,2003, p. 8-9.

5. Банковский Ю.М., Галактионов B.A. О некоторых фундаментальных проблемах компьютерной (машинной) графики // "Информационные технологии и вычислительные системы", № 4,2004, с. 3-24.

6. Васильев В.Р., Волобой А.Г., Вьюкова Н.И., Галактионов В.А. Контекстная визуализация пространственных данных // "Информационные технологии и вычислительные системы", № 4, 2004, с. 25-34.

7. Ignatenko A., Barladian В., Dmitriev К., Ershov S., Galaktionov

V., Valiev I., Voloboy A. A Real-Time 3D Rendering System with BRDF Materials and Natural Lighting // Proc. 14th International Conference on Computer Graphics and Vision - GraphiCon-2004, Russia, Moscow, Sept. 6-10,2004, p. 159-162.

8. Барладян Б.Х., Волобой А.Г., Галактионов B.A., Копылов Э.А. Эффективный оператор сжатия динамического диапазона яркостей // "Программирование", № 5,2004, с. 35-42.

9. Волобой А.Г., Галактионов В.А., Дмитриев К.А., Копылов Э.А. Двунаправленная трассировка лучей для интегрирования освещенности методом квази- Монте Карло // "Программирование", № 5,2004, с. 25-34.

Ю.Барладян Б.Х., Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Дерябин Н.Б. Моделирование освещенности и синтез фотореалистичных изображений с использованием Интернет технологий / Препринт ИПМ им. М.В. Келдыша РАН, № 57,2004. П.Васильев В.Р., Волобой А.Г., Вьюкова Н.И., Галактионов В.А. Контекстная визуализация пространственных данных / Препринт ИПМ им. М.В. Келдыша РАН, № 56,2004.

12.Баяковский Ю.М., Галактионов В.А. Современные проблемы компьютерной (машинной) графики / Сб. "Будущее прикладной математики". - М.: Едиториал УРСС, 2005, с. 445-473.

13.Барладян Б.Х., Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Дерябин Н.Б. Интернет сервис для моделирования освещенности и синтеза реалистичных изображений // Труды 15-й международной конференции по компьютерной графике и ее приложениям -Графикон-2005, Новосибирск, июнь 20-24,2005, с. 332-338.

14.Галактионов В.А., Волобой А.Г. Методы машинной графики в автоматизированном проектировании // Труды 5-ой международной конференции "Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (CAD/CAM/PDM-2005)", Москва, октябрь 25-27,2005.

15.Волобой А.Г., Галактионов В.А. Машинная графика в задачах автоматизированного проектирования / Препринт ИПМ им. М.В. Келдыша РАН, № 104,2005. - 24 с.

16.Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Ершов C.B., Летунов A.A., Потемин И.С. Аппаратно-программный комплекс для измерения светорассеивающих свойств поверхностей / Препринт ИПМ им. М.В. Келдыша РАН, № 108,2005. - 31 с.

17.Волобой А.Г., Галактионов В.А., Копылов Э.А., Шапиро JI.3. Моделирование естественного дневного освещения, задаваемого изображением с большим динамическим диапазоном / Препринт ИПМ им. М.В. Келдыша РАН, № 111,2005. - 35 с.

18.Барладян Б.Х., Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Дерябин Н.Б. Моделирование освещенности и синтез фотореалистичных изображений с использованием Интернет технологий // "Программирование", № 5,2005, с. 66-80.

19.Волобой А.Г., Галактионов В.А. Машинная графика в задачах автоматизированного проектирования // "Информационные технологии в проектировании и производстве", № 1,2006, с. 64-73.

20.А.Г. Волобой, В.А. Галактионов, Э.А. Копылов, Л.З. Шапиро Расчет солнечного освещения, заданного изображением с большим динамическим диапазоном // Труды 16-й международной конференции по компьютерной графике и ее приложениям -Графикон-2006, Россия, Новосибирск, июль 1-5,2006, с. 467-472.

21. А.Г .Волобой, В.А.Галактионов, С.В.Ершов, Д.Д.Жданов Оптические элементы как средство расширения функциональности программ оптического моделирования // Труды 16-й международной конференции по компьютерной графике и ее приложениям -Графикон-2006, Россия, Новосибирск, июль 1-5,2006, с. 182-191.

22.Барладян Б.Х., Волобой А.Г., Галактионов В.А., Шапиро Л.З. Интеграция программных комплексов моделирования освещенности в системы автоматизированного проектирования и производства //

^ -

Труды 6-й международной конференции "Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (САЭ/САМ/РОМ-2006)". Москва, ИПУ РАН, октябрь 24-26,2006.

23.Волобой А.Г., Галактионов В.А., Жданов Д.Д. Технология оптических элементов в компьютерном моделировании оптико-электронных приборов // "Информационные технологии в проектировании и производстве", № 3,2006, с. 46-56.

24.Волобой А.Г., Галактионов В.А., Копылов Э.А., Шапиро Л.З. Моделирование естественного дневного освещения, задаваемого изображением с большим динамическим диапазоном // "Программирование", № 5,2006, с.62-80.

Подписано в печать 05 09 2006 Тираж 100 экз Заказ 20/02 ИПМ им М В Келдыша 125047, Москва, Миусская пл 4

Введение.

Глава 1. Синтез реалистичных изображений. Физически аккуратные расчеты освещенности.

1.1. Задание цифровой модели сцены.

1.1.1. Задание геометрии сцены.

1.1.2. Оптические свойства объектов и поверхностей.

1.1.3. Модель освещения: искусственный и естественный свет.

1.1.4. Параметры наблюдения сцены.

1.2. Моделирование распространения света.

1.2.1. Задача глобальной освещенности. Уравнение рендеринга.

1.2.2. Прямая и обратная трассировка лучей.

1.2.3. Методы ускорения моделирования освещенности.

1.3. Программный комплекс построения фотореалистичных изображений. Примеры практических приложений.

1.4. Выводы и результаты.

Глава 2. Моделирование естественного дневного освещения, задаваемого изображением с большим динамическим диапазоном.

2.1. Основные понятия технологии «изображений с большим динамическим диапазоном».

2.1.1. Изображение с большим динамическим диапазоном (БДДИ).

2.1.2. Освещение, задаваемое изображением.

2.1.3. Технология построения БДДИ.

2.1.4. Использование БДДИ в системах визуализации.

2.2. Построение изображения сцены, освещенной БДДИ.

2.2.1. Определение яркости точки поверхности.

2.2.2. Получение теней при технологии освещения изображением.

2.2.3. Распознавание солнца и ярких источников света.

2.2.4. Использование БДДИ в качестве фонового изображения.

2.2.5. Сжатие динамического диапазона яркостей.

2.3. Анализ изображений с большим динамическим диапазоном.

2.3.1. Динамический диапазон БДДИ.

2.3.2. Правильность представления солнца.

2.3.3. Пространственное разрешение БДДИ.

2.3.4. Время фотографирования БДДИ.

2.4. Алгоритмическая компенсация некорректностей БДДИ.

2.5. Выводы и результаты.

Глава 3. Влияние особенностей зрительного восприятия человека на процесс синтеза изображений.

3.1. Эффективный оператор сжатия динамического диапазона яркостей.

3.1.1. Алгоритм оператора сжатия динамического диапазона.

3.1.2. Оценка параметров алгоритма.

3.1.3. Полученные результаты.

3.2. Эффекты зрительного восприятия человека.

3.3. Эффекты фотографических изображений.

3.4. Выводы и результаты.

Глава 4. Моделирование освещенности и синтез реалистичных изображений через Интернет.

4.1. Архитектура Интернет-приложения для интерактивного физически аккуратного моделирования освещенности.

4.2. Возможности программного комплекса с точки зрения конечного пользователя.

4.3. Интерфейс программного комплекса.

4.4. Методы ускорения моделирования освещенности и генерации изображений.

4.4.1. Методы ускорения расчета глобальной освещенности.

4.4.2. Параллельные и распределенные вычисления.

4.5. Средства администрирования программного комплекса.

4.6. Выводы и результаты.

Глава 5. Интерактивная 3D навигация сцен с реалистичной визуализацией

5.1. Базовые принципы построения системы генерации реалистичных изображений в режиме 3D навигации.

5.2. Архитектура приложения.

5.3. Естественное освещение и генерация теней.

5.4. Визуализация оптически сложных материалов.

5.5. Зеркальные отражения и эффекты вторичной освещенности.

5.6. Выводы и результаты.

Глава 6. Программное моделирование сложных оптических систем и устройств.

6.1. Системы подсветки жидкокристаллических мониторов.

6.2. Средства отображения и анализа результатов моделирования.

6.2.1. Элементы наблюдения.

6.2.2. Визуализация результатов.

6.2.3. Контроль точности.

6.3. Визуализация траекторий лучей.

6.4. Механизмы описания и представления элементов оптической системы

6.4.1. Проблемы представления элементов оптической системы.

6.4.2. Процедурные представления.

6.4.3. Генераторы поверхностей и текстур специального вида.

6.5. Оптические элементы как средство расширения функциональности программ оптического моделирования.

6.5.1. Концепция оптических элементов.

6.5.2. Абстрактный интерфейс взаимодействия ОЭ с системой оптического моделирования.

6.5.3. Процедурное описание ОЭ.

6.6. Моделирование осветительных приборов и систем.

6.7. Выводы и результаты.

Глава 7. Интеграция оптических элементов в систему оптического моделирования.

7.1. Светорассеивающие микроструктуры.

7.2. Пример моделирования осветительной системы жидкокристаллического монитора на основе светорассеивающих микроструктур.

7.3. Оптические элементы объемного рассеяния.

7.3.1. Модели объемного рассеяния.

7.4. Поддержка эффектов поляризации света.

7.5. Выводы и результаты.

Компьютерная (машинная) графика является эффективным и мощным средством связи между человеком и вычислительной машиной. Использование графической формы представления информации, организация диалога между человеком и компьютером с использованием визуальных образов позволяет существенно повысить скорость и эффективность обработки информации человеком, а следовательно исследований и разработок в самых различных областях науки, техники, архитектуры. Методы компьютерной графики широко применяются в качестве инструментария, однако сама компьютерная графика давно уже стала самостоятельным научным направлением с соответствующими атрибутами: авторитетными международными научными конференциями, научными и практическими журналами и т.д.

Первые признаки появления нового научного направления относятся к началу 60-х годов прошлого столетия. Знаковым событием считают диссертацию Айвена Сазерленда (1963 г.), в которой были показаны новые возможности графического интерфейса с машиной в интерактивном режиме [1]. В ИПМ АН СССР примерно в то же время (1964 г.) был продемонстрирован первый опыт практического применения машинной графики при выводе на характрон последовательности кадров, образующих короткий фильм с визуализацией обтекания цилиндра плазмой [2].

С появлением доступа к графопостроителям и векторным дисплеям стали появляться и соответствующие приложения. Так к 1971 г. в ИПМ для машины SDS-910 был разработан набор подпрограмм, позволяющих снимать кинофильмы [3], установлена камера для покадровой фиксации изображений, выводимых на экран дисплея. С помощью этой системы осуществлялась визуализация поведения шагающего робота [4], моделирование гравитационного взаимодействия галактик [5] и ряд других работ. Аналогичные работы проводились и в других организациях страны.

В конце 60-х годов в стране (как и в мире) началась разработка графических систем и пакетов общего назначения, в современной терминологии - графических программных интерфейсов пользователя (API) [610 и др.]. Позднее появился и ряд других систем [11-14]. Некоторые из них получили весьма широкое распространение. В частности, пакет Графор [15], в разработке которого принимал активное участие автор диссертации, успешно эксплуатировался в сотнях вычислительных центров, институтов и промышленных предприятий Советского Союза и стран Восточной Европы. Графор был реализован на большинстве доступных в то время в стране ЭВМ и операционных систем с выводом практически на все имеющиеся графопостроители и графические дисплеи.

В рамках Графора автором самостоятельно были разработаны и реализованы комплексы программ визуализации трехмерных поверхностей и объектов с частичным и полным удалением невидимых линий [15-17], программы Безье и В-сплайн аппроксимации. На рис. В.1 показаны примеры практических применений разработанных программных средств. Этап создания классической графической библиотеки на Фортране завершился в 1985 г. изданием монографии [15], которая подводила итог 15-летней работы.

Стандартизация графического программного обеспечения. Однако в отличие от многочисленных применений вычислительных машин в различных областях науки, техники и экономики, где использование машинно-независимых языков программирования позволило создать обширные библиотеки прикладных программ, практически каждое новое приложение графических систем требовало почти полного перепрограммирования. Графические системы оказывались несовместимыми друг с другом, так как в их основе, как правило, лежали различные подходы к использованию графических средств.

Рис. В. I. Примеры изображений, построенных с использованием пакета

ГРАФОР.

Поэтому в 70-е года прошлого века на первый план в машинной графике все в большей степени выдвигалась задача унификации графического программного обеспечения (ПО), то есть по существу проблема стандартизации. Целью стандартизации являлось предоставление возможности разработчикам графического программного обеспечения создавать переносимые между различными вычислительными системами программы, использующие графические средства. В нашей стране (в отечественной научной литературе) проблема стандартизации в компьютерной (машинной) графике была впервые обозначена автором совместно с Ю.М. Баяковским в докладе на конференции по машинной графике (Новосибирск, 1977 г.), впоследствии опубликованном в журнале «Автометрия» [18]. Эта тематика оказала значительное влияние на все последующее развитие компьютерной графики в стране в течение следующего десятилетия.

В этой работе отмечалось, что за последние годы были исследованы (как умозрительно, так и экспериментально) различные подходы к решению проблемы независимости программного обеспечения от особенностей конкретных устройств. Предпринимались попытки использовать машинную независимость универсальных языков программирования; Фортрана, Алгола, ПЛ-1. В частности, как вспоминает Ю.М. Банковский, в то время в нашей стране по инициативе А.Я. Куртукова обсуждались вопросы унификации базовых графических функций в графических пакетах и, прежде всего, их имен, 8 в том числе реализованных в различных языках программирования. Тем не менее расширения существующих языков программирования, в которые графические элементы включались бы в качестве новых операторов, функций и т.д., так и не получили широкого распространения.

Весьма плодотворным оказался принцип «перевернутой пирамиды» [19], в соответствии с которым в основу графических систем был положен ограниченный набор элементарных базовых функций (программ) достаточных для генерации любого изображения. Выходные данные в системах, построенных по такому принципу, являлись общим интерфейсом со всеми графическими устройствами.

Важным шагом в направлении унификации устройств графического ввода-вывода было введение У. Ньюменом [20] концепции программно моделируемых виртуальных графических устройств.

Значительное влияние на процесс унификации графического программного обеспечения оказала разработка системы графических протоколов для машинно-независимого представления графических данных [18, 21-23]. Сетевой графический протокол являлся по - существу стандартом по представлению и передаче в сети графической информации, а также по взаимодействию программных компонент, расположенных на различных (главной и удаленной) ЭВМ. Тем не менее главная задача сетевого графического протокола состояла не в обеспечении легкой переносимости прикладной программы, использующей графические средства, а в создании доступа к этой программе независимо от того, на какой конкретной ЭВМ она находится.

Однако наиболее значительными практическими результатами в направлении стандартизации графического ПО явилась разработка в США проекта унифицированной графической системы Core System [24] и создание аналогичного проекта в Европе GKS, который впоследствии получил статус международного стандарта ISO [25]. Обе эти системы представляли собой набор базовых функций (API) для программирования задач машинной графики.

Функциональные возможности этих систем позволяли получать на экране дисплея или другом регистрирующем носителе изображения графических объектов и поддерживали интерактивное взаимодействие пользователя с прикладной программой. С помощью систем Core и GKS обеспечивалась независимость прикладной программы от особенностей конкретных графических устройств. Использование этих систем значительно облегчало перенос прикладного программного обеспечения с одной системы программирования или ЭВМ на другую, а также переход от одного типа графических устройств к другому.

После публикации и широкого обсуждения этих систем появились их реализации в том числе и в нашей стране [26-30]. Автором также была построена опытная версия трехмерной универсальной графической системы [31-33], в процессе реализации которой были определены и исследованы основные факторы, влияющие на быстродействие канала графического вывода, разработаны и опробованы на практических задачах соответствующие алгоритмы и методы.

Кроме базовых графических систем Международной организацией стандартизации (ISO) разрабатывался также ряд других графических стандартов. Их обзор, а также сравнительное описание стандартов Core и GKS можно найти в [34].

Опыт, приобретенный в процессе реализации международных графических стандартов, оказался чрезвычайно полезным при разработке отечественных стандартов в этой области. При активном и непосредственном участии автора было разработано 6 государственных стандартов (ГОСТ) в области машинной графики [35-40] и ряд стандартов СЭВ [41, 42].

Однако в конце 80-х годов прошлого века бурное развитие технических средств привело отечественную компьютерную графику практически в тупик. Без наличия минимально необходимой техники (растровых дисплеев и цветных принтеров), для закупки которой были нужны остро дефицитные валютные средства, дальнейший прогресс в этой области стал практически невозможен.

Отечественная техника надлежащего качества также отсутствовала. Ю.М. Баяковский, руководитель работ по машинной графике в ИПМ в то время, высказывал мнение о прекращении работ в этой области, как не имеющих смысла в свете реального прогресса, достигнутого к тому времени в развитых странах Запада. И только открытие «железного занавеса» и получение доступа к современным компьютерным технологиям (несмотря на существенное сокращение государственной поддержки) позволили приступить к решению задач, которые к тому времени стояли перед компьютерной графикой.

Физически аккуратное моделирование распространения света. Одним из перспективных направлений развития компьютерной графики является синтез реалистичных изображений на базе физически аккуратного (т.е. основанного на физических законах оптики) моделирования распространения света в различных средах. Методы генерации фотореалистичных изображений и физически аккуратного расчета освещенности находят применение во многих областях человеческой деятельности, прежде всего в архитектурном проектировании, градостроительстве, ландшафтном дизайне, проектировании автомобилей и самолетов.

Предварительные расчеты освещения и визуальная оценка архитектурных и дизайнерских решений являются обязательными этапами процесса проектирования и строительства зданий, жилых и офисных помещений. При этом контролируется эстетичность интерьеров помещений и внешнего вида строений, рациональность, экономичность и соответствие стандартам систем освещения дневным и солнечным светом и т. д.

Методы компьютерного физически аккуратного моделирования применяются также для визуализации и оценки различных промышленных изделий до запуска их в производство. Так при производстве современных автомобильных красок намного дешевле и эффективнее задать состав и свойства краски в цифровом виде и оценить, как она будет выглядеть при различных условиях освещения на виртуальной модели автомобиля, чем произвести такую краску и покрасить ею реальный автомобиль. Это относится не только к автомобилям, но и к широкому спектру других изделий, таких как телефонные трубки, портативные компьютеры, различная бытовая техника и Др.

Еще одним ярким применением методов физически аккуратного синтеза изображений является их использование в индустрии развлечений - в производстве кинофильмов и компьютерных игр. Реалистичность и достоверность изображения играет здесь решающую роль и является одним из главных факторов успеха фильма или компьютерной игры. Практически все зрелищные фильмы последнего времени сняты с использованием компьютерных программ синтеза изображений.

На рис. В.2 показаны примеры практических приложений синтеза физически аккуратных изображений и расчетов освещенности.

Другим не менее важным классом актуальных задач, которые могут решаться методами физически аккуратного расчета распространения света, являются задачи компьютерного моделирования и проектирования осветительных систем оптико-электронных приборов и устройств. К таким устройствам относятся осветительные системы разного рода жидкокристаллических (ЖК) дисплеев, панелей приборов автомобилей, осветительные приборы автомобилей (фары, фонари заднего вида), светодиодные системы и т.п. (рис. В.З).

Рис.В.2. Примеры физически аккуратных изображений и расчетов освещенности (Изображения построены с помощью разработанного программного комплекса).

Новейшие технологии и материалы, применяемые при производстве таких систем, основываются на сложных физических эффектах. К таким эффектам относятся рассеивание света на стохастических микронеровностях (шероховатостях) поверхностей и на регулярных микрорельефах (десятки и сотни миллионов микро-призм заданной формы, размера и распределения) поверхностей, объемное рассеивание света на микрочастицах внутри материала, поляризационное рассеивание света в тонких пленках и другие подобные явления. Для проектирования оптических систем, как правило, применяются программные системы оптического моделирования, базирующиеся на законах лучевой оптики. Однако такие системы работают с макрообъектами геометрии, что делает невозможным учет «тонких» физических эффектов.

Рис. В.З. Примеры, иллюстрирующие возможности моделирования осветительных систем оптико-электронных приборов и устройств.

Цель работы. Вышеперечисленные задачи представляют собой широкий класс актуальных для науки и практики задач из разных предметных областей. Их объединяет то, что все они связаны с моделированием распространения света в различных оптических средах. Поэтому цель работы заключалась в разработке технологии физически аккуратного моделирования распространения света, которая бы позволяла физически корректным образом вычислять освещенности, строить изображения фотореалистичного качества, а также моделировать и рассчитывать сложные евето про водящие системы. В результате должны быть построены программные системы компьютерной графики для моделирования распространения света в различных оптических средах для задач синтеза фотореалистичных изображений, а также для моделирования оптических светопроводящих систем и устройств.

Научная новизна работы заключается в следующем. Разработана эффективная технология физически аккуратного моделирования распространения света, позволяющая на базе единого механизма и алгоритмической базы синтезировать фотореалистичные изображения, вычислять и анализировать освещенности, моделировать и проектировать сложные оптические системы и устройства. В основе этой технологии лежит двунаправленная трассировка лучей с использованием методов Монте-Карло.

Реализованы алгоритмические и программные средства для построения фотореалистичных изображений сцен, содержащих оптически сложные материалы, при различных условиях искусственного и естественного освещения. Реалистичность изображений обеспечивается использованием алгоритмов, основанных на физических законах распространения света, учетом особенностей зрительного восприятия человека, поддержкой фотоэффектов.

Предложены новые физически обоснованные алгоритмы использования изображений с большим (более 104) динамическим диапазоном яркостей в качестве источников естественного освещения и фона для виртуальных сцен, содержащих материалы со сложными оптическими свойствами (автомобильные многослойные краски, ткани и др.). Впервые реализована технология, позволяющая рассчитывать физически аккуратную освещенность виртуальной сцены на основе фотоснимков реального ландшафта. Разработаны алгоритмы распознавания солнца, генерации теней, задания фона. Предложен эффективный метод преобразования большого динамического диапазона яркостей в диапазон, реально отображаемый на экране монитора.

Разработана архитектура, технологические и программные решения для создания Интернет-приложений физически аккуратного моделирования освещенности и генерации реалистичных изображений. С целью достижения приемлемого времени отклика предложены, реализованы и экспериментально проверены различные методы ускорения расчетов освещения.

Разработаны принципы построения и архитектура системы физически аккуратной визуализации в режиме интерактивной 3D навигации сцен, содержащих оптически сложные материалы, естественное освещение, эффекты вторичной освещенности. Базовый уровень визуализации построен на основе OpenGL, в то время как для расчета вторичной освещенности используется метод квази- Монте-Карло. Таким образом, предлагаемое решение является компромиссом между высоким качеством изображений, созданных методами физически аккуратного моделирования освещенности, и быстрой генерацией изображений аппаратными средствами графических акселераторов.

Разработаны алгоритмические и программные средства моделирования сложных оптических систем и устройств. Предложен оригинальный подход выделения оптических элементов, позволяющий более эффективно и точно решать задачи проектирования светопроводящих систем, построенных на основе микроструктурных и объемных рассеивающих объектов. Предложены и разработаны универсальные программные интерфейсы, позволяющие осуществлять оптическое моделирование как в лучевом, так и в волновом приближениях.

Практическая значимость работы. На основе концепций, методов и алгоритмов, предложенных в диссертационной работе, был реализован ряд программных продуктов, которые широко используются в нашей стране и за рубежом. Среди них: программный комплекс для физически аккуратного расчета освещенности и построения фотореалистичных изображений сцен, содержащих оптически сложные материалы, при различных условиях искусственного и естественного освещения. Освещение может быть задано в том числе и изображениями с большим динамическим диапазоном;

- система для физически аккуратного моделирования освещенности и синтеза реалистичных изображений через Интернет;

- программный комплекс физически аккуратной визуализации в режиме 3D навигации сцен, содержащих оптически сложные материалы и естественное освещение, с учетом эффектов вторичного освещения;

- программный комплекс для моделирования и проектирования сложных оптических систем и устройств, включая системы, содержащие новейшие микроструктурные рассеивающие материалы, применяемые в современном проектировании оптических светопроводящих систем.

Каждый из созданных программных комплексов находится на уровне или превосходит по ряду ключевых показателей имеющиеся в мире аналоги.

Проведенные экспериментальные сравнения результатов физически аккуратных расчетов освещенности на реальных сценах, а также оптических характеристик, полученных путем моделирования оптических устройств, с результатами измерений аналогичных характеристик на реальных объектах и оптических устройствах продемонстрировали хорошую точность моделирования (выше чем у известных автору аналогов).

Апробация работы. Основные результаты диссертации были представлены на ряде профильных международных научных конференциях [43, 44, 45, 46, 47, 48, 49], на научной школе «Будущее прикладной математики» [50]. Результаты диссертации также докладывались на Научной сессии «Проблемы и методы компьютерной визуализации» Отделения информационных технологий и вычислительных систем РАН, на заседании Ученого совета ИПМ им. М.В.Келдыша РАН, на научном семинаре «Программирование» ИПМ им. М.В.Келдыша РАН под рук. проф. М.Р.Шура-Бура и проф. Д.А.Корягина.

Публикации. По результатам работы имеется 24 публикации, включая 10 статей в рецензируемых научных журналах (из них 9 из списка ВАК) [2, 5157, 59, 60], 7 докладов на международных научных конференциях [43- 49], 1 монография [15], 1 статья в сборнике [50] и 5 препринтов [61- 65].

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановки задач и их алгоритмические решения, получены автором лично или выполнены под его научным руководством и при непосредственном участии. В работе приводятся ссылки на две кандидатские диссертации [66, 67] и одну дипломную работу [68], выполненные под научным руководством автора, а также кандидатскую диссертацию [69], в которой автор выступал в качестве научного консультанта.

Структура и содержание работы. Диссертация состоит из семи глав, заключения и списка литературы.

В первой главе кратко излагаются основы синтеза реалистичных изображений и моделирования освещенности, описывается цифровая модель исходных данных, которая используется предлагаемыми в работе алгоритмами. Излагаются применяемые модели освещения, а также способы задания светорассеивающих свойств поверхностей, включая оптически сложные.

Рассматривается задача глобальной освещенности и пути ее решения. Подчеркивается, что за основу физически аккуратного моделирования берутся законы лучевой оптики. Поэтому одним из главных методов решения этой задачи является трассировка лучей света с использованием метода Монте-Карло. Рассматривается технология применения этого метода для физически аккуратного моделирования освещенности и построения фотореалистичных изображений. Приводятся примеры использования разработанного программного комплекса для решения конкретных практических задач.

Вторая глава посвящена методу задания естественного дневного освещения, при котором источником света является изображение реальных сцен с большим динамическим диапазоном яркостей (БДДИ). Подчеркивается, что использование этого весьма перспективного и мощного метода значительно усложняется, если рассматриваются виртуальные сцены, содержащие материалы со сложными оптическими свойствами (ткани, автомобильные многослойные краски и др.).

В главе рассмотрены различные технологии создания БДДИ, предложены физически обоснованные алгоритмы расчета яркости точки, распознавания солнца, генерации теней, задания фона. Проведен и изложен анализ корректности существующих БДДИ, показаны их недостатки. Разработаны модификации алгоритмов, позволяющие скорректировать эти недостатки при моделировании освещенности на базе моделей неба, принятых Международной комиссией по освещенности. Приводятся примеры использования разработанных алгоритмов в системах компьютерной графики для генерации высокореалистичных изображений.

В третьей главе рассматриваются вопросы влияния специфики зрительного восприятия человека на процесс синтеза изображений. Рассмотрено несколько таких методов. Предложены эффективные алгоритмы приведения (сжатия) больших физических значений яркости к диапазону, приемлемому для отображения на реальных дисплеях и принтерах. Другим направлением повышения реалистичности результирующего изображения является воспроизведение некоторых особенностей зрительного восприятия человека, в частности, эффектов размытия (блуминга) и реснитчатой короны вокруг ярких источников света. Рассматривается также возможность моделирования эффектов фотографических изображения, таких как ореолы вокруг ярких источников света, дефокусировка (размывание) изображений, эффекты экспозиции.

В четвертой главе предлагается архитектура программного комплекса, реализующего физически аккуратное моделирование освещенности в интерактивном режиме через Интернет. Представлены реализованные алгоритмические и аппаратные средства ускорения расчета глобальной освещенности для достижения приемлемого времени отклика.

В пятой главе представлена система генерации реалистичных изображений в режиме интерактивной 3D навигации. Приведены принципы построения и архитектура системы. Рассмотрены подходы и алгоритмы для изображения сцен с естественным освещением, оптически сложными материалами и зеркальными поверхностями.

Шестая глава посвящена вопросам программного моделирования сложных оптических светопроводящих систем и устройств, таких как осветительные системы жидкокристаллических дисплеев, приборные панели современных автомобилей, светодиодные системы и др. Описываются разработанные средства анализа и визуализации результатов моделирования, а также механизмы описания и представления элементов моделируемых оптических систем.

Излагается предложенная концепция оптических элементов (ОЭ), позволяющая эффективно и точно решать задачи проектирования светопроводящих систем, построенных на основе микроструктурных и объемных рассеивающих объектов. Описываются универсальные программные интерфейсы, позволяющие осуществлять оптическое моделирование как в лучевом, так и в волновом приближениях.

Рассмотрен пример использования созданного программного комплекса для анализа результатов моделирования осветительных приборов автомобиля.

В седьмой главе рассмотрены основные типы оптических элементов, интегрированных в разработанный комплекс оптического моделирования. Это поверхностные ОЭ, ОЭ объемного рассеяния и ОЭ поляризованной функции рассеяния.

В заключении сформулированы основные результаты работы.

Основные результаты диссертации заключаются в следующем:

1. Разработана эффективная технология физически аккуратного моделирования распространения света, построенная на основе двунаправленной трассировки лучей с использованием методов Монте-Карло. Технология позволяет, используя единый механизм и алгоритмическую базу, решать широкий класс задач компьютерной графики и оптики: синтезировать изображения фотореалистичного качества, вычислять и анализировать освещенности, моделировать и проектировать сложные оптические системы и устройства.

2. На основе созданной технологии разработаны алгоритмические и програмнные средства моделирования сложных оптических систем и устройств. Предложен оригинальный подход выделения оптических элементов, позволяющий более эффективно и точно решать задачи проектирования светопроводящих систем, построенных на основе микроструктурных и объемных рассеивающих объектов.

3. На основе созданной технологии и алгоритмов расчета распространения света реализованы программные комплексы синтеза фотореалистичных изображений и моделирования сложных оптических светопроводящих систем. Комплексы находят широкое применение в нашей стране и за рубежом.

Заключение

1. Sutherland 1.E. SKETCHPAD: A man-machine graphical communication system // Proc. SJCC, 1963, Baltimore, Spartan Books, p.329.

2. Банковский Ю.М., Галактионов B.A. О некоторых фундаментальных проблемах компьютерной (машинной) графики // "Информационные технологии и вычислительные системы", № 4, 2004, с. 3-24.

3. Вершубский В.Ю. Подпрограммы для работы с дисплеем и для съемки кинофильмов / Препринт ИПМ АН СССР, № 62, 1971.

4. Охоцимский Д.Е., Платонов А.К., Боровин Г.К., Карпов И.И., Павловский В.Е., Ярошевский B.C. Алгоритмы управления движением шагающего аппарата / Препринт ИПМ АН СССР, № 63, 1972.

5. Козлов Н.Н., Сюняев Р.А., Энеев Т.М. Приливное взаимодействие галактик // Доклады Академии Наук, т. 204, № 3, с. 579-582,1972.

6. Кавченко А.В., Карлов А.А., Смолякова Т.Ф. Программное обеспечение дисплея со световым карандашом на ЭВМ CDC-1604A / ОИЯИ, 11-6176, 1971.

7. Математическое обеспечение графопостроителей (1 уровень): Инструкция по программированию / под ред. АЛ.Куртукова / Новосибирск: ВЦ СО АН СССР, 1971.

8. Баяковский Ю.М., Михайлова Т.Н., Мишакова С.Т. ГРАФОР: Комплекс графических программ на ФОРТРАНе. Вып. 1. Основные элементы и графики / Препринт ИПМ АН СССР, №41,1972.

9. Woodsford Р.А. The design and implementation of the GINO 3D graphics software package // SOFTWARE: Practice and Experience, 1971, v.l, N 4, p.335-365.

10. Caruthers L.C., van den Bos J., van Dam A. GPGS a device independent general purpose graphics system for stand-alone and satellite graphics // Computer Graphics, 1975, v.l 1, N 2, p.l 12-119.

11. Педанов И.Е., Голиков К.М. ГЕОМАЛ язык для описания геометрических объектов и его применение // В кн.: Развитие программного обеспечения БЭСМ-6. М., 1975, с.31-35.

12. Каминский Л.Г. и др. Графический пакет АТОМ. Структура и основные принципы / Препринт ИФВЭ, Серпухов, №81-156,1981.

13. Кобелев В.В. Машинная графика для системы БЭСМ-АЛГОЛ // М.: Наука, 1978.

14. Бобков В.А., Белов С.Б. ДИСГРАФ: пакет графических программ / Препринт ИАПУ ДВНЦ АН СССР, Владивосток, 1978.

15. Баяковский Ю.М., Галактионов В.А., Михайлова Т.Н. Графор. Графическое расширение фортрана // М.: Наука, 1985.

16. Баяковский Ю.М., Галактионов В.А. ГРАФОР: комплекс графических программ на Фортране. Построение проекций трехмерных объектов с удалением невидимых линий / Препринт ИПМ АН СССР, №69, 1981.

17. Ю.М.Баяковский, В.А.Галактионов Графические протоколы // «Автометрия», 1978, № 5, с.3-12.

18. Bergeron R.D. Picture primitives in device independent graphics systems. Computer Graphics, 1976, v. 10, N 1, p.57-60.

19. Newman W.M. A system for interactive graphical programming // Proc. AFIPS 1968 SJCC, v.32. AFIPS Press, Montvale,N.J., 1968, p.47-54.

20. Sproull R.F., Thomas E.L. A network graphics protocol. Computer Graphics, 1974, v.8, N. 3, p.27-51.

21. Дебелов В.А. Диалоговый графический канал. // В сб.: Машинная графика и ее применение. Новосибирск: ВЦ СО АН СССР, 1979, с.66-90.

22. Бобков В.А., Белов С.Б. Сетевой графический протокол. Препринт ИАПУ ДВНЦ АН СССР, Владивосток, 1980, № 23.

23. Status report of the Graphics Standards Planning Committee of ACM/SIGGRAPH // Computer Graphics, v. 13, no. 3,1979. 179 p.

24. Information processing Graphical Kernel System (GKS) - Functional description / ISO/DIS 7942.1983-12-23. - 276p.

25. Kellner R.G., e.a. An implementation of the ACM/SIGGRAPH proposed graphics standard in a multisystem environment // Computer Graphics, 1978, v. 12, no,3, pp.308-312.

26. Warner j., e.a. DIGRAPH a Fortran implementation of the GSPC standard // Computer Graphics, 1978, v. 12, no. 3, pp.301-307.

27. Бобков B.A., Белов С.Б. Универсальная графическая система для сети ЭВМ. Средства вывода / Препринт ИАПУ ДВНЦ АН СССР, Владивосток, 1979.

28. Манако В.В. Стандартный графический пакет ГРАС. Проектирование. Базис вывода. // УСиМ, 1981, № 3, с. 48-54.

29. Михайлова Т.Н., Рыжова И.Г. Базовая графическая система МИНИ-ГКС / Препринт ИПМ им. М.В.Келдыша АН СССР, 1986, № 160. 27р.

30. В.А.Галактионов Генерация изображения в базисной графической системе / Препринт ИПМ АН СССР, № 123, 1980. 27 с.

31. Баяковский Ю.М., Галактионов В.А. Реализация видовой операции и задача отсечения в базисной графической системе / Препринт ИПМ АН СССР, №155,1980.-26 с.

32. В.А.Галактионов Об унификации вывода трехмерной графической информации // «Проблемы машинной графики», труды всесоюзной конференции, Новосибирск, ВЦ СО АН СССР, 1982.

33. Ю.М.Баяковский, В.А.Галактионов, Б.В.Кудин Графические стандарты. Препринт ИПМ АН СССР, 1984, №155,36с.

34. Системы обработки информации. Машинная графика. Термины и определения // ГОСТ 27459-87,32 с.

35. Системы обработки информации. Машинная графика. Функциональное описание ядра графической системы // ГОСТ 27817-88, 287 с.

36. Системы обработки информации. Машинная графика. Связь ядра графической системы с языком программирования ПАСКАЛЬ // ГОСТ 2857190.

37. Системы обработки информации. Машинная графика. Связь ядра графической системы с языком программирования ФОРТРАН // ГОСТ 2878490.

38. Системы обработки информации. Машинная графика. Метафайл для хранения и передачи информации об описании изображения. // ГОСТ 34.701.192.

39. Системы обработки информации. Машинная графика. Связь языка графической системы с языком программирования Ада // ГОСТ Р 34.1702.3-92.

40. Системы обработки информации. Машинная графика. Термины и определения. // Стандарт СЭВ 5112-86.

41. Системы обработки информации. Машинная графика. Функциональное описание ядра графической системы (ЯГС) // Стандарт СЭВ 6177-88.

42. Ignatenko A., Barladian В., Dmitriev K., Ershov S., Galaktionov

43. V., Valiev I., Voloboy A. A Real-Time 3D Rendering System with BRDF Materials and Natural Lighting // Proc. 14th International Conference on Computer Graphics and Vision GraphiCon-2004, Russia, Moscow, Sept. 6-10,2004, p. 159-162.223

44. Баяковский Ю.М., Галактионов В.А. Современные проблемы компьютерной (машинной) графики / Сб. "Будущее прикладной математики". -М.: Едиториал УРСС, 2005, с. 445-473.

45. Барладян Б.Х., Волобой А.Г., Галактионов В.А., Копылов Э.А. Эффективный оператор сжатия динамического диапазона яркостей // "Программирование", № 5, 2004, с. 35-42.

46. Васильев В.Р., Волобой А.Г., Вьюкова Н.И., Галактионов В.А. Контекстная визуализация пространственных данных // "Информа-ционные технологии и вычислительные системы", № 4,2004, с. 25-34.

47. Волобой А.Г., Галактионов В.А., Дмитриев К.А., Копылов Э.А. Двунаправленная трассировка лучей для интегрирования освещенности методом квази- Монте Карло // "Программирование", № 5, 2004, с. 25-34.

48. Барладян Б.Х., Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Дерябин Н.Б. Моделирование освещенности и синтез фотореалистичных изображений с использованием Интернет технологий // "Программирование", №5, 2005, с.66-80.

49. Волобой А.Г., Галактионов В.А. Машинная графика в задачах автоматизированного проектирования // "Информационные технологии в проектировании и производстве", № 1,2006, с. 64-73.

50. А.Г.Волобой, В.А.Галактионов, Д.Д.Жданов Технология оптических элементов в компьютерном моделировании оптико-электронных приборов // "Информационные технологии в проектировании и производстве", № 3,2006, с. 46-56.

51. Волобой А.Г., Галактионов В.А., Копылов Э.А., Шапиро JI.3. Моделирование естественного дневного освещения, задаваемого изображением с большим динамическим диапазоном // "Программирование", № 5, 2006, с.62-80.

52. Волобой А.Г., Галактионов В.А., Ершов С.В., Летунов А.А., Потемин И.С. Аппаратно-программный комплекс для измерения светорассеивающих свойств поверхностей // "Информационные технологии и вычислительные системы", № 4, 2006.

53. Галактионов В.А., Барладян Б.Х., Зуева Е.Ю., Кугушев Е.И. Параметрические модели трехмерных объектов и их использование для реконструкции сцен // Открытые системы, №5, 1995, с.13-16.

54. B.Kh.Barladyan, E.Yu.Zueva, V.A.Galaktionov, A.Yu.Kargashin, E.I.Kugushev, E.L.Starostin Computer Modeling of Real Scenes and Objects Based on Their Photographs // Pattern Recognition and Image Analysis, Vol.8, No.2,1998, pp. 162-163.

55. Барладян Б.Х., Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Дерябин Н.Б. Моделирование освещенности и синтез фотореалистичных изображений с использованием Интернет технологий / Препринт ИПМ им. М.В. Келдыша РАН, № 57,2004.

56. Васильев В.Р., Волобой А.Г., Вьюкова Н.И., Галактионов В.А. Контекстная визуализация пространственных данных / Препринт ИПМ им. М.В. Келдыша РАН, № 56,2004.

57. Волобой А.Г., Галактионов В.А. Машинная графика в задачах автоматизированного проектирования / Препринт ИПМ им. М.В. Келдыша РАН, № Ю4,2005,24 с.

58. Волобой А.Г., Галактионов В.А., Копылов Э.А., Шапиро JI.3. Моделирование естественного дневного освещения, задаваемого изображением с большим динамическим диапазоном / Препринт ИПМ им. М.В. Келдыша РАН, № 111,2005,35 с.

59. Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Ершов С.В., Летунов А.А., Потемин И.С. Аппаратно-программный комплекс для измерения светорассеивающих свойств поверхностей / Препринт ИПМ им. М.В. Келдыша РАН, № 108,2005.-31 с.

60. Hall, R. Illumination and Color in Computer Generated Imagery // New York: Springer-Verlag, 1989.

61. Greenberg, D.P., K.E.Torrance, P.S. Shirley, et al. A framework for realistic image synthesis // In: Proceedings of SIGGRAPH'97, Computer Graphics Proceedings, Annual Conference Series, 1997, pp.477-494.

62. Khodulev A.B., Kopylov E.A., Zdanov D.D. Requirements to the Scene Data Base // The 8-th International Conference on Computer Graphics and Visualization Graphicon'1998, Moscow, 1998, pp. 189-195.

63. Valiev I.V. 3D Reconstruction of Architectural Objects from Photos // Proc. 9th International Conference on Computer Graphics and Vision, Moscow, August 26 September 1,1999, p. 171-173.I

64. Andrew S. Glassner Principles of Digital Images Synthesis // Morgan Kaufman, 1995, vol. 1 and 2.

65. A.Ryer Light measurement handbook / International Light. Inc., 1998. ISBN 0-9658356-9-3.

66. The Illuminating Engineering Society of North America:http://www.iesna.org

67. Всероссийский научно-исследовательский институт оптико-физических измерений (ВНИИОФИ): http://www.vniiofi.ru/

68. Spatial distribution of daylight CIE standard general sky. CIE DS011.2/E:2002 Draft Standard. Official version / CIE TC 3-15. CIE Central Bureau, Vienna, Austria.

69. Debevec, P. E., Malik, J. Recovering high dynamic range radiance maps from photographs // SIGGRAPH 97 Conference Proceedings, AddisonWesley, Annual Conference Series, ACM SIGGRAPH, 1997, pp. 369-378.

70. E.Reinhard, G.Ward, S.Pattaniak, P.Debevec High Dynamic Range Imaging : Acquisition, Display, and Image-Based Lighting // Elsevier and Morgan Kaufmann, 2006.

71. J. T. Kajiya. The rendering equation // Computer Graphics (SIGGRAPH '86 Proceedings), 1986, vol. 20, pp. 143-150.

72. Khodulev A., Kopylov E. Physically accurate lighting simulation in computer graphics software // Proceeding of GraphiCon'96 The 6-th International conference on Computer Graphics and Visualization, St. Petersburg, Vol. 2, 1996, pp. 111-119.

73. Goral C.M., Torrance K.E., Greenberg D.P., Battaile B. Modelling the interaction of light between diffuse surfaces // ACM Computer Graphics (SIGGRAPH '84), Vol. 18, № 3,1984, pp. 213-222.

74. Cohen M.F., Greenberg D.P., Immel D.S., Brock PJ. An efficient radiosity approach for realistic image synthesis // IEEE Computer Graphics and Applications, Vol. 6, № 2,1986.

75. Whitted T. An Improved Illumination Model for Shaded Display // Communication of ACM, Vol. 23, № 6, June 1980, pp. 343-349.

76. M.Pharr, G.Humphreys Physically Based Rendering. From theory to implementation // Morgan Kaufmann, 2004.

77. Debelov V.A., Sevastyanov I.M. Light Meshes Original Approach to Produce Soft Shadows in Ray Tracing // Lecture Notes in Computer Science. -Springer-Verlag. - 2002. - Vol. 2330, pp. 13-21.

78. Glassner Andrew S. Space Subdivision for Fast Ray Tracing // IEEE Computer Graphics and Applications, Vol. 4, № 10, October 1984, pp. 15-22.

79. A. Watt, M.Watt Advanced Animation and Rendering Techniques. Theory and Practice // Addison Wesley, 1993, 455p.

80. Ward G. Real Pixels // Graphics Gems II. J. Arvo, ed., 1991, pp.80-83.

81. Dicarlo J., Wandell B. Rendering high dynamic range images // Proceedings of the SPIE: Image Sensors 3965, 2000, pp. 392-401.

82. Aggarwal M., Ahuja N. High dynamic range panoramic imaging // Proceedings of IEEE International Conference on Computer Vision, vol. 1, 2001, pp. 2-9.

83. Schechner Y.Y., Nayar, S.K. Generalized mosaicing // Proceedings of IEEE International Conference on Computer Vision, vol. 1, 2001, pp. 17-24.

84. Debevec P. Image-Based Lighting / Siggraph 2002 Tutorial, pp. 26-34.

85. Jim Foley Getting There: The Ten Top Problems Left // IEEE Computer Graphics and Applications, vol. 20, no 1, 2000, pp. 66-68.

86. Hyperfocal Design community: http://www.hyperfocaldesign.com

87. Greene N. Environment Mapping and Other Applications of World Projections // IEEE Computer Graphics and Applications, vol. 6, No. 11, 1986, pp. 21-29.

88. HDRshop. http://www.hdrshop.com

89. SpheronVR AG. http://www.spheron.com

90. Dosch Design GmbH, http://www.doschdesign.com

91. LightWave 3D. http://www.newtek.com/lightwave/http ://www.hyperfocaldesign.com/tutorials/hdri-lightwave-tutorial .html

92. IESNA Lighting Handbook by Mark S. Rea. Reference & Application. 8th ed., New York, 1993.

93. Kolchin K.V., Khodulev A.B. Device-Independent Rendering in Display Color Space// Proc. 8th International Conference on Computer Graphics and Visualization, Moscow, September 7-11,1998, p. 162-163.

94. PEARL's color fidelity / Technical report. Integra Inc., 2000.

95. Colortron II spectrophotometer: http://www.xrite.com/discontinuedproducts.aspx?ID=147

96. Hood D., Finkelstein М. Sensitivity to light. Handbook of Perception and Human Performance. 1(5), 1986, pp. 1-66.

97. Durand, F. and Dorsey, J. Fast Bilateral Filtering for the Display of High-Dynamic-Range Images // ACM Transactions on Graphics, 21(3), July 2002 (Proceedings of SIGGRAPH 2002).

98. Fattall, R. Lischinski, D. and Werman, M. 2002 Gradient Domain High Dynamic Range Compression // ACM Transactions on Graphics, 21(3), July 2002 (Proceedings of SIGGRAPH 2002).

99. Ferwerda, J. 1998. Fundamentals of spatial vision / In: Applications of visual perception in computer graphics. Siggraph '98 Course Notes.

100. Reinhard, E., Stark, M., Shirley, P., and Ferwerda, J. Photographic Tone Reproduction for Digital Images // ACM Transactions on Graphics, 21(3), July 2002 (Proceedings of SIGGRAPH 2002).

101. Reinhard, E., Parameter estimation for photographic tone reproduction // Journal of graphics tools, 7(1), 2002, pp. 45-52.

102. Kang,S.B., Uyttendaele, M., Winder, S., Szeliski, R. High Dynamic Range Video // Proceedings of SIGGRAPH 2003.

103. Tumblin J., Turk G. LCIS: A boundary hierarchy for detail-preserving contrast reduction // SIGGRAPH'1999, Proceedings, Addison Wesley Longman, Annual Conference Series, 1999, pp. 83-90.

104. Tumblin J., Hodgins J. K., Guenter В. K. Two methods for display of high contrast images // ACM Transactions on Graphics, Vol. 18, № 1, 1999, pp. 5694.

105. Stevens S.S., Stevens J.C. Brightness function: parametric effects of adaptation and contrast // Journal of the Optical Society of America, Vol. 50, № 11, 1960.

106. Tumblin J., Rushmeier H. Tone reproduction for computer generated images // IEEE Computer Graphics and Applications, Vol. 13, № 6,1993, pp. 42-48.

107. Ward Larson G., Rushmeier H., Piatko C. A visibility matching tone reproduction operator for high dynamic range scenes // IEEE Transactions on Visualization and Computer Graphics, Vol. 3, № 4,1997, pp. 291-306.

108. Vos, J. Disability glare a state of the art report // CIE Journal, vol.3, no.2, 1984, pp.3 9-53.

109. G.Spencer, P.Shirley, K.Zimmerman, D.Greenberg Physically-Based Glare Effects for Digital Images // SIGGRAPH'95 Conference Proc., August 6-11, 1995, p. 325-334.

110. Hemenger, R.P. Sources of intraocular light scatter from inversion of an empirical glare function // Applied Optics, vol.31, no.19,1992, pp.3687-3693.

111. P.Rokita Model for Rendering High Intensity Lights//Computers & Graphics, vol. 15, no. 4, July 1993, p. 431-437.

112. Moffat, A. F. J. A Theoretical Investigation of Focal Stellar Images in the Photographic Emulsion and Application to Photographic Photometry // Astronomy and Astrophysics, Vol. 3, 1969, p. 455.

113. Д.Абросимов, В.Зеленогорский, М.Крюков Численное моделирование изображения водной поверхности // Труды 9-й междунар. конф. по компьютерной графике и машинному зрению ТРАФИКОН-99", Москва, 26 августа 1 сентября 1999, с.255-260.

114. Radiance Synthetic Imaging System. http://radsite.lbl.gov/radiance/HOME.html

115. Бокс Дональд, Сущность технологии СОМ. Библиотека программиста// СПб. "Питер", 2001.131. http://www.apple.com/quicktime/

116. Баяковский Ю.М., Игнатенко А.В., Фролов А.И. Графическая библиотека OpenGL / Учебно-методическое пособие, факультет ВМК, МГУ им. М.В. Ломоносова, Москва, 2003.

117. Fujimoto Akira, Takayuki Tanaka, and Kansei Iwata,

118. ARTS: Accelerated Ray-Tracing System // IEEE Computer Graphics and Application, vol. 6, no. 4, April 1986, pp. 16-26.134. http://www.zumtobel.com

119. Green S.A., Paddon D.J. Exploiting coherence for multiprocessor ray tracing // IEEE Computer Graphics and Applications, vol. 9, № 6,1989, pp. 12-26.

120. S.A. Green and D.J. Paddon. A highly flexible multiprocessor solution for ray tracing // The Visual Computer, vol. 6, no.2,1990, pp. 62-73.

121. Notkin I., Gotsman C. Parallel progressive raytracing // Computer Graphics Forum, vol. 16, № 1,1997, pp. 43-56.

122. Боресков А.В. Графика трехмерной компьютерной игры на основе OpenGL // Изд. «Диалог-МИФИ», Москва, 2004.

123. Гайдуков С.A. OpenGL. Профессиональное программиро-вание трехмерной графики на С++ // Изд. «БХВ-Петербург», СПб., 2004.

124. Cortona VRML Client, http://www.parallelgraphics.com

125. Blaxxun: technology and content solutions for 3D Web visualization, collaboration and community applications: http://www.blaxxun.com

126. Opus Realizer. http://www.opticore.com

127. Outline 3D. http://www.outline3d.com

128. The OpenRT Real-Time Ray-Tracing Project: http://www.openrt.de

129. Wald Ingo, Benthin Carsten, Wagner Markus, Slusallek Philipp. Interactive Rendering with Coherent Ray-Tracing // Computer Graphics Forum (Proceedings of the EUROGRAPHICS' 2001), vol. 20, № 3,2001, pp. 153-164.233

130. Damez С., Dmitriev К., Myszkowski К. Global Illumination for Interactive Applications and High-Quality Animations // Eurographics' 2002 (http://www.integra.jp/eng/papers/globalillumination.pdf)

131. The OpenRT Real-Time Ray-Tracing Project: http://www.openrt.de

132. OpenGL The Industry's Foundation for High Performance Graphics: http://www.opengl.org

133. Фоли Дж., Вэн Дэм А. Основы интерактивной машинной графики. Том 2.-М.: Мир, 1985.

134. Web3D Consortium Open Standards for Real-Time 3D Communication, http://www.web3d.org

135. OpenGL Optimizer: http://www.sgi.com/soflware/optimizer

136. The Java 3D Community Site: http://www.j3d.org

137. Woo Andrew, Poulin Pierre, Fournie Alain. A Survey of Shadow Algorithms // IEEE Computer Graphics & Applications, 1990.

138. Cabral В., Olano M., Nemec P. Reflection Space Image Based Rendering//SIGGRAPH'99 Proceedings, 1999, pp. 165-170.

139. Kopylov E. A., Dmitriev K.A. Light propagation visualization as a tool for 3D scene analysis in lighting design // Computers & Graphics, vol. 24, no. 1, 2000, p.31-39.

140. Integra Specter: Light Emitting Diode (LED) Design: http://www.integra.jp/eng/products/specter/leddesign.htm

141. FLATLED OMRON: http://www.omron.co.jp

142. Ershov S.V., Zhdanov D.D. Efficient application of Optical Objects in light simulation software // Proc. 15th International Conference on Computer Graphics and Applications GraphiCon-2005, Russia, Novosibirsk, June 20-24, 2005, p. 284-288.

143. Breault Research Organization: http://www.breault.com/software/soflware-overview.php

144. Lambda Research Corporation: http://www.lambdares.com/products/tracepro/index.phtml

145. Optical Research Associates, http://www.opticalres.com/lt/ltproddsf.html

146. OPTIS, http://www.optis-world.com/G0.asp?softid=l

147. A.Tagaya, Y.Koike Highly scattering optical transmission polymers for bright display / Macromol. Symp. 154 (2000), 73-82.

148. SPECTER Computer-Based Optical Modeling and Design System: http://www.integra.jp/eng/products/specter/index.htm

149. Optical Design Tools for Backlight Displays, LightTools, Optical Research Associates:http://www.opticalres.com/white%20papers/ToolsforBacklights.pdf169. 3D textures, SPEOS, OPTIS:http://ntdd2110.ftn.netbenefit.co.uk/WebData/3dtextures%20v2.pdf

150. К. Борен, Д. Хафман. Поглощение и рассеяние света малыми частицами // М.: Мир, 1986.

151. Edward R. Freniere, G. Groot Gregory, and Richard A. Hassler Polarization models for Monte Carlo ray tracing. Optical Design and Analysis Software // Proceedings of SPIE, Vol. 3780,1999.

152. Virtual Reality Design Lab. http://dolphin.upenn.edu/~pacshop/lab/lab.html

153. ATI Technologies Inc. http://www.ati.com176. http://www.jaguarcars.com/uk/vrcars177. http://www.cs.utah.edu/~shirley/irt/Sig06-Course-HW.pdf Слайд № 26.

154. INSPIRER Computer-Based Optical Modeling and Design System. http://www.integra.jp/eng/products/inspirer/index.htm