автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Системы 3D-визуализации индуцированной виртуальной среды

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИМЕНИ М В ЛОМОНОСОВА

АФАНАСЬЕВ Валерий Олегович

На правах рукописи ооз1Б4аис

СИСТЕМЫ ЗИ-ВИЗУАЛИЗАЦИИ ИНДУЦИРОВАННОЙ ВИРТУАЛЬНОЙ СРЕДЫ

Специальность 05 13 11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени доктора физико-математических наук

Москва-2007

003164402

Работа выполнена в Центре управления полетами Центрального научно-исследовательского института машиностроения Российского космического агентства (г Королёв Московской области)

Научный консультант

доктор физико-математических наук, профессор Томилин Александр Николаевич

Официальные оппоненты член-корреспондент РАН,

профессор Воеводин Владимир Валентинович

доктор физико-математических наук, профессор Жданов Александр Аркадьевич

доктор технических наук Дебелов Виктор Алексеевич

Ведущая организация Институт прикладной математики им М В Келдыша РАН

Защита состоится 29 июня 2007 г в 11 00 часов на заседании диссертационного совета Д 501 001 44 при Московском государственном университете им M В Ломоносова по адресу 119991, г Москва, ГСП-1, Ленинские горы, МГУ им M В Ломоносова, 2-й учебный корпус, факультет вычислительной математики и кибернетики, ауд 685

С диссертацией можно ознакомиться в библиотеке факультета вычислительной математики и кибернетики МГУ им М В Ломоносова

С текстом автореферата можно ознакомиться на портале факультета вычислительной математики и кибернетики МГУ им М В Ломоносова http //es msu su в разделе «Наука» - «Работа диссертационных советов» - «Д 501 001 44»

Автореферат диссертации разослан » ^¿-¿-¿З-д-11 2007 г

Ученый секретарь

диссертационного совета Д 501 001 44 профессор

H П Трифонов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Сфера применения систем виртуальной реальности (ВР) в настоящее время достаточно обширна - от игровых систем до систем специального назначения В последние годы все бопее востребованной становится возможность получать при помощи систем ВР изображения реальных объектов без использования средств оптического наблюдения Эта возможность (кратко характеризуемая метафорой «увидеть невидимое») является одной из ключевых возможностей систем ВР Действительно, до момента появления в виде изображения ЗО-объект существует в системе ВР в виде набора данных и математических зависимостей, описывающих поверхность ЗО-объекта (ее геометрические и оптические свойства) Это позволяет рассматривать систему ВР как средство наблюдения за реальными объектами, похожее на системы телевидения, но имеющее по сравнению с этими системами дополнитечьные возможности Во-первых, объекты наблюдения могут невидимыми в оптическом смысле, во-вторых, наблюдатель не скован ограничениями при выборе точки и ракурса наблюдения Первая из этих возможностей может быть достигнута на основе получения данных о состоянии объектов без использования средств прямого оптического наблюдения, вторая является продолжением одного из основных свойств самих систем ВР - для наблюдателя в виртуальном ЗО-пространстве ограничения на свободу передвижения отсутствуют в принципе

Для того, чтобы система ВР стала средством набчюдения, нужно, чтобы виртуальные объекты копировали вид и поведение реальных объектов Термин «Индуцированная Виртуальная Среда» (ИВС) в этом контексте означает, что множество виртуальных объектов (виртуальная среда) образовано копиями реальных объектов, поведение которых целиком подчиняется поведению (индуцируется поведением) реальных объектов

Появление и развитие систем ВР, испочьзуемых как средство наблюдения, тесно связано с появлением и интенсивным развитием в конце ХХ-го и начале ХХ1-го веков геоинформационных технологий (ГИС, базы 30-данных высокого разрешения, описывающие природный и техногенный земной ландшафт и т п), различных средств дистанционной регистрации состояния объектов - в первую очередь измерения ЗР-координат (в частности, на основе технологий ОРБ/ГЛОНАСС) Важно, что для регистрации состояния могут быть использованы любые доступные источники данных о состоянии, включая (в дополнение к упомянутым) системы телеметрии, различные сенсорные устройства, гироскопы и микроакселерометры, системы трекинга и т п

Эти и другие аналогичные технологии, а также, высокий уровень реализма визуализации, достигнутый в современных системах ЗО-графики, создают необходимые предпосылки для развития нового класса систем ВР - систем ЗО-визуализации индуцированной виртуальной среды Основная направленность данной работы - исследование и решение наиболее важных проблем создания математического и программного обеспечения систем визуализации ИВС (СВ ИВС)

Целью работы является разработка теоретических основ создания математического и программного обеспечения систем виртуальной реальности, позволяющих вести наблюдение за объектами, которые могут быть невидимыми

Понятие «невидимый объект» в контексте работы означает сочетание факторов, неблагоприятных для прямого оптического наблюдения, в том числе

• объект переизлучает свет в невидимом спектре,

• объект находится в плохих оптических условиях (недостаточная освещенность, наличие пыли, тумана, дыма и т п ),

• изображение объекта на сетчатке глаза (и/или на сенсоре оптического прибора) имеет слишком малые размеры,

• объект заслонён от наблюдателя светонепроницаемой преградой,

• объект находится вне поля зрения наблюдателя

Такие системы визуализации предназначены в первую очередь для использовании при управлении сложными человеко-машинными системами, функционирующими в экстремальных условиях, когда использование обычных оптических и/или телевизионных средств наблюдения невозможно, затруднено или неэффективно

Актуальность Существующие и перспективные человеко-машинные системы (в частности, предназначенные для использования в космосе) характеризуются высоким уровнем сложности, а условия их применения связаны с высоким уровнем риска и цены риска ошибочных действий Опыт управления такими системами показывает, что поддержка принятия решений в условиях, которые зачастую являются экстремальными (как с точки зрения времени, отводимого на принятие решения, так и условий, в которых разворачиваются события), требует привлечения принципиально новых подходов и информационных технологий

Одним из наиболее эффективных способов интерпретации потоков данных высокой интенсивности является использование интерфейсных средств, подключаемых непосредственно к сенсорной системе человека-оператора, - систем ВР Системы ВР позволяют преобразовывать большие объемы числовых данных в сенсорные (как минимум, визуальные) образы синтезируемой компьютером трехмерной виртуальной среды Это позволяет на качественно новом уровне решать проблемы интерпретации данных о поведении, положении и ориентации сложных объектов и их составных частей в пространстве на основе преобразования больших объемов числовой информации в форму, легко и быстро воспринимаемую экспертами

Для орбитальных станций нового поколения (в том числе, МКС) характерно растущее усложнение пространственной конфигурации с расположением крупногабаритных протяженных фрагментов вдоль нескольких пространственных осей (такие конструкции можно назвать сильно разветвленными) Движение и управление движением вблизи центра масс сильно разветвленных КА сопряжено с большим риском столкновений фрагментов конструкций КА и орбитальных модулей, и использование здесь систем виртуальной реальности является актуальным

Характерным примером использования возможностей технологии ВР, является экспедиция «Марс-Спирит», в ходе которой неоднократно возникали критические ситуации, требовавшие детального анализа пространственной обстановки, складывавшейся вокруг марсохода, в котором средства виртуальной реальности оказались незаменимыми Можно предположить, что в будущем при освоении космоса (в частности, планет без атмосферы или планет, имеющих атмосферу из агрессивных химических соединений или несовместимые с жизнью температурные условия) средства виртуальной реальности, использующие концепцию индуцированной виртуальной среды, будут играть ключевую роль

Вместе с тем в своем существующем виде технология ВР предназначена, в основном, для визуализации искусственных (синтезированных компьютером) объектов и сцен, моделирование и управление которыми производится изолированно По своему назначению, основным характеристикам и особенностям функционирования система визуализации ИВС существенно отличается от обычной системы ВР, и как следствие, должны отличаться от обычных задачи разработки и подходы к разработке математического и программного обеспечения систем визуализации ИВС

Научная новизна В работе рассмотрена система визуализации, которую можно рассматривать как новую разновидность систем наблюдения на основе альтернативных (неоптических) подходов к получению данных о состоянии объектов наблюдения Такие системы визуализации можно рассматривать и как новый класс систем ВР

Предложена новая концепция распределенной системы ЗО-визуализации, отличающаяся от существующей целевыми задачами функционирования промежуточного и клиентского слоев, логикой функционирования клиентского слоя и распределением функций между звеньями системы, которые обеспечивают интерактивность взаимодействия системы одновременно с большим числом пользователей

Расширено представление о свойствах иерархических структур, описаны новые виды ориентированных деревьев и связанных списков (ЯТЯ-деревья и связанные ЛТЯ-списки) С помощью ЯТЯ-деревьев и ЯТЯ-списков существенно облегчается описание и моделирование поведения ЗЛ-объектов со структурой, внутренние связи которой могут изменять свое направление при взаимодействии этих объектов Разработаны методы выполнения ЗО-преобразований в цепях ЯТЯ-деревьев

Предложена новая геометрическая модель формирования бинокулярного изображения, которая в отличие от существующих основывается на динамических характеристиках бинокулярного зрения На основе этой модели создана объектно-ориентированная модель и программная реализация нового интерфейса формирования стереоизображения с большим числом степеней свободы, заменяющего широко известный интерфейс в виде «стереоголовы» с 6-ю степенями свободы

Предложено новое решение задачи обратной трассировки лучей, в котором используется более общая постановка задачи трассировки (в частности, носитель изображения может иметь сложную форму) и представление поверхностей ЗВ-объектов в виде объединения фрагментов поверхностей сложной формы Исследованы подходы к обратной трассировки поверхностей, описываемых параметрически

Научное и практическое значение. Предложенные в данной работе концепция индуцированной виртуальной среды и системы визуализации индуцированной виртуальной среды расширяют представления о системах виртуальной реальности, возможностях этих систем и областях их применения

Создание подходов к визуализации реальных объектов посредством СВ ИВС можно рассматривать как один из первых шагов создания методологии визуализации, использующей альтернативные (неоптические) методы слежения за поведением объектов Реализация предложенного подхода к визуализации позволяет расширить возможности обычных оптических и телевизионных систем, а также получить принципиально новые возможности, недоступные при использовании этих систем

Большие практические перспективы могло бы иметь применение СВ ИВС в системах навигации и дистанционного пилотирования (вождения) нового поколения с использованием ЗБ-ГИС

Возможности визуализации ИВС меняют существующее (достаточно узкое) представление о системах телеприсутствия, которые в нынешнем понимании рассматриваются, в основном, как мультимедийные системы Визуализация ИВС дает возможность реализовать «виртуальное присутствие» в фактически недоступной среде, например, находящейся на большом удалении, или имеющей условия и параметры, несовместимые с жизнью Наиболее характерным примером таких сред и соответствующей области применения системы можно считать, в частности, космическое пространство и развертывание и/или эксплуатация больших орбитальных станций, а также исследования планет с помощью автоматов и тд Вообще говоря, системы, реализующие концепцию телеприсутствия, могут найти применение во всех областях деятельности, связанных с высоким риском и высокой ценой риска, а также в условиях, при которых оказывается невозможным или затруднительным использование оптических и телевизионных средств (либо их использование дает сильно ограниченные возможности наблюдения)

Предложенные в данной работе методы описания, реконструкции, моделирования поведения и визуализации виртуальных ЗО-объектов относятся к предметным областям, имеющим общенаучное значение (в частности, теория графов, моделирование поведения, моделирование данных, теория распределенных систем, теория перцептивной перспективы и др) Поэтому полученные результаты могут представлять научный и практический интерес не только для систем виртуальной реальности и ЗО-визуализации, но и для более широкого круга применений

Апробация Результаты исследований и разработок по теме диссертации непосредственно используются, начиная с 1998 года по программам «Мир», «Международная космическая станция» и другим программам освоения космоса (графическое ядро системы ЗО-визуализации и подсистема управления состоянием виртуальных объектов в составе программно-математических средств службы МИОП) в ЦУП Федерального космического агентства, с 2003 года при создании центра отображения в Институте космических исследований РАН, с 2005 года при создании центра отображения в НИЦЭВТ

Исследования в рамках работ по созданию математического и программного обеспечения систем виртуального присутствия и визуализации индуцированной виртуальной среды, в которых автор принимал и принимает непосредственное участие, были неоднократно поддержаны Российским фондом фундаментальных исследований (гранты №№ 93-01-00445, 96-01-01274, 99-01-00202, 04-07-90423, 04-07-90039, 04-0797211, 05-07-90345)

Пубчикации. По теме диссертации имеется более 40 публикаций, в том числе 20 в рецензируемых отечественных и зарубежных научных изданиях ([1-10], [15, 16], [1820], [22-25], [37-39]), из них 12 по списку ВАК 2007 года ([1-8], [15, 16], [18-20])

Личный вклад Все основные результаты, изложенные в диссертации, включая постановки задач, подходы к их решению и алгоритмической реализации, получены автором лично

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения и библиографии Содержание работы изложено на 211 страницах, список библиографических ссылок включает 134 наименования В работе содержится 106 рисунков и 2 таблицы

СОДЕРЖАНИЕ РАБОТЫ.

Во введении даны общий обзор проблематики работы и ее ретроспектива, показана актуальность работы, изложены цеть и задачи проводимых исследований, представлены новые научные результаты, полученные в ходе иследований, показана их новизна, научное и практическое значение работы, сформулированы основные результаты, выносимые на защиту

В 1-й главе излагается общее представление о концепции индуцированной виртуальной среды и распределенной системы визуализации этой среды, описывается проблемная область и основные классы математических задач, возникающих при разработке программною обеспечения систем визуализации ИВС, описаны возможные области применения этих систем

В первом разделе главы дано определение понятия индуцированной виртуальной среды, показаны основное назначение и области применения систем визуализации ИВС, дана обобщенная схема и принципы информационного взаимодействия реальной и виртуальной сред в системах визуализации ИВС

Основное назначение распределенной СВ ИВС - получение в реальном времени изображений виртуальной среды, объекты которой копируют внешний вид и поведение физических объектов из некоторой реальной среды Важно, что наблюдение реальной среды посредством СВ ИВС позволяет использовать для этой цели альтернативные методы визуализации объектов по любым доступным косвенным данным, не требующие использования для этой цели средств непосредственного наблюдения (оптических и телевизионных)

Существует целый круг задач и систем, для которых опосредованный способ наблюдения модели среды является либо единственным способом наблюдения реальной среды, либо более эффективным, чем прямое оптическое наблюдение В качестве примера можно привести наблюдение за поведением технической системы (космического аппарата) по траекторным и телеметрическим данным, которые принципиально имеют числовую форму Системы альтернативной (неоптической) визуализации могут применяться в условиях плохой оптической видимости (или при отсутствии ее как таковой) - при задымлении, в тумане, многофазных средах, средах, являющихся агрессивными или несовместимыми с жизнью - очаги химическою или ядерного заражения, пожары, зоны аварий, стихийных бедствий и т п

Целевые задачи применения СВ ИВС можно трактовать, как задачи слежения (мониторинга) за пространственным движением сложных технических объектов на основе преобразования любой доступной информации (данных телеметрии, координатных данных и т п) из числовой формы в форму, более удобную для восприятия человеком - трехмерные образы объектов, управляемых своими реальными двойниками

На рис 1 1 проиллюстрирована метафора ИБС Условно показаны абстракции нескольких физических сред, которые могут находиться на большом удалении друг от друга (например, несколько автономных Центров управления и орбитальная спутниковая группировка) Физические объекты этих сред реально не взаимодействуют, однако по данным о состоянии объектов может быть организовано (индуцировано) их взаимодействие в единой виртуальной среде

9

Д.

9?

?9о

56Ф

9

9 96?9 6

6 6

£

6

66 9

9

9

Физическая среда (объекты мониторинга и локальные посты визуализации)

Виртуальная среда (модели о&ьестов мониторинга и постов вмзаулизацми)

физические среды (удаленные посты и домены постов визуализации)

Рис 1 1 Метафора индуцированной виртуальной среды

На схеме выделены посты визуализации - объекты, с функциями виртуальных зрителей (они моделируют совместное поведение устройств отображения и сенсорной системы человека) Важно, что посты могут располагаться в разных местах и объединяться в группы

Во втором разделе показаны основные возможности технологии «Виртуальная реальность», позволяющие использовать ее наблюдения за поведением объектов и систем, такие как отсутствие ограничений на выбор точек и ракурсов наблюдения, снятие многих физических ограничений на перемещение, условий прямой оптической видимости Показано, что использование технологии «Виртуальная реальность» дает целый ряд новых возможностей визуализации объектов, в том чисче, возможность «увидеть» принципиально невидимые объекты (в понимании этого термина, подразумевающем рассеяние энергии ЭМК в оптическом и субоптическом диапазонах спектра), осуществлять синхронное наблюдение поведения объектов в нескольких ракурсах, часть из которых принципиально недоступна при использовании обычных систем наблюдения

В третьем разделе описываются основные проблемы возникающие при использовании возможностей 3 О-визуализации для сенсорного погружения одновременно в реальную и виртуальную среды с совмещаемыми системами координат Дано описание наиболее важных задач, которые необходимо решить для создания СВ ИВС, в их число, в частности, входят создание моделей визуализации, обеспечивающих условия для адекватного бинокулярного восприятия 21)-изображений ЗИ-среды, разработка алгоритмов синтеза реалистичных изображений ЗЕ>-среды, обеспечение адекватности и релевантности доступных данных, используемых для

реконструкции состояния объектов визуализации в виртуальной среде (в частности, данных позиционирования, получаемых при помощи систем GPS, инерциальных, фидуциальных и гибридных систем)

В четвертом разделе дан развернутый анализ существующих и перспективных подходов к решению проблем ЗО-визуализации в наиболее распространенных и перспективных системах сенсорного погружения в виртуальную среду, включая

• системы, используемые для подготовки ЗО-моделей и 20-контента трюковых кино- и телевизионных съемок, съемок анимационных фильмов и т п ,

• игровые системы с разными уровнями сложности программно-математического обеспечения и аппаратурного оснащения,

• тренажерные системы разного назначения,

• имитационные системы, оснащаемые интерфейсом BP,

• системы для полного и частичного погружения с точным совмещением систем координат (технологии семейства «Augmented/Mixed Reality»),

• системы телеуправления,

• системы телеприсутствия

Показано, что возможности технологий, используемых для совмещенного сенсорного погружения и наиболее близких по возможностям к системам 3D-визуализации ИВС (в частности, Augmented/Mixed Reality - «Усиленной/Смешанной Реальности») являются слишком ограниченными в контексте требований к системам визуализации ИВС, и системы Augmented/Mixed Reality можно рассматривать лишь в качестве частного случая СВ ИВС для наиболее простых применений

В пятом разделе представлены основные классы и даны обобщенные постановки математических задач, возникающих при создании программного обеспечения системы ЗО-визуализации ИВС, которые можно разделить на три группы

• создание моделей структур, моделей данных и методов ЗО-преобразований, пригодных для описания и моделирования сложного группового поведения 3D-объектов, в частности их взаимодействия, при котором структуры объектов могут сильно изменяться (не только распадаться и объединяться, но и менять направления внутренних связей),

• создание геометрической модели высокоточной визуализации с большим числом степеней свободы, в которой должны учитываться особенности бинокулярного восприятия в ближней зоне (не более 2-3 метров по глубине), в частности, зависимость от положения физического носителя изображения и ориентации оптических осей глаз наблюдателя,

• создание алгоритмов формирования изображений для носителей сложной (неплоской формы) с использованием расширенной модели проецирования, которая в системе высокоточной визуализации должна использоваться вместо общепринятой модели пирамидальной виртуальной камеры

Отдельно рассмотрена проблема создания моделей поведения и моделей данных, обусловленная особенностями системы визуализации ИВС как распределенной системы (в частности, с негарантированной доставкой данных о состоянии) Отмечено, что наиболее перспективным подходом к ее решению для систем ЗБ-визуализации является использование концепции Model Driven Architecture, базирующейся на открытых стандартах OMG Отмечено, что в качестве концептуальной основы создания

модели протокола прикладного уровня для передачи данных о состоянии между звеньями распределённой СВ ИБС может быть использована модель XML (положенная в основу формата X3D, но требующая некоторой доработки, касающейся, в частности, концепции иерархической структуры, моделей данных для описания поведения и взаимодействия объектов и т п )

Во 2-й главе рассматривается задача описания структуры и управления поведением моделей ЗО-объектов сложной структуры Решение этой задачи имеет большое значение, поскольку в ИВС необходимо воспроизводить поведение реальных объектов, для которого характерно систематическое взаимодействие объектов При взаимодействии реальных объектов, их структура может существенно измениться (объекты могут распадаться и объединяться), что в свою очередь должно быть отражено при моделировании поведения ЗО-объектов ИВС В то же время в существующих методах описания структур и управления ими не учитывается возможность изменений направлений внутренних связей (отношения порядка закладывается в иерархических структуру на стадии ее создания и остается неизменным в течение всего жизненного цикла существования ЗО-объекта) Это, в частности, затрудняет, описание и моделирование реальных объектов, в структурах которых систематически происходят изменения отношения порядка К таким объектам относятся, например, «шагающие» объекты (андроиды, манипуляторы и т п), гибкие объекты (провода, шланги, волосы, одежда и т п )

В первом разделе анализируется подход к пострению модели древовидной структуры на основе декомпозиции объекта, в результате которого образуется ориентированное дерево структуры, содержащее информацию о связности и первичное отношение порядка, соответствующее направлению декомпозиции Показано, что при назначении функций корня разным вершинам измененяется ориентация дуг Данные об этих изменениях (совместно с данными о первичной ориентации) можно использовать для переназначения функций «дочерний» и «родительский» соответствующим узлам дерева «на лету», не прибегая к операциям создания-уничтожения деревьев Для реализации таких преобразований необходимо модернизировать существующий подход к описанию древовидных структур, введя описание переменного отношения порядка (деревья с таким описанием можно называть RTR-деревьями)

Во втором разделе представлен подход к описанию движения объектов и их структурных единиц, представляемых в виде RTR-деревьев В качестве характерного примера такого объекта рассмотрен «шагающий» манипулятор, упрощенная 3D-модель которого и ее структура показаны на рис 2 1 При помощи RTR-деревьев удобно описывать поведение гибких объектов

На рис 2 2 показаны изоморфные ордеревья структуры ЗО-объекта, отличающиеся корнями При переназначении корня в некоторых подцепях ордерева происходит инвертирование отношений «родитель-потомок» Для ордерева структуры такое инвертирование означает «выворачивание наизнанку» связей между системами координат некоторых узлов Рассмотрим влияние переназначения корня на вычисления преобразований систем координат узлов

Если при декомпозиции некоторого ЗО-объекта получено ордерево Gi (назовем его первичным ордеревом структуры объекта), можно рассмотреть множество Г классов эквивалентности всех деревьев, изоморфных первичному дереву, процесс формирования которого можно представить следующим образом

а) б) в)

Рис. 2.2. Изоморфные ордеревья структуры ЗО-модели «шагающего» манипулятора в разных режимах.

Рис. 2.1. Упрощенная ЗБ-модель «шагающего» манипулятора и её ордерево; выделены группы примитивов для узлов, попеременно выполняющих функции «рука» и «нога» (захват объектов и закрепление на опоре).

Удалив из отношение порядка, получим свободное дерево во- Будем последовательно рассматривать все вершины из Со в качестве корней, получая каждый раз некоторое ордерево С, ге[1Д], №=)У|, в результате образуется множество Г={С0, С1,...,С,-,...,Сл}. Любое ордерево из Г задается парой {во, г,} (свободное дерево и вершина, выполняющую в данный момент функцию корня).

Рассмотрим метод вычисления матриц ЗО-преобразований примитивов с использованием ЮТЯ-дерева. Если обозначить через матрицу локального

преобразования фрейма ц, в системе кооординат фрейма щ.1 (и'.¡.} - «родитель», а щ -«потомок», как на рис. 2.3). В этих обозначениях запись накопленного (полного)

преобразования в цепи <uo,Uk> (для фрейма щ в системе координат фрейма корня ио) будет иметь вид

Т(иУщ) = ТЫщ,) Т (и/и,/) Т{и,1и0),ке[Ш (2 1)

Используем рекурсивную запись формулы (2 1) в терминах смежных узлов

Т(ик1щ) = Т(а*/и*./) Т(щ ,/ие), /ce[l,N] (2 2)

Если обозначить смежные узлы как аи^ (имея ввиду, что а - потомок, р - родитель), то можно записать (2 2) без индексирования

Т(а) = Т(а/р) Т(Р), (2 3)

где Т(а) и Т(р) - соответственно, - матрицы 3D-преобразований фреймов а и Р в системе координат корневого фрейма, а Т(а/р) - матрица локального преобразования а в системе координат р

и0 И, Uj2 u,¡ и, Идг

. о—ю-»- —ю—ю—ю-»- —ю т

Корневой Терминальный

узел Т(иИ/и]3) T(u/u^i) узел

Рис 2 3 К преобразованиям координатных фреймов узлов в цепи ордерева структуры

При переназначении корня некоторые дуги инвертируются, и как локальное для них должно выполняться преобразование T(J3/ct) Однако на практике Т(а/Р) и Т(Р/а) необходимо рассматривать как результат выполнения двух преобразований А(а/р) и С(а/р) Первое из них закладывается в структуру поверхности на стадии ЗП-дизайна («сборочная» матрица А(а/р)), второе используется для управчения формой поверхности в режиме «run-time» уже после создания структуры («командная» матрица С(а/р»

При вычислении матриц преобразований в цепях, содержащих инвертированные дуги, локальные преобразования вида Т(а/р)=А(а/р) С(си/р) нужно модифицировать с учетом изменения порядка выполнения перемножения сборочной и командной матриц, а также систем координат, в которых задаются эти матрицы Если считать, что два указанных движения, формирующие матрицу локального преобразования, производятся в «естественном» порядке (сначала движение узла при сборке, затем дополнительное движение узла относительно нового положения), то искомые преобразования выглядят так (подробный вывод дан в тексте диссертации)

Т(а/р) = С0(а/р) A(os/p), Т(р/а)= А"'(а/Р) В0(Р/а),

где Со(Р/а) - «командная» матрица движения узла а относительно точки связи с узлом Р для не инвертированной связи (а, Р), Во(Р/а) - «командная» матрица движения узла р относительно точки связи с узлом а для инвертированной связи (а, Р)

Заметим, что если положить Во(Р/а)=Со '(а/р), то формула для Т((3/а) получается из формулы для Т(а/р) инвертированием произведения сброчной и командной матриц Однако, нужно учитывать, что при управлении движением звеньев в направлении р~»а

задаётся непосредственно матрица Во(р/а) (но не матрица Со(а/р), по которой можно было бы вычислить Со '(с/Р))

Дня программной реализации преобразований в ЯТК-дереве можно ввести вычисляемый оператор обращения матрицы ЧР(!,а,/?), значение которого связывается с ориентацией ребра следующим образом

чч,,«,/?)={

\еаР ~ ~еар => = -1

где аир- смежные узлы, инцидентные ребру е'ар в первичном ордереве и ребру е'сф в производном ордереве С, Тогда для «сборочного» преобразования фреймов смежных узлов а и р в производном ордереве С„ можно записать1

где А(а|//?0 - первичная «сборочная» матрица, а индекс г указывает на то, что отношение «родитель-потомок» для пары узлов аир соответствует направлению связи в производном ордереве в,

В третьем разделе рассматривается подход к построению описания программных объектов, представляющих КТО-деревья Показано, что для этой цели может быть использована модель связанного списков, из которой необходимо удалить «прошивку» первичного отношения порядка и ввести описание переменного отношения порядка (такой список и назван ЯТЯ-списком)

- указатель

Рис 2 4 Организация взаимных ссылок в обычном связанном списке (отношение порядка «прошито»)

Связанный ЯТЯ-список имеет два основных отличия от обычного связанного списка (см рис 2 4 и 2 5)

• отношение порядка не прошивается, так как корневой элемент списка не задается при его создании (он назначается «на ходу»),

• функция хранения данных (матрицы ЗО-образований) делегирована дуге графа (объекту, непосредственно реагирующему на изменение направления локальной связи)

На рис 2 6 - 27 для сравнения показаны ЦМЬ-диаграммы строения объектов, на основе которых реализуются обычный связанный список и КТ11-список

1 Обозначение А (рцр) здесь используется вместо А (а/Р) или А ((¡/а) как более корректное для пары (а,р), в которой отношение «родитель-потомок» является переменным

От других смежных узлов От других смежных узлов

Рис. 2.5. Схема организации RTR-списка (отношение порядка не определено).

EJ

AsmMatrix: MA7R44

| ygTafQetNo^es : veotor<NODE*> |

а) строение класса; б) строение объекта.

Рис. 2.6. Строение обычного связанного списка

Г:NODEj

О *

voNodes: vector ■ NODE*>

б) строение объекта (узла).

в) строение объекта (дуги). Рис. 2.7. Строение связанного RTR-списка.

Показаны особенности выполнения основных операций со структурами, представляемыми списками и деревьями с переменным отношением порядка (склейки, разбиения и т.п.). Описаны особенности концевых элементов таких деревьев и списков (в частности, при описании сложных поверхностей они могут' быть носителями данных о форме и их нельзя непосредственно использовать для склейки). Описаны решетки классов с двухуровневым полиморфизмом, позволяющие реализовать свойства

а) строение класса;

элементов кроны для объектов ИБС разного назначения (осветители, наблюдатели, изображаемые ЗБ-объекты)

Scene Script

1VE_0BJECT

Director OBJECT_BVILDER

О 1

UCrealeFO

—s—

Forma_X

»Createro

VISOR

<> 1

CROWN

UCreateCrownQ

-S-

Emitter

HCreateEQ

-3=

Emitter X

#CreateE()

Sensor

ttCreateSO

S_BUILDER L_BUILDER V_BUILDER

Sensor_X

«Creates ()

г

RTRJTREE TreeBuilder

ifBuiMNtxieO +BuildTrec()

CrownFactory i-GetHnmO

FormFactory

+GetPnm()

EmitFactory

r GetPnm ()

SensFactory T CietHrim ()

Рис 2 8 UML-диаграмма гибридного паттерна «RTR-Tree Creator» (создание полиморфных объектов со структурой RTR-дерева)

В четвертом разделе описывается подход к построению средств поддержки для создания, сопровождения и управления программными объектами со структурой RTR-дерева Рассмотрены паттерны создания ЯТЯ-деревьев, представляющих разные классы объектов (фабрики объектов виртуальной среды), паттернов сопровождения структуры (доступ, обход, преобразование и тп ), управления поведением (движение звеньев

структуры) На рис 2 8 дан пример одного из таких паттернов, предназначенного для разработки программных средств развертывания КТЯ-деревьев в оперативной памяти в ходе обработки хранимого описания ЯТИ.-дерева

Рассмотрено построение паттернов поддержки взаимодействия ЛТК-деревьев, в результате которого образуются временные объекты с новой структурой Предложены подходы к описанию взаимодействия при моделировании орбитальных операций сборки-разборки модулей космических аппаратов, с использованием априорной информацию о потенциально возможных структурных связях между разными объектами (модели контактного фрейма и посредников взаимодействия)

В 3-й главе описывается новая геометрическая модель интерфейса стереовизуализации с большим числом степеней свободы и подход к созданию программного интерфейса стереовизуализации Эта модель позволяет использовать более полный (по сравнению с широко распространенной моделью «6ПЮР-стереоголовы») набор факторов, влияющих на бинокулярное восприятие ЗО-среды Рассматриваемая модель является основой для создания интерфейсных устройств стереовизуализации нового поколения и их программно-математического обеспечения

В первом разделе дана общая постановка задачи стерео-визуализации Изложены основные положения современного представления о фунцкционировании бинокулярной зрительной системы человека, на основании которых построена геометрическая модель бинокулярной зрительной системы (рис 3 1).

Рис 3 1 Геометрическая модель редуцированной бинокулярной системы человека (горизонтальный разрез) и «треугольник прицеливания»

На основе этой модели описан более полный набор факторов, влияющих на формирование объемного восприятия ЗО-сцены по стереопаре изображений этой сцены Введена модель данных, задающих начальные условия формирования изображений стереопары ЗИ-сцены, - вектор Уцу = {С|, С2, Т}), компоненты которого описывают пространственный «треугольник прицеливания» Показано, что для адекватного восприятия виртуального ЗО-пространства помимо задания начальных условий формирования стереопары нужно дополнительно обеспечить условия ее визуализации, соответствующие начальным условиям (рис 3 2)

Нарушение этих условий может приводить к искаженному восприятию ЗО-среды, что при визуализации ИВС может создавать ситуации, потенциально опасные для

т

ш,1

ТЬ

Стереобаза

оператора Сейчас для нейтрализации искажений и снижения зрительного напряжения в устройствах стереоинтерфейса используется ЬЕЕР-оптика, уносящая плоскость изображения на комфортное расстояние (не менее 1 5-2 метров) Однако в результате теряется возможность наблюдения ИВС на малых расстояниях (в зоне действия аккомодации)

Проблема несоответствия положения носителя изображения углу вергенции должна решаться более радикальными средствами В частности, необходимо регистрировать движение каждого глазного яблока, что в свою очередь позволит в реальном времени определять по треугольнику прицеливания дистанцию до точки фиксации взгляда Далее на основе полученных данных необходимо корректировать положения плоскостей мнимых изображений виртуальной сцены (появление «жидких» линз с управляемой оптической силой делает решение этой проблемы реальным)

Таким образом, выводные данные устройства стереовизуализации помимо растра изображения должны содержать параметры, описывающие положение плоскости мнимого изображения Эти параметры обязательно должны быть включены в модель данных при разработке программного обеспечения интерфейса интерактивного устройства стереовизуализации на малых расстояниях

Во втором разлете представлено развитие математической модели бинокулярного интерфейса, которая должна использоваться в качестве основы для разработки программно-математического обеспечения интерфейса стерео-визуализации На рис 3 3 показана схема предлагаемой в данной работе геометрической модели стереоинтерфейса, на основе которых определяются начальные условия формирования стереопары изображений ЗО-среды

Отличие этой модели от общепринятой модели бООР-стереоголовы заключается в следующем

Слитный образ объекта

Ожидаемое положение плоскости изображения

Фактическое положение плоскости носителя изображения

Рис 3 2 Несоответствие угла вергенции и положения носителя изображения

• используются дополнительные степени свободы для движения систем координат виртуальных камер (начальные условия формирования стереопары);

• используются параметры состояния оптической системы для вывода готового изображения (плоскость мнимого изображения располагается на удалении, соответствующем положению точки прицеливания Т).

Рассмотрено также развитие модели проецирования, предусматривающее возможность независимого движения центров проецирования и носителя изображения. Эта модель позволяет строить дисплейные системы визуализации, в которых в качестве носителя изображения используются ветровые стёкла, окна пилотских кабин, стёкла гермошлемов и т.п. Такие дисплейные системы могут даже целиком заменять окна. Одной из особенностей условий применения такого способа визуализации может быть сложная форма носителя изображения (она должна повторять форму окна).

Рис. 3.3. Геометрическая модель для формирования начальных условий синтеза и условий вывода стереопары.

На рис. 3.4 показан фрагмент модели данных для формирования начальных условий синтеза и вывода изображений, в которой объединены описанные выше разновидности условий формирования и вывода изображения (включая форму носителя растра и переменную оптическую силу окуляров).

На рис. 3.5 иллюстрируется действие еще одного фактора зрительного восприятия, который в настоящее время игнорируется. Так как оптический центр глаза и центр его вращения не совпадают, центр проекции смещается при вращении глаза. Величина смещения зависит от угла вергенции, и при значительных углах его нужно учитывать.

Состояние системы «наблюдатель-носитель изображения»

Состояние наблюдателя

Вектор переноса Вектор вращения

1 Точка прицеливания -ч

Вектор переноса Вектор вращения

Ось зрения Угол зрения

Оптическая сила

Правый глаз

Рис. 3.4. Фрагмент обобщенной модели данных для описание начальных условий синтеза и вывода стереопары изображений.

На фрагменте (а) рис. 3.5 показано, что при рассматривании ЗО-сцены разные предметные точки А и В в пространстве, в зависимости от ориентации глазного яблока (С и С' - оптические центры), могут проецироваться в одну или две точки на сетчатке. Однако при рассматривании 2В-изображения этой же сцены точки изображения, соответствующие разным точкам пространства, проецируются на сетчатку в одну и ту же точку (это показано фрагменте (б) рис. 3.5 ).

Следует заметить, что на рис. 3.5 суть явления показана достаточно грубо (в действительности показанные углы составляют градусы и доли градусов), и для более точной оценки степени влияния смещения оптического центра на проекцию изображения ЗП-среды на сетчатке были проведены расчёты. В этих расчётах использовались данные о типовых усреднённых размерах редуцированного глаза и его сенсорных полей. Результаты расчётов (см. текст диссертации) позволяют сделать

вывод о том, что при движении глаза будут ощутимо отличаться друт о друга изображения на сетчатке близко расположенных к наблюдателю объектов ЗВ-среды и изображений этих объектов на двумерном носителе

в ?

^ Î Плоскость фотоснимка

а) б)

Рис 3 5 Влияние смещения оптического центра глаза на видимость предметных точек в пространстве и на проекциях

Для устранения этих отличий в качестве начальных условий нужно использовать мгновенное положение оптической оси каждого глаза (в паузах между саккадными скачками) Однако в этом случае на первый план выходят чрезвычайно жесткие временные рамки, в которые должна уложиться система синтеза изображения По данным физиологов интервал времени между скачками, как правило, не превышает О 01 секунды, но проблема в том, что для формирования изображения можно использовать не весь этот интервал целиком, а лишь его часть - до окончания периода, в течение которого сетчатка еще не воспринимает световой поток

Вместе с тем при решении возникающей задачи можно применить подход, менее требовательный к вычислительным ресурсам, - использовать данные не о мгновенном положении оптической оси глаза, а о дрейфе точки прицеливания Обновление изображения следует производить не после каждой саккады, а после серии саккад, когда угол между положениями оптической оси на краях серии саккад изменится существенно Для формирования начальных условий в такой постановке может быть использовано прогнозирование положения точки прицеливания (например, на основе калмановской фильтрации)

В третьем разделе представлена объектная модель интерфейса высокоточной стереовизуализации, которая строится с учетом описанных выше особенностей бинокулярного зрительного аппарата Учитывая большую сложность этого интерфейса по сравнению с объектами аналогичного назначения в API, таких как OpenGL и DirectX («виртуальная камера» и «стереоголова»), вводится более общая абстракция, названная в работе «постом визуализации» Описаны функциональная и пространственная структуры поста визуализации Одна из них используется как основа для построения решётки классов, описывающих объекты, выполняющие функции виртуальных зрителей внутри ИВС, другая используется для определения начальных условий формирована? изображения На основе функциональной структуры построена классификация предметной области «пост визуализации» Как объект

специализированного подкласса рассматривается картинная поверхность, которая может быть представлена в виде объединения сегментов, каждый из которых может сопоставляться с отдельным вычислительным устройством

В четвертом разделе рассматриваются вопросы, связанные с описанием и управлением поведением поста визуализации Описана модель состояния, на основе которой строится модель поведения поста Рассмотрены основные сценарии поведения, в том числе группового, который может использоваться для визуализации ИВС, совмещенной с непосредственной визуализацией реальной среды, Такие сценарии могут применяться для информационной подержки выходов в открытый космос, десантирования на планеты и т п (синхронная визуализация реальной и виртуальной сред для экипажей и групп центров управления)

В 4-й главе рассматриваются вычислительные методы и алгоритмы синтеза изображений ЗО-сцен, ипользующие расширенную постановку задачи обратной трассировки лучей Отличия от обычной постановки задачи затрагивают два аспекта Во-первых используется более сложная модель проецирования, в которой форма картинной поверхности может быть произвольной, показано, что трассирующие лучи не обязательно должны быть прямыми и могут начинаться в разных точках пространства Во-вторых, в качестве примитивов, образующих поверхность 3D-объекта, могут использоваться не только плоские полигоны (например, треугольники), но и фрагменты поверхностей разной формы (вводится понятие составной полиморфной поверхности, которая может содержать в том числе и фрагменты триангулянтов)

В первом разделе показано, что свойства геометрических объектов в модели обратной трассировки позволяют существенно усилить изобразительные возможности модели проецирования, в частности использовать вместо картинной плоскости поверхность сложной формы Вводится понятие уравнения встречи, описывающего факт пересечения луча с изображаемой поверхностью

Общая запись условия пересечения луча V(co) с точкой изображаемой поверхности S может быть в ЗО-координатах представлена так

V(m)= S, (4 1)

где ш=0 задает начало луча, а ш=1 - пересечение луча с картинной поверхностью При решении (4 1) относительно ю (поиске значения со, соответствующего пересечению луча с изображаемой поверхностью S) может получиться несколько значений и, из которых выбирается одно со Затем вычисляется вектор нормали к S в V(co ) и т д Если «внутренность» поверхности S представляется как перечесение полупространств, искомое значение со задаёт ближайшую точку на луче V(co) с поверхностью, которая считается видимой2

о* = Arg min (ш), ffießv fiv

где Í2v - множество всех встреч V(a>) с поверхностью S

На практике (41) используется в более конструктивных формах, соответствующих конкретным подходам к построению изображений (в том числе и

2 При использовании СБв-операций применяются более сложные правила выбора ш* из Оу

центральному проецированию прямолинейными лучами на картинную плоскость). Например, (4.1) приобретает следующий вид при построении изображения сферы на картинной поверхности, заданной набором координат центров элементов растра {Р,}:

¡1 ш; Р, + (1-соОС - О || = г, (4.2)

где С, {Р,}, О и г, соответственно, координаты центра проецирования, точки на картинной поверхности, центр сферы и радиус сферы. Из (4.2) легко получить явные выражения для поиска {о>;} через С, {Р;}, О и г, соответствующих пересечениям первых сегментов трассирующих лучей со сферой.

Во втором разделе приводится анализ методов трассировки поверхностей свободной формы. Описан подход к созданию методов непосредственной трассировки параметрических поверхностей и новый метод трассировки таких поверхностей. В их основе лежит поиск экстремума скалярного произведения радиус-вектора картинной поверхности и радиус-вектора трассируемой поверхности, задаваемых в одной системе координат (подробнее см. текст диссертации).

Рассмотрены возможные подходы к реализации алгоритма трассировки, использующего предложенный метод. Показано, что изображение параметрической поверхности может быть получено обратной трассировкой лучей без предварительной полигональной аппроксимации. На рис. 4.1 приведены примеры изображений параметрической поверхности Цао Ена, которые были получены автором при помощи одной из реализаций предложенного алгоритма трассировки.

Рис. 4.1. Изображения тел, полученные непосредственной трассировкой поверхности Цао Ена, описываемой параметрически.

„ В третьем разделе рассматриваются вычислительные методы для явного решения систем уравнений, описывающих поверхность и трассирующий луч. Даны описания решений уравнения встречи (в виде алгебраических выражений) для фрагментов поверхностей вращения и плоских областей различной связности.

В четвертом разделе описана объектная модель составной полиморфной поверхности (СПП) со структурой RTR-дерева и средств обработки хранимых описаний СПП

Для представления примитива как 3 D-объекта вводится три поведенческих абстракции (описываются базовыми абстрактными классами) - координатный фрейм, геометрическая форма и физические (в частности, оптические) свойства поверхности, имплементируемые в производных классах Базовые классы содержат наборы интерфейсов функций, описывающие поведение примитива как системы координат, решение уравнений встречи, оптические свойства и т п

Для представления примитива как хранимого объекта вводится абстракция хранимого описания, которая используется для построения средств обработки описания СПП и развертывания её в оперативной памяти Рассмотрена детализация ветви паттерна «RTR-Tree Creator» для изображаемых объектов в виде СПП Эта ветвь содержит интерфейс CrownParser обработчика описания кроны RTR-дерева (в данном случае кроной является СПП) Описание СПП (дан пример организации такого описания в виде РБНФ) обрабатывается с использованием интерфейса FormParser для вызова обработчиков Parser_i (обработка разнотипных описаний примитивов) При чтении описания СПП примитивы обрабатывают «сами себя», так как объект Creator обращается к реализациям абстрактных методов в классах, производных от класса FORMA (см рис 4 2) На рис 4 3 дана временная диаграмма обработки описания и развертывания СПП

Рис 4 2 Детализация ветви паттерна «RTR-Tree Creator» (см рис 2 8) для СПП

DB Script CI

:nt j j Creator | | TreeBuilderj ] TreeParseT] | PnmFactoryj j FormParser | | Tree | [crown

CreateDO ---------»

CreateAcior()

Créa teTBO --------

CreateTPQ MakeTreeQ

CreatePFQ MakeCrownfJ

BuildNodcQ

BuUdNodeQ

BuildNode 0

ParseNodeQ

Uses Uses

JJses Uses

CreatePPQ ParsePrimfl

a

CrealePPQ

ParsePrunQ_

Рис 4 3 Временная диаграмма работы ветви паттерна « RTR-Tree Creator» при развертывании СПП в оперативной памяти

В пятом разделе описаны особенности выполнения CSG-операций над полиморфными поверхностями, имеющими структуру RTR-деревьев Показано, что перемещения корня дерева в общем случае может приводить к нарушению корректности выполнения композиции CSG-операций, показаны способы организации выполнения композиции CSG-операций на RTR-деревьях, сохраняющие их корректность (инкапсуляция операций в кластерах и в примитивах)

В шестом разделе рассмотрена модель геометрических вычислений для алгоритма обратной трассировки составных полиморфных поверхностей

Показаны основные особенности потока вычислений при обработке поверхности методом обратной трассировки - неоднородность вычислений и возможность двухуровневой декомпозиции этого потока при распараллеливании, см рис 4 4

Lb-

j*—t—j Форма 1 jo-

-с

I Форма _2

î—I Pixel _N [о--- I-[ Форма_п |

^—-j Форма _n jo—— 1-

Рис 4 4 Два подхода к декомпозиции потока вычислений при трассировке полиморфной поверхности

Отмечено, что основная трудность обеспечения аппаратурной поддержки алгоритмов обратной трассировки полиморфных поверхностей обусловлена неоднородным и трудно предсказуемым распределением вычислительных затрат по элементам поверхности и растра. Введено понятие спектра вычислительной нагрузки, анализ которого на типичных примерах показывает, что алгоритмы обратной трассировки имеют многократный резерв производительности, который может быть реализован в параллельных адаптируемых архитектурах.

На рис. 4.5 и 4.6 приведены вид типовой сцены и характерные соотношения для числа примитивов и вычислительных затрат при формировании изображения таких сцен с помощью обратной трассировки триангулированных и полиморфных ЗП-объектов. Эти соотношения могут достигать величин юМо4.

•V /

Рис.4.5. Вид типовой сцены, представляемой в виде триангулянтов и составных полиморфных поверхностей.

Рис.4.6. Характерный вид вычислительных спектров обработки типовой сцены.

Описано представление модели процесса вычислений при обратной трассировке в виде объектно-ориентированного паттерна, который можно рассматривать как виртуальной машину обратной трассировки (ВКТ-машину). Идея этого паттерна

основывается на двух принципах Первый принцип - использование полиморфизма наследования с инкапсуляцией обработки ЗО-примитивов в виртуальных методах, второй - использование для конфигурирования вычислительной архитектуры данных, существующих вне программного кода, и описывающих ЗО-сцену, подвергаемую обработке Таким образом, в отличие от существующих подходов к аппаратной поддержке геометрических вычислений (FPGA, ISEF, шейдеры и т п ), для конфигурирования вычислительной системы можно использовать не только программный код, но и обрабатываемые данные В качестве источника последних могут служить скрипты, содержащие описания ЗЭ-сцены, растра и т д Этот подход может также быть усилен алгоритмом адаптивной перестройки вычислительной сети на основе анализа и прогнозирования изменения структуры наполнения видимого объема при обходе сцены наблюдателем

В 5-й главе описана методология разработки программного обеспечения, предназначенного для клиентского и промежуточного слоев распределенной системы визуализации ИБС (СВ ИВС) с многослойной архитектурой

В первом разделе дан развернутый анализ современного состояния методологии создания распределенных систем и ее возможностей с точки зрения применения для разработки программного обеспечения распределенной СВ ИВС Рассмотрены доминирующие концепции разработки ПО промежуточного слоя - CORBA, J2EE и DOT-NET, показаны их основные возможности и недостатки в контексте создания распределенной системы визуализации ИВС Обосновывается перспективность использования для этой цели новой технологии разработки, известной как MDA (Model Dnven Architecture), предложенной OMG (Object Management Group), и основанной на открытых стандартах

В самом общем виде процесс разработки приложения по технологии MDA может выглядеть следующим образом

1) программист создает нужную UML-модель или использует ее в готовом виде для конкретной задачи предметной области, извлекая из CWM (Common Warehouse Metamodel),

2) в среде разработки происходит обработка этой модели и автоматическая генерация кода на исходном языке,

3) программист проверяет автоматически сгенерированный код на соответствие поставленной задаче,

4) программист пишет окончательный код реализации

Основным инструментом разработки по технологии MDA является язык UML, с помощью которого описывается программная система, а также инструментарий MOF (Meta-Object Facihty), с помощью которого описываются метаданные, которые затем представляются в виде объектов (Metadata Object)

Концепцию MDA можно считать наиболее перспективной для разработки распределенных СВ ИВС по целому ряду причин, из которых следует выделить две

• Интеграционная политика OMG, которая направлена на перенос усилий в создании Middleware из области разработки кода в область моделирования Автоматизируется рутинная работа по программированию однотипных решений на основе их стандартизации и сохранении их в CWM в виде XML-документов,

доступных для использования на любой платформе Объектом неформальной разработки являются нестандартные модели поведения систем и сами системы • Открытая политика OMG в области стандартов, которая позволяет получить доступ к нужным спецификациям (включая их синтаксис и семантику) даже в том случае, если разработка распределенной СВ ИБС производится без использования стандартных промышленных средств (специализированные корпоративные разработки)

Во втором разделе описано представление о системе визуализации ЙВС как распределенной системы, логика функционирования которой существенно отличается от логики функционирования «обычных» распределенных систем (бизнес-систем)

На схеме рис 5 1 показана детализация метафоры распределенной визуализации системы, показанной на рис 1 1 Представлены основные компоненты распределенной СВ ИВС, которые по фунциональным признакам сгруппированы в четырех доменах (подробно описаны в тексте диссертации)

■ домен физической среды,

■ домен имитационной модели,

■ домен центрального узла,

■ домены постов визуализации (периферийные клиенты)

Система имеет топологию типа «звезда» (с небольшими вариациями, описанными в тексте диссертации) Центральный (серверный) узел является местом, где выполняется обработка данных телеметрии и непрерывное моделирование ИВС Этот узел рассылает вектор состояния объектов клиентам, и именно клиенты выполняют визуализацию ИВС Основным мотивом выбора такой специализации звеньев системы является обеспечение интерактивности на стороне клиента (в диссертации приводится анализ временных диаграмм реагирования клиента на изменение состояния ИВС) Если возложить функции построения изображений на сервер, он не справится с нагрузкой, так как клиент имеет высокую мобильность в ЗО-пространстве Поэтому наиболее тяжелую вычислительную нагрузку целесообразно перенести на сторону клиента По существующей терминологии клиент системы относится к категории «Толстый клиент» (в данном случае даже «Сверхтолстый»)

Система может функционировать по двум основным сценариям - рассылка библиотек описаний ЗО-обьектов, записей «черного ящика» и рассылка вектора состояния Рассылка описаний ЗО-объектов и записей «черного ящика» требуется эпизодически Основным является сценарий непрерывной доставки вектора состояния ИВС большому числу клиентов, интенсивность которой также может быть очень высокой Этот сценарий может быть организован в двух видах - на основе соединения (с управляющим протоколом TCP), и без соединения (широковещательная репликация над UDP)

В третьем разделе описывается подход к построению моделей данных и нестандартных моделей поведения объектов ИВС на прикладном уровне, облегчающий поддержку устойчивого поведения системы в клиентском слое при сбоях доставки данных Рассматриваются сбои доставки, в виде нарушения хронологии, дублирования и потери пакетов Кадры состояния с невалидным временем отправки, игнорируются (считается, что на стороне клиента отслеживается хронология поступления данных) Соответствующие преобразования данных перед загрузкой их в вектор состояния выполняются в промежуточном слое

Для того чтобы максимально упростить обработку сбоев клиенту (свести ее к отбрасыванию невалидных данных), на стороне клиента нужно моделировать поведение объектов ИБС по специальному сценарию, который имеет некоторые особенности, в частности, смена состояний ИБС должна происходить без использования предыстории (см рис 5 2)

Домен внешней имитационнои модели

Домен физической среды

Вектор состояния физической среды

ПУ/Имитаторы ПУ

ш

Регистратор состояния 1

I Имятацнонная модель ]

Домен ИВС

Граница системы

Сервер ТМИ «Черный яш«ю> Сервер ВИМ

Сервер состояния Индуцированной Виртуальной Среды

X

Г БД ЗО-объсктов"^ | Сервер СПВ (коллектор данных о состоянии ПВ) |

Вектор состояния имитационной среды

Вектор состояния поста визуализации

Вектор состояния ИВС

V

Описания ЗО объектов

| Сервер состояния поста | | Регистратор состояния |

I ,_I

| Оператор | |носктель растра ]

30 Елрле

±

Драйвер Зр-сиены

I Транслятор состояния

Координатор

Домен поста визуализации

Рис 5 1 Потоковая диаграмма взаимодействия доменов и основных компонент распределенной СВ ИВС (детализация метафоры на рис 1 1)

Рис.5.2. Схема изменения состояний без накопления предыстории.

Механизм событий должен быть заменен на механизм слежения за атрибутами (параметрами), характеризующими события (см. рис.5.3). При этом в данные, описывающие состояние виртуальных объектов, вводится избыточность, за счёт которой повышается живучесть системы.

События

Атрибуты

_( 1

t

Рис.5.3. Введение «параметризации» событий.

В некоторых случаях удобно изменить механизм моделирования взаимодействия ЗО-объектов (например, при визуализации стыковки-расстыковки) - вместо непосредственного взаимодействия объектов по схеме «ведущий-ведомый» имитировать лишь видимость взаимодействия, сохраняя их независимыми (см. рис.5.4).

Внешняя среда ИВС

Внешняя среда ИВС

м,

а) фактическое взаимодействие б) видимость взаимодействия

Рис.5.4. Два подхода к моделированию взаимодействия.

Для этого должны быть организованы специализированные объекты (источники координатных данных), «прикрепленные» к ЗБ-объектам, участвующим в стыковочных операциях, и фактически ведущим себя как «марионетки», подчиняющиеся своим источникам данных. В работе эти источники данных рассматриваются как адаптеры

состояния Описываются паттерны, при помощи которых моделируется такой способ взаимодействия

В четвертом разделе рассмотрена сохраняющая до настоящего времени свою актуальность проблема создания протокола обмена даными в распределенных системах ЗО-визуализации

Методология создания распределенных систем 3D-визуализации (в том числе и систем виртуальной реальности) развивалась параллельно с методологией Middleware для бизнес-приложений Начиная с 90-х было разработано достаточно большое число корпоративных форматов для описания и обмена ЗО-данными (по видимому, несколько десятков или сотен), в том числе, несколько версий формата ЗБ-данных для взаимодействия системы «Гипервизор» с имитационными моделями и серверами БД и ТМИ в ЦУП ЦНИИмаш Примерно в то же время появился и параллельно развивался стандартизованный формат 3D-данных, получивший название VRML (затем VRML2, VRML97), в начале XXI века эволюционировавший в X3D

Общую направленность семантики X3D (по версии ISO/IEC FDIS 19775-1 2004) можно адресовать, скорее, мультимедийным приложениям и задачам визуализации синтетических ЗО-сред для наглядного изображения различных метафор в игровых, бизнес-приложениях и т п Для использования в распределенных СВ ИВС существующая концепция VRML/X3D одновременно и слишком ограничена, и перегружена Это касается хотя бы способа описания иерархических структур в XML вообще и в X3D в частности - используется традиционная модель ордерева, в которой отношение порядка «зашивается» в структуру Отдельным предметом в X3D является моделирование поведения андроидных объектов, причем буквально, - X3D ссылается на стандарт Н-Ашт (ISO/IEC FCD 19774 200х - Humanoid Animation), в котором определена модель «Гуманоида» Одной из составлящих H-Amm является модель скелета, представляющая собой иерархическую систему с корнем, которому соответствует крестцовый отдел позвоничника человека (HumanoidRoot sacrum, то есть, ордерево определяется статически)

Пользуясь средствами X3D, можно описать поведение ЗО-объекта при помощи композиции атрибутов, описывающих движение объекта в пространстве, и форму поверхности Однако при попытке описать сложные аспекты поведения возникают трудности В первую очередь это касается описания взаимодействия объектов (в частности стыковки, расстыковки модулей, сборка ОС из блоков и т п) Пользуясь X3D для описания таких видов поведения, можно использовать некоторые возможности компоненты Collision, однако она перегружена другими функциями (определение пересечения триангулянтов и т п ), которые важны при описании взаимодействий, но в СВ ИВС их нужно удалять из цепочки «причина-следствие» Перегруженность функциональности коллизий в ЗБ-приложениях (и в концепции X3D) является результатом возникшего на определенном этапе развития ЗС-графики слияния функций физического моделирования в виртуальной среде и функций отображения событий в виртуальной среде (обе они обычно входят в состав так называемых «движков») В СВ ИВС эти функции должны быть разделены на уровне категорий Например, при моделировании поведения КА необязательно (и не нужно) распознавать коллизии, для этой цели служат внешние данные (информация о касании, захвате и т п ), независящие от событий в виртуальной среде

Если рассматривать возможность применения средств ХЗБ в качестве формата данных для обмена между звеньями СВ ИВС, нужно учитывать необходимость его расширения по целому ряду направлений, в том числе

- средства параметрического описания поверхностей,

- средства описания геометрической модели формирования изображения,

- средства описания поведения виртуального зрителя,

- средства описания иерархических структур,

- средства описания поведения ЗВ-объсктов,

- средства описания взаимодействия ЗО-объектов

Перечисленные средства (далеко не полный перечень) играют ключевую роль в модели поведения объектов ИВС и необходимы для представления контента, транспортируемого в распределенной СВ ИВС При этом в ХЗО включен целый ряд видов данных, которые важны для мультимедйных приложений, но играют второстепенную роль при трансляции состояния ИВС (например, аудио-видео контент, который вообще не должен входить в вектор состояния) Эти и другие обстоятельства мотивируют необходимость разработки специализированного формата обмена данными именно для нужд СВ ИВС

В заключении сформулированы основные результаты работы

Основные результаты работы состоят в следующем

1 Разработана концепция индуцированной виртуальной среды и системы трехмерной визуализации индуцированной виртуальной среды, являющейся системой визуализации нового поколения, использующей альтернативные (неоптические) данные об объектах наблюдения, и применяемой в условиях, в которых использование обычных оптико-телевизионных средств наблюдения невозможно, затруднено или неэффективно

2 Исследованы и решены математические задачи описания и обработки данных об объектах наблюдения, реконструкции их поведения, синтеза стереоскопических изображений этих объектов в виртуальной среде, имеющие определяющее значение для разработки программного обеспечения систем интерактивной Ш-визуализации индуцированной виртуальной среды

3 Создана методология проектирования, разработки и сопровождения программного обеспечения систем интерактивной ЗБ-визуализации индуцированной виртуальной среды, необходимая при разработке систем дистанционного слежения, управления, пилотирования, навигации и других систем аналогичного назначения

4 На основе созданных математических методов и методологии разработки программного обеспечения в ЦУП ЦНИИМаш создан и функционирует программный комплекс трехмерной визуализации на коллективных и индивидуальных средствах отображения динамических орбитальных операций по данным систем траекгорных измерений и телеметрии реального времени

Комплекс используется при выполнении пилотируемых космических программ, в том числе программы «Международная космическая станция» (до марта 2001 года программы «Мир») и программ освоения космоса с использованием автоматических космических аппаратов различного научного и социально-экономического назначения

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ.

1 Афанасьев В О Развитие модели формирования бинокулярного изображения виртуальной ЗБ-среды - Программные продукты и системы Гл ред м -нар Журнала «Проблемы теории и практики управления», Тверь, 4, 2004 с 25-30

2 Афанасьев В О Модели структур и данных для решения задач управления поведением и взаимодействием объектов в индуцированной виртуальной среде -Космонавтика и ракетостроение, №2(39), Изд-во ЦНИИМаш, 2005 с 168-179

3 Афанасьев В О Деревья и связанные списки с переменным отношением порядка (RTR-структуры) - Программирование, т 32, № 6,2006

4 Версия [3] в переводе на английский язык Afanasiev V О Trees and Linked Lists with Variable Ordering Relations (RTR Structures) - Programming and Computer Software, Vol 32, No 6,2006, pp 324-337

5 Афанасьев В О Особенности программного обеспечения распределенной системы ЗО-визуализации для отображения состояния орбитального комплекса Космонавтика и ракетостроение, № 4(45), Изд-во ЦНИИМаш, 2006

6 Афанасьев В О Задача обратной трассировки лучей в расширенной постановке Программные продукты и системы Гл ред м -нар Журнала «Проблемы теории и практики управления», Тверь, №3,2006 с 33-38

7 Афанасьев В О Синтез стереопар трехмерных изображений волновых фронтов -Метрология (Ежемесячное приложение к н -т ж-лу «Измерительная техника»), 4, M Издательство стандартов, 1994, с 35-39

8 Афанасьев В О Синтез изображений центральных проекций отражающих объектов методом обратной трассировки в ИК-диапазоне -Измерительная техника, 7, M Издательство стандартов, 1994, с 23-24

9 Афанасьев В О Обратная трассировка на продолжении вектора сканирования картинной поверхности -Моделирование сложных систем и виртуальная реальность Сб «Вопросы кибернетики /Под ред Ю M Баяковского и А H Томилина - M Изд-во РАН, 1995,181, с 210

10 Афанасьев В О Задачи обратной трассировки пространственных объектов произвольной формы -Моделирование сложных систем и виртуальная реальность Сб «Вопросы кибернетики /Под ред 10 M Баяковского и А H Томилина - M Изд-во РАН, 1995,181, с 210

11 Афанасьев В О Система полиморфных ЗБ-примитивов для порождения виртуальных актеров - Имитационное моделирование и автоматизация программирования Сб науч трудов /Под ред H В Макарова-Земяянского -М Изд-во МГУ, 1997-107с, с 71-79

12 Афанасьев В О , Томилин А H Модель данных для проектирования базы данных виртуальных актеров - Имитационное моделирование и автоматизация программирования Сб науч трудов /Под ред H В Макарова-Землянского -М Изд-во МГУ, 1997 -107с , с 64-70

13 Афанасьев ВО, Клименко С В Геометрические модели высокоточного формирования бинокулярного изображения виртуальной среды в ближней зоне//В сб Трудов XLVII научной конференции МФТИ, M Корп «Ланит», 2004, 206с, с 190-201

14 Почукаев ВН, Томилин АН, Алешин ВИ, Афанасьев ВО Global télécommunication m virtual environments provided by space orbiter systems for communication, navigation, location and observation - Proceedings of East-West International Conférence on Multimedia, Hypermedia and Virtual Reality "MHVR-94" Moscow, Sep 14-16, 1994, p 229-230

15 Алешин В И, Афанасьев ВО, Галис РМ, Банковский ЮМ, Томилин АН Виртуальная реальность проблемы освоения новой технологии - Программные продукты и системы Гл ред м -нар Журнала «Проблемы теории и практики управления» 4, 1994 с 9-12

16 Алешин В И , Афанасьев В О идр Фундаментальные исследования, проводимые в ЦУП-М при поддержке РФФИ -Космонавтика и ракетостроение, №3, Изд-во ДНИИМаш, 1996

17 ВЛобачев, В Алешин, В Афанасьев, А Томилин Новые проекты в области информационных технологий Центра управления полетами и моделирования (ЦУП-М) Российского космического агентства Материалы м -нар конференции "Индустрия программирования 96" -М Издательство Центра информационных технологий - http //www citforum ru/programming/prg96/87 shtml

18 Алешин В И, Афанасьев ВО Система отображения состояния орбитального комплекса сложной структуры - Космонавтика и ракетостроение, №25, Изд-во ЦНИИМаш, 2001

19 В О Афанасьев, А Г Бровкин, А H Корниевский, ВППодобедов, В С Семченко, А H Томилин Исследования и разработка системы интерактивного наблюдения индуцированной виртуальной среды (системы виртуального присутствия) -Космонавтика и ракетостроение, Л» 16, Изд-во ЦНИИМаш, 1999

20 В О Афанасьев, В И Алешин, В H Почукаев, А H Томилин Технологии «Искусственный интеллект» и «Виртуальная реальность» в системах автономной навигации - Космонавтика и ракетостроение, №18, Изд-во ЦНИИМаш, 2000

21 Афанасьев ВО, Мартьтенко MB, Почукаев ВН, Томилин АН Системы навигации для объектов сложной пространственной структуры на базе виртуальных моделей трехмерной среды 2-я Международная научно-техническая конференция «Космонавтика, радиоэлектроника, геоинформатика», Рязань, 1998

22 Алешин В И, Афанасьев В О, Макаров-Землянский H В , Томилин А H , Чумаков В А Некоторые аспекты применения имитационных моделей с интерфейсом «Виртуальная реальность» -Моделирование сложных систем и виртуальная реальность Сб «Вопросы кибернетики /Под ред Ю M Баяковского и А H Томилина - M Изд-во РАН, 1995,181, с 210

23 Афанасьев В О , Алешин В И, Галис P M , Дмитрущенков В А , Томилин А H Порождение и управление поведением виртуальных актеров в системе «Гипервизор» -Моделирование сложных систем и виртуальная реальность Сб «Вопросы кибернетики /Под ред Ю M Баяковского и А H Томилина - M Изд-во РАН, 1995,181, с 210

24 Афанасьев В О , Алешин В И , Галис P M .Саночкин А С , Томивдн А H Синхронизация погружения в виртуальную среду системы «Гипервизор» -Моделирование сложных систем и виртуальная реальность Сб «Вопросы кибернетики /Под ред Ю M Баяковского и А H Томилина - M Изд-во РАН, 1995,181, с 210

25 Афанасьев В О, Алешин В И , Галис Р М, Саночкин А С , Томилин А Н , Осокин Е В Формирование стереоскопического изображения виртуальной сцены в системе «Гипервизор» -Моделирование сложных систем и виртуальная реальность Сб «Вопросы кибернетики /Под ред Ю М Баяковского и А Н Томилина - М Изд-во РАН, 1995, 181, с 210

26 Алешин В П, Афанасьев В О , Байгозин Д А , Бурлаков С К, Клименко С В Высокоточная визуализация индуцированного виртуального окружения в перспективных космических тренажерных системах и центрах управления космическими полетами// В сб Технические средства и технологии для построения тренажеров Труды 5-го научно-технического семинара, Звезный городок, РИО РГНИИ ЦПК им Ю А Гагарина, 2004, с 49

27 Афанасьев В О, Байгозин Д А, Бурлаков С К, Клименко С В, Батурин Ю М Распределенные системы индуцированного виртуального окружения // В сб Труды б-й Международной научно-научно-практической конференции «Пилотируемые полеты в космос», Звезный городок, РИО РГНИИ ЦПК им Ю А Гагарина, 2005, с 167-168

28 Алешин В П, Афанасьев В О Байгозин ДА, Батурин ЮМ и др Проект Создание технологии виртуального окружения для решения проблемы распознавания космических аппаратов и оценки их параметров по земным наблюдениям//© сб Трудов XLVII научной конференции МФТИ, М Корп «Ланит», 2004,206с , с 59-61

29 Афанасьев В О, Байгозин Д А, Батурин Ю М, Бурлаков С К, Клименко С В Особенности архитектуры программного обеспечения распределенных систем индуцированного виртуального окружения // В сб Трудов 2-й научной конференции Кафедры системной интеграции и менеджмента МФТИ «СИМ-2005», Протвино, Изд-во ИФТИ, 2005, с 1-9

30 Афанасьев В О, Брусенцев П А, Клименко С В , Михайлюк М В , Торгашев М А , Фомичев В М Опыт применения и перспективы развития систем виртуального окружения в космических тренажерах и системах телеприсутствия / /В сб Трудов 3-й М -нар конференции VeonPC-2003 «Системы виртуального окружения на Linux-кластерах персональных компьютеров» - Москва, Ханты-Мансийск, Протвино Изд-во ИФТИ, 2003, с 5-20

31 Алешин В П , Афанасьев В О Байгозин Д А, Батурин ЮМ и др ПРОЕКТ Разработка и создание индуцированной виртуальной среды для задач исследования космоса//В сб Трудов 3-й Международной конференции «VeonPC-2003 Системы виртуального окружения на Linux-кластерах персональных компьютеров» -Москва, Ханты-Мансийск, Протвино Изд-во ИФТИ, 2003, с 55-70

32 Алешин В П, Афанасьев В О Байгозин Д А, Батурин ЮМ и др Система визуализации индуцированного виртуального окружения для задач исследования космоса состояние проекта/Я? сб Трудов 14-й Международной конференции по компьютерной графике и зрению «Графикон-2004», М Изд-во МГУ, 2004, 318с, с 12-15

33 Афанасьев В О , Клименко С В и др Задача обратной трассировки лучей Поиск новых подходов и вычислительных реализаций //В сб Трудов 6-го М -народного Семинара по виртуальному окружению на кластерах ПК «VeonPC 2006» Изд-во ИФТИ, 2006, с 11-22

34 Алёшин В П, Афанасьев В О, Клименко С В, Лавров В В, Новгородцев Д Д Методы компьютерной графики и индуцированного виртуального коружения в задачах обработки некоординатной информации // Сборник трудов ОАО «МАК Вымпел» изд-во ОАО «МАК Вымпел», 2007

35 Алёшин ВП, Афанасьев ВО и др Методология и результаты применения технологии виртуального окружения для решения проблем распознавания космических аппаратов и оценки их параметров по земным наблюдениям // В сб Трудов 6-го М -народного Семинара по виртуальному окружению на кластерах ПК «VeonPC 2006» Изд-во ИФТИ, 2006

36 Utkin V F, Afanasiev V О, Brovkin A G, Menshikov G Р , Romanchenkov V Р, Sokolov Y A, Zmchenko L V , Reshetm IA, Sokolov V G "Risk of Functioning of International Space Station Connected with Influence of Meteoroids and Space Debris" Proc of 49th International Astronautical Congress, Sept 28-Oct 2, 1998, Melbourne, Australia

37 Afanasiev V О, Baygozin D A, Batunn Y M, Burlakov S К, Klimenko S V Distributed Systems Software Architecture for Induced Virtual Environments International Conference of Cyberworlds CW 2005, 23-35 November 2005, Singapore, IEEE Computer Society Press, pp 378-382

38 Afogsiev V , B^ozrn D , Kazanski I, Fornm S , Klimenko S RTR-Trees for Space R^Bcs BehaT^^ftmulation and Visualization Proceedings of International Conference of CYBERWORLDS 2006, 28-29 November 2006, Lausanne, IEEE Computer Society Press, pp 115-122

39 Afanasiev V, Baigozm D , Kazanski I, Fomin S , Klimenko S RTR-Trees for Space Robotics Behavior Simulation and Visualization, The Visual Computer, vol 23, No 5, 2007, Springer Berlin/Heidelberg, pp 347-358

40 Томилин A H, Афанасьев В О Виртуальная реальность -Наука и жизнь, №2, М 1999, с 58-60

• •

Напечатано с готового оригинал-макета

Издательство ООО "МАКС Пресс" Лицензия ИДИ 00510 от 01.12 99 г. Подписано к печати 22 05 2007 г. Формат 60x90 1/16 Усллечл.2,0 Тирах 80 экз Заказ 275

Тел 939-3890. Тел./факс 939-3891^^ ^^

119992, ГСП-2, Москва, Ленинские горы, МГУ им ^^РЛомоносовЩ^Р 2-й учебный корпус, 627 к.

БЛАГОДАРНОСТИ. 27

ГЛАВА 1. КОНЦЕПЦИЯ СИСТЕМЫ ЗБ-ВИЗУАЛИЗАЦИИ ИНДУЦИРОВАННОЙ ВИРТУАЛЬНОЙ СРЕДЫ. 28

1.1. Понятие индуцированной виртуальной среды (ИВС), назначение и возможные области применения систем визуализации ИВС (СВ ИВС).29

1.2. Возможности технологии «Виртуальная реальность», являющиеся ключевыми для систем управления и наблюдения на основе альтернативных принципов слежения за состоянием объектов.32

1.2.1. Отсутствие ограничений для точек и ракурсов наблюдения.32

1.2.2. Ослабление физических ограничений для непосредственной видимости объектов.32

1.2.3. Использование альтернативных (неоптических) методов слежения за состоянием объектов.32

1.2.4. Визуализация ненаблюдаемых объектов.33

1.2.5. Синхронное моделирование визуализации в различных областях спектра ЭМК.33

1.2.6. Распределенная синхронная многоракурсная визуализация.34

1.3. Проблемы ЗБ-визуализации, характерные для СВ ИВС.34

1.3.1. Адекватность бинокулярного восприятия ЗБ-среды по стереопаре 2Б-изображений.35

1.3.2. Реалистичность и производительность алгоритмов ЗБ-визуализации.39

1.3.3. Реконструкции поведения ЗБ-объектов в виртуальной среде по данным о поведении реальных объектов.41

1.4. Подходы к решению проблем ЗБ-визуализации, применяемые в наиболее распространенных системах виртуальной реальности.42

1.4.1. Анимационные системы (изолированное погружение).43

1.4.2. Игровые системы (изолированное погружение).44

1.4.3. Тренажерные системы (совмещенное погружение).46

1.4.4. Имитационные системы (совмещенное погружение).47

1.4.5. Системы погружения с точным совмещением систем координат (технологии семейства «Augmented/Mixed Reality»).48

1.4.6. Системы телеуправления (технологии семейства «Remote Control»).51

1.4.7. Системы телеприсутствия (совмещенное мультимедийное погружение). 51

1.5. Математические задачи, связанные с проблемами ЗБ-визуализации ИВС.52

1.5.1. Описание и управление поведением ЗБ-моделей объектов с динамической структурой.52

1.5.2. Интерфейс высокоточной стереоскопической визуализации.54

1.5.3. Алгоритмы синтеза изображений с расширенной моделью проецирования (обратная трассировка для картинных поверхностей сложной формы).57

1.5.4. Модели данных и поведения объектов ИВС для распределенной системы ЗО-визуализации.60

ГЛАВА 2. ОПИСАНИЕ ЗО-ОБЪЕКТОВ С ДИНАМИЧЕСКОЙ СТРУКТУРОЙ И МОДЕЛИРОВАНИЕ ИХ ПОВЕДЕНИЯ.63

2.1. Функция и роль иерархической структуры в описании формы

ЗО-носителя поверхности и её изменений.64

2.2. Иерархические структуры с переменным отношением порядка (ЮИ-деревья).67

2.2.1. Пример структуры с изменением отношения порядка при сохранении связности.67

2.2.2. Формальное описание КГК-дерева.70

2.2.3. Преобразования систем координат в вершинах ЮН-дерева.73

2.3. Связанные ШИ-списки.75

2.3.1. Описание обычного связанного списка.75

2.3.2. Описание связанного НТК-списка.77

2.3.3. Двухуровневый полиморфизм концевых элементов МП-деревьев структуры объектов ИВС.82

2.4. Проектирование программных средств для ЯТЯ-деревьев.85

2.4.1. Модель данных для управления состоянием ЛТК-дерева.85

2.4.2. Паттерны развертывания КШ-дерева.86

2.4.3. Паттерны управления поведением ЯТК-дерева.90

2.4.4. Паттерны управления взаимодействием КШ-деревьев.92

ГЛАВА 3. ИНТЕРФЕЙС ВЫСОКОТОЧНОЙ СТЕРЕОСКОПИЧЕСКОЙ ВИЗУАЛИЗАЦИИ.97

3.1. Постановка задачи стереоскопической визуализации.97

3.1.1. Оптико-геометрическая модель бинокулярной зрительной системы.98

3.1.2. Начальные условия формирования стереопары.101

3.1.3. Условия наблюдения сформированной стереопары.102

3.2. Развитие математической модели бинокулярного интерфейса.103

3.2.1. Введение дополнительных степеней свободы для объектов виртуальной 6БОР-стереоголовы.103

3.2.2. Введение описания формы носителя изображения.106

3.2.3. Использование данных о взаимном положении центров вращения и проецирования.110

3.3. Объектная модель человеко-машинного интерфейса высокоточной стереоскопической визуализации.114

3.3.1. Абстракция интерфейса стерескопической визуализации пост визуализации).115

3.3.2. Структура поста визуализации.117

3.3.3. Статическая декомпозиция картинной поверхности.119

3.3.4. Классификация объектов поста визуализации.120

3.4. Управления поведением виртуального поста визуализации.121

3.4.1. Модель состояния.121

3.4.2. Сценарии поведения.122

3.4.3. Динамическая декомпозиция картинной поверхности.123

3.4.4. Перенос состояния при перекрестном наблюдении.124

ГЛАВА 4. МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ЗАДАЧИ ОБРАТНОЙ ТРАССИРОВКИ ЛУЧЕЙ В РАСШИРЕННОЙ ПОСТАНОВКЕ.126

4.1. Обобщение задачи обратной трассировки на основе параметрического описания луча.127

4.2. Подходы к обратной трассировке лучей для поверхностей свободной формы.132

4.3. Обратная трассировка лучей на основе явного решения систем уравнений, описывающих поверхность.138

4.4. Программные средства описания и формирования составной полиморфной поверхности (СПП) со структурой RTR-дерева.143

4.4.1. Семантика полиморфизма примитивов СПП.143

4.4.2. Хранимое описание СПП и его обработка.146

4.4.3. Паттерны развертывания СПП в оперативной памяти.147

4.5. Особенности выполнения CSG-операций с узлами RTR-дерева.150

4.5.1. Нарушение корректности суперпозиции CSG-операций в цепях с изменением отношения порядка.151

4.5.2. Сохранение корректности путем инкапсуляции CSG-операций в кластерах узлов.154

4.5.3. Сохранение корректности путем инкапсуляции CSG-операций в примитивах.154

4.6. Управление вычислительным процессом при обратной трассировке составных полиморфных поверхностей.155

4.6.1. Особенности структуры потока вычислений.156

4.6.2. Спектры вычислительной нагрузки.157

4.6.3. Подход к созданию модели адаптируемой вычислительной архитектуры (виртуальная машина обратной трассировки).159

ГЛАВА 5. ОСОБЕННОСТИ РАЗРАБОТКИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ РАСПРЕДЕЛЕННЫХ СВ ИВС.162

5.1. Современное состояние методологии создания распределенных систем и ее возможности в контексте создания распределенной СВ ИВС.163

5.1.1. Основные задачи сетевого ПО распределенной СВ ИВС с архитектурой «клиент-сервер».164

5.1.2. Возможности подходов к созданию ПО Middleware распределенной СВ ИВС в реализациях CORBA, J2EE, DOT.NET.166

5.1.3. Перспективы использования технологии MDA OMG для создания ПО распределенной СВ ИВС.168

5.2. Представление о СВ ИВС как о распределенной системе.170

5.2.1. Основные компоненты и сценарии функционирования распределенной СВ ИВС.170

5.2.2. Задачи и логика функционирования серверного слоя.175

5.2.3. Задачи и логика функционирования клиентского слоя.176

5.2.4. Задачи и логика функционирования промежуточного слоя.179

5.2.5. Сетевая топология и виды контента.179

5.3. Модели данных и поведения объектов, учитывающие негарантированную доставку данных о состоянии.181

5.3.1. Основные виды нарушения поведения ЗБ-объектов при сбоях доставки данных о состоянии.181

5.3.2. Модели данных и управление поведением ЗБ-объектов при потерях данных о состоянии.184

5.3.3. Возможные подходы к моделированию взаимодействия

ЗБ-объектов в клиентском слое.188

5.3.4. Адаптеры данных о состоянии для независимых объектов.190

5.4. Описание данных в распределенной системе ЗБ-визуализации ИВС.194

5.4.1. Виды контента в системе ЗБ-визуализации ИВС.195

5.4.2. Эволюция доминирующей модели языка для ЗБ-визуализации.196

5.4.3. Ограничения семантики языка ХЗБ, существенные для распределенных СВ ИВС.196

5.4.4. Модель метаданных OMG и возможности развития языка ХЗБ для СВ ИВС.198

ЗАКЛЮЧЕНИЕ.202

БИБЛИОГРАФИЯ.204

ВВЕДЕНИЕ

Сфера применения систем виртуальной реальности (ВР) в настоящее время достаточно обширна - от игровых систем до систем специального назначения. В последние годы все более востребованными становятся возможности систем виртуальной реальности, позволяющие воспроизводить в виртуальной среде объекты (их структуру, вид, поведение и взаимодействие), которые в режиме реального времени могут копировать поведение своих реальных прототипов, находящихся и функционирующих в реальной среде. Эти возможности можно кратко охарактеризовать метафорой «увидеть невидимое» (точнее, получить изображение объектов наблюдения без использования средств прямого оптического наблюдения). Появление и развитие этих возможностей тесно связано с появлением и интенсивным развитием в конце ХХ-го и начале ХХ1-го веков различных средств регистрации ЗБ-координат объектов (средств ЗБ-позиционирования), а также развитием геоинформационных систем (ГИС) и ЗБ-моделей земного ландшафта (3Б-карт высокого разрешения, содержащих помимо рельефа данные о застройке и т.п.).

Общая характеристика систем визуализации индуцированной виртуальной среды (СВ ИВС). Если внешний вид реальных объектов, их строение, структура воспроизводятся с высокой точностью, а также, если данные об этих объектах позволяют в реальном времени достоверно воспроизводить их поведение в виртуальной среде, то виртуальную среду можно рассматривать как средство наблюдения за реальными объектами и реальными событиями, не требующее нахождения в самой реальной среде. В начале ХХ-го века такая возможность появилась, благодаря открытию телевидения (термин <телевидение» как раз и отражает возможность «видения на расстоянии» ). В то же время, имея сходство с системой телевидения, система виртуальной реальности, в которой воспроизводятся реальные объекты и реальные события, имеет ряд принципиальных отличий от телевизионных систем.

Первое отличие (может быть, главное) заключается в принципиальном отсутствии ограничений на свободу передвижения наблюдателя и выбора им точки и ракурса для наблюдения в виртуальном пространстве. Второе отличие -расширение доступного набора средств получения информации о поведении объектов наблюдения. В оптико-телевизионных системах для этой цели используется спектр ЭМК оптического и субоптического (инфракрасного и частично ультрафиолетового) диапазонов. В системах виртуальной реальности для регистрации состояния могут быть использованы любые доступные источники данных, принцип действия которых не обязательно должен быть оптическим. Более того, работа таких источников данных может быть даже не связана с регистрацией ЭМК, - они могут быть акустическими, механическими, инерциальными и т.п. Таким образом, можно говорить о визуализации в том числе и на основе альтернативных (неоптических) физических принципов, когда становится возможной визуализация объектов, являющихся «невидимыми» в обычном понимании.

Общий подход к наблюдению за поведением «невидимых в оптическом смысле» объектов строится на использовании двух видов данных об этих объектах - априорных (консервативных) и апостериорных (оперативных). Эти данные образуют информационную основу реконструкции поведения (временной последовательности состояний) реальной среды, которое моделируется в виртуальной среде в режиме реального времени параллельно с равзвитием с событий в реальной среде.

В состав априорных данных могут входить данные, которые относительно мало подвержены изменениям в процессе наблюдения и описывают относительно стабильные структуру, форму объектов, оптические (и другие физические) характеристики «наблюдаемых» объектов и окружающей среды (естественный и техногенный ландшафт и т.п.). Оперативные данные описывают систематические изменения состояния объектов и образуют вектор состояния - набор данных, в который входят данные, регистрируемые сенсорными системами (пространственное положение и ориентация объектов и их структурных элементов, параметры, связанные с изменениями формы и т.п.).

Из двух указанных выше разновидностей данных для реконструкции требуется систематическая регистрация и передача лишь оперативных данных (вектор состояния наблюдаемой среды), причем, эти данные не являются описанием изображения (точнее, растра изображения, как в телевизионных системах). Они имеют принципиально иную природу, и объем их существенно меньше по сравнению с объемами растра, транспортируемого в системах теленаблюдения. В этом заключается третье принципиальное отличие систем виртуальной реальности, используемых для наблюдения за состоянием реальной среды (далее СВ ИВС), от телевизионных систем.

СВ ИВС как отдельный класс систем виртуальной реальности. Системы виртуальной реальности с описанными выше возможностями целесообразно выделить в отдельный класс, поскольку эти системы имеют ярко выраженные функциональные особенности, возможности и области применения. В таких системах реальные объекты фактически управляют своими «виртуальными двойниками», - то есть, в определенном смысле, поведение виртуальных объектов индуцируется поведением реальных объектов, - поэтому такую виртуальную среду было решено назвать индуцированной виртуальной средой .

Следует заметить, что в результате визуализации ИВС в разных ракурсах может быть получена информация, принципиально отсутствующая в данных, передаваемых в векторе состояния, и отсутствующая в явном виде в априроных данных. В качестве примера, демонстрирующего эту возможность, можно привести визуализацию взаимодействия механизмов стыковочных агрегатов космических аппаратов. Телеметрические данные могут не содержать всей информации, характеризующей поведение механизмов стыковочных узлов. Однако наличие в априорных данных информации о структурных связях в конечном итоге позволяет реконструировать поведение узлов по ограниченным данным, содержащимся в векторе состояния. Развитие событий в ходе стыковочной операции можно визуализировать в любом ракурсе и с любой точки наблюдения, что также далеко не всегда возможно в естественных условиях. Такая возможность появляется благодаря наличию информации, в частности, о структурных связях которая содержится в априорных данных в неявном виде. В данном случае имеет место аналогия с кодированием и/или сжатием данных - из передаваемых сообщений удаляются избыточные данные, которыми заранее располагают обе стороны, участвующие в обмене данными (априорная информация, в том числе в неявном виде). В данном примере демонстрируется также и дополнительная возможность СВ ИВС, трактуемая как «визуализация невидимого» - функционирование стыковочных механизмов в принципе невозможно наблюдать в естественных условиях (на орбите), так как они скрыты непроницаемой оболочкой.

СВ ИВС как новый этап развития систем виртуальной реальности.

Большие потенциальные возможности систем виртуальной реальности, которые оказали и продолжают оказывать сильное влияние на парадигму управления человеко-машинными системами, были замечены сразу же после проведения первых экспериментов по 3D-визуализации еще в 60-е годы. Решающую роль в этих экспериментах сыграло введение обратной связи между подсистемой формирования изображения и подсистемой, регистрирующей положение и ориентацию головы оператора, которая в сущности и превратила системы 3D-визуализации в системы виртуальной реальности в нынешнем их понимании. Возможности технологии BP оказались востребованными в первую очередь в тренажерных системах, в которых виртуальная среда частично может трактоваться как индуцированная (в тренажерных системах основным источником данных об окружающей среде является имитационная модель).

В 80-90-е годы, благодаря развитию компактных автономных средств позиционирования (инерциальных и полевых систем трекинга, GPS, DGPS и других), началось интенсивное развитие систем BP для сенсорного погружения в смешанные ЗБ-среды (естественные и искусственные). Появляется целое семейство систем BP для такого погружения, в том числе системы, известные под наваниями Augmented Reality («Усиленной реальности»), Mixed Reality («Смешанной реальности»), Telepresence («Телеприсутствия»), Remote Media Immersion (погружение в удаленную среду), Mixed Media Immersion (погружения в смешанную среду) и другие, [90,115,120,121,133].

Общим, что объединяет эти системы, является совмещение систем координат реальной и виртуальной сред (и объектов этих сред). Однако само «смешивание» объектов разных сред на самом деле представляет собой смешивание их изображений на некотором промежуточном носителе, при котором используется общая сенсорная среда, воспринимаемая через один сенсорный канал - зрительный. С точки этой точки зрения концепцию СВ ИВС можно считать обобщением концепции погружения в виртуальную среду, для иллюстрации которого можно привести следущий пример.

Оператор системы BP находится в реальной среде, но его зрительный канал полностью изолирован от этой среды, с помощью HMS-дисплея, на экраны которого подается стерео-изображение виртуальной среды, моделирующей реальную. Оператор может действовать (в частности, передвигаться) в реальной среде, руководствуясь изображением искусственой среды, причем все остальные сенсорные системы оператора кроме зрительной (в частности, тактильная и акустическая) взаимодействуют с реальной средой. Таким образом, на зрительную систему оператора воздействуют только искусственные раздражители, а на остальные - естественные (реальная среда не видна). При воспроизведения условий визуализации виртуальной среды, обеспечивающей высокую точность совпадения зрительного и кинестетического образов реальной и виртуальной сред, подобная система BP могла бы использоваться для поддержки деятельности при нарушениях или даже полном отсутствии оптической видимости (например, при сильном задымлении, в тумане и т.п.).

К какому классу систем погружения с совмещением систем координат следует отнести систему виртуальной реальности, описанную в данном примере, не ясно, так как концепция существующих систем смешанного погружения (в том числе Augmented/Mixed Reality и т.п.), подразумевает смешанное воздействие раздражителей в одном канале (зрительном). Ближе всех к приведенному примеру находится концепция тренажерных систем. Однако заметим, что все существующие концепции систем погружения в смешанные сенсорные среды, вне зависимости от их вида (включая и тренажерные системы, и системы Augmented/Mixed Reality во всех разновидностях и т.п.) объединяет особенность виртуальной среды, которая как раз и является индуцированнной. Эту среду можно рассматривать как некоторое ядро системы виртуальной реальности, на основе которого можно создавать (что, вообще говоря, не является обязательным) сенсорные образы для разных сенсорных каналов человека, включая зрительный, тактильный, акустический и т.д., при необходимости смешивая естественные и искусственые раздражители в разных каналах (даже во всех каналах одновременно). Насколько удачным в этом контексте является термин «Индуцированная виртуальная среда» и производные от него, покажет время. В данной работе этот термин и его аббревиатура ИВС будет в дальнейшем использоваться для краткости и определенности.

Следует подчеркнуть, что ИВС вовсе не обязательно должна быть визуализирована (в более общем случае, преобразована в сенсорный образ, природа которого определяется соответствующим каналом восприятия) - она может быть использована для других целей, например, для управления. Такой подход, в частности, применяется в современных системах управления летательными аппаратами с использованием высокоточной модели рельефа местности (GIS-модели, связываемой с системой координат аппарата при помощи системы GPS). Если ставится задача получения сенсорного образа ИВС, в частности, зрительного, то может возникать и задача визуализации ИВС, но сама ИВС при этом существует независимо от системы визуализации («живет по своим законам»). Вместе с тем эта независимость может быть и относительной, так как, вообще говоря, для получения адекватного сенсорного образа в виртуальную среду необходимо «погрузить» модель сенсорной системы соответствующего вида, подчинив ее поведение поведению оператора (и его зрительной системы). Такое погружение является отдельным предметом исследований, объектом которых является интерфейс взаимодействия с виртуальной средой. В зависимости от функциональных особенностей этого интерфейса система визуализации ИВС может рассматриваться либо как «полноценная» система виртуальной реальности, либо лишь как система «обычной» стереовизуализации (например, система показа стерео-кинофильмов, в которых поведение зрителя не оказывает влияния на процесс визуализации).

Развитие подходов к ЗБ-визуализации в СВ ИВС. Важной особенностью проблемной области визуализации ИВС является сильная взаимная связь между задачами моделирования поведения в виртуальной среде двух принципиально различных типов объектов - объектов наблюдения и наблюдающих объектов. В настоящее время эти объекты, как правило, рассматриваются «по разные стороны» интерфейса системы виртуальной реальности, что часто приводит к игнорированию важных закономерностей, в частности, при использовании модели так называемой «стереоголовы с 6-ю степенями свободы» (6-DOF Stereo-Head). В этой, широко распространенной модели, реализуется простейшая оптическая система стереоскопа, которая фактически является лишь суррогатом того объекта, который в действительности должен использоватьс для определения начальных условий формирования стереопары. Игнорируются важнейшие факторы бинокулярного восприятия, которые проявляются на близких расстояниях (не более 5-6 метров), что приводит к необходимости их нейтрализации (в частности для ослабления действия связи между вергенцией и аккомодацией [60, 62-65]). В результате большинство существующих систем стереовизуализации, строго говоря, обеспечивают адекватное воприятие лишь бесконечно удаленных сцен (во всяком случае расположенных на значительном удалении, когда аккомодация перестает действовать).

Для создания адекватных условий бинокулярной визуализации в ближней зоне необходима более сложная модель зрительной системы, помещаемой внутрь виртуальной среды, позволяющая учитывать расширенный набор факторов, в том числе факторы, которые обычно не учитываются - угол вергенции зрительных осей, ожидаемое положение плоскости аккомодации и смещение оптического центра глаза при саккадных движениях. Обеспечение таких условий является важнейшей ключевой задачей изуализации ИВС, но далеко не единственной - с ней очень тесно связана задача формирования самого изображения («рендеринга» на профессиональном сленге). Для высокоточной ЗБ-визуализации ИВС необходима расширенная постановка этой задачи, в которой учитывались бы особенности строения анатомического отдела зрительного анализатора и его взаимодействия с носителем изображения. Для реализации этой модели непосредственно применим алгоритм обратной трассировки, причем постановка задачи обратной трассировки также должна рассматриваться в более общем виде. В частности, могут быть сняты ограничения на форму картинной поверхности и описание трассирующего множества (картинная плоскость и прямолинейный луч, выходящий из центра проекции относятся к простейшему частному случаю).

Алгоритм формирования изображения и метод описания изображаемой поверхности взаимосвязаны. Сейчас для описания поверхностей чаще всего используется полигональная модель (практически всегда триангулянт). Причиной этого является ситуация, сложившаяся на рынке устройств аппаратной поддержки геометрических вычислений для ЗО-визуализации, - в них используется в основном алгоритм буфера глубины. Эту ситуацию можно охарактеризовать как безграничный диктат систем ЗБ-графики, в которых аппаратно реализован алгоритм буфера глубины, требующий, во-первых, представления любой поверхности в виде триангулянта и, во-вторых, использования простейшей модели проецирования в виде пирамидальной виртуальной камеры (один из базовых объектов в составе API OpenGL и API DirectX).

Вынужденное применение (в стандартных API) пирамидальной модели сильно ограничивает возможности построения модели высокоточного формирования иозбражения, особенно, если физический носитель изображения принципиально имеет неплоскую форму (например, поверхность сетчатки глаза, стекло гермошлема и т.п.). Другим недостатком алгоритмов ЗБ-визуализации с буфером глубины является большой объем исходных данных в сложных 3D-сценах, причем высокая размерность триангулянта далеко не всегда позволяет скрыть слишком грубое приближение поверхностей сложной формы. В этой связи сохраняет актуальность поиск новых методов представления поверхностей, и в данной работе показаны возможные подходы к решению проблемы описания носителей сложных поверхностей в параметрической форме. Важно, что параметрическое описание носителя поверхности позволяет не только изобразить поверхность в «первозданном» виде, не прибегая к ее полигональному приближению, но и радикально понизить объем данных, описывающих сложные пространственные формы.

Особеностью процесса обратной трассировки полиморфной поверхности является сильная зависимость трудоемкость обработки примитивов от вида 3D-примитива, причем для ЗБ-объекта (и для ЗБ-сцены) конкретного вида трудно заранее предсказать распределение множества ЗБ-примитивов по видам. Неоднородное и трудно предсказуемое распределение вычислительных затрат является одним из факторов, тормозящих развитие аппаратурной поддержки алгоритмов обратной трассировки. Вычислительная архитектура для поддержки этих алгоритмов должна иметь большую избыточность, причем даже избыточность не всегда способна гарантировать эффективную обработку поверхностей любого вида. Одним из перспективных подходов к обратной трассировке поверхностей свободной формы в реальном времени является использование адаптируемых вычислительных архитектур. В этой связи необходимо упомянуть процессор S 5 ООО (содержит блок Instruction Set Fabric, управляемый компилятором С++, позволяющий изменить специализацию вычислений [134]). Это процессор можно рассматривать как возможную основу для создания подходов к решению проблемы неоднородности вычислений на базе вычислительных архитектур, адаптируемых к виду конкретной поверхности или ЗБ-сцены. Во всяком случае, появление вычислителей с адаптируемой архитектурой делает актуальной разработку объектных моделей полиморфных поверхностей сложной формы (образуемых CSG-композицией ЗБ-примитивов свободной формы), моделей данных для описания таких поверхностей и алгоритмов обратной трассировки в расширенной постановке, рассматриваемых в данной работе.

Моделирование поведения объектов наблюдения в СВ ИВС. Описанные выше проблемы (кроме высокоточной бинокулярной визуализации) связаны, в основном, с созданием реалистичных изображений, по-прежнему остаются и будут еще долго оставаться в центре внимания разработчиков систем виртуальной реальности. В то же время визуализация именно индуцированной виртуальной среды требует рассмотрения целого ряда дополнительных задач, важных при моделировании поведения объектов, подчиненных не имитационной системе (как в «обычных» системах ВР), а системе, следящей за реальными событиями и поведением реальных объектов.

Одной их таких задач является задача управления поведением и взаимодействием объектов со сложной структурой, которая может существенно изменяться в ходе моделирования. Сущность, возникающих проблем (и причины их возникновения), заключаются в том, что при построении моделей объектов приходится руководствоваться абстрагированным представлением о реальном объекте, связанным с идеализированной моделью структуры и связанной с ней моделью данных. Доступные данные о состоянии, которые на практике поступают не от имитационной модели, а от сенсорных систем, регистрирующих состояние реальных объектов, почти всегда имеют семантику, не соответствующую семантике данных, описывающих поведение модели - имеет место неполная релевантность данных о состоянии объекта и его модели.

Неполная релевантность проявляется, например, в том, что могут по-разному интерпретироваться координатные данные, описывающие поведение структурных звеньев модели, и данные, регистрируемые непосредственно сенсорной системой реального объекта (например, инерциальной или вР8-системой). Более того, данные, необходимые для управлению некоторыми звеньями модели могут даже полность отсутствовать (из-за отсутствия или отказа датчиков).

Другая проблема связана с описанием поведения и управленим взаимодействующих объектов. При взаимодействии реальных объектов часто происходит изменение их структуры, в то время как модели структур объектов ИВС являются более консервативными. Данные о состоянии реальных объектов изменяют семантику после наступления событий реорганизации структуры, в результате чего структуры объектов ИВС могут стать непригодными для управления. Например, при стыковке и расстыковке модулей КА, при работе манипуляторов, андроидных механизмов и т.д. структурные связи могут разрываться, восстанавливаться, менять направление, могут появляться новые связи и т.п. Некоторые виды объектов, в частности, «шагающие» манипуляторы могут изменять свою структуру «на ходу», что приводит к частым преобразованиям дерева кинематической системы (здесь при сохранении связности в дереве систематически перемещается корневой узел).

Существующие подходы к описанию структур (в том числе деревьев) и связанные с ними модели данных создают трудности при использовании их для описания поведения взаимодействующих объектов - их приходится уничтожать и создавать заново, причем систематически. Создание и уничтожения объектов в свою очередь связано с реорганизацией памяти, что усложняет управление системой. Однако еще хуже то, что в некоторых случаях («массивные» объекты) такая реорганизация приводит недопустимо большим временным задержкам моделирования и визуализации, причем их трудно избежать.

Особенности создания распределенных СВ ИВС. Проблемы описания и управления взаимодействующими объектами могут проявиться также и при создании распределенных систем визуализации ИВС, особенно в тех случаях, когда в таких системах приходится использовать ненадежные потоколы транспортировки. Характерный пример - массовая рассылка дейтаграмм без установления соединения (протокол UDP), в которых должны содержаться данные о поведении в реальном времени наблюдаемых реальных объектов и наблюдателей. Одна из основных сложностей использования такого протокола для передачи вектора состояния ИВС связана с нарушением хронологии поступления данных и потерей данных. Для сохранения управляемости объектов ИВС в таких условиях необходимо создание специальных моделей поведения и данных, описывающих состояние объектов управления. Такие модели (даже при потере некоторой доли данных о состоянии) могли бы обеспечивать работоспособность распределенных СВ ИВС при широковещательной рассылке.

Создание модели данных для транспортировки вектора состояния ИВС непосредственно связано с другой проблемой - стандартизацией сетевого формата данных для ЗО-визуализации. В конце 2004 года было объявлено о выходе в свет очередного формата ЗБ-данных базирующегося на концепции XML и одновременно являющегося наследником языков семейства VRML.

Формат X3D, с точки зрения проблематики задач управления поведением ИВС в распределенной системе, как и VRML не позволяет непосредственно использовать его для транспортировки данных о состоянии ИВС. Средствами X3D эта задача решается лишь частично, и для распределенной системы визуализации ИВС необходимо расширение X3D. Необходимость расширения касается, в частности, двух аспектов - введение модели дерева с перемещаемым корнем и введение модели метаданных для описания состояния. Это модель, в частности, должна давать возможность по-разному описывать поведение объектов в промежуточном и клиентском слоях. Учитывая возможные сбои доставки данных о состоянии, в клиентского слоя должна быть изменены схемы моделирования поведения (нельзя накапливать предысторию изменения состояний, использовать механизм событий и т.п.).

В настоящее время методология создания распределенных систем развивается по трем преобладащющим технологическим направлениям, поддерживаемым разными сообществами разработчиков - CORBA (Object Management Group, J2EE (Sun) и DOT-NET (Microsoft), [52, 54, 76, 77]. Эти три направления объединяет общий подход к рассмотрению распределенной системы как бизнес-системы (со всеми вытекающими отсюда последствиями). Вместе с тем, достаточно очевидно, что логика функционирования системы визуализации ИВС принципиально отличается от логики фукнционирования бизнес-систем. Однако, специализированной технологии, предназначенной для создания распределенных систем, не относимых либо к «бизнес-классу», либо к классу систем «с нулевой эффективностью» (так в последнее время стали называть игровые системы), пока не существует. В такой ситуации одним из возможных подходов к созданию распределенной системы визуализации ИВС мог бы стать подход, базирующийся на концепциях метамоделей и метаданных, предложенный Object Management Group, и называемый Model Driven Architecture (MDA), [76].

Основное достоинство концпеции MDA - абстрагирование от разработки средств поддержки операционно-сетевых задач, и концентрация усилий на разработке средств реализации логики функционирования распределенной системы. Основным инструментальным средством разработки распределенной системы по идеологии MDA-OMG является UML в сочетании с репозитариями моделей данных [76]. В идеальном случае описание системы на UML должно преобразовываться в исходный код, который в дальнейшем должен использоваться как основа для дальнейшей детальной проработки программистами.

Другим достоинством концепции MDA является принципиальная приверженность OMG идеологии Open Source - стандарты OMG (в том числе и для MDA) полностью открыты. Это может оказаться немаловажным с точки зрения обеспечения независимости разработки от сторонних производителей (использование операционных систем с открытым кодом).

Цель и задачи работы.

Целью работы является разработка теоретических основ создания математического и программного обеспечения систем визуализации индуцированной виртуальной среды - специальной разновидности систем виртуальной реальности, позволяющих вести наблюдение за реальными объектами без использования средств прямого оптического наблюдения (при этом объекты наблюдения могут быть невидимыми ).

Такие системы визуализации предназначены в первую очередь для использовании при управлении сложными человеко-машинными системами, функционирующими в экстремальных условиях, когда использование обычных оптических и/или телевизионных средств наблюдения невозможно, затруднено или неэффективно.

Для достижения поставленной цели в работе решаются следующие задачи: о Разработка методов описания поведения виртуальных ЗБ-объектов, имеющих динамическую иерархическую структуру, и алгоритмов выполнения рекурсивных 3 D-преобразований для структурных звеньев таких объектов. о Разработка оптико-геометрической и объектной моделей программного интерфейса системы высокоточной стереоскопической визуализации с большим числом степеней свободы. о Разработка методов и алгоритмов синтеза изображений составных полиморфных ЗБ-объектов на картинных поверхностях сложной формы. о Создание методологии разработки программного обеспечения распределенных систем ЗБ-визуализации ИВС.

Актуальность работы.

Существующие и перспективные человеко-машинные системы (в частности, предназначенные для использования в космосе) характеризуются высоким уровнем сложности, а условия их применения связаны с высоким уровнем риска и цены риска ошибочных действий. Опыт управления такими системами показывает, что для поддержки принятия решений в условиях, которые зачастую

Понятие «невидимый объект» в контексте работы означает сочетание факторов, неблагоприятных для прямого оптического наблюдения: объект переизлучает свет в невидимом спектре, находится в плохих оптических условиях (недостаточная освещенность, пыль, туман, дым и т.п.), за светонепроницаемой преградой, на большом удалении, вне поля зрения и т.д. являются экстремальными (как с точки зрения времени, отводимого на принятие решения, так и условий, в которых разворачиваются события) требует привлечения принципиально новых подходов и информационных технологий.

Одним из наиболее эффективных способов интерпретации потоков данных высокой интенсивности является использование интерфейсных средств, подключаемых непосредственно к сенсорной системе человека-оператора, -систем виртуальной реальности. Системы виртуальной реальности позволяют преобразовывать большие объемы числовых данных в сенсорные (как минимум, визуальные) образы синтезируемой компьютером трехмерной виртуальной среды. Это позволяет на качественно новом уровне решать проблемы интерпретации данных поведении, о положении и ориентации сложных объектов и их составных частей в пространстве, преобразуя числовые данные в форму, легко и быстро воспринимаемую экспертами.

Для эффективного использования интерефейса ВР при управлении сложной технической системой необходимо соответствующее информационное обеспечение модели управляемой системы. В этой связи следует отметить, что современные технические системы, как правило, оснащаются большим количеством устройств, регистрирующих различные параметры (пространственные координаты системы и ее структурных единиц, температуру, давление и т.п.), характеризующие их состояние. В качестве характерного примера можно привести сложившуюся за несколько десятков лет в Центре управления полетами (ЦУП) Роскосмоса информационную инфраструктуру - это десятки и сотни тысяч каналов приема в реальном времени больших объемов телеметрических и траекторных данных. Однако, возможности приема и обработки больших потоков информации теряют смысл, если они не обеспечены средствами интерпретации этой информации в той форме, которая позволяла бы оперативно анализировать ситуацию и принимать адекватные решения.

Об актуальности исследований в данном направлении ярко свидетельствует лишь один пример из опыта эксплуатации долговременной орбитальной станции. После столкновения грузового корабля с модулем станции только ЗБ-реконструкция развития событий, предшествоваших столкновению, позволила получить адекватную картину взаимного движения конструкций корабля и станции и обнаружить наиболее вероятное место повреждения конструкции станции. Оказалось, что без анализа поведения виртуальных ЗБ-моделей (только лишь на основе имеющейся телеметрической и траекторной информации) сделать это чрезвычайно сложно (если вообще возможно). Однако оперативное проведение такого анализа оказалось сложной проблемой, поскольку отсутствовала необходимая инфраструктура получения релевантных данных, методика их обработки и преобразование в форму, позволяющую воспроизвести адекватную картину событий в виртуальной среде. Для обработки данных и получения результатов понадобилось несколько недель. В то же время при наличии соответствующей инфраструктуры и математического обеспечения можно было бы не только проследить развитие событий в реальном времени, но и, вероятно, даже предотвратить столкновение.

Для долговременных орбитальных станций нового поколения - в том числе, Международной космичпской станции (МКС) - характерно растущее усложнение пространственной конфигурации с расположением крупногабаритных протяженных фрагментов вдоль нескольких пространственных осей (такие конструкции можно назвать сильно разветвленными). Движение и управление движением вблизи центра масс сильно разветвленных космических аппаратов (КА) сопряжено с еще большим риском и ценой риска столкновений фрагментов конструкций КА, и использование здесь систем виртуальной реальности (точнее, СВ ИВС) является чрезвычайно актуальным.

Характерным примером использования возможностей технологии ВР, является экспедиция «Марс-Спирит», в ходе которой неоднократно возникали критические ситуации, требующие детального анализа пространственной обстановки, складывавшейся вокруг марсохода, в котором средства виртуальной реальности оказались незаменимыми. По мнению автора, можно утверждать, что в будущем при освоении космоса (в частности, планет без атмосферы или планет, имеющих атмосферу из агрессивных химических соединений и несовместимые с жизнью температурные условия) средства ВР, использующие концепцию индуцированной виртуальной среды, будут играть ключевую роль.

Вместе с тем в своем существующем виде технология ВР предназначена, в основном, для визуализации искусственных (синтезированных компьютером) объектов и сцен, моделирование и управление которыми принципиально отличается от моделирования и управления объектами в индуцированной виртуальной среде - они существенно проще, в частности, благодаря высокой релевантности доступных данных о состоянии моделируемых объектов. Ближе всего по функциональному назначению к системам визуализации ИВС находятся системы усиленной и смешанной реальности. Однако подход к бинокулярной визуализации, используемый в этих системах в настояще время, слишком ограничен, и принципиально не позволяет обеспечить адекватное восприятие среды в ближней зоне. Подход к созданию еще одной распространенной разновидности систем ВР - систем телеприсутствия - как правило, базируется на представлении об этих системах как о мультимедийных, в результате чего основное внимание уделяется аудиторной экранной (хотя и стереоскопической) визуализации ЗБ-среды.

В целом анализ возможностей технологии виртуальной реальности (во всех существующих ее разновидностях) в контексте требований, которым должна удовлетворять эта технология, для использовании ее при управлении сложными человеко-машинными системами, позволяет сделать вывод об актуальности разработки методологии создания систем визуализации индуцированной виртуальной среды, которая должна существенно отличаться от подходов к созданию систем виртуальной реальности «обычного» назначения.

Новизна работы.

Рассмотренные в работе системы ЗБ-визуализации индуцированной виртуальной среды являются новой разновидностью систем визуализации, в которых используются альтернативные (неоптические) подходы к получению информации о состоянии объектов наблюдения. Распределенные системы СВ ИВС можно отнести к новой разновидности распределенных систем, имеющих ряд существенных отличий от обычных распределенных систем, включая функциональную специализацию звеньев, задачи, логику функционирования и взаимодействия звеньев, виды контента, циркулирующего в этих системах.

Расширено представление о свойствах иерархических структур, введено понятие ЮП-структуры (иерархической структуры с переменным отношением порядка), программной реализацией которой является связанный список нового вида - связанный ЩЯ-список. Разработаны методы выполнения ЗБ-преобразований для систем координат звеньев ЩЛ-структур, позволяющих описывать поведение ЗБ-объектов, в иерархических структурах которых может изменяться направление внутренних связей.

Предложена новая геометрическая модель интерфейса стереоскопической визуализации виртуальной среды, включающая описание независимого движения оптических осей и изменения оптической силы бинокулярной зрительной системы человека. Новая модель позволяет формировать не только более полный (по сравнению с общепринятой моделью 6БОР-стереоголовы) набор начальных условий для синтеза стереопары изображений виртуальной среды, но и описывает условия вывода стереопар избражений через оптическую систему стереодисплея.

В новой постановке решена задача обратной трассировки. Отличия от существущей постановки затрагивают два аспекта: используется более общая модель проецирования, в которой изображение строится на картинной поверхности сложной формы (в том числе и на плоскости); поверхность ЗБ-объекта рассматривается как объединение фрагментов поверхностей сложной формы, имеющих разное математическое описание (в том числе полигональных фрагментов).

Предложен новый подход к решению задачи обратной трассировки, основанный на поиске экстремума функционала в виде скалярного произведения вектора сканирования картинной поверхности и радиус-вектора трассируемой поверхности, описываемых в одной системе координат. Это подход позволяет, в частности, построить алгоритм непосредственной трассировки поверхностей, описываемых параметрически, и вообще любых поверхностей, для которых может быть построен функционал, экстремум которого отыскивается на множестве элементов растра картинной поверхности и/или множестве значений параметров, описывающих ЗБ-носитель поверхности.

Научное и практическое значение работы.

Предложенные в данной работе концепция индуцированной виртуальной среды и концепция системы визуализации индуцированной виртуальной среды расширяют представления о системах виртуальной реальности, возможностях этих систем, а также областях их применения.

Построение ИВС и систем визуализации ИВС можно рассматривать как один из первых шагов создания методологии визуализации, использующей методы слежения за поведением объектов, основанные, в первую очередь, на альтернативных (неоптических) принципах. Реализация такого подхода к визуализации позволит расширить возможности оптических (в том числе телевизионных) систем слежения, а также получить принципиально новые возможности, недоступные при использовании обычных систем оптического телевизионного наблюдения, - в частности, возможности «виртуального» или «телеприсутствия».

Большие практические перспективы могло бы иметь применение СВ ИВ С в системах навигации с использованием ЗБ-ГИС, в системах дистанционного пилотирования и вождения.

Возможности визуализации ИВС меняют существующее (достаточно узкое) представление о системах телеприсутствия, которые в нынешнем понимании рассматриваются, в основном, как мультимедийные системы. Визуализация ИВС дает возможность реализовать «виртуальное присутствие» в фактически недоступной среде, например, находящейся на большом удалении, или имеющей условия и параметры, несовместимые с жизнью. Наиболее характерным примером таких сред и соответствующей области применения системы можно считать, в частности, космическое пространство и развертывание и/или эксплуатация больших орбитальных станций, а также исследования планет с помощью автоматов и т.д. Вообще говоря, системы, реализующие концепцию телеприсутствия, могут найти применение во всех областях деятельности, связанных с высоким риском и высокой ценой риска, а также в условиях, при которых оказывается невозможным или затруднительным использование оптических и телевизионных средств наблюдения (либо их использование дает сильно ограниченные возможности наблюдения).

Необходимо также отметить, что предложенные в данной работе методы описания, реконструкции, моделирования поведения и визуализации виртуальных ЗБ-объектов относятся в том числе и к предметным областям, имеющим общенаучное значение (в частности, теория графов, моделирование поведения, модели данных, теория распределенных систем, теория перцептивной перспективы и др.). Поэтому результаты, полученные в данной работе, и относящиейся к этим областям, могут представлять научный и практический интерес не только для систем виртуальной реальности и ЗБ-визуализации, но и для гораздо более широкого круга применений.

Основные результаты.

1. Разработана концепция индуцированной виртуальной среды и системы трехмерной визуализации индуцированной виртуальной среды, являющейся системой визуализации нового поколения, использующей альтернативные (неоптические) данные об объектах наблюдения, и применяемой в условиях, в которых использование обычных оптико-телевизионных средств наблюдения невозможно, затруднено или неэффективно.

2. Исследованы и решены наиболее важные математические задачи описания и обработки данных, описывающих поведение объектов наблюдения, задачи реконструкции поведения и синтеза стереоскопических изображений этих объектов в виртуальной среде, которые образуют математическую основу программного обеспечения систем интерактивной трехмерной визуализации индуцированной виртуальной среды.

3. Создана методология проектирования, разработки и сопровождения программного обеспечения систем трехмерной визуализации индуцированной виртуальной среды, необходимая при разработке человеко-машинных систем для дистанционного слежения, управления, пилотирования, навигации и других систем аналогичного назначения.

4. На основе созданных математических методов и технологии разработки программного обеспечения в ЦУП-ЦНИИМаш разработан и функционирует программный комплекс трехмерной визуализации на коллективных и индивидуальных средствах отображения динамических орбитальных операций по данным систем траекторных измерений и телеметрии реального времени. Комплекс используется при выполнении различных космических программ, в том числе программ «Мир» (до марта 2001 года), Международной космической станции и программ освоения космоса с использованием автоматических космических аппаратов различного научного и социально-экономического назначения.

Структура и содержание диссертации.

Диссертация состоит из введения, пяти глав, заключения и библиографического списка. Содержание работы изложено на 211 страницах, библиография включает 134 наименования; в работе содержится 106 рисунков и 2 таблицы.

ЗАКЛЮЧЕНИЕ

В диссертации изложены теоретических основы разработки математического и программного обеспечения систем виртуальной реальности нового вида - систем визуализации индуцированной виртуальной среды. Введено понятие индуцированной виртуальной среды, которая может рассматриваться как совокупность ЗБ-моделей реальных объектов, поведение и взаимодействие которых отражает поведение и взаимодействие реальных объектов, а события в виртуальной среде воспроизводят в реальном времени события, параллельно присходящие в реальной среде. В конечном итоге это предоставляет принципиально новые возможности наблюдения за поведением сложных технических объектов и систем, основанные на совместном использовании возможностей технологии «Виртуальная реальность» и получении данных о состоянии объектов наблюдения методами, в которых применяются физические принципы, в основном не связанные с непосредственным использованием оптических диапазонов электромагнитных волн.

Актуальность таких исследований обусловлена прежде всего возрастанием сложности человеко-машинных систем, ростом риска и цены риска ошибочных действий человека в экстремальных уловиях при ограниченных временных ресурсах, которые требуют создания новых информационных технологий, подходов и средств для управления и поддержки принятия решений.

Основными областями деятельности, в которых системы визуализации индуцированной виртуальной среды могут быть востребованными, является в первую очередь освоение космоса (в том числе, развертывание и эксплуатация больших орбитальных станций и исследование планет при помощи автоматов), а также любые области деятельности, связанные с экстремальными и/или несовместимыми с жизнью условиями окружающей среды, где использование обычных средств прямого оптического и субоптического наблюдения (в частности, оптико-телевизионных систем) оказывается невозможным, затруднительным или неэффективным.

В ходе исследований были получены следующие основные результаты.

1. Разработана концепция индуцированной виртуальной среды и системы трехмерной визуализации индуцированной виртуальной среды, являющейся системой ЗБ-визуализации нового поколения, использующей альтернативные (неоптические) данные об объектах наблюдения, и применяемой в условиях, в которых использование обычных оптико-телевизионных средств наблюдения невозможно, затруднено или неэффективно.

2. Исследованы и решены математические задачи, имеющие определяющее значение для разработки программного обеспечения систем интерактивной 30-визуализации индуцированной виртуальной среды и включающие:

• Описание иерархических структур с переменным отношением порядка (ЯТЛ-деревья), их представление в виде ШЯ-списков и алгоритмы рекурсивных ЗО-преобразований на ЯТК-структурах, необходимые для реконструкции в виртуальной среде поведения реальных объектов (в частности, взаимодействия, приводящего к изменению направлений внутренних связей в структурах).

• Геометрическую модель и организацию программного обеспечения интерфейса высокоточной стереоскопической визуализации, которые необходимы для создании стереодисплеев нового поколения, позволяющих создать зрительное воздействие 20-изображений ЗО-объектов приближающееся к зрительному воздействию реальных объектов в 30-пространстве.

• Алгоритмы синтеза изображений ЗО-объектов на основе решения задачи обратной трассировки лучей в расширенной постановке (проецирование на картинную поверхность сложной формы и представление ЗО-объектов в виде составных полиморфных поверхностей), обеспечивающие возможность визуализации на физических носителях сложной формы и позволяющие радикально уменьшить объёмы описаний поверхностей ЗО-объектов.

3. Создана методология проектирования, разработки и сопровождения программного обеспечения систем интерактивной ЗО-визуализации индуцированной виртуальной среды, необходимая при разработке человеко-машинных систем нового поколения для дистанционного слежения, управления, пилотирования, навигации и других систем аналогичного назначения.

4. На основе созданных математических методов, алгоритмов и технологии разработки программного обеспечения в ЦУП ЦНИИМаш создан и функционирует программный комплекс ЗО-визуализации на коллективных и индивидуальных средствах отображения динамических орбитальных операций по данным систем траекторных измерений и телеметрии реального времени.

Комплекс используется при выполнении пилотируемых космических программ, в том числе программы «Международная космическая станция» (до марта 2001 года программы «Мир») и программ освоения космоса с использованием автоматических космических аппаратов различного научного и социально-экономического назначения.

1. Афанасьев В.О. Развитие модели формирования бинокулярного изображения виртуальной 3 D-среды,- Программные продукты и системы. Гл. ред. м.-нар. Журнала «Проблемы теории и практики управления», Тверь, 4,2004. с.25-30.

2. Афанасьев В.О. Модели структур и данных для решения задач управления поведением и взаимодействием объектов в индуцированной виртуальной среде. -Космонавтика и ракетостроение, №2(39), Изд-во ЦНИИМаш, 2005. с.168-179.

3. Афанасьев В.О. Деревья и связанные списки с переменным отношением порядка (RTR-структуры). Программирование, т.32, № 6, 2006.

4. Версия 3. в переводе на английский язык: Afanasiev V.O. Trees and Linked Lists with Variable Ordering Relations (RTR Structures). Programming and Computer Software, Vol. 32, No.6,2006, pp.324-337.

5. Афанасьев В.О. Особенности программного обеспечения распределенной системы 3 D-визуализации для отображения состояния орбитального комплекса. -Космонавтика и ракетостроение, № 4(45), Изд-во ЦНИИМаш, 2006.

6. Афанасьев В.О. Задача обратной трассировки лучей в расширенной постановке. Программные продукты и системы. Гл. ред. м.-нар. Журнала «Проблемы теории и практики управления», Тверь, №3,2006. с.33-38.

7. Афанасьев В.О. Синтез стереопар трехмерных изображений волновых фронтов.-Метрология (Ежемесячное приложение к н.-т. ж-лу «Измерительная техника»), 4, М.: Издательство стандартов, 1994, с.35-39.

8. Афанасьев В.О. Синтез изображений центральных проекций отражающих объетов методом обратной трассировки в ИК-диапазоне.-Измерительная техника, 7, М.: Издательство стандартов, 1994, с. 23-24.

9. Афанасьев В.О. Обратная трассировка на продолжении вектора сканирования картинной поверхности.-Моделирование сложных систем и виртуальная реальность: Сб. «Вопросы кибернетики /Под ред. Ю.М.Баяковского и А.Н.Томилина.- М: Изд-во РАН, 1995,181, с.210.

10. Афанасьев В.О. Задачи обратной трассировки пространственных объектов произвольной формы.-Моделирование сложных систем и виртуальная реальность: Сб. «Вопросы кибернетики /Под ред. Ю.М.Баяковского и А.Н.Томилина.- М: Изд-во РАН, 1995,181, с.2Ю.

11. П.Афанасьев В.О. Система полиморфных ЗО-примитивов для порождения виртуальных актеров. Имитационное моделирование и автоматизация программирования: Сб.науч.трудов. /Под ред. Н.В.Макарова-Землянского.-М.: Изд-во МГУ, 1997.-107С., с.71-79.

12. Афанасьев В.О., Томилин А.Н. Модель данных для проектирования базы данных виртуальных актеров. Имитационное моделирование и автоматизация программирования: Сб. науч.трудов. /Под ред.Н.В.Макарова-Землянского.-М.: Изд-во МГУ, 1997.-107С., с.64-70.

13. Афанасьев В.О., Клименко С.В. Геометрические модели высокоточного формирования бинокулярного изображения виртуальной среды в ближней зоне//В сб. Трудов XLVII научной конференции МФТИ, М.: Корп. «Ланит», 2004,206с., с. 190-201.

14. Алешин В.И., Афанасьев B.O., Галис P.M., Банковский Ю.М., Томилин А.Н. Виртуальная реальность проблемы освоения новой технологии.- Программные продукты и системы. Гл. ред. м.-нар. Журнала «Проблемы теории и практики управления» 4,1994. с.9-12.

15. Алешин В.И., Афанасьев В.О. и др. Фундаментальные исследования, проводимые в ЦУП-М при поддержке РФФИ.-Космонавтика и ракетостроение, №3, Изд-во ЦНИИМаш, 1996.

16. Алешин В.И., Афанасьев В.О. Система отображения состояния орбитального комплекса сложной структуры. Космонавтика и ракетостроение, №25, Изд-во ЦНИИМаш, 2001.

17. В.О.Афанасьев, В.И.Алешин, В.Н.Почукаев, А.Н.Томилин. Технологии «Искусственный интеллект» и «Виртуальная реальность» в системах автономной навигации. Космонавтика и ракетостроение, Х°18, Изд-во ЦНИИМаш, 2000.

18. Афанасьев В.О., Алешин В.И., Галис Р.М.,Саночкин A.C., Томилин А.Н. Синхронизация погруженияв^ .Моделирование сложных систем и виртуальная реальность: Сб. «Вопросы кибернетики /Под ред. Ю.М.Баяковского и А.Н.Томилина.- М: Изд-во РАН, 1995,181, с.210.

19. Афанасьев В.О., Клименко C.B. и др. Задача обратной трассировки лучей. Поиск новых подходов и вычислительных реализаций. //В сб. Трудов 6-го М.-народного Семинара по виртуальному окружению на кластерах ПК «VeonPC 2006»: Изд-во ИФТИ^ООб, сЛ 1-22.

20. Afanasiev V., Baigozin D., Kazanski I., Fomin S., Klimenko S. RTR-Trees for Space Robotics Behavior Simulation and Visualization. VISUAL COMPUTER 2006. Special Issue, 2006, IEEE Computer Society Press.

21. Афанасьев В.О. (под псевдонимом В.Олегов) Костюм «Виртуанавта».- Наука и жизнь, №2, М.: 1999, с.112, с.61-62.

22. Афанасьев В.О., Томилин А.Н. Технологии виртуальной реальности. Стенограмма телевизионной передачи «Александр Гордон», №16 от 03.04 2003, http://www.gordon.ru.

23. Томилин А.Н., Афанасьев В.О. Виртуальная реальность.-Наука и жизнь, №2, М.:1999, с.112, с.58-60.

24. Авраамова О.Д. Язык VRML. Практическое руководство.-М.: Диалог-МИФИ,2000.-288с.

25. Баяковский Ю.М., Галактионов В.А., Михайлова Т.Н. ГРАФОР. Графическое расширение Фортрана // М.: Наука, 1985.

26. Беклемишев Д.В. Курс аналитической геометрии и линейной алгебры: Учеб. Для ВУЗов.-9-e изд., испр.-М.: Физико-математическая литература, 2002.-376с.

27. Гарольд Э., Минне С. XML. Справочник: Пер. с англ.- СПб: Символ-Плюс.2003.-576с.

28. Борисевич Н.А., Верещагин В.Г., Валидов М.А. Инфракрасные фильтры. М.: Наука и техника, 1971.

29. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++. 2-е изд./ Пер. с англ.-М.: «Издательство Бином» ,СПб.: «Невский диалект». 2000.-560с.

30. Буч Г., Рамбо Дж., Джекобсон A. UML. Руководство пользователя.: Пер. с англ.-2-е изд., стер.-М.: ДМК Пресс; СПб.: Питер, 2004.-432с.

31. Вайвил Д., Цао Ен, Тротмен А. Поверхность Цао Ена: новый подход к геометрическим моделям произвольных форм. Программирование № 4, 1992, с.4-16.

32. Гамма"" Э., " Хёлм ~ Р., "Джонсон-" Р.7 Влиссидес " Дж." Приемы объектно-ориентированного программирования. Паттерны проектирования.- СПб.: Питер, 2004.- 366с.

33. Гома X. UML. Проектирование систем реального времени, параллельных и распределенных приложений.: Пер. с англ.-М.: ДМК Пресс, 2002, 704с.

34. Зуев В.Е. Прозрачность атмосферы для видимых и инфракрасных лучей. М.: Советское радио, 1966.

35. Камер Д.Э., Стивене Д.Л. Сети TCP/IP. Том 3. Разработка приложений клиент/сервер для Linux/POSIX.: Пер. с англ.-М.: Издательский дом «Вильяме», 2002.-592с.

36. Каррано Ф.М., Причард Дж. Абстракция данных и решение задач на С++. Стены и зеркала, 3-е изд.: Пер. с англ.-М.: Издательский дом «Вильяме», 2003.- 848с.

37. Катыс Г.П., Катыс П.Г., Яковлев А.И. Трехмерные системы представления объемной информации. М.: СИП РИА, 1998-112с.

38. В.А.Козлов, М.В.Сафонов. Динамическая характеристика электрохимической ячейки с сетчатыми электродами в условиях конвективной диффузии. Электрохимия, Т. 40, вып. 4,2004.

39. Коренев Г.В. Введение в механику человека.- М.: Наука, 1977,264 с.

40. Кравков C.B. Глаз и его работа. М.-Л. Изд. АН СССР. 1950.

41. Кристофидкс. Н. Теория графов. Алгоритмический подход.- М.: Мир, 1978.

42. Ландсберг Г.С. Оптика.-М.:Наука, 1976,928с.

43. Литвак И.И., Ломов Б.Ф., И.Е.Соловейчик. Основы построения аппаратуры отображения в автоматизированных системах.-М.: Советское радио, 1975.

44. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов.-М.: Радио и связь, 1987.

45. Мартинес Ф. Синтез изображений. Принципы, аппаратное и программное обеспечение. М.: Радио и связь, 1990.

46. Мусхелишвили Н.И. Курс аналитической геометрии.-М.: Высшая школа, 1967.-656с.

47. Новиков Ф.А. Дискретная математика для программистов.- СПб.: Питер, 2004.-302с.

48. Питц-Моултис Н., Кирк Ч. XML: Пер. с англ.- СПб: БХВ-Петербург, 2001.-736с.

49. Препарата Ф., Шеймос М. Вычислительная геометрия: Введение: Пер. с англ. под ред. Ю.М.Баяковского-М.: Мир. 1989. 478с.

50. Причард Дж. СОМ и CORBA просто и доступно.: Пер. с англ.-М.: Издательство «Лори», 2001.-3 72с.

51. Степанов Б.И. Введение в современную оптику. О возможном и невозможном в оптике.- Мн.: Наука и техника, 1989.-254с.

52. Страуструп Б. Язык программирования С++. Спец.изд./ Пер. с англ.-М.: «Издательство Бином», СПб.: «Невский диалект». 2000.-1099с.

53. Уилсон Р. Введение в теорию графов.- М.: Мир, 1977.

54. Глобальная спутниковая навишационная система ГЛОНАСС / Под ред. Харисова В.Н., Петрова А.И., Болдина В.А. 2-е изд. М.: ИПРЖР, 1999.

55. Хилл Ф. OpenGL. Программирование компьютерной графики. -СПб.Литер,2002.-1088с. .

56. Цимбал А., Аншина А. Технологии создания распределенных систем.- СПб.: Питер, 2003.-576 с.

57. Цимбал А. Технология CORBA. СПб.: Питер, 2001.

58. Шаллоуей А., Тротт Дж. Шаблоны проектирования. Новый подход к объектно-ориентированному анализу и проектированию.: Пер. с англ.-М.: Издательский дом «Вильяме», 2002.- 288с.

59. Шикин Е.В., Боресков A.B. Компьютерная графика. Полигональные модели.-М.: Диалог-МИФИ, 2001.-464с.

60. Шикин Е.В., Плис А.И. Кривые и поверхности на экране компьютера. Руководство по сплайнам для пользователей.-М.: Диалог-МИФИ, 1996.-240с.

61. Шульговский В.В. Основы нейрофизилогии: Учебное пособие.-М.: Аспект Пресс, 2002.-277с.

62. Элиенс А. Принципы объектно-ориентированной разработки программ. 2-е изд./ Пер. с англ.-М.: Издательский дом «Вильяме», 2002.- 496с.

63. Эндрюс Г.Э. Основы многопоточного, параллельного и распределенного программирования.: Пер. с англ.-М.: Издательский дом «Вильяме», 2003.-512с.

64. Дискреная математика и математические вопросы кибернетики. Под ред. Яблонского С.В. и Лупанова О.Б.- М.: наука, 1974.85. «Жидкая линза» для мобильных устройств.- Пресс релиз hpc.ru, 10.03.2004.

65. Amanatides J., "Ray Tracing with Cones," Computer Graphics, 18(3), pp. 129-135 (July 1984).

66. Bajura M. and Neumann U. "Closed-Loop Tracking for Augmented-Reality Systems. "IEEE Computer Graphics & Applications, Vol. 15, No. 5, pp. 52-60. September 1995.

67. Bruderlin, A., Calvert, T. W. 1989. Goal-Directed, Dynamic Animation of Human Walking. Computer Graphics 23(3):233-242.

68. Burdea G., Coiffet P. Virtual Reality Technology. New York: John Wiley&Sons, Inc, 1994.

69. Y.Cho, J.Lee, U.Neumann. "A Multi-ring Color Fiducial System and A Rule-Based Detection Method for Scalable Fiducial-tracking Augmented Reality." Proceedings of the First International Workshop on Augmented Reality, San Francisco, Nov. 1998.

70. Y.Cho, J.Park, U.Neumann. "Fast Color Fiducial Detection and Dynamic Workspace Extension in Video See-through Self-Tracking Augmented Reality "Proceedings of the Fifth Pacific Conference on Computer Graphics and Applications, pp. 168-177, Oct. 1997.

71. Cho Y. K. and Neumann U., Multi-Ring Fiducial Systems for Scalable Fiducial-Tracking Augmented Reality, "PRESENCE: Teleoperators and Virtual Environments, Vol. 10, No. 6., pp. 599-612, December 2001.

72. M.G. Choi, J. Lee, and S.Y. Shin. Planning biped locomotion using motioncapture data and probabilistic roadmaps. ACM transactions on Graphics, Vol.22(2), 2003.

73. Fujimoto, A. and Iwata, K., "Accelerated Ray Tracing," Proc. CG Tokyo'85, pp.41-65.

74. S.Gottschalk, M.C.Lin and D.Manocha. OBB-Tree: A hierarchical structure for rapid interference detection, Department of Computer Science, UNC Chapel Hill, 1996.

75. Hanrahan, P., "Ray Tracing Algebraic Surfaces," Computer Graphics, 17(3), pp. 83-90 (July 1983).

76. Heckb~eft7 P. arid Hanrahan, P., "Beam Tracing Polygonal Objects," Computer Graphics, 18(3), pp. 119-127 (July 1984).

77. Helsel S.K. (Ed.). Beyond the vision. The technology, research and business of virtual reality. Meckler, London, 1992.

78. W. M. Hsu, J. F. Hughes, and H. Kaufman. Direct manipulation of free-form deformations. Computer Graphics (Proceedings of SIGGRAPH 92), 26:177-184, July 1992.

79. J. Hu, S. You, U. Neumann, "Approaches to Large-Scale Urban Modeling," IEEE Computer Graphics and Applications, Vol. 23, No. 6, pp. 62-69, November 2003.

80. Information technology — Computer graphics and image processing — Extensible 3D (X3D) ISO/IEC 19775:200x.

81. ISO/IEC FCD 19774 Humanoid animation (H-Anim). http://www.web3d.org/x3d/ /specifications/ISO-IEC-19774-FCD-HumanoidAnimation

82. B. Jiang, S. You, U. Neumann, "A Robust Tracking System for Outdoor Augmented Reality," IEEE Virtual Reality 2004, Chicago, pp. 3-10, March 27-31,2004.

83. B. Jiang and U. Neumann, "Extendible Tracking by Line Auto-Calibration" Proceedings of International Symposium on Augmented Reality, pp.97-103, New York, NY, October 2001.

84. Kajiya, J.T., "New Techniques For Ray Tracing Procedurally Defined Objects," Computer Graphics, 17(3), pp. 91-102 (July 1983).

85. Komura T., Shinagawa Y. and T.L. Kunii. Creating and retargeting motion by the musculoskeletal human body model. The Visual Computer, 16, pp.254-270,2000.

86. L. Kovar, M. Gleicher and F. Pighin. Motion graphs. Proceedings of SIGGRAPH'02, 2002.

87. L. Kovar, M. Gleicher and J. Schreiner. Footstake cleanup for motion capture. Proceedings of ACM SIGGRAPH Symposium on Computer Animation (SCA'02),2002.

88. Lane, J.M., Carpenter, L.C., Whitted, T., and Blinn, J.F., "Scan Line Methods for Displaying Parametrically Defined Surfaces," Comm. of the ACM, 23(1), pp. 23-34 (January 1980).

89. Lee J., and Shin S.Y. A hierarchical approach to interactive motion editing for human like figures. Proceedings of SIGGRAPH 99,39-48,1999.

90. Liu Z., Gortler S.J., Cohen M.F. Hierarchical Spacetime Control, Proceedings of SIGGRAPH 94, Computer Graphics Proceedings, Annual Conference Series, pp. 3542, 1994.

91. J. W. Lee, S. You, and U. Neumann, "Tracking with Omni-Directional Vision for Outdoor AR Systems," IEEE ACM International Symposium on Mixed and Augmented Reality (ISMAR 2002), pp. 47-56, Darmstadt, Germany, October 2002.

92. Magnenat-Thalmann N, Thalmann D. Computer Animation: Theory and Practice, 2nd edition, Springer-Verlag, Tokyo. 1990

93. D. McLeod, U. Neumann, C.L. Nikias, A. Sawchuk. "Integrated Media Systems: The Move Toward Media Immersion" IEEE Signal Processing Magazine, Vol. 16, No. 1, January 1999.

94. Miller, G. S. P., 1988. The Motion Dynamics of Snakes and Worms. Computer Graphics 22(4): 169-178.

95. Molet T., Boulic R., Thalmann D. A real time anatomical converter for human motion capture. Eurographics Workshop on Computer Animation and Simulation, pp. 79-94, 1996.

96. U.Neumann and Y.Cho. "A Self-Tracking Augmented Reality System" ACM International Symposium on Virtual Reality and Applications, pp. 109-115, July 1996.

97. U. Neumann, "S.You. "Natural Feature^ Tracking for' Augmented Reality" "IEEE" Transactions on Multimedia, Vol. 1, No. 1, pp. 53-64, March 1999.

98. U. Neumann, S. You, J. Hu, B. Jiang, and I. O. Sebe, "Visualizing Reality in an Augmented Virtual Environment," presence: Teleoperators and Virtual Environments Journal, April 2004

99. U. Neumann, S. You, J. Hu, B. Jiang, and J. W. Lee, "Augmented Virtual Environments (AVE): Dynamic Fusion of Imagery and 3D Models", IEEE Virtual Reality 2003, pp. 61-67, Los Angeles California, March 2003.

100. J. Park, S. You, and U. Neumann. "Extending Augmented Reality with Natural Feature Tracking" Proceedings of SPIE (The International Society for Optical Engineering) Vol.3524-15,Nov. 4,1998.

101. Potmesil, M. and Chakravarty, I., "Synthetic Image Generation with a Lens and Aperture Camera Model," ACM Trans, on Graphics, 1(2), pp. 85-108 (April 1982).

102. T. Pintaric, A. Rizzo, U. Neumann, "Video-based virtual environments," Proc. of the ACM SIGGRAPH 2003 Conference on Sketches & Applications, San Diego, July 2003

103. Requicha, A.A.G., "Representations for Rigid Solids: Theory Methods and Systems," Computing Surveys, 12(4), pp. 437-464 (December 1980).

104. Sebe O., Hu J., You S., Neumann U.," 3D Video Surveillance with Augmented Virtual Environments", ACM SIGMM 2003 Workshop on Video Surveillance, pp 107112, Berkeley, California, (in conjunction with ACM Multimedia 2003), November 7, 2003

105. Z. Shiller, K. Yamane & Y. Nakamura. Planning motion patterns of human figures using a multi-layered grid and the dynamic filters. Proceedings of IEEE International Conference on Robotics and Automation (ICRA'01), 2001.

106. D. Tolani and N. I. Badler. Real-time inverse kinematics of the human arm. Presence, 5(4):393-401,1996.

107. Van Wijk, J.J., "Ray Tracing Objects Defined By Sweeping a Sphere," Computers and Graphics, 9(3), pp. 283-290 (1985).

108. S. You, U. Neumann, and R. Azuma. "Hybrid Inertial and Vision Tracking for Augmented Reality Registration", IEEE Virtual Reality '99, pp. 260-267, March 1999.