автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и алгоритмы обработки визуальной информации для создания виртуального окружения тренажерных комплексов

□□3169В5

На правах рукописи

Методы и алгоритмы обработки визуальной информации для создания виртуального окружения тренажерных комплексов

Специальность

05.13.01— «Системный анализ, управление и обработка информации (промышленность)»

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

2 1 МАЙ 2008

Москва 2008

003169656

Работа выполнена в Научно-исследовательском институте системных исследований Российской Академии наук (НИИСИ РАН)

Научный руководитель доктор физико-математических наук,

профессор

Михайлюк Михаил Васильевич

Официальные оппоненты доктор физико-математических наук,

профессор

Клименко Станислав Владимирович,

кандидат технических наук Строганов Дмитрий Викторович

Ведущая организация1 Институт системного анализа

Российской Академии наук (ИСА РАН)

Защита диссертации состоится " 17 " июня 2008 г в 14 час на заседании диссертационного совета Д 212 128.07 в Московском государственном горном университете по адресу 119991, Москва, Ленинский проспект, 6

С диссертацией можно ознакомиться в библиотеке Московского государственного горного университета

Автореферат разослан мая 2008 г

Ученый секретарь диссертационного совета д т н., проф

Куприянов В В

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Обучение и тренировка специалистов (операторов) сложных технических систем на реальных установках и в реальных условиях слитком дороги, а часто и очень опасны Альтернативой этому является создание тренажерных комплексов, которые в максимально возможной степени приближены к реальным установкам и позволяют тренирующимся приобрести правильные и устойчивые навыки При достаточно полной имитации реальных устройств они, тем не менее, безопасны, и при совершении ошибок стажером тренажер только информирует его об этом Анализ имитационно-тренажерных комплексов показал, что, чем более качественна представляемая тренажерной системой информация и выше скорость реакции системы на действия оператора, тем лучше качество и выше скорость обучения оператора, а значит, и более эффективна сама система

Для совершенствования процесса обучения и улучшения качества тренировок с помощью имитационно-тренажерных систем возникает необходимость развивать новые технологии, основанные на последних достижениях науки и техники Одним из возможных направлений совершенствования является использование технологии виртуальной реальности

Использование технологий виртуальной реальности в тренажерах - это новый шаг в развитии и повышении эффективности имитационно-тренажерных систем Технологии виртуальной реальности могут существенно повысить качество представляемой визуальной информации за счет обеспечения оператора адекватным объемньм видением окружающей виртуальной обстановки Это позволит ему визуально оценивать удаленность виртуальных объектов и легче ориентироваться в окружающем пространстве, что будет способствовать повышению эффективности процесса обучения Кроме того, в тренажерных комплексах систем управления эти технологии позволяют улучшить человеко-машинный интерфейс тренажера за счет обеспечения взаимодействия оператора с виртуальными объектами (в частности, с виртуальными пультами управления) имитируемого пространства С помощью технологий виртуального окружения можно создать среду с произвольными параметрами, которая имитирует различные среды и условия работы оператора тренажера Большим достоинством этих технологий является возможность замены реального оборудования,

используемого операторами при тренировке, на виртуальные аналоги, делая тем самым тренажерный комплекс не только менее громоздким и более транспортабельным, но и более универсальным Таким образом, исследования и развитие новых технологий, методов и алгоритмов создания виртуального окружения для имитационно-тренажерных комплексов является важной и актуальной научно-технической задачей

Объектом исследования данной работы являются технологии создания виртуального окружения для имитационно-тренажерных комплексов управления сложными динамическими системами

Целью данной работы является разработка новых алгоритмов, методов и технологий обработки визуальной информации для создания виртуального окружения тренажерных комплексов управления сложными динамическими системами

Достижение поставленной цели осуществляется за счет решения таких задач, как

• обеспечение оператора адекватным объемным восприятием виртуального пространства, позволяющим ему видеть в стереорежиме виртуальную обстановку, в наибольшей степени соответствующую реальной,

• определение положения оператора в реальном пространстве для предоставления ему адекватной визуальной информации об окружающей виртуальной обстановке и для правильной реализации взаимодействия его с объектами этой обстановки,

• обеспечение воздействия оператора на основные элементы виртуальных пультов управления и моделирование динамики движения этих элементов после воздействия,

Основные научные положения, разработанные соискателем, и их новизна:

1 Разработан новый метод создания стереопары для адекватного объемного видения виртуального пространства

2 Предложена технология синхронизации обмена информацией между компонентами подсистемы визуализации и тренажерной системы

3 Разработаны новые методы и алгоритмы поиска, выделения и идентификации маркеров оптической системы трекинга на изображении

4 Разработаны новые методы реконструкции положения и ориентации объектов в трехмерном пространстве из двумерного изображения с

использованием светящихся маркеров 5 Предложены методы и алгоритмы работы оператора с элементами виртуальных пультов управления (кнопками, тумблерами, переключателями и регуляторами)

Научная значимость работы заключается в разработке новых технологий, методов и алгоритмов обеспечения человека адекватным объемным видением виртуального пространства, определения положения объектов в реальном пространстве, реализации взаимодействия человека с системами управления в виртуальном пространстве

Достоверность научных положений, сформулированных в диссертации, подтверждается корректным использованием методов системного анализа, сопоставимостью теоретических и экспериментальных результатов обработки видеоинформации, а также удовлетворительными результатами апробации и тестирования технологий, методов и алгоритмов на реальном тренажере

Методы исследований В работе использовались методы системного анализа, аналитической геометрии, компьютерной графики и системотехники

Практическая значимость работы. Разработанные в диссертации технологии, методы и алгоритмы создания виртуального окружения в стереорежиме и обеспечения взаимодействия оператора с виртуальными пультами реализованы в программных модулях, позволяющих создать систему виртуального окружения тренажерного комплекса. Эта система может быть использована в имитационно-тренажерных комплексах управления сложными динамическими системами

Апробация работы. Результаты работы и материалы исследований докладывались, обсуждались и получили одобрение специалистов на II международной конференции "Системный анализ и информационные технологии" (г Обнинск, 2007), на VI и VII международных научно-технических конференциях "Пилотируемые полеты в космос" (Звездный городок, 2005, 2007) и на научных семинарах Центра визуализации и спутниковых информационных технологий НИИСИ РАН

Разработанные программные модули прошли апробацию в Российском государственном научно-исследовательском испытательном Центре подготовки космонавтов им Ю А Гагарина и показали свое соответствие требованиям, предъявляемым в настоящее время к системам виртуального окружения тренажерных комплексов

Реализация результатов работы

На основе разработанных программных модулей создана система виртуального окружения для тренажерного комплекса обеспечения выхода в космос "Выход-2" Российского государственного научно-исследовательского испытательного Центра подготовки космонавтов им Ю А Гагарина

Публикации. По теме диссертации опубликовано 12 статей, из них 5 по перечню ВАК Минобрнауки России

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения и списка литературы В работе содержится 68 рисунков и 5 таблиц Список литературы включает 78 наименований

СОДЕРЖАНИЕ РАБОТЫ

Большой вклад в развитие технологий и принципов создания виртуальной реальности и виртуального окружения внесли H А Носов, С С Хоружий, В О Афанасьев, Б С Долговесов, Ф Хаммит, G Burdea, F Р Brooks, M Krueger, M Mme, M Bolas, S Fisher, R S Kalawsky, G E James, С Jacobus, D F McAllister, V Hayward, D. Klein, A Mulder, D Manocha, G Bishop, E. Foxlme и др

Во введении обосновывается актуальность темы, сформулированы цели и задачи, приведено краткое содержание работы по главам

Первая глава посвящена повышению эффективности систем визуализации тренажерных комплексов путем создания этими системами адекватного (неискаженного) виртуального окружения в режиме стерео

В начале главы дается обзор современных методов обеспечения объемного видения виртуального пространства К ним относятся.

• методы, создающие стереоизображение,

• голографические методы,

• методы на основе объемных дисплеев

Для определения возможности использования этих методов в системах визуализации имитационно-тренажерных комплексов был проведен анализ этих систем, который позволил выявить основные требования к визуализации виртуального окружения К этим требованиям относятся-

• создание изображения реалистичного качества, тес полноценной гаммой цветов и с высоким разрешением,

• предоставление доступа для физического проникновения (например, рукой) в объем воспроизведения,

• предоставление наблюдателю возможности передвигаться относительно трехмерного изображения, при этом видимое виртуальное пространство не должно геометрически искажаться С помощью анализа соответствия рассмотренных методов предъявленным требованиям определены методы, которые могут быть использованы в системах визуализации имитационно-тренажерных комплексов К этим методам относятся обтюраторный, поляризационный и стереоскопический методы, которые основаны на формировании стереопары Использование этих методов для обеспечения оператора тренажера адекватным объемным видением окружающей обстановки ставит две задачи

1 Необходимо создать изображения для левого и правого глаза, которые позволят человеку видеть реалистичную пространственную картину

2 При использовании экранных средств визуализации, для того чтобы окружить оператора виртуальной обстановкой, необходимо формировать изображение сразу на нескольких экранах (расположенных вокруг него) Для этого требуется обеспечить синхронность вывода изображений на экраны, чтобы не нарушать пространственно-временной континуум на стыках

Решение первой задачи включает разработку технологии визуализации информации, которая интерпретирует объектное описание трехмерного пространства в видеоизображение, обеспечивающее адекватное объемное видение виртуального пространства Решение второй задачи включает анализ связей между компонентами подсистемы визуализации и усовершенствование обмена информацией между ними для повышения качества функционирования этой подсистемы

Для решения первой задачи были сформулированы уточнения понятия адекватного объемного видения Анализ зрительной системы человека на основе редуцированной модели глаза позволил определить критерий, которому должно удовлетворять стереоизображение, обеспечивающее такое адекватное объемное видение Этот критерий формулируется, как

УТВЕРЖДЕНИЕ 1. При замене пространства двумя изображениями, являющимися его перспективной проекцией для левого и правого глаза, объемное видение не искажается

Система визуализации для создания двумерного изображения виртуального пространства использует установленную в трехмерной сцене виртуальную камеру, причем изображение пространства формируется исходя

из ее положения, ориентации и объема видимости

Для стереовизуализации предлагается использовать две виртуальные камеры, каждая из которых формирует одно изображение стереопары. Для создания стереоизображения, удовлетворяющего заданному критерию, необходимо понять, где нужно поставить виртуальные камеры, куда их направить и какие установить пирамиды видимости Ответ на этот вопрос дает следующее утверждение

УТВЕРЖДЕНИЕ 2. Для правильного формирования стереопары необходимо

а) установить виртуальные камеры в местах расположения оптических центров глаз наблюдателя;

б) направить каждую камеру перпендикулярно плоскости экрана, на который будет выводиться формируемое ею изображение,

в) определить пирамиду видимости камеры лучами, исходящими из ее положения в углы соответствующего ей экрана,

Данное утверждение описывает метод создания стереопары, обеспечивающей адекватное объемное видение пространства человеком

Для задания виртуальных камер в соответствии с утверждением 2 необходимо знать положения оптических центров глаз и положения и размеры экранов Вместо оптических центров глаз в работе предлагается использовать центры их вращения, положение которых соответствует положению глаз и не меняется при их вращении и изменении фокусировки Такая замена является вполне допустимой для рассматриваемой задачи

Анализ второй задачи обеспечения адекватного объемного видения выявил, что рассинхронизация вывода получается при неодновременном приходе компонентам (компьютерам) системы визуализации видеоинформации от систем тренажерного комплекса, а также вследствие разной скорости обработки информации и визуализации ее на экранах этими компонентами Для решения второй задачи обеспечения адекватного объемного видения предлагается концепция организации синхронного вывода изображения на несколько экранов Она основана на включении в состав системы визуализации специального модуля синхронизации, роль которого заключается в управлении передачей информации от компонентов тренажерного комплекса к компьютерам визуализирующей системы и выводом изображения сцены на экраны

Работа модуля синхронизации основана на технологии клиент-сервер Задачу сервера решает сам модуль синхронизации, а задачу клиента - канал

визуализации Сервер занимается маршрутизацией видеоданных компьютерам визуализирующей системы, получает от них информацию о состоянии визуализации и передает им управляющие команды

Проблема рассинхронизации решается путем введения контроля над выводом изображения на экраны Приложение визуализации после построения сцены информирует сервер о готовности визуализации В свою очередь, сервер при получении сигналов от всех клиентов синхронно отправляет им команду вывода изображения на экран с помощью технологии многоадресной рассылки При получении этой команды компьютеры визуализирующей системы выводят созданное ими изображение сцены, что приводит к синхронному появлению общей картины на всех экранах

Организация такой связи между системами тренажера и системой визуализации имеет ряд таких преимуществ, как повышение производительности тренажерного комплекса за счет уменьшения числа системных связей, масштабируемость системы визуализации и централизованное управление обработкой информации ее компонентами

Во второй главе решается задача определения положения и ориентации объектов в реальном пространстве Она возникает из-за необходимости получения информации о позиционировании оператора для достижения максимальной реалистичности зрительного восприятия им виртуального пространства Решение задачи получения информации о позиционировании объектов в трехмерном пространстве выполняется системами трекннга

В главе проводится анализ основных типов существующих систем трекинга, который позволяет выбрать тип систем, наиболее подходящих для использования в тренажерных комплексах систем управления Из них наиболее эффективным представляется класс оптических систем трекинга, использующих специальные светящиеся маркеры

Этот класс систем решает задачу восстановления (реконструкции) положения и ориентации объекта в пространстве, исходя из положения жестко связанных с ним маркеров на изображениях, полученных от видеокамер По положению маркеров на двумерном изображении и известной их геометрической конфигурации однозначно восстанавливается их исходное трехмерное положение в пространстве Поскольку маркеры и объект жестко связаны друг с другом, то таким образом определяется положение и ориентация самого объекта

Для повышения эффективности работы систем этого типа в

тренажерных комплексах решалась задача определения минимального количества маркеров и камер, с помощью которых можно однозначно восстановить положение и ориентацию объекта по его изображениям с маркерами. Дадим математическую формулировку поставленной задачи

Пусть в трехмерном пространстве имеется жесткая конфигурация из N реперных точек (маркеров). Размещенную каким-либо образом в пространстве конфигурацию снимают М камер Предположим, что на каждом из снимков возможно выделить реперные точки Задача заключается в том, чтобы по расположению реперных точек на М двумерных снимках однозначно определить положение и ориентацию конфигурации в трехмерном пространстве При этом для каждого фиксированного числа М камер необходимо вычислить минимальное число реперных точек, при которых задача имеет решение, и определить их взаимное расположение (конфигурацию) В этой задаче считается, что известно соответствие между маркерами на изображении и в пространстве

Решение поставленной задачи рассматривается для одной и двух камер Доказывается, что результат, полученный для двух камер, не улучшается путем увеличения их числа Для каждого из двух случаев анализируются конфигурации сначала из одного маркера, потом из двух и тд При рассмотрении каждой комбинации доказывается существование или отсутствие конфигурации, положение и ориентация которой всегда однозначно восстанавливается Результат поставленной задачи представлен в таблице 1

Таблица 1

Число маркеров

Число камер 1 2 3 4 5

1 Положение и ориентация однозначно не восстановимы Положение и ориентация однозначно не восстановимы Не всегда возможно однозначное восстановление положения и ориентации Не всегда возможно однозначное восстановление положения и ориентации Положение и ориентация однозначно восстановимы

2 или более Положение восстановимо однозначно, ориентация -нет Положение и два угла ориентации восстановимы Однозначно восстановимы положение и ориентация

Для эффективного решения задачи определения положения оператора в пространстве были разработаны методы оптического трекинга Эти методы

основаны на использовании одной видеокамеры и конфигураций из трех маркеров, расположенных на отрезке, и четырех маркеров, расположенных в углах квадрата К этим методам относятся такие методы обработки видеоинформации, как выявление маркеров на изображении и определение их положения на нем, определение соответствия между маркерами на изображении и маркерами в пространстве (идентификация), реконструкция положения маркеров в трехмерном пространстве по их координатам на двумерном изображении При разработке этих методов считалось, что видеокамера не может входить внутрь некоторой сферы, внутри которой целиком помещается конфигурация, и что все маркеры конфигурации попадают в область видимости камеры Кроме того, считалось, что маркеры конфигураций видны камерой только с одной (лицевой) стороны плоскости, на которой они лежат

В результате проведенных исследований в работе доказываются следующие теоремы

ТЕОРЕМА 1. Для коллинеарного расположения трех точек задача реконструкции их положения в пространстве решается однозначно, если конфигурация не расположена вдоль линии проецирования

ТЕОРЕМА 2. Если четыре маркера расположены в вершинах квадрата, то возможно однозначное восстановление их положения в трехмерном пространстве, за исключением случая, когда камера расположена на окружности, описанной вокруг квадрата

ТЕОРЕМА 3. Для однозначного определения пространственного положения в случае двух камер достаточно одного маркера, а для ориентации необходимо и достаточно трех разноцветных маркеров

Выделение маркера на изображении выполняется в два этапа На первом этапе производится поиск пиксела, принадлежащего маркеру, а на втором - выделение области маркера на изображении Среди всего изображения маркеры выделяются цветом и яркостью, поэтому принадлежность пиксела к маркеру определяется из его цветовых характеристик Для поиска пиксела, принадлежащего реперной точке, предложены два алгоритма Первый алгоритм выполняется, когда нет никакой информации о положении всех маркеров Он основан на построчном сканировании пикселов всего изображения с некоторым шагом как по вертикали, так и по горизонтали Второй алгоритм используется при повторном поиске, когда известны ранее определенные координаты реперных точек Проверка начинается с пиксела, имеющего координаты

искомого маркера, далее по спирали производится проверка соседних пикселов Эта процедура продолжается до тех пор, пока не будет найден пиксел, принадлежащий искомому маркеру В обоих алгоритмах после нахождения пиксела маркера выполняется второй этап - нахождение области на изображении, принадлежащей этому маркеру На этом этапе в определенной последовательности проверяются пикселы, окружающие первый найденный, на принадлежность к искомому маркеру В результате этого алгоритма определяется набор пикселов, который образует непрерывную область на изображении, являющуюся изображением маркера Координаты же (и, V) реперной точки на изображении вычисляются по следующей формуле

/ 1

где (х„ - координаты 1-ого пиксела, принадлежащего области реперной точки, I, - его яркость

После определения положения маркеров на изображении необходимо их идентифицировать. Наиболее эффективным способом идентификации является раскраска маркеров в разные цвета По цвету маркера, найденного на изображении, однозначно определяется соответствующий ему маркер в пространстве Однако при большом числе маркеров количество используемых идентификаторов может быть недостаточным, поэтому необходимы способы по уменьшению числа идентификаторов для нахождения соответствия между маркерами на изображении и маркерами конфигурации

Результаты проведенных исследований можно сформулировать в виде теоремы 4

ТЕОРЕМА 4. Для однозначной идентификации трех маркеров, лежащих на отрезке, необходимо и достаточно 2-х цветов Для однозначной идентификации четырех маркеров, расположенных в вершинах квадрата, необходимо и достаточно 2-х цветов, если квадрат не расположен в одной плоскости с камерой, и необходимо более 2-х цветов, но достаточно 4-х, если квадрат лежит в одной плоскости с камерой

Метод реконструкции положения и

Рис 1

Рис 2

ориентации конфигурации из трех маркеров А, В и С (см рис. 1), расположенных на отрезке, использует данные о положении маркеров на изображении А'(х'ь у']), В'(х'г, у'г) и С'(х'з, у'3), длины отрезков |АВ| = 1 и ]АС| = I и фокусное расстояние камеры - / По полученным координатам маркеров в пространстве определяется положение и ориентация конфигурации

Метод реконструкции конфигурации из четырех маркеров, расположенных в углах квадрата, выполняется аналогичным образом Для вычисления координат маркеров в пространстве используется метод

реконструкции для трех маркеров, включающий точку пересечения диагоналей квадрата, в углах которого лежат маркеры (см рис 2)

Третья глава посвящена ошибкам определения положения оператора и методам их уменьшения В этой главе производится оценка погрешности реконструкции положения конфигурации из трех маркеров, расположенных на отрезке, в зависимости от ее удаленности и ориентации в пространстве Эти погрешности вызваны ошибками, связанными с определением положения маркеров на изображении, и искажениями видеоинформации, создаваемыми видеокамерами

Значения полученных координат точек маркеров при анализе видеоинформации будут содержать ошибку (Ах', Ау'), которая по модулю будет ограничена некоторой величиной (Ах, Ау), т е. для любых Ах' и Ау' будут выполняться неравенства )Ах'|<Ах и |Ау'|<Ау

Ошибки определения положения маркеров на изображении влияют на точность восстановления положения конфигурации в пространстве Координаты (<Р1>, <Р2>, <Рз>) положения конфигурации из п маркеров в пространстве вычисляются из определенных координат маркеров на изображении с помощью функций реконструкции

<Рг>=и<х'1>, </]>, , <Х'П>, <У'П>), 1=(1 3), Погрешность АЯ положения этой конфигурации определяется по формуле

V '-1 7=1

где/¡х! и- частные производные^ функции по х'} и у'} при значениях (<х'1>,<у,!>, ,<х'п>,<у'п>)

В данной главе проводилась оценка точности реконструкции положения конфигурации из трех маркеров, расположенных на отрезке длиной Ь Введем обозначения

1) Р = {Рх>Р,>Рг) ~ единичный вектор, направленный из начала координат в точку положения первого маркера,

2) г- расстояние между конфигурацией и камерой,

3) р - угол между проекциями вектора р и вектора ориентации конфигурации (отрезка) на плоскость системы координат камеры;

4) Л'=[Л„,+со), где Я0>ир2,

5) £/=(-71, 0)и(0, я)

Тогда справедлива следующая теорема

ТЕОРЕМА 5. Зависимости погрешности АН от величин г и ¡3 имеют

следующие границы

2 3

1) СГ<Щг)<С^ \treR', где С;, Си - некоторые положительные константы,

2) ЛЯ(/?) < £)а / БШ Р \/реи, где А - положительная константа.

Из теоремы видно, что результат обработай видеоинформации системой трекинга содержит ошибки, величина которых зависит не только от величины ошибок исходной информации, но и от пространственного положения объекта слежения Повысить эффективность функционирования подсистемы трекинга и увеличить диапазоны ограничений или сократить ошибку можно путем увеличения фокусного расстояния камеры, значения Ь, а также путем уменьшения ошибок определения маркеров на изображении

В главе рассмотрено влияние ошибок системы трекинга на качество работы системы визуализации Поскольку подсистеме трекинга не удается определить положение наблюдателя в пространстве абсолютно точно, то информация, передаваемая подсистеме визуализации, будет содержать ошибки, которые, в свою очередь, будут влиять на правильность формирования стереопары Поэтому трехмерное изображение будет синтезировано из позиции наблюдателя, смещенной от его настоящего положения, и наблюдатель увидит пространственно искаженную картину

В настоящей работе выполнен анализ влияния ошибки определения позиции наблюдателя на восприятие им пространственной картины при использовании виртуальных шлемов и экранных средств визуализации.

Визуализация пространственной картины с помощью шлема виртуальной реальности с учетом положения наблюдателя в точке,

смещенной на вектор Т от его настоящего положения в системе координат реального пространства, будет создавать ощущение формируемого пространства, но со смещенным положением объектов на вектор -Т относительно заданного в этой системе координат

При визуализации стерео информации методами, использующими один неподвижный экран, зависимость смещения видимой точки О' пространства относительно ее настоящего положения О от смещения реального положения А' глаз наблюдателя относительно вычисленного положения А описывается ниже представленной теоремой При этом считается, что глаза наблюдателя находятся равноудалено от плоскости экрана

ТЕОРЕМА 6. Вектор ОО' смещения видимой точки О зависит от вектора АА' смещения наблюдателя следующим образом

00'= — АА Н '

где И и Я - расстояния от точек О и А до экрана

Ошибки определения положения маркеров на изображении достаточно сильно влияют на точность реконструкции положения маркеров, а значит, и на качество функционирования подсистемы визуализации Для сокращения ошибок определения положения маркеров на изображении использовались два метода Первый метод основан на коррекции положения реперных точек на изображении, исходя из искажений, создаваемых видеокамерами Второй метод основан на использовании информации о геометрических свойствах конфигурации

Второй метод компенсации ошибок положения на изображении применяется для группы маркеров, расположенных на одном отрезке Точки положения этих маркеров на изображении должны лежать на одной прямой, однако из-за ошибок нахождения их координат этого не происходит Исправление таких ошибок производится путем нахождения прямой на изображении, от которой маркеры удалены меньше всего, и проецирования найденных точек на эту прямую В качестве прямой выбирается такая прямая, для которой среднее отклонение от нее найденных точек равно нулю, а среднеквадратичное отклонение минимально по сравнению с другими прямыми

Уравнение искомой прямой на изображении рассматривается в виде хзт 0 - усоэ 0 + р = 0, где в - угол наклона прямой к оси абсцисс системы координат изображения, р- некоторое действительное число

Тогда параметры искомой прямой находятся из следующего утверждения

УТВЕРЖДЕНИЕ 3. Пусть дано п точек на плоскости с координатами (хв уд, которые должны принадлежать одной прямой, но имеют случайные отклонения от нее Тогда параметры вир наиболее вероятной прямой, к которой принадлежат точки, будут определяться по формулам

1 . (Л^

1 . (Ал

2

в = — агс/Н — , если В> О, д = —аг^\ —

2 [В

П П А

н—, если В< О, 2

е = -\ если В = О, А > 0, в = ~—, если В = О, А < О, 4 4

р=<у> соэб?- < х > БШб?,

где А-2(<ху>~<хху>), В =<хг >-<х>2 -<у2 > + <у>2, а угловыми скобками <т> обозначена средняя величина, определяемая

формулой <г>=-Уг, п ы

При А=0 и В=0 искомую прямую однозначно определить нельзя

Если искомую прямую определить можно, то после нахождения ее параметров с помощью данного утверждения точки группы маркеров проецируются па нее Таким образом, положение маркеров будет скорректировано так, что они будут располагаться на наиболее приближенной к ним прямой

В четвертой главе разрабатывается общая концепция и технология воздействия оператора на элементы виртуальных пультов управления Поскольку повышение эффективности тренажерных комплексов систем управления осуществляется с помощью создания виртуального окружения, то важной задачей является обеспечение возможности воздействия оператора на элементы пультов управления в виртуальном пространстве Реализация воздействия оператора на виртуальные элементы управления в тренажерной системе состоит из правильной обработки получаемой информации о положении оператора и трансформации этой информации в адекватную визуальную и звуковую информацию.

Предложенная технология воздействия оператора на элементы виртуальных пультов включает следующие этапы

1 Определение положения оператора в реальном пространстве

2 Определение положения виртуального образа человека в виртуальной среде

3 Определение факта воздействия образа человека на виртуальный объект

4 Изменение динамических и геометрических свойств взаимодействующих объектов

5 Определение факта переключения элементов управления и изменение состояния имитируемой системы управления, связанного с этим переключением

Определение положения оператора в реальном пространстве осуществляется разработанной и описанной выше системой трекинга

Тело человека (или его часть) представляется в виртуальном пространстве в виде набора примитивов, приближенно описывающих поверхность тела Их совокупность представляет геометрический образ тела человека По найденному системой трекинга положению и ориентации сочленения тела человека определяется положение и ориентация примитива, описывающего это сочленение в виртуальном пространстве Это осуществляется путем перевода координат положения и ориентации сочленения из системы координат реального пространства в систему координат виртуального и установки в точку с этими координатами соответствующего примитива

Задача определения факта воздействия состоит в определении пересечения образа человека с объектами в виртуальном пространстве Для решения этой задачи требуется проанализировать информацию о взаимном расположении виртуальных объектов, включая виртуальный образ человека Для быстрого выполнения анализа применяются методы, основанные на использовании ограничивающих объемов в виде параллелепипедов (боксов). Объект окружается набором боксов, а решение задачи сводится к определению пересечения боксов в виртуальном пространстве

При возникновении пересечения изменяются динамические и геометрические свойства объекта При реализации воздействия оператора на виртуальные объекты важно, чтобы эти изменения соответствовали законам физики и не искажали визуальной картины окружающего виртуального пространства Для этого разработаны динамические модели взаимодействия оператора тренажера в виртуальном пространстве со стандартными элементами пультов управления, такими как виртуальные кнопки, тумблеры, переключатели и регуляторы

Модель взаимодействия с элементом управления включает

1) описание ограничивающего объема элемента управления и положение этого объема в локальной системе координат,

2) условия начала движения элемента,

3) алгоритмы и формулы движения элемента при воздействии,

4) уравнения движения элемента после воздействия;

5) условия возникновения переключения.

Использование этой информации позволяет реализовывать движение виртуальных элементов управления при воздействии и после него, а также определять моменты их переключения

В данной главе рассмотрены модели взаимодействия с виртуальными кнопками, тумблерами, переключателями и регуляторами Рассмотрим одну из моделей на примере тумблера

Форма виртуального тумблера ограничивается одним боксом Локальная система координат задается таким образом, чтобы ось Ъ проходила вдоль оси симметрии тумблера, а оси X и У располагались в плоскости нижнего основания, причем ось У выступала осью вращения Ограничивающий бокс ориентируется так, чтобы его ребра были параллельны осям

Условия начала движения проверяются при пересечении виртуального образа человека (будем называть его объектом воздействия) с боксом тумблера Они заключаются в следующих пунктах

1) проекция направления движения объекта воздействия на ось X системы координат тумблера не должна быть нулевой,

2) область пересечения не должна входить в область цилиндра, образованного вращением нижнего основания бокса вокруг оси У,

3) область пересечения должна иметь общие точки с одной, и только одной гранью бокса, перпендикулярной оси X

При выполнении этих условий определяется направление поворота и угол, на который должен быть повернут тумблер вокруг оси У, позволяющий покинуть ему область пересечения Следует заметить, что областью пересечения является многогранник Для определения искомого угла сначала для каждой вершины многогранника пересечения находится угол, на который необходимо повернуть тумблер, чтобы она попала на боковую грань ограничивающего бокса Если поворот осуществляется против часовой стрелки, то для этого используется следующее утверждение

УТВЕРЖДЕНИЕ 4. Угол V, на который необходимо повернуть

параллелепипед вокруг оси У против часовой стрелки (см рис 3), так чтобы плоскость боковой грани пересекала точку Р с координатами (х,у,г), равен

v - arceos

- arceos

\2L.

<Гх

2+z2

a W - размер параллелепипеда

Рис 3

где £ вдоль оси X

Из всех найденных углов выбирается тот, который имеет наибольшее значение Если он не превышает максимально допустимый поворот тумблера, которому соответствует крайнее положение тумблера, то этот угол является искомым углом, иначе за искомый угол берется максимально допустимый поворот После поворота на полученный угол тумблер будет занимать положение в соответствии с положением виртуального образа

После прекращения воздействия, если тумблер не занимает крайнего положения, он будет продолжать двигаться Это движение будет осуществляться под действием пружинного механизма, а закон этого движения будет описываться следующими уравнениями

у =

2ж

(Ф~Ф0) sm(—-¿) + 0o>

W

ф, 1>Г,ф0>0

0<í<r,^0>0

О < t < Т',фа < о

2п

~(Фъ + Ф) 81П(— +

УУ

-ф, {>Т\ф0< о,

где у - угол поворота тумблера в момент времени 1, ф и -ф - два крайних положения тумблера, фо ~ угол, при котором было прекращено воздействие, Т - время, за которое тумблер достигнет крайнего положения с момента начала свободного движения, Т№ - период колебания

Момент окончания движения, при котором тумблер переходит в новое крайнее положение, считается фактом переключения тумблера В соответствии с этим фактом выполняется высокоуровневая команда, которую определяет подсистема логики тренажера

Представленные методы позволяют реализовать динамику движения виртуального тумблера во время и после воздействия со стороны

виртуального образа оператора, а также определить факт переключения тумблера

Аналогичные методы разработаны для виртуальной кнопки, переключателя и регулятора

В пятой главе представлена реализация системы виртуального окружения для тренажерных комплексов. С помощью методов системного анализа определены основные ее подсистемы, а также внутренние и внешние системные связи Определено, что для эффективного функционирования тренажерного комплекса данная система должна состоять из

1) подсистемы визуализации виртуального пространства,

2) подсистемы трекинга положения оператора в пространстве,

3) подсистемы взаимодействия оператора с виртуальными объектами,

4) подсистемы логики функционирования имитируемых технических процессов

В главе описываются особенности функционирования этих подсистем, особенности их реализации и выполняемые ими задачи в тренажерных комплексах систем управления Кроме этого, описан процесс взаимодействия этих подсистем между собой, а также обмен и обработка ими информации

В главе предложены две схемы функционирования системы виртуального окружения с использованием модуля синхронизации и без него Выбор подходящей схемы зависит от требований к визуализации Если для создания виртуального окружения требуется мультиэкранная визуализация, то оптимальной является первая схема функционирования системы, если иначе - вторая

Кроме этого, в главе рассматривается реализация разработанной системы виртуального окружения в тренажерном комплексе обеспечения выхода в космос «Выход-2» Стереорежим при визуализации виртуального окружения в этой системе обеспечивается обтюраторным методом с использованием затворных очков Визуализация осуществляется на одном экране ЭЛТ-монитора Подсистема трекинга включает две видеокамеры и конфигурации из трех маркеров, лежащих на отрезке

Проведенное тестирование и испытания тренажерного комплекса "Выход-2" в Российском государственном научно-исследовательском испытательном Центре подготовки космонавтов им Ю А Гагарина показали высокую эффективность его работы Таким образом, показана пригодность технологий, методов и алгоритмов, разработанных в данной диссертационной работе, для внедрения в тренажерные комплексы

ЗАКЛЮЧЕНИЕ

В диссертационной работе представлено решение важной научно-технической задачи создания виртуального окружения для тренажерных комплексов. В работе представлены новые технологии, методы и алгоритмы обработки визуальной информации для формирования виртуального окружения Использование этих методов в имитационно-тренажерных комплексах систем управления сложными динамическими процессами позволяет повысить эффективность функционирования этих комплексов

В диссертационной работе автором получены следующие основные результаты:

1 Разработан метод создания стереопары для адекватного объемного восприятия оператором виртуального пространства, повышающий эффективность подсистемы визуализации

2 Разработана технология синхронизации обмена и обработки информации между компонентами подсистемы визуализации и тренажерной системы, позволяющая повысить качество виртуального окружения при мультиэкранной визуализации

3. Созданы новые методы оптического трекинга для определения положения оператора в пространстве К этим методам относятся методы реконструкции положения и ориентации объектов в трехмерном пространстве из двумерного изображения с использованием светящихся маркеров и методы обработан видеоинформации, такие как методы поиска, выявления, идентификации и компенсации искажения положения маркеров на изображении

4 Разработаны методы и алгоритмы моделирования воздействия оператора на элементы виртуальных пультов управления, такие как кнопки, тумблеры, переключатели и регуляторы

5 Разработаны программные модули системы виртуального окружения для тренажерных комплексов систем управления сложными процессами на основе созданных методов, технологий и алгоритмов

Список опубликованных работ по теме диссертации

1. Михайлюк МВ, Торгашев МА, Хураськин И А Система

синхронизации синтеза и отображения виртуальных трехмерных сцен

для распределенных имитационно-тренажерных комплексов, //

Информационные технологии и вычислительные системы - 2003 - № 4 - С 48-55

2 Михайлюк М.В, Хурасысин И А Система визуализации в тренажерных комплексах управления роботами, // Труды международной конференции «Адаптивные роботы» - СПб - 2004 -С 110-112

3 Михайлюк М В, Решетников В Н., Хураськин И А Технология взаимодействия человека с виртуальной средой, // Программные продукты и системы -Тверь МНИИПУ-2004 - № 2 - С 16-19

4 Михайлюк М В , В.Н Решетников, М А Торгашев, Хураськин И А Мобильные технологии синтеза и отображения видеоинформации для распределенного имитационного моделирования, // Труды ИСА РАН «Фундаментальные основы информационных технологий и систем» -2004 -т 9 - С 207-220

5 Михайлюк М В, Фомичев В М., Хураськин И А Технология взаимодействия человека с виртуальной средой в стереорежиме, // Материалы научно-технического семинара «Технические средства и технологии для построения тренажеров» РГНИИ ЦПК - Звездный городок, 2004 - С 20-22

6 Михайлюк М В, Хураськин И А Виртуальные интерьеры в имитационно-тренажерных комплексах, // Сб тезисов 6-й Международной научно-практической конференции «Пилотируемые полеты в космос» - Звездный городок - 2005 -С 174-176

7 Михайлюк М.В, Торгашев М А, Хураськин И А Использование трехмерной визуализации в тренажерных системах управления роботами и манипуляторами, // Информационно-измерительные и управляющие системы - 2006 -т 4-С 156-163

8 Михайлюк М В , Хураськин И А Синтез стереоизображения дяя систем виртуальной реальности с использованием оптической трекинговой системы, // Программные продукты и системы - Тверь МНИИПУ - 2006. - № 3 -С 10-14

9 Михайлюк М В, Хураськин И А Оптический трекинг с использованием разноцветных маркеров, // Сб научных трудов ИМВС РАН «Высокопроизводительные вычислительные системы и микропроцессоры» - Москва -2006 -Выл 9 -С 80-90

10 Хураськин И А Взаимодействие с виртуальными пультами управления сложными процессами, // Информационные технологии и вычислительные системы - 2007 - № 2 - С. 31-41

11 Михайлюк М В , Хураськин И А, Оптический трекинг объектов с использованием нескольких маркеров и одной камеры, // Сб тезисов II международной конференции «Системный анализ и информационные технологии - Обнинск - 2007 - С 221-224

12 Хураськин И А, Михайлюк М В Моделирование объемного видения в системах виртуального окружения, // Сборник трудов НИИСИ РАН -2007 -С 69-80

Подписано в печать №#/,2008 Формат 60x90/16 Объем 1 п л Тираж 100 экз Заказ № Ж

Типография Московского государственного горного университета Москва, Ленинский проспект, 6

ВВЕДЕНИЕ.

Цели и задачи работы.

Структура работы.

Глава. 1. Создание виртуального окружения в стерео,режиме.

1.1. Обзор существующих методов создания визуальной обстановки и анализ их использования в тренажерных системах.

1.2. Технология формирования стереопары для адекватного восприятия виртуального пространства.

1.2.1. Геометрическая модель человеческого зрения.

1.2.2. Стереопара и принцип моделирования объемного видения.

1.2.3. Параметры виртуальных камер для моделирования стерео режима.

1.2.4. Вычисление параметров виртуальных камер.

1.3. Реализация стерео режима в подсистеме визуализации тренажерного комплекса.

1.4. Мультиэкранная визуализация и синхронизация работы компонентов подсистемы визуализации.

1.4.1. Концепция управления выводом.

1.4.2. Механизм передачи данных и синхронного вывода.

Глава 2. Методы определения положения оператора в трехмерном пространстве.

2.1. Обзор основных типов систем трекинга и анализ их использования в тренажерных системах.

2.2. Методы оптического трекинга.

2.2.1. Восстановление положения объекта по изображениям от видеокамер.

2.2.2. Методы идентификации маркеров на изображении.

2.3. Реализация подсистемы трекинга для тренажерного комплекса.

2.3.1. Определение параметров видеокамеры.

2.3.2. Поиск маркеров на изображении и нахождение групп маркеров.

Глава 3. Ошибки определения положения оператора и методы их уменьшения.

3.1. Оценка точности реконструкции трех маркеров, расположенных на отрезке.

3.2. Визуальные искажения при ошибках определения положения оператора.

3.3. Уменьшение ошибок при определении положения маркеров на изображении.

Глава 4. Взаимодействие оператора с виртуальными пультами управления.

4.1. Технология взаимодействия человека с виртуальными объектами.

4.1.1. Общая схема взаимодействия человека с виртуальными объектами.

4.1.2. Определение положения человека в виртуальном окружении тренажера.

4.1.3. Воздействие на виртуальные объекты и последующая динамика их движения. 109 4.2. Взаимодействие с элементами виртуальных пультов управления.

4.2.1. Нажатие на виртуальные кнопки.

4.2.2. Переключение тумблеров.

4.2.3. Вращение переключателей.

4.2.4. Вращение регуляторов.

Глава 5. Реализация разработанных компонентов виртуального окружения для тренажерных комплексов.

5.1. Структура и функционирование системы виртуального окружения.

5.2. Тренажерный комплекс "Выход-2" системы обеспечения выхода в космос

Человечество постоянно расширяет свою область деятельности - пробирается в глубины океана, отправляет космические аппараты на другие планеты и т.п. Зачастую человеку и технике приходится работать в сложных и экстремальных условиях, где особенно важна четкость и точность выполнения любых операций. Это приводит к повышению требований к уровню знаний специалистов, работающих в таких условиях. Обучение и тренировка специалистов (операторов) сложных систем на реальных установках и в реальных условиях слишком дорога, а часто и очень опасна. Альтернативой этому является создание тренажерных комплексов, которые в максимально возможной степени приближены к реальным установкам и позволяют тренирующимся приобрести правильные и устойчивые навыки. При достаточно полной имитации реальных устройств они, тем не менее, безопасны и при совершении ошибок стажером тренажер только информирует его об этом. Особое значение применение тренажерных технологий имеет в подготовке операторов систем управления сложными динамическими процессами. Для их обучения и повышения навыков используются специальные имитационно-тренажерные системы (комплексы).

Эффективность функционирования тренажерных систем зависит от трех основных показателей: показателя качества полученных знаний оператором, показателя скорости обучения и показателя формирования ложных навыков у оператора. Задача повышения эффективности системы решается путем увеличения значений первых двух показателей и снижения значения последнего. Особенно опасным может быть формирование ложных навыков, т.к. эти навыки могут привести к неправильным действиям в реальной обстановке. Для повышения эффективности тренажерных комплексов важно знать, какие основные параметры тренажера влияют на показатели его эффективности. Эти параметры можно определить, зная структуру и особенности функционирования тренажерной системы.

Имитационно-тренажерный комплекс системы управления представляет собой сложный аппаратно-программный комплекс, включающий центр управления, контрольно-управляющую систему (моделирующий комплекс), систему имитации визуальной обстановки (систему визуализации) и систему имитации акустических шумов. Центр управления обычно представляет макет системы управления, содержащий элементы управления, приборы, датчики, и т.п. Таким образом, он воссоздает реальную обстановку вокруг оператора. Моделирующий комплекс управляет работой всех компонентов тренажера и обеспечивает логику функционирования имитируемой системы управления. Он определяет текущее состояние системы, вычисляет параметры визуализации и звукового сопровождения и т.п. Эту информацию он передает другим системам тренажера. Система визуализации создает и визуализирует виртуальные модели и элементы обстановки, окружающей имитируемую систему управления, которые в реальности воспроизвести достаточно сложно. Например, в космическом тренажере по стыковке очень сложно воссоздать международную космическую станцию и ее стыковочные узлы, к которым отрабатывается стыковка. Часто эти узлы или даже модули еще не существуют (не сделаны) в реальности, а тренировка по работе с ними может производиться с использованием виртуальных моделей системы-визуализации. В частности, так проводилась тренировка на виртуальной модели АТУ в Европейском космическом агентстве. Система имитации акустических шумов воспроизводит звуки, происходящие в процессе работы системы управления. Информация, получаемая оператором от визуализирующей и аудио систем, а также от индикаторов и измерительных приборов центра управления, отражает реакцию всего тренажерного комплекса на действия, оператора. Таким образом, управление имитируемыми динамическими процессами оператор осуществляет на основе анализа видео и аудио информации, получаемой от соответствующих систем тренажера, и путем воздействия на элементы управления, расположенные в центре управления, такие как кнопки, переключатели и т.п. Устройства фиксируют действия оператора и передают свое состояние в виде сигналов управления моделирующему комплексу, который анализирует эти сигналы и вносит изменения в состояние модели системы управления. Выполнив все необходимые изменения;' комплекс передает новую информацию другим системам тренажера, которые интерпретируют ее и выводят оператору.

Система визуализации имитационно-тренажерного комплекса являетсяодной из основных. Она производит синтез изображения трехмерного пространства на специальных экранах, которые в окружающей обстановке представляются окнами в кабине, или телевизорами, выводящими видеоизображение от внешних средств наблюдения. Для создания изображения система использует виртуальную трехмерную модель пространства (виртуальную ЗЭ сцену), которая описывает параметры объектов (положение, ориентацию, форму и т.д.), источников освещения, камер, анимационных треков и других составляющих этого пространства. Для полноценной работы тренажера визуализация виртуальной сцены должна происходить в режиме реального времени и обеспечивать эффект непрерывного движения динамических объектов, что соответствует выводу изображения на экраны с частотой, не менее 30 раз в секунду.

Анализ имитационно-тренажерных систем показал, что, чем более качественна представляемая тренажерной системой информация и выше скорость реакции системы на действия оператора, тем лучше качество и выше скорость обучения оператора. Поэтому одним из вариантов повышения эффективности таких систем является повышение качества выводимой информации. Среди всей этой информации особо следует выделить визуальную, поскольку человек в наибольшей степени получает представление об окружающей обстановке от органов зрении, и качество этой информации играет большую роль в обучении оператора. Анализ существующих тренажерных систем показал, что при имитации пространственной обстановки подсистема визуализации создает изображение, во многом несоответствующее реальному пространству, поэтому важным направлением повышения эффективности тренажерных систем является увеличение степени адекватности видеоинформации, представляемой подсистемой визуализации. Одним из решений такой задачи является использование технологий виртуальной реальности.

Человек способен воспринимать и анализировать окружающее его пространство благодаря мозгу и сенсорным рецепторам. Мозг интегрирует получаемые им сигналы от всех рецепторов и формирует общее представление об окружающем пространстве. Задача создания виртуальной реальности состоит в искусственном формировании у человека ощущений пространства и расположенных в нем объектов. Для этого необходимо сформировать адекватное изображение виртуального пространства, направить его в органы зрения наблюдателя так, чтобы создать у человека правильное объемное видение, обеспечить динамическое изменение изображенияшри перемещении человека относительно объектов виртуальной сцены, обеспечить адекватную реакцию (движение, изменение формы и т.д.) виртуальных объектов при воздействии на них человека, смоделировать обратное воздействие объектов на человека (сопротивление воздействию) и т.д. Короче говоря, сделать все, чтобы виртуальное пространство формировало в мозге те же ощущения, что и реальное и, в этом смысле, замена реального пространства на виртуальное не была заметна.

Френсис Хэмит писал [78], что виртуальная реальность - это соединение компьютерной графики с взаимодействием «компьютер-человек». Он брал в основу создания киберпространства графические возможности компьютера, т.е. создание такого изображения компьютером, которое бы формировало ощущение действительной картины. По некоторым данным, термин "виртуальная реальность" был придуман в Массачусетском Технологическом Институте (МТИ) в конце 1970-х годов, чтобы выразить идею присутствия человека в создаваемом компьютером пространстве: идея интерактивности уже была в фокусе многих экспериментов в МТИ. Затем она перешла в Лаборатории Атари, где в начале 1980-х работали многие выпускники МТИ, а дальше получила распространение в индустрии компьютерных игр. В мире уже активно идет внедрение технологий виртуальной реальности в тренажерные системы [1, 50, 51]. Появились лаборатории (HACA, Военно-морская исследовательская лаборатория; Военно-воздушный институт технологий, лаборатория виртуального окружения; Лаборатория прикладных технологий; Лаборатория применения виртуальной реальности в аэрокосмических тренировках и т.д.), которые непосредственно занимаются разработкой тренажеров с применением технологий виртуальной реальности. Сначала лабораториями создавались тренажеры (например, Merchant ship simulation at Warsash), обеспечивающие оператора только объемным видением виртуального пространства без возможности взаимодействия с объектами этого пространства. Причем объемное видение в этих тренажерах не в полной мере соответствовало видению реального пространства. Дальнейшим развитием тренажеров было использование специальных механических средств для реализации воздействия оператора на виртуальные объекты (UNC nanoManipulator). Современные тренажерные системы (NASA "Charlotte" Virtual weightless mass), кроме обеспечения объемного видения и воздействия на виртуальные объекты, позволяют оператору перемещаться внутри виртуальной обстановки. Технологии и методы виртуальной реальности, которые сейчас активно внедряются в имитационно-тренажерные системы, далеко не совершенны и не позволяют создать вокруг оператора обстановку, полностью соответствующую реальной. Поскольку качество и эффективность функционирования тренажера напрямую зависит от степени реалистичности имитируемой им обстановки, то развитие этих технологий является важной задачей для совершенствования тренажерных систем. Исследованием данного вопроса занимается много ученых всего мира [51,104-107], в том числе и российских [2, 3, 27, 61, 95-99' 102-103].

Для повышения эффективности работы имитационно-тренажерных комплексов и входящих в них подсистем можно использовать методы исследований, разработанные в системном анализе. Эти методы позволяют разбить систему на составные части, исследовать закономерности их функционирования, установить и исследовать системные и информационные связи между ними, разработать информационные потоки и оптимизировать их обработку. В настоящей работе концепции и методы системного анализа применяются для исследований имитационно-тренажерных комплексов и их подсистем, в частности, подсистемы виртуального окружения. Разработаны также новые методы, технологии и алгоритмы обработки информации, позволяющие повысить эффективность работы систем виртуального окружения и их связей с остальными подсистемами и, тем самым эффективность функционирования всего тренажерного комплекса. В частности, разработана технология формирования стереопары для создания адекватного объемного видения, созданы новые методы оптического трекинга, позволяющего отслеживать перемещение оператора в пространстве, разработаны алгоритмы передачи информации между подсистемами, а также новые алгоритмы обработки изображений и выделения на них специальных реперных точек, используемых в оптическом трекинге. Разработанные технологии, методы и алгоритмы прошли апробацию в Российском Государственном

Научно-исследовательском испытательном Центре подготовки космонавтов им. Ю.А.Гагарина и показали свою эффективность при работе в тренажерных комплексах.

Актуальность темы

Использование технологий виртуальной реальности в тренажерах - это новый шаг в развитии и повышении эффективности имитационно-тренажерных систем. Технологии виртуальной реальности могут существенно повысить качество представляемой визуальной информации за счет обеспечения-оператора адекватным объемным видением окружающей виртуальной обстановки. Это позволит ему визуально оценивать удаленность виртуальных объектов и лете ориентироваться в окружающем пространстве, что будет способствовать повышению эффективности процесса обучения. Кроме того, в тренажерных комплексах систем управления эти технологии позволяют улучшить человеко-машинный интерфейс тренажера за счет обеспечения взаимодействия оператора с виртуальными объектами (в частности, с виртуальными пультами управления) имитируемого пространства. С помощью технологий виртуального окружения можно создать среду с произвольными параметрами, которая имитирует различные среды и условия работы оператора тренажера. Большим достоинством этих технологий является возможность замены реального оборудования, используемого операторами при тренировке, на виртуальные аналоги, делая тем самым тренажерный комплекс не только менее громоздким и- легко переносимым, но и более универсальным. Таким образом, исследования и развитие новых технологий, методов и алгоритмов создания виртуального окружения для имитационно-тренажерных комплексов является важной и актуальной научно-технической задачей.

Цели и задачи работы

Целью данной работы является разработка новых алгоритмов, методов и технологий обработки визуальной информации для создания виртуального окружения тренажерных комплексов управления сложными динамическими системами.

Достижение поставленной цели осуществляется за счет решения следующих задач:

• обеспечение оператора адекватным объемным восприятием виртуального пространства, позволяющим ему видеть в стерео режиме виртуальную обстановку, в наибольшей степени соответствующую реальной;

• определение положения оператора в реальном пространстве для предоставления ему адекватной визуальной информации об окружающей виртуальной обстановке и для правильной реализации взаимодействия его с объектами этой обстановки;

• обеспечение воздействия оператора на основные элементы виртуальных пультов управления и моделирование динамики движения этих элементов после воздействия;

• создание программных модулей системы виртуального окружения для имитационно-тренажерных комплексов на основе разработанных технологий, методов и алгоритмов;

Основные научные положения и их новизна заключаются в следующем:

Разработан новый метод создания стереопары для адекватного объемного видения виртуального пространства;

Предложена технология синхронизации обмена информацией между компонентами подсистемы визуализации и тренажерной системы.

Разработаны новые методы реконструкции положения и ориентации объектов в трехмерном пространстве из двумерного изображения с использованием светящихся маркеров.

Разработаны новые методы и алгоритмы поиска, выделения и идентификации маркеров на изображении.

Предложены методы и алгоритмы работы оператора с элементами виртуальных пультов управления (кнопками, тумблерами, переключателями и регуляторами).

Научная значимость работы заключается в разработке новых технологий, методов и алгоритмов обеспечения человека адекватным объемным видением виртуального пространства, определения положения объектов в реальном пространстве, реализации взаимодействия человека с системами управления в виртуальном пространстве.

Достоверность научных положений, сформулированных в диссертации, подтверждается корректным использованием методов системного анализа, сопоставимостью теоретических и экспериментальных результатов обработки видеоинформации, а также удовлетворительными результатами апробации и тестирования технологий, методов и алгоритмов на реальном тренажере.

Методы исследований

В данной работе использовались методы системного анализа, аналитической геометрии, компьютерной графики и системотехники.

Практическая ценность работы

Разработанные в диссертации технологии, методы и алгоритмы создания виртуального окружения в стерео режиме и обеспечения взаимодействия оператора с виртуальными пультами реализованы в программных модулях, позволяющих создать систему виртуального окружения тренажерного комплекса. Эта система может быть использована в имитационно-тренажерных комплексах управления сложными динамическими системами.

Апробация работы

--------Результаты диссертации и материалы исследований докладывались, обсуждались и получили одобрение^специалистов на: -

2-ой международной конференции "Системный анализ и информационные технологии" (г. Обнинск, 2007);

VI и VII международных научно-технических конференциях "Пилотируемые полеты в космос" (Звездный городок, 2005, 2007); научных семинарах Центра визуализации и спутниковых информационных технологий НИИСИ РАН.

Разработанные программные модули прошли апробацию в Государственном Научно-исследовательском испытательном Центре подготовки космонавтов им. Ю.А.Гагарина и показали свое соответствие требованиям, предъявляемым в настоящее время к системам виртуального окружения тренажерных комплексов.

Реализация результатов работы.

На основе разработанных программных модулей создана система виртуального окружения для тренажерного комплекса обеспечения выхода в космос "Выход-2" Российского государственного научно-исследовательского испытательного Центра подготовки космонавтов им. Ю А.Гагарина.

Публикации.

По теме диссертации опубликовано 12 статей, из них 5 по перечню ВАК Минобрнауки России.

Структура работы

Работа состоит из введения, пяти глав, заключения и списка литературы. В работе содержится 68 рисунков и 5 таблиц. Список литературы включает 78 наименований. и

Первая^ глава посвящена созданию виртуального окружения в тренажерных комплексах. Вначале в ней проводится анализ основных существующих методов обеспечения объемного видения человеком виртуального пространства. На основе этого анализа выбираются методы, пригодные для использования в тренажерных комплексах систем управления сложными динамическими процессами. Для этих методов предлагается новая технология создания стереопары, включающая вычисление параметров соответствующих виртуальных камер и обеспечивающая адекватное (не искаженное) объемное видение виртуального пространства. Далее, рассматриваются особенности реализации выбранных методов и этой технологии в подсистеме визуализации тренажерного ~ комплексаГ Последнйй раздел посвящен разработанной технологии усовершенствования ~ обменасинформацией между подсистемой визуализации и другими компонентами системы. (

Эта технология обеспечивает синхронность вывода изображений на нескольких экранах, что повышает качество функционирования подсистемы визуализации в много канальном режиме.

Вторая глава посвящена технологиям определения положения и ориентации в пространстве оператора тренажерного комплекса. В главе проводится анализ основных типов существующих систем трекинга. Этот анализ позволяет выбрать тип систем, наиболее подходящих для использования в тренажерных комплексах систем управления. Из них наиболее эффективным представляется класс оптических систем трекинга с использованием специальных светящихся маркеров. Для повышения эффективности работы этого типа систем необходимо найти такие конфигурации, которые содержали бы минимально возможное число маркеров, но позволяли, тем не менее, однозначно определять положение и ориентацию отслеживаемых объектов. В данной главе показывается, что одного и двух маркеров недостаточно для решения поставленной задачи, а также доказываются теоремы об однозначном определении положения и ориентации определенных конфигураций из трех и четырех маркеров и определяются условия, при которых эта реконструкция невозможна. Кроме того, предлагаются новые методы и алгоритмы идентификации маркеров на изображении. С целью повышения эффективности разрабатываемой системы трекинга найдено минимальное количество цветов, необходимое для однозначной идентификации маркеров рассматриваемых конфигураций на изображении. Последний раздел посвящен реализации подсистемы трекинга для тренажерных систем.

В третьей главе производится оценка погрешности реконструкции положения конфигурации из трех маркеров, расположенных на отрезке, в зависимости от ее удаленности и ориентации в пространстве. Доказанные теоремы устанавливают верхние и нижние оценки такой погрешности. Для уменьшения погрешности реконструкции предлагаются новые методы корректировки положения маркеров на изображении, основанные на построении наиболее вероятной прямой, содержащей заданное множество точек. Кроме того, в главе рассматривается влияние ошибок системы трекинга на качество работы системы визуализации и доказывается теорема, определяющая зависимость смещения видимого положения виртуальных объектов от смещения положения наблюдателя.

В четвертой главе разрабатывается общая концепция и технология взаимодействия человека с виртуальными объектами. В рамках технологии предлагаются методы создания виртуального образа человеческого тела и его частей (рук, кистей, пальцев и т.д.) и преобразования информации о нем из системы трекинга в систему визуализации. Кроме этого, созданы динамические модели взаимодействия оператора тренажера в виртуальном пространстве со стандартными элементами пультов управления, такими как виртуальные кнопки, тумблеры, переключатели и регуляторы. Данные модели позволяют выполнять высокореалистичную визуализацию движения виртуальных элементов управления при воздействии на них оператора.

В пятой главе представлена реализация системы виртуального окружения для тренажерных комплексов. В главе описывается структура разработанной системы виртуального окружения тренажерного комплекса и системные связи 'между ее компонентами, рассматриваются схемы функционирования этой системы, а также описываются особенности реализации разработанных компонентов для использования их в тренажерных комплексах. В последнем разделе главы представлено описание тренажерного комплекса обеспечения выхода в космос «Выход-2», на котором были апробированы разработанные в данной работе технологии, методы и алгоритмы.

Заключение

В диссертационной работе представлено решение важной научно-технической задачи создания виртуального окружения для тренажерных комплексов. В работе представлены новые технологии, методы и алгоритмы обработки визуальной информации для формирования виртуального окружения. Использование этих методов в имитационно-тренажерных комплексах систем управления, сложными динамическими процессами позволяет повысить эффективность функционирования этих комплексов.

В настоящей диссертационной работе автором получены следующие основные результаты:

1. Разработан метод создания стереопары для адекватного объемного восприятия оператором виртуального пространства, повышающий эффективность подсистемы визуализации.

2. Разработана технология синхронизации обмена и обработки информации между компонентами подсистемы визуализации и тренажерной системы, позволяющая повысить качество виртуального окружения при мультиэкранной визуализации.

3. Созданы новые методы оптического трекинга для определения положения оператора в пространстве. К этим методам! относятся методы реконструкции положения и ориентации объектов в трехмерном пространстве из двумерного изображения с использованием светящихся маркеров и методы обработки видеоинформации, такие как методы поиска, выявления, идентификации и компенсации искажения положения маркеров на изображении.

4. • Разработаны методы и алгоритмы моделирования воздействия оператора на элементы виртуальных пультов управления, такие как кнопки, тумблеры, переключатели и регуляторы.

5. Разработаны программные модули системы виртуального окружения для тренажерных комплексов систем управления сложными процессами на основе созданных методов, технологий и алгоритмов.

Материалы диссертации были опубликованы в 12 печатных работах [83-94]. Полученные результаты диссертационной работы прошли апробацию на тренажерном комплексе обеспечения выхода в космос "Выход-2" в Российском государственном научно-исследовательском испытательном Центре подготовки космонавтов им. Ю.А.Гагарина.

140

1. С.Д. Бодруновг Авиационное тренажеростроение в России, история, современное состояние, перспективы развития // Материалы научно-технической конференции Тренажерные технологии и симуляторы - 2002. С.-П.: Издательство СПбГБУ, 2002.

2. Афанасьев В.О. Системы 3D визуализации > индуцированной виртуальной' среды: автореф. дис. . докт. физ.-мат. наук: Москва, 2007. - 34 с.

3. Конушин'А.С. Алгоритмы построения трехмерных компьютерных моделей реальных объектов для систем виртуальной реальности: автореф. дис. . канд. физ.-мат. наук: — Москва, 2005. 23 с.

4. В.В. Шульговский. Психофизиология пространственного зрительного внимания у человека. СОЖ№1, с. 17-23, 2004.

5. Н.А. Валюс, Стереоскопия. М.: Издательство академии наук СССР, 1962.

6. D.F. McAllister, 3D Displays, Wiley Encyclopedia on Imaging, Jan., 2002, pp. 1327-1344.

7. Neurok Optics LCC. White Paper: Building 3D Applications and 3D Product Solutions in Real Time, 2003.

8. StereoGraphics Corporation. Developer's Handbook, 1997.

9. Сайт компании^3D монитора Provision http://www.provisionentertainment.com/1. Обзор 3D мониторов10: С. Книгин. 3D дисплеи, http://www.3dnews.ru/, 2002.

10. Кристофер. VR-шлемы и системы стероевидения. http://www.3news.ru/, 200312. 3D дисплей http://www.felix3d.com

11. Perspecta 3D Valumetric Display http://www.actualitv-systems.com/

12. CAVE система http://www.fakespacelabs.com

13. Dave Pape, Carolina Cruz-Neira, Marek Czernuszenko, CAVE User's Guide, Electronic Visualization Laboratory, University of Illinois at Chicago, 1997

14. R. Elias and R. Laganiere, "Projective Geometry for Three-Dimensional Computer Vision" Technical- Report, TR-2001-08, School of Information Technology and Engineering, University of Ottawa, (Ottawa, Ontario, Canada) November 2001.

15. Решение РЗР проблемы для модели полной перспективы http://cgm.graphicon.ru/obzorvi/osnovnvie resheniya рЗр problemyi.html

16. M.A. Abidi and Т. Chandra, A New Efficient and Direct Solution for Pose Estimation Using Quadrangular Targets: Algorithm and Evaluation, IEEE Tran. on PAMI, 17(5), , 1995 pp. 534-538.

17. Xiao-Shan Gao, On the Probability of the Number of Solutions for the P4P Problem. http://www.mmrc.iss.ac.cn/~xgao/publ.html.

18. Jonathan Fabrizio, Jean Devars, The perspective-n-point problem for catadioptric sensors: an analytical approach. International Conference on Computer Vision and Graphics (ICCVG'04), Warsaw, 2004.t

19. Radu P. Horaund, Bernard Conio, Olivier Leboulleux, Bernard Lacolle, An Analitic Solution for the Perspective 4 points problem, Computer Vision, Graphics and Image Processing, 47,1989 pp. 33-44.

20. D. Nister, A Minimal Solution to the Generalised 3Point Pose Problem, IEEE Conference on Computer Vision and Pattern Recognition, Volume 1, pp. 560-567, 2004.

21. Каюмов О. P. Проективные свойства фигур. Омск : Изд-во ОмГПУ, 2003.

22. М. Costa, F. Lombardi, A. Montuori, Е. Pasero, A New Hybrid Methodology for Motion Emulation in Virtual Environments, // GraphiCon-2000 Proc., MSU, 2000, pp. 242-247.

23. Kovalev A.M., Virtual Reality In Spherical.Perspective, // GraphiCon'98 Proc., MSU, 1998, pp. 95-102.

24. Фурса М.В.Исследование и разработка системы трекинга и методов реконструкции сложных трехмерных объектов-для приложений виртуального окружения: автореф. дис. . канд. физ.-мат. наук: Москва, 2007. - 15 с.

25. Хилл Ф., Open GL. Программирование компьютерной графики. Для профессионалов. — СПб.: Питер, 2002. — 1088 с.

26. Devid Н. Eberly. 3D Game Engine Design, Morgan-Kaufmann, 2002.

27. Devid H. Eberly. Game Phisics, Morgan-Kaufmann, 2004.

28. V. Lepetit and P. Fua, Monocular Model-Based 3D Tracking of Rigid Objects: A Survey, Foundations and Trends in Computer Graphics and Vision, Vol. 1, Nr. 1, 2005, pp. 1-89.

29. M. Foursa. Real-Time Infrared Trackin System for Virtual Environment. // VEonPC'2003, Институт физико-технической информации, Протвино, 2003, С. 132-139.

30. Robert van Liere, Jurriaan D. Mulder: Optical Tracking Using Projective Invariant Marker Pattern Properties. VR 2003: pp. 191-198.

31. M. Фурса. Исследование и разработка системы трекинга реального времени для приложений виртуальной реальности. // VEonPC'2006, Институт физико-технической информации, Москва, 2006, С. 132-139.

32. Hayward, V., Astley, Oi R., Cruz-Hernandez, M., Grant, D., and Robles-De-La-Torre, G. Haptic Interfaces and Devices. Sensor Review. 2004.

33. Richard, P.1, G. Burdea, G. Birebent, D. Gomez, N. Langrana and P. Coiffet, "Effect of Frame Rate and Force Feedback on Virtual Object Manipulation," Presence Teleoperators and Virtual Environments, MIT Press, Vol. 5, No. 1, 1996, pp. 95-108.

34. Fabiani, L., G. Burdea, N. Langrana and D. Gomez, "Human Performance Using the Rutgers Master II Force Feedback Interface", IEEE International Symposium on Virtual Reality and-Applications (VRAIS'96), Santa Clara CA, 1996, pp. 54-59.

35. Jack D., R. Boian, A. Merians, M. Tremaine, G. Burdea, S. Adamovich, M. Recce, and H. Poizner, "Virtual Reality-Enhanced Stroke Rehabilitation," IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 9(3), 2001, pp. 308-318.

36. Robert J. Stone: Haptic Feedback: A Brief History from Telepresence to Virtual Reality. Haptic Human-Computer Interaction, 2000.

37. Dinesh Manocha, Jonathan D. Cohen, Stefan Gottschalk. Collision-Detection: Algorithms and Applications. Algorithms for Robot Motion and Manipulation, 1996, pp. 129-142

38. Ming C. Lin, Dinesh Manocha. Efficient Contact Determination Between Geometric Models. International Journal of Computational Geometry and Applications, 7(1), 1997, pp. 123-151

39. Samuel Ranta-Eskola. Binary Space Partioning Trees and Polygon Removal in Real Time 3D Rendering.

40. P. Meer, R. Lenz, and S. Ramakrishna. Efficient Invariant Representations. IJCV, 26(2), 1998, pp. 137-152.

41. Афанасьев В.О. Развитие модели формирования бинокулярного изображения виртуальной ЗБ-среды. Программные продукты и системы, Тверь, 4, 2004, с.25-30.

42. Кравков СВ. Глаз и его работа М.: Изд-во АН СССР, 1950. - 532 е.

43. Тренажеры системы, http://www.traintech.ru/ru/trainers/index.php

44. Brooks, Jr. "What's Real About Virtual Reality? ", IEEE Computer Graphics and Applications, 1999, pp. 16-27.

45. Ddar V. Valiev. 3D Reconstruction of Architectural Objects from Photos, // GraphiCon'99 Proc., MSU, 1999, pp. 171-173.

46. Vladimir Knyaz, Photogrammetric Technique for Accurate Human Body 3D Model Reconstruction, // GraphiCon-2005 Proc., MSU, 2005, pp. 297-300.

47. Anton Konouchine, Victor Gaganov, Vladimir Vezhnevets, Combined Guided Tracking and Matching with Adaptive Track Initialization // GraphiCon'2005 Proc., MSU, 2005, pp. 301304.

48. Ivan A. Matveev, Alexander B. Murynin, 3D computer vision system for face recognition, // GraphiCon-99 Proc., MSU, 1999, pp. 144-150.

49. Alexander B. Murynin, Ivan A. Matveev, Victor D. Kuznetsov. "Automatic Stereoscopic System for Person Recognition". SPIE , 1999, Vol. 3516.

50. Лобанов A.H. Фотограмметрия. М:Недра, 1984.

51. C.B. Клименко, И.Н. Никитин, Л.Д. Никитина. Аванго система разработки виртуального окружений. МФТИ, Москва-Протвино, 2006.

52. V. Zakharevich, I. Surzhenko, V. Saprunov, V. Shapoval, Research of the psychophysiological activity of the operator in virtual reality environment, // GraphiCon'2001 Proc., MSU, 2001, http://www.graphicon.ru/2001/

53. Никитин И.Н. Математическое исследование структуры решений в релятивистских моделях Намбу-Гото и Уилера-Фейнмана с использованием численных методов и компьютерной визуализации: автореф. дис. . докт. физ.-мат. наук: Москва, 2005. -33 с.

54. Фурса М. Создание сложных трехмерных объектов для использования в установках виртуальной реальности. // VEonPC'2006, Институт физико-технической информации, Москва, 2006, С. 123-131.

55. О. Faugeras and G. Toscani, "The Calibration Problem for Stereo," IEEE Conf. Computer Vision and Pattern Recognition, 1986, pp. 15-20.

56. Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.ll, 2000, pages 1330-1334.

57. Richard I. Hartley. Estimation of Relative Camera Positions for Uncalibrated Cameras. European Conference on Computer Vision, Springer, 1992, pp. 579-587.