автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Автоматизация проектирования компонентов расширенной реальности

На правах рукописи

ЧЕТВЕРГОВА Мария Владимировна

АВТОМАТИЗАЦИЯ ПРОЕКТИРОВАНИЯ КОМПОНЕНТОВ РАСШИРЕННОЙ РЕАЛЬНОСТИ

05.13.12 - Системы автоматизации проектирования (промышленность)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

I 4 ЯНВ 2013

Волгоград 2013

005048724

005048724

Работа выполнена в ФГБОУ ВПО «Пензенский государственный университет».

Научный руководитель: доктор технических наук, профессор

ФИНОГЕЕВ Алексей Германович

Официальные оппоненты: КРЛВЕЦ Алла Григорьевна,

Защита диссертации состоится 14 февраля 2013 г., в 13 часов, на заседании диссертационного совета Д 212.028.04 в Волгоградском государственном техническом университете по адресу: 400131, г. Волгоград, пр. им. В. И. Ленина, д. 28, ауд. 209.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Волгоградский государственный технический университет». Автореферат диссертации размещен на сайте университета www.vstu.ru.

Автореферат разослан 11 января 2013 г.

Ученый секретарь

доктор технических наук, доцент кафедры «Системы автоматизированного проектирования и поискового конструирования» Волгоградского государственного технического университета, профессор;

ЛОБЕЙКО Владимир Иванович,

доктор технических наук, профессор филиала Астраханского государственного университета

Ведущая организация: Институт проблем управления РАН

им. В. А. Трапезникова

диссертационного совета

Водопьянов В. И.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Современное развитие информационных технологий предопределило создание систем виртуальной и расширенной реальности. Первая погружает пользователя в виртуальную среду, которая генерируется компьютером в интерактивном режиме, вторая «искусственно» изменяет окружающий мир с помощью виртуальных объектов. Данное направление является динамично развивающимся и востребованным в плане научных исследований.

Производительность персональных компьютеров и мобильных вычислительно-коммуникационных устройств позволяет обрабатывать цифровые аудио- и видеоданные в режиме реального времени, что существенно расширяет сферу применения методов искусственного интеллекта, технологий трехмерного моделирования, способов управления объектами виртуальной реальности, интерфейсов человеко-машинного взаимодействия. Это позволяет пользователю непосредственно участвовать в процессе синтеза, управления и визуализации объектов виртуальной и расширенной реальности, предлагая более качественное восприятие информационных и образовательных материалов.

Поэтому решение задачи разработки моделей, методик и алгоритмов автоматизированного проектирования виртуальных объектов с интеграцией их в сцены реального окружения, реализации возможности интерактивного управления ими и визуализации на мобильных вычислительных устройствах в режиме реального времени является актуальной научно-исследовательской и прикладной проблемой.

Научные исследования и результаты, изложенные в диссертации, основаны на работах И. П. Норенкова, В. А. Камаева, В. А. Сойфера, Я. А. Фурмана, М. Н. Фаворской, М. В. Фурса, А. Г. Кравец и других российских ученых, а также зарубежных ученых, среди которых Р. Вудс, У. Прэтт, Т. Павлидис, R. Azuma, D. Zhang, М. Fiala и многие другие.

Диссертационная работа направлена на решение научной задачи, которая связана с разработкой двухуровневой модели и методики автоматизированного проектирования компонентов расширенной реальности с привязкой виртуальных объектов к предлагаемой системе планарных маркеров и особых точек на изображениях реальных объектов, которая отличается повышенной надежностью, точностью и качеством распознавания, возможностью визуализации синтезируемых сцен на мобильных вычислительных устройствах в режиме реального времени с возможностью управления.

Актуальность исследований обусловлена появлением и широким распространением мобильных информационно-вычислительных систем нового поколения в виде смартфонов и планшетов и существующим отставанием в области создания математического и программного обеспечения для синтеза и работы с виртуальными объектами по технологии расширенной

реальности с целью внедрения новых методик и технологий интерактивного «повсеместного» (и-1еагтп£) обучения, а также новых способов моделирования и исследования сложных объектов, систем и процессов.

Цели и задачи исследования. Целью диссертационной работы является повышение эффективности образовательных и управленческих технологий за счет автоматизации проектирования компонентов расширенной реальности и их использования при подготовке специалистов.

Для достижения цели необходимо решить следующие задачи:

1. Провести анализ предметной области в плане исследования технологий синтеза виртуальной и расширенной реальности, способов совмещения виртуальных и реальных объектов на сценах, методов анализа, распознавания и классификации изображений, существующих планарных маркерных систем, методов обучения с использованием технологии виртуальной реальности.

2. Разработать универсальную маркерную модель в виде планарно-го графического изображения и методику ее распознавания в цифровом видеопотоке в режиме реального времени с целью совмещения и точной привязки виртуальных объектов к реальному окружению в процессе синтеза сцен расширенной реальности.

3. Разработать методику идентификации точечных особенностей на изображениях физических объектов в цифровом видеопотоке в режиме реального времени с целью совмещения и точной привязки виртуальных объектов к реальному окружению в системе проектирования компонентов расширенной реальности и провести ее экспериментальное исследование.

4. Разработать архитектуру и основные модули системы автоматизированного проектирования компонентов расширенной реальности, функциями которой являются установление соответствия между виртуальными и реальными объектами, идентификация и локализация местоположения маркеров или точечных особенностей, сбор данных, визуализация сцен расширенной реальности.

5. Разработать программно-инструментальные комплексы с компонентами расширенной реальности в виде лабораторий, полигонов и тренажеров для подготовки специалистов различного профиля и поддержки работы в сфере ЖКХ, медицины и образования.

6. Выполнить апробацию и провести экспериментальные исследования предложенной системы автоматизированного проектирования компонентов расширенной реальности, а также разработанных обучающих лабораторий и полигонов с компонентами расширенной реальности при решении управленческих и образовательных задач.

Объектом исследования диссертационной работы является автоматизированная система проектирования компонентов расширенной реальности.

Предметом исследования являются модели компонентов расширенной реальности, а также методики и алгоритмы их автоматизированного проектирования.

Методы исследований. Для решения поставленных задач использовались алгоритмы обработки цифровых изображений, методы математического и системного анализа, методы контурного анализа, методы и алгоритмы теории распознавания образов, методы и алгоритмы трехмерного моделирования, синтеза виртуальной среды расширенной реальности, объектно-ориентированного проектирования.

Научная новизна:

1. Предложены универсальная графическая планарная модель маркера и методика ее детектирования в цифровом видеопотоке в режиме реального времени для интеграции виртуальных объектов в сцены реального мира, которая в отличие от существующих позволяет распознать и идентифицировать объект даже при перекрытии маркера до 70 %.

2. Предложена методика обнаружения и распознавания точечных особенностей на изображениях реальных объектов в цифровом видеопотоке, включающая этапы выделения, обработки, локализации особенности, идентификации контуров, распознавания, которая в отличие от аналогов позволяет сопоставлять дескрипторы объектов путем использования ран-домных деревьев с учетом перспективных искажений.

3. Впервые разработаны функциональная модель системы и методика автоматизированного проектирования компонентов расширенной реальности, которая позволяет синтезировать обучающую виртуальную среду с использованием мобильных вычислительных устройств в реальной окружающей среде.

4. Разработаны архитектура и функциональные модули системы автоматизированного проектирования компонентов расширенной реальности, которая в отличие от аналогов использует мобильные клиентские приложения для сбора данных и синтеза виртуальной среды, а серверное решение -для обработки, распознавания, хранения, поиска и загрузки сложных сцен и моделей.

Практическая значимость работы. Диссертационные исследования выполнены в рамках приоритетного направления «Информационно-телекоммуникационные системы» и способствуют развитию критических технологий доступа к мультимедийным услугам, уменьшения последствий природных и техногенных катастроф, обработки, хранения, передачи и защиты информации».

Результаты исследований позволяют разрабатывать и внедрять технологии виртуальной и расширенной реальности в различные области знаний, в частности, для визуализации результатов автоматизированного проектирования сложных технических объектов и систем, для подготовки специалистов (врачей-стоматологов, юристов, инженеров) с использованием технологии «погружения» в виртуальную среду, для мониторинга состояния объектов инженерных коммуникаций жилищно-коммунального хозяйства РФ.

Практическая ценность заключается в разработке инновационных методик и алгоритмов синтеза элементов расширенной реальности на мо-

бильных коммуникационных вычислительных устройствах руководителей и персонала в реальном времени при наведении объектива видеоустройства на объекты контроля и мониторинга с возможностью локализации местонахождения и передачи изображений объектов для распознавания в центр обработки и получения необходимой информации по беспроводным каналам связи.

Разработанные модели маркеров, методики и алгоритмы распознавания и синтеза элементов расширенной реальности, программно-технической системы синтеза и визуализации виртуальной реальности могут быть использованы для решения задач «компьютерного» зрения в различных отраслях, при создании современных интеллектуальных систем поддержки принятия решений, систем автоматизированного проектирования и производства, автоматизированных систем мониторинга, управления и диспетчеризации. В работе даны практические рекомендации по внедрению результатов исследований и примеры их реального применения в сферах ЖКХ, образования, медицины.

Достоверность и обоснованность результатов. Обоснованность и адекватность разработанного адаптивного алгоритма подтверждается корректностью использования математического аппарата, их практической реализацией, соответствующими выводами по итогам теоретического анализа путем сравнения результатов работы общеизвестных алгоритмов с предлагаемыми в работе, итогами экспериментальных исследований, полученных с помощью тестовой системы.

Соответствие паспорту специальности.

Работа выполнена в соответствии с паспортом специальности ВАК РФ 05.13.12 - Системы автоматизации проектирования, пункты 4, 5 и 8.

На защиту выносятся:

1. Модель маркера и методика ее детектирования в цифровом видеопотоке в режиме реального времени.

2. Методика обнаружения и распознавания точечных особенностей на изображениях реальных объектов в видеопотоке.

3. Модель системы и методика автоматизированного проектирования компонентов расширенной реальности.

4. Архитектура и функциональные модули системы автоматизированного проектирования компонентов расширенной реальности.

Внедрение результатов работы и связь с научными программами. Диссертационные исследования проводились на кафедре «Системы автоматизированного проектирования» Пензенского государственного университета (ПГУ) и выполнялись в процессе ряда НИР федеральных и ведомственных целевых программ: «Исследование методов и принципов управления информационными процессами в сенсорных и ячеистых сетях нового поколения»; «Методы управления потоками мультимедийной информации в самоорганизующихся ячеистых сетях», «Теоретические и алгоритмические основы позиционирования, мониторинга и визуализации

состояния мобильных объектов в информационном пространстве на основе самоорганизующихся беспроводных сетей».

Результаты исследования внедрены в эксплуатацию при создании виртуального кабинета для обучения подготовки стоматологов в медицинском институте Пензенского государственного университета, для создания подсистемы визуализации результатов мониторинга распределенных инженерных коммуникаций в муниципальном предприятии «Гортеплосеть» г. Кузнецка Пензенской области и для отработки приемов работы и получения практических навыков с элементами деловой игры в Пензенском филиале Российского государственного университета инновационных технологий и предпринимательства.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах: I Международной конференции «Трехмерная визуализация научной, технической и социальной реальности. Кластерные технологии моделирования» (Ижевск, 2009); VII, X Международной научно-методической конференции «Инновации в науке, образовании и бизнесе» (Пенза, 2009); VI Всероссийском научно-методическом симпозиуме «Ин-фосельш - 2009» (Анапа, 2009); VIII Международной научно-методической конференции «Инновации в науке, образовании и бизнесе» (Пенза, 2010); Международном симпозиуме «Надежность и качество» (Пенза, 2010); V Международной научно-технической конференции «Аналитические и численные методы моделирования естественнонаучных и социальных проблем» (Пенза, 2010); V Всероссийской молодежной научной конференции «Мавлютовские чтения» (Уфа, 2011); I Международной научно-практической конференции «Молодежь и наука: модернизация и инновационное развитие страны» (Пенза, 2011); IV Всероссийской межвузовской научной конференции «Наука и образование в развитии промышленной, социальной и экономической сфер регионов России» (Муром, 2012); I, II Международной научно-практической конференции «Современные проблемы отечественной медико-биологической и фармацевтической промышленности. Развитие инновационного и кадрового потенциала Пензенской области» (Пенза, 2012); IV Всероссийской молодежной научной конференции «Научный потенциал молодежи - будущее России» (Муром, 2012); XXXIX Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе» (Украина, Ялта-Гурзуф, 2012).

Публикации. По теме диссертации опубликовано 16 печатных работ, в том числе 3 в журналах, рекомендованных ВАК, 1 свидетельство об официальной регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех глав и заключения, изложенных на 187 страницах, списка литературы из 214 наименований, 2 приложений, содержит 47 рисунков, 20 формул и 7 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснован выбор направления научного исследования и актуальность работы, сформулированы цель и задачи исследования, рассмотрены объект, предмет и методы исследований, отражена научная новизна и практическая значимость результатов, приводятся сведения о внедрении и использовании результатов.

В первой главе на основании проведенного обзора приводится постановка задачи разработки автоматизированной системы проектирования компонентов расширенной реальности.

Аналитические исследования подходов и методов синтеза виртуальной среды доказывают, что современные информационно-вычислительные устройства позволяют в режиме реального времени синтезировать новую среду для обучения и управления путем совмещения реального окружающего пространства с виртуальным дополнением на экране мобильного

устройства - расширенную реальность {augmented reality) (рис. 1).

/>7___

ч.

А/

Устройство с камерой

QR код

7

Видеокадр -г-—-

т

Маркер

Расширенная реальность (AR)

1 1

(i - - ja:

30 модель

Рис. 1. Схема расширенной реальности

Для целей диссертационного исследования определен процесс автоматизированного проектирования компонентов расширенной реальности как человеко-машинная проектная деятельность в двух направлениях.

С одной стороны, это наложение на изображение реального мира виртуальных двухмерных или трехмерных объектов (текстовых, графических, звуковых, анимационных и видео), которые дополняют или заменяют реальные объекты в строгой привязке к ним.

С другой стороны, это наложение на синтезированную виртуальную сцену изображений двухмерных или трехмерных объектов реального мира, которые дополняют или заменяют виртуальные объекты в строгой привязке к ним.

Проведенный анализ существующих технологий виртуальной реальности и автоматизированного проектирования с позиции системного подхода позволил выделить основные задачи, цели, структуру и назначение

системы проектирования компонентов расширенной реальности. В главе также определены основные компоненты и программно-аппаратные средства САПР расширенной реальности.

Для совмещения и привязки виртуальных и реальных объектов в сценах расширенной реальности используются два основных способа -маркерный и безмаркерный. В маркерном способе для интеграции реальных и виртуальных объектов используется маркер, который представляет планарное графическое изображение, закрепленное на поверхности объекта. При безмаркерной технологии интеграция производится путем выделения и идентификации на изображениях объектов точечных особенностей.

В главе проведена сравнительная оценка обоих подходов и выполнен анализ методов распознавания маркеров и точечных особенностей в выделенных растровых изображениях - кадрах 1,(т,п) из входного видеопотока /, (т,п), /,+1 (т,п),..., 1,+к (т,п), где т е[0;М],и е[0;7У] - количество вертикальных и горизонтальных пикселей Ртп кадра, / - момент времени.

В процессе двух этапов решения задачи распознавания и классификации выделенные области изображений (возможные маркеры или точечные особенности) сравниваются с известными образами, и принимается решение о соотнесении одного из шаблонов или добавлении нового объекта к конкретному классу.

Дано множество М объектов Я такое, что М а Я. Объекты задаются значениями некоторых признаков х, еЛ/,г' = набора функций, опре-

деляющих степень достоверности соответствия этой области каждому из возможных образов. Совокупность признаков объекта Л описывается

т=ыв.), х2(ю,---,мю)-

Множество А/разбивается на подмножества Жили классы объектов:

т

М = .

1=0

Разбиение на классы может быть задано полностью или определяться некоторой априорной (обучающей) информацией /0 о классах Щ.

Задача распознавания состоит в том, чтобы для каждого данного объекта Я по его описанию 1(Я) и априорной информации /0 вычислить значения предикатов = (Л е = 1,...,т .

Для описания невозможности распознавания объектов предикаты Р, заменяются величинами: а,- е{0(Л (2 е )^),Д(неизвестно)} . Таким

образом, для рассматриваемого объекта Я необходимо вычислить его определяющий вектор: а(Л) = (а](Л),...,а2(Л!)). Обучающая выборка в задаче распознавания является априорной информацией о множестве распознаваемых объектов и представляет описание всех классов объектов:

т = 10(Щ,...,ГГт).

Описание объектов в совокупности с описанной обучающей выборкой и указанием принадлежности классам определяется совокупностью новых описаний: (/(Я,),...,/(/?,*),...,), где объекты Л],....Л* принадлежат классу 1Уи объекты /(Л*"1"1),.../^!) - классу Жг и т.д.

Доказано, что для систем расширенной реальности ключевым моментом является обработка видеокадров в режиме реального времени в плане поиска и выделения точечных особенностей или маркеров на изображениях с учетом инвариантности к изменениям угла поворота камеры, изменениям масштаба распознаваемой области при движении камеры и к перспективным искажениям области распознавания.

В главе проведен анализ методов подготовки специалистов на базе виртуальных лабораторий, который показал возможность создания систем расширенной реальности для стоматологии и криминалистики, а также для визуализации результатов мониторинга инженерных коммуникаций в ЖКХ.

Во второй главе рассмотрены вопросы построения моделей и методик идентификации и совмещения виртуальных и реальных объектов в системе проектирования компонентов расширенной реальности.

Разработанная маркерная модель представлена на рис. 2.

ОРИЕНТИРОВОЧНЫЕ

линии

СРЕДИННЫЕ ТОЧКИ

ЦЕНТРАЛЬНЫЕ НАПРАВЛЯЮЩИЕ ЛИНИИ

ГЛАВНЫЕ СРЕДИННЫЕ ТОЧКИ

ЦЕНТРАЛЬНАЯ ТОЧКА

Рис. 2. Основные элементы детектирования маркера

Методика синтеза маркерной модели включает следующие этапы:

1 шаг. Выделение основных контурных линий и контрольных угловых точек, необходимых для декодирования. Главный контур маркера М представлен прямыми линиями, а также необходимыми для распознавания направляющими линиями и угловыми контрольными точками.

2 шаг. Определив четыре наиболее удаленные друг от друга точки, проверяется, составляют ли три из них угол из двух линий.

3 шаг. Если угол найден, то проверяется наличие оставшихся линий до полного построения контура маркера.

4 шаг. Если найдены все четыре стороны маркера, то в четырехугольнике строятся направляющие линии, соединяющие середины противоположных сторон. Эти точки определяют главные срединные точки и находятся на контуре маркера.

5 шаг. Противоположные главные срединные точки соединяются и образуют центральные направляющие линии и тем самым разбивают маркер на четыре подмаркера. Точка пересечения направляющих необходима для детектирования подмаркеров. Если контуру принадлежит меньше трех точек, значит точка пересечения не является центром маркера.

6 шаг. Для точного вычисления расположения маркера в пространстве строятся пунктирные линии, которые в местах пересечения с центральными направляющими линиями образуют срединные точки.

В результате получается маркерная модель, которая используется для интеграции виртуальных объектов вместо маркеров в изображения ре-ачьных сцен расширенной реальности.

Рассмотренная в главе методика выделения области для распознавания данного планарного маркера включает следующие этапы:

- получение кадров (видеозахват);

- перевод в градации серого;

- предварительная обработка изображения;

- оптимизация контрастности изображения;

- оптимизация яркости изображения;

- фильтрация изображений и подавление шумов;

- повышение резкости объектов на изображениях;

- сегментация изображения;

- бинаризация изображения;

- выделение и рекурсивная разметка связных областей;

- определение и идентификация контуров маркеров;

- проективные преобразования маркерных изображений.

Кроме выделения и распознавания маркеров в диссертации разработана методика идентификации точечных особенностей на изображениях реальных объектов, которые также могут использоваться для привязки виртуальных моделей в расширенной реальности.

Точечной особенностью (особой точкой) на изображении будем называть точку р„ окрестность которой О (pi) можно отличить от окрестности О'(pj) любой другой особой точки изображения pj.

Пусть даны последовательность изображений одной и той же сцены S и набор точечных особенностей {N}, выделенных в первом кадре последовательности. Тогда для точечной особенности п из {Л'} требуется найти точки п(р) на всех кадрах так, что их окрестности будут максимально близки к окрестности п(0) с учетом перспективных искажений.

Для выявления точечных особенностей на изображении предложено использовать детектор Ши-Томаси, который базируется на угловом детекторе Харриса и учитывает аффинные искажения изображения окрестности особой точки. Разработанная методика детектирования точечной особенности изображения (xLu yL{) и сравнения с особыми точками эталонов (xR\,yR\) включает следующие шаги:

1) обнаружение особых точек изображения (xLuyLi);

2) составление описания особых точек векторами-дескрипторам и dn = (/л 1 >•■•>/« у) > r^ef"J ~ параметры специфики, локальности, устойчивости, простоты вычислений и т.д. Вектор-дескриптор описывает структуру окрестности точки, которая выделяет ее из остального множества точек, и должен быть инвариантен по отношению к аффинным преобразованиям изображения и т.д.;

3) определение связей и расстояний между векторами-дескрипторами особых точек на изображениях и эталонными векторами в пространстве классификации. Расстояние между дескрипторами и эталонами определяется как евклидовая метрика в пространстве изображений:

M = ^(f(xL^yLl)-f(xRuyRi)? ,

где (xLh yL\), (xRu yR,) - точечные особенности сравниваемых изображений;

4) выбор наиболее близких пар дескрипторов точечных особенностей объектов на изображении и эталонных векторов.

В работе проведено сравнительное исследование существующих алгоритмов распознавания точечных особенностей SIFT, SURF и RIFF. Недостатками методов SIFT и SURF являются нечеткое выделение объекта относительно фона и низкий процент правильного распознавания элементов изображений объектов без выраженной текстуры. Метод RJFF показал неудовлетворительные результаты, вызываемые размытием изображения вследствие движения наблюдателя с камерой относительно неподвижных объектов.

Для повышения качества методики распознавания точечных особенностей при стохастическом движении видеокамеры и меняющихся условиях освещенности, а также для решения выявленных проблем в известных алгоритмах реализована методика повышения точности за счет использования рандомных деревьев для. обучения системы распознавания в процессе ее калибровки. Основная идея заключается в распознавании объектов на базе статистики распределения классификатора Байеса о возможных сопоставлениях дескрипторов путем построения леса рандомных деревьев. На этапе детектирования предполагаемая особая точка как бы «перебрасывается» по дереву решений (рис. 3), которое строится для каждого изображения распознаваемого объекта, снимаемого с разных ракурсов и при различных

условиях освещенности. В каждом узле рассчитывается значение вероятности того, что особая точка относится к одной из определенных ранее.

Рис. 3. Рандомное дерево

Пусть (х,у) - координаты некоторой точки pt на изображении объекта, при этом pi е {Р}, где Р - множество особых точек. Тогда I (х,,>■,) -значение пикселя по шкале серого в произвольной точке pixi,yi), причем

0 <х,- < Wi и 0 <>>,■ < Hh где Wi и Я,- - ширина и высота изображения в пикселях. Для того чтобы определить и зафиксировать окрестность особой точки, необходимо ее исследовать по направлениям градиентов яркости.

Величина градиента вычисляется по формуле

G(x, y) = J(I(x+l,y)-I(x-1, у))2 + (/(*, у +1) - /(*, у -1))2 .

Перед выбором подходящей разности необходимо определить множество векторов Dxy, каждый их которых представляет значения разностей для каждой точки pt е {/*}.

Пусть Т (.Dxy) - множество тестов для определения разности градиента на множестве точек Р. Каждый тест возвращает битовое значение 0 или

1 при выполнении условия в первой р, и второй р2 точках окрестности в каждом направлении:

[О,если

- [],если I{Dnxy{P])))I{Dnxy{p2)),

где п е [О,©,,,).

Результатом выполнения множества тестов будет битональная маска направления градиентов вокруг особой точки. Маска представляет собой бинарное дерево решений, в котором каждый элемент множества D^ рас-

сматривается как узел рандомного дерева. Условие перехода «вправо» или «влево» определяется тем, какое значение возвращает тест Т (Dxy) при выполнении условия в первой и второй точке окрестности >',).

Вершина дерева является счетчиком. Переход по дереву решений происходит с увеличением счетчика на 1 согласно случайным разностям градиентов Dxy. В итоге после определения множества образов окрестности одной и той же особой точки для разных изображений одного объекта на множестве вершин дерева получим распределение вероятности соответствия исходного изображения его образу.

Множество деревьев (лес) строится для сравнения исходного объекта с эталонными образами из базы данных. В общем случае лес содержит множество F - деревьев с массивом Р вершин размерностью 2|/Jx>l, где хранятся вероятности распределения решений для каждого дерева. Для снижения размерности и получения независимых результатов можно выбрать случайное подмножество деревьев F„ которое будет включать в себя подмножество случайно выбранных Dxy.

Перебор производится для всех деревьев в лесу, соответствующих множеству эталонных образов исходного объекта, а итоговая вероятность накапливается по каждой предполагаемой гипотезе о принадлежности особой точки к множеству точечных особенностей эталонов распознаваемого объекта. Максимум вероятности для множества деревьев показывает связь изображения исходного объекта и множества его образов, полученных на этапе обучения при различных условиях съемки. Таким образом, для каждой точки р* ищется индекс вершины каждого вектора-дескриптора Dxy е Fj. Тогда Р„ представляет подмножество особых точек, для которых рассчитывается итоговая вероятность по вершинам дерева для каждой новой точки из обучаемой коллекции. В итоге получим вероятность того, что выбранная точкар* соответствует какой-либо точке pi е {Р), где Ра' - вероятность, что р* =/?'.

Пороговое число вероятностей соответствия дескрипторов более 90 % для множества особых точек изображения исходного объекта p*=pj подтвердит гипотезу, что изображение объекта соответствует эталонному образу из базы данных и, следовательно, может также считаться эталоном, полученным при новых условиях съемки, и добавляется в базу данных. Для определения гомоморфизма между множествами особых точек изображений, соответствующих одной и той же точке трехмерного объекта, использован метод RANSAC (Random Sample Consensus).

На этапе инициализации системы распознавания следует синтезировать множество изображений объекта при разных условиях съемки, применяя аффинные преобразования (масштабирование, перенос, поворот) и случайный набор шумов для искажения.

В результате экспериментального исследования предложенной методики установлено, что качество распознавания изображений объекта зависит от числа детектированных особых точек изображений (xL\, yL,),

(x/?i, >>Ä|) и множества вершин (глубины) рандомного дерева. Было проведено исследование методики для числа особых точек изображения 200, 500 и 1000 в базовом варианте RF (base) для леса из 30 деревьев с глубиной 8 вершин и в расширенном варианте RF (extended) для леса из 30 деревьев с глубиной 12 вершин. Сравнение предложенной методики с известными методиками SURF и SIFT приведено в табл. 1.

Таблица 1

Аналитическое сравнение результатов распознавания

Метод Число точек Качество распознавания, % Объем требуемой памяти, Мб Время сопоставления, с

SURF 200 74 0,05 - 0,5-1

SIFT 63 0,98 ~ 0,5-1

RF (base) 68 6,1 ~ 0,4-0,8

RF (extended) 88 18,3 -0,8-1,2

SURF 500 76 0,86 -0,8-1,3

SIFT 78 0,93 -0,8-1,3

RF (base) 80 12,5 -1-1,5

RF (extended) 92 26,7 -1-2

SURF 1000 75 1,2 -1-1,2

SIFT 78 1,2 -1-1,3

RF (base) 82 25,6 -2

RF (extended) 94 56,9 -2

Результаты доказывают, что использование разработанной методики на базе рандомных деревьев дают лучшую оценку качества распознавания при более высоких требованиях к оперативной памяти и минимальном увеличении времени работы системы в зависимости от размерности дерева.

В третьей главе приводится описание архитектуры и функциональных модулей предложенной автоматизированной системы проектирования компонентов расширенной реальности. Основным модулем такой системы является графический движок, в качестве которого был выбран OGRE, и проведен анализ его основных возможностей и преимуществ. Другими функциональными элементами автоматизированной системы синтеза компонентов расширенной реальности являются:

- базовый класс (фреймворк) приложения OGRE;

- менеджер управления алгоритмами и сценариями синтеза компонентов расширенной реальности;

- менеджер управления сценой расширенной реальности и виртуальными объектами;

- менеджер управления конфигурацией системы;

- совокупность классов описания конкретной предметной области.

Архитектура системы проектирования компонентов расширенной реальности включает следующие подсистемы (рис. 4):

- подсистему идентификации объектов;

- подсистему определения вида;

- подсистему классификации;

- подсистему визуализации;

- подсистему информационных ресурсов;

- интерфейсные модули;

- базу данных с эталонными изображениями оцифрованных образов маркеров и точечных особенностей реальных объектов.

Рис. 4. Архитектура системы автоматизированного проектирования компонентов расширенной реальности

Далее в главе рассматривается модель среды расширенной реальности, которая представлена в виде множества

AR = (St, Inf, AT),

где St - множество реальных объектов, описывающих предметную область; Inf - множество эталонов изображений реальных объектов в базе данных; Al - множество связей между маркерами, точечными особенностями и эталонами. Тогда

St = {Obi}, i = 1,2,..., где S - общее количество объектов системы.

Объекты Ob = {С, М, Cr}, где контуры объектов предметной области С = ¡^(Л d},f= 1, 2, ..., Fзаданы множеством F(J) особых точек на изображении и множеством особых точек d, задающих действия при выделении.

Маркеры М = {Рп(р), int}, р = 1,2, ..., Р заданы точками привязки Рп(р) маркеров к объектам, где Р - общее количество точек, принадлежащих маркеру, и множеством ребер int, описывающих процедуру распознавания маркера.

Каждому объекту ставится в соответствие информационный образ или дескриптор /л/D = {Infл}, d = 1,2,...,D, где D - общее количество объектов виртуальной среды расширенной реальности.

Тогда Inf" {V(I), ThrOb(t), Text{t), F{t)}, t = 1, 2,..., T, где V- мультимедийные файлы; ThrOb - виртуальный трехмерный объект, Text - текстовая информация; F(t) - множество возможных состояний объекта в момент времени Т.

Алгоритм проектирования компонентов расширенной реальности представлен на рис. 5.

В четвертой главе описывается практическая реализация предложенных моделей, методик и алгоритмов автоматизированной системы проектирования компонентов расширенной реальности на примере синтеза двух обучающих систем (виртуального криминалистического полигона и виртуальной стоматологической лаборатории), а также системы визуализации результатов мониторинга объектов инженерных коммуникаций в системе диспетчерского контроля городской тепловой сети.

Виртуальный криминалистический полигон предназначен для имитации места преступления (жилой квартиры, магазина, улицы или любой другой локации), где на практических занятиях отрабатывается проведение следственных действий, приобретаются навыки применения при производстве последних имеющихся в кабинете научно-технических средств. Обучающая система расширенной реальности реализует следующие функции:

1. Процедурную генерацию макетов мест преступлений по заданным параметрам.

2. Имитацию мест преступления «на ходу» в любой обстановке за пределами классов, в том числе и в естественном природном окружении. Для этого достаточно разместить носимые маркеры, связанные с виртуальными предметами-уликами, в окружающей среде. Используя мобильные вычислительные устройства с тыловыми видеокамерами и программное обеспечение системы, студенты могут синтезировать и визуализировать на экранах место преступления и выполнить требуемые следственные действия по технологии «повсеместного» обучения (u-learning).

3. Распознавание маркеров и точечных особенностей для привязки виртуальных объектов к реальному окружению.

4. Интеграцию виртуальных объектов, которые подгружаются по беспроводной мобильной связи и БД на сервере учебного заведения, в

окружающую обстановку, которая снимается тыловой видеокамерой мобильного устройства.

5. Динамическое добавление нового контента и шаблонов на сцену и изменение условий и заданий студентам в режиме реального времени.

Выделение особых точек

Сопоставление образов

Отображение данных

X

КОНЕЦ

Рис. 5. Алгоритм работы системы 18

Особые точки

Классификация образов

< -1_

Определение вида

Принятие решений

Визуализация

6. Поддержку клиент-серверной архитектуры и беспроводной телекоммуникационной транспортной сети.

7. Поддержку аппаратного ускорения визуализации посредством стандартов DirectX 9с и OpenGL 2 с использованием вершинных и фраг-ментных шейдеров версий 3vs и 3ps.

8. Реализацию интерфейсов с пакетами трехмерного моделирования Autodesk MAYA и 3dsMAX.

Виртуальный криминалистический полигон работает в двух режимах:

- режим преподавателя для создания макета места преступления с возможностью его динамического изменения в процессе следственных действий обучаемых;

- режим студента для проведения следственных мероприятий.

Для реализации режимов используются две подсистемы:

1) подсистема управления контентом, которая работает с маркерами, 2D и 3D компонентами виртуального полигона и базы данных с описанием виртуальных объектов и эталонов.

2) подсистема визуализации контента, которая позволяет не только синтезировать сцену на экране мобильного устройства и посредством проектора на стационарном экране, но и управлять перемещением элементов композиции на сцене, предоставляя инструменты для ведения отчетов и журналов-логов.

Другим примером является виртуальная стоматологическая лаборатория, которая была разработана для обучения теоретическому материалу и отработки практических навыков будущих стоматологов.

Виртуальная стоматологическая лаборатория предназначена для обучения студентов медицинских вузов, а также для повышения квалификации специалистов по направлению эндодонтия. В лаборатории можно работать в режимах:

- демонстрации теоретического материала на занятиях с помощью компьютера и проектора;

- индивидуальной и групповой работы при отработке практических навыков;

- самостоятельного тренинга.

Теоретический материал позволяет наглядно разъяснить обучающемуся суть предлагаемого лечения, определить необходимый стоматологический инструментарий посредством анимированных роликов.

Для отработки практических навыков будущих специалистов по направлению эндодонтия предлагается виртуальный симулятор-тренажер, который позволяет получать практические навыки по этапам лечения, рассмотренным в обучающих роликах. Для этого на каждом этапе лечения студенту предоставляется возможность выбора необходимых инструментов или препаратов. При выборе неправильного инструмента или препарата или при неправильных действиях тренажер указывает студенту на ошибки и вносит соответствующие коррективы в процесс лечения.

В подсистеме реализована возможность управления инструментами посредством мыши или бесконтактным способом по технологии оптического тренинга, когда маркеры, соответствующие стоматологическим инструментам, прикрепляются на реальные предметы в виде ручек или карандашей. Данный компонент виртуальной лаборатории реализует технологию расширенной реальности.

Опыт практической эксплуатации виртуальной лаборатории при подготовке студентов-стоматологов на кафедре стоматологии в Медицинском институте Пензенского государственного университета показал, что студенты, прошедшие на начальном этапе курс виртуального обучения, на 24 % быстрее осваивают практику эндодонтического лечения.

Еще одной областью реализации результатов диссертационных исследований является нетрадиционное применение разработанных технологий и системы расширенной реальности для визуализации результатов мониторинга сложных техногенных объектов и процессов на примере распределенной системы городского теплоснабжения ЖКХ.

Приложение, установленное на мобильное устройство (смартфон или планшет), может осуществлять автоматическую загрузку информации об интересующем объекте после видеосъемки и идентификации закрепленного на нем маркера или точечной особенности по технологии беспроводного удаленного доступа через интернет-соединение с диспетчерского сервера, где производятся операции интеллектуального анализа телеметрических данных с объектов мониторинга.

Для работы такой системы в качестве объекта мониторинга были выбраны блочно-модульные котельные (БМК) тепловой сети, где установлены контролируемые тепловые счетчики, вычислители и другие приборы автоматики, с которых посредством СРЯЗ-модемов производится сбор соответствующих данных о параметрах теплоносителя и т.п.

Система проектирования компонентов расширенной реальности обеспечивает выполнение следующих операций:

- тыловая видеокамера мобильного устройства считывает маркеры или точечные особенности соответствующих объектов (БМК, приборов) и передает их на сервер для распознавания и идентификации;

- сервер распознает области изображений, сопоставляет их с реальными объектами, с которых были получены данные для мониторинга;

- выбирает из хранилища требуемую информацию о распознанном объекте, а также связанные с ним результаты мониторинга и передает их на мобильное устройство;

- приложение визуализации интегрирует полученные данные (текст, графики, диаграммы и т.п.) в видеокадры и демонстрирует синтезированную расширенную реальность на экране устройства.

Апробация подсистемы визуализации расширенной реальности в системе мониторинга объектов ЖКХ была проведена муниципальным предприятием «Гортеплосеть» в городе Кузнецке Пензенской области.

В табл. 2 приведен сравнительный анализ эффективности обучения на натурных макетах и при использовании автоматизированной системы проектирования среды обучения с компонентами расширенной реальности.

Таблица 2

Результаты сравнения эффективности обучения

Критерий сравнения Традиционный способ Автоматизированная система с компонентами расширенной реальности

Материальные затраты Многократное применение дорогостоящих натурных макетов для каждого занятия как для группы обучаемых, так и для индивидуального обучения Единоразовое создание и использование трехмерных моделей как для группы обучаемых, так и для индивидуального обучения

Кадровые затраты Требуется привлечение вспомогательного персонала для подготовки аудиторий Не требуется привлечение вспомогательного персонала для подготовки аудиторий

Временные затраты Требуется время для подготовки аудитории к занятиям, около 15-20 мин Требуется время для подготовки аудитории к занятиям, около 5 мин

Субъективная оценка обучаемого Возможность проведения занятий только в аудитории Возможность проведения занятий вне аудиторий

В табл. 3 приведен сравнительный анализ эффективности проектирования компонентов расширенной реальности и существующих проектов.

Таблица 3

Сравнение эффективности проектирования компонентов расширенной реальности и существующих проектов

Критерий сравнения Традиционный способ Автоматизированная система с компонентами расширенной реальности

1 2 3

Материальные затраты Многократное изготовление или покупка натурных моделей или их частей Однократное проектирование виртуальных моделей для размещения в базе данных

Кадровые затраты Требуется привлечение вспомогательного персонала Не требуется привлечение вспомогательного персонала для использования системы

Окончание табл. 3

1 2 3

Временные затраты Требуется дополнительное время для подготовки новых возникающих в процессе обучения ситуаций и натурных сцен Временные затраты минимальны, так как достаточно расположить новые маркеры и система автоматически сгенерирует новую сцену и ситуацию

Субъективная оценка пользователя Возможность обучения только в специально оборудованных классах с подготовленными натурными моделями Возможность обучения в любом помещении и за их пределами за счет использования мобильного вычислительного устройства и прав доступа к удаленной базе данных моделей и маркеров

Проведенный анализ показал значительные преимущества использования автоматизированной системы с компонентами расширенной реальности в отличие от классического подхода к решению задач различного рода.

В заключении приводится обобщение и систематизация результатов диссертации.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ предметной области в плане исследования технологий синтеза виртуальной и расширенной реальности, способов совмещения виртуальных и реальных объектов на сценах, методов анализа, распознавания и классификации изображений, существующих пленарных маркерных систем, методов обучения с использованием технологии виртуальной реальности.

2. Разработаны универсальная графическая планарная модель маркера и методика ее детектирования в цифровом видеопотоке в режиме реального времени для интеграции виртуальных объектов в сцены реального мира, которая в отличие от существующих позволяет распознать и идентифицировать объект даже при перекрытии маркера до 70 %.

3. Предложена методика обнаружения и распознавания точечных особенностей на изображениях реальных объектов в цифровом видеопотоке, включающая этапы выделения, обработки, локализации особенности, идентификации контуров, распознавания, которая в отличие от аналогов позволяет сопоставлять дескрипторы объектов путем использования ран-домных деревьев с учетом перспективных искажений.

4. Разработаны функциональная модель системы и методика автоматизированного проектирования компонентов расширенной реальности, которая позволяет синтезировать обучающие виртуальные среды с использованием мобильных вычислительных устройств в реальной обстановке.

5. Разработаны архитектура и основные модули системы автоматизированного проектирования компонентов расширенной реальности, функциями которой являются установление соответствия между виртуальными и реальными объектами, распознавание маркеров или точечных особенностей, визуализация сцен расширенной реальности.

6. Разработаны программно-инструментальные комплексы с компонентами расширенной реальности в виде лабораторий, полигонов и тренажеров для подготовки специалистов различного профиля и поддержки работы специалистов в сфере ЖКХ, медицины и образования.

7. Выполнена апробация и проведены экспериментальные исследования предложенной системы автоматизированного проектирования компонентов расширенной реальности, а также разработанных обучающих лабораторий и полигонов с компонентами расширенной реальности при решении управленческих и образовательных задач.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО МАТЕРИАЛАМ ДИССЕРТАЦИИ

Публикации в изданиях, рекомендованных ВАК

1. Четвергова, М. В. Проблемно-ориентированная система мониторинга с использованием технологии расширенной реальности / В. Е. Богатырев, М. В. Четвергова // Современные проблемы науки и образования. -2012. - № 2; URL: http://www.science-education.ru/102-5637 (дата обращения: 01.03.2012).

2. Четвергова, М. В. Методика распознавания изображений на основе рандомных деревьев з системах автоматизированного проектирования расширенной реальности / А. Г. Финогеев, М. В. Четвергова // Современные проблемы науки и образования. - 2012. - № 5; URL: http://www.science-education.ru/105-7110 (дата обращения: 05.10.2012).

3. Четвергова, М. В. Разработка и исследование методики распознавания изображений для систем расширенной реальности / А. Г. Финогеев, М. В. Четвергова// Известия ВолгГТУ : межвуз. сб. науч. ст. - Волгоград : ИУНЛ ВолгГТУ, 2012.-№ 15 (102).-С. 130—136.

Прочие публикации

4. Четвергова, М. В. К вопросу об использовании технологий виртуальной реальности для создания электронных учебных материалов / А. Г. Финогеев, М. В. Четвергова // Трехмерная визуализация научной, технической и социальной реальности. Кластерные технологии моделирования : тр. I Междунар. конф. - Ижевск: Изд-во УдГУ, 2009. - С. 150-153.

5. Четвергова, М. В. Системы виртуальной реальности в медицине / М. В. Четвергова// Инновации в науке, образовании и бизнесе : материалы

VII Всерос. науч.-метод. конф. - Пенза : Изд-во Пензенского филиала РГУИТП, 2009. - С. 209-211.

6. Четвергова, М. В. Медицинские системы виртуальной реальности для повышения качества подготовки молодых врачей / М. В. Четвергова // Информатизация сельской школы и жизнедеятельности молодежи (Инфо-сельш - 2009) : тр. VI Всерос. науч.-метод. симп. (Анапа, 2009). - М. : РИЦ МГГУ им. М. А. Шолохова, 2009. - С. 527-529.

7. Четвергова, М. В. Трехмерная система виртуального макетирования для подготовки студентов по специальности стоматология / М. В. Четвергова // Инновации в науке, образовании и бизнесе : материалы

VIII Междунар. науч.-метод. конф. Т. 2. Технические науки. - Пенза : Изд-во Пензенского филиала РГУИТП, 2010. - С. 204-207.

8. Четвергова, М. В. Система виртуального ЗО-макетирования места преступления для подготовки студентов-криминалистов / М. В. Четвергова // Надежность и качество : тр. Междунар. симп. - Пенза : Изд-во ПГУ, 2010.-Т. 1.-С. 373-374.

9. Четвергова, М. В. Использование виртуальной обучающей системы в стоматологии / М. В. Четвергова, А. Г. Финогеев // Аналитические и численные методы моделирования естественнонаучных и социальных проблем : тр. V Междунар. науч.-техн. конф. - Пенза : Изд-во Пенз. гос. ун-та, 2010.-С. 280-282.

10. Четвергова, М. В. Виртуальный стоматологический ЗО-кабинет для подготовки врачей специалистов / М. В. Четвергова, А. Г. Финогеев // Мавлютовские чтения : сб. тр. Всерос. V молодежной науч. конф. : в 5 т. -Уфа : Изд-во УГАТУ, 2011. - Т. 3. - С. 136-138.

11. Четвергова, М. В. Алгоритм создания виртуального стоматологического кабинета с использованием технологии расширенной реальности / М. В. Четвергова // Молодежь и наука: модернизация и инновационное развитие страны : материалы I Междунар. науч.-практ. конф.: в 3 ч. - Пенза : Изд-во ПГУ, 2011. - 3 ч. - С. 266-268.

12. Четвергова, М. В. Технологии виртуальной и расширенной реальности в подготовке специалистов в медицине / М. В. Четвергова, И. Н. Кустикова, А. Г. Финогеев // Современные проблемы отечественной медико-биологической и фармацевтической промышленности. Развитие инновационного и кадрового потенциала Пензенской области : материалы I Междунар. науч.-практ. конф. (Пенза, 29-30 ноября 2011). - Пенза : Изд-во ПГУ, 2011. - С. 805-808.

13. Четвергова, М. В. Описание трехмерного виртуального кабинета с использованием технологии расширенной реальности по стоматологии / М. В. Четвергова // IV Всероссийские научные «Зворыкинские чтения» : сб. докл. Всерос. межвуз. науч. конф. «Наука и образование в развитии промышленной, социальной и экономической сфер регионов России» (Муром, 3 февраля 2012 г.) [Электронный ресурс]. - Муром : Полиграфический центр МИ ВлГУ, 2012. - С. 176-179.

14. Четвергова, М. В. Автоматизированная система мониторинга объектов в сфере ЖКХ / М. В. Четвергова // Инновации в науке, образовании и бизнесе : материалы X Междунар. науч.-метод. конф. — Пенза : Изд-во Пензенского филиала РГУИТП, 2012. - С. 307-309.

15. Четвергова, М. В. Мониторинг систем инженерных коммуникаций с использованием технологий беспроводных сетей, СРЭ/ ГЛОНАСС навигации и расширенной реальности / А. Г. Финогеев, Е. А. Финогеев, Е. А. Нефедова, М. В. Четвергова // Информационные технологии в науке, социологии, экономике и бизнесе : тр. XXXIX Междунар. конф. (1Т+8&Е'11) (Украина, Ялта-Гурзуф, 2012). -Ялта, 2012. - С. 44-45.

16. Четвергова, М. В. Обучение практическим навыкам и умениям студентов медицинских вузов с использованием технологии расширенной реальности / М. В. Четвергова, А. Г. Финогеев, И. Н. Кустикова // Современные проблемы отечественной медико-биологической и фармацевтической промышленности. Развитие инновационного и кадрового потенциала Пензенской области : материалы II Междунар. науч.-практ. конф. (Пенза, 9-10 ноября 2012 г.). - Пенза, 2012. - С. 690-694.

17. Свидетельство о государственной регистрации программы для ЭВМ № 20121208006 Виртуальный криминалистический полигон с компонентами расширенной реальности, 2012.

Научное издание

ЧЕТВЕРГОВА Мария Владимировна

АВТОМАТИЗАЦИЯ ПРОЕКТИРОВАНИЯ КОМПОНЕНТОВ РАСШИРЕННОЙ РЕАЛЬНОСТИ

05.13.12 - Системы автоматизации проектирования (промышленность)

Редактор В. В. Чувашова Технический редактор А. Г. Темникова Компьютерная верстка А. Г. Темниковой

Подписано в печать 10.01.2013. Формат 60x84716. Усл. печ. л. 1,39. Заказ № 002076. Тираж 100.

Пенза, Красная, 40, Издательство ПГУ Тел./факс: (8412) 56-47-33; e-mail: iic@pnzgu.ru

Министерство образования и науки Российской Федерации Федеральное агентство по образованию Государственное образовательное учреждение высшего профессионального образования Пензенский государственный университет

04201355101

ЧЕТВЕРГОВА Мария Владимировна

АВТОМАТИЗАЦИЯ ПРОЕКТИРОВАНИЯ КОМПОНЕНТОВ РАСШИРЕННОЙ РЕАЛЬНОСТИ

05.13.12 - Системы автоматизации проектирования (промышленность)

На правах рукописи

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор А. Г. Финогеев

Волгоград 2013 г.

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ 6

ГЛАВА 1. ИССЛЕДОВАНИЕ МЕТОДОВ АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОВАНИЯ КОМПОНЕНТОВ РАСШИРЕННОЙ РЕАЛЬНОСТИ ДЛЯ ИСПОЛЬЗОВАНИЯ В ОБРАЗОВАТЕЛЬНОЙ, ПРОЕКТНОЙ И УПРАВЛЕНЧЕСКОЙ ДЕЯТЕЛЬНОСТИ 14

1.1 Системный подход в построении систем автоматизированного проектирования 14

1.2 Системы виртуальной реальности с позиции системного подхода 17

1.3 Определение системы и компонентов расширенной реальности 20

1.4 Принципы совмещения виртуальных и реальных объектов в системах расширенной реальности 23

1.5 Компоненты системы автоматизированного проектирования расширенной реальности 25

1.6 Анализ методов распознавания изображений для синтеза компонентов расширенной реальности 27

1.7 Анализ и классификация изображений при распознавании объектов расширенной реальности 36

1.8 Методы подготовки специалистов на базе виртуальных лабораторий с компонентами расширенной реальности 42

1.9 Выводы по первой главе 51 ГЛАВА 2. МОДЕЛИ И МЕТОДИКИ ИДЕНТИФИКАЦИИ И СОВМЕЩЕНИЯ ВИРТУАЛЬНЫХ И РЕАЛЬНЫХ ОБЪЕКТОВ В СИСТЕМЕ ПРОЕКТИРОВАНИЯ КОМПОНЕНТОВ РАСШИРЕННОЙ РЕАЛЬНОСТИ 53

2.1 Сравнительное исследование существующих планарных маркерных систем 53

2.2 Структура и алгоритм синтеза универсального маркера для системы проектирования компонентов расширенной реальности 56

2.3 Методика распознавания и представления комбинированного компланарного маркера в цифровом видеопотоке в режиме реального времени 61

2.3.1 Получение видеопотока и выделение кадров 62

2.3.2 Перевод в градации серого 63

2.3.3 Предварительная обработка входных цифровых изображений 64

2.3.4 Оптимизация контрастности изображения 65

2.3.5 Оптимизация яркости изображения 67

2.3.6 Фильтрация изображений и подавление шумов 67

2.3.7 Повышение резкости объектов на изображениях 70

2.3.8 Сегментация изображения 71

2.3.9 Бинаризация изображения 72

2.3.10 Выделение и рекурсивная разметка связных областей 76

2.3.11 Определение и идентификация контуров маркеров на основе выделения прямых линий и углов 77

2.3.12 Проективные преобразования выделенных маркерных изображений

79

2.4 Методика идентификации точечных особенностей объектов для привязки виртуальных моделей в системе проектирования компонентов расширенной реальности 82

2.5 Методика распознавания объектов с использованием рандомных деревьев для сопоставления описания дескрипторов 87

2.6 Обучение подсистемы распознавания точечных особенностей 90

2.7 Экспериментальное исследование методики распознавания 91

2.8 Выводы по второй главе 92 ГЛАВА 3. АВТОМАТИЗИРОВАННАЯ СИСТЕМА ПРОЕКТИРОВАНИЯ КОМПОНЕНТОВ РАСШИРЕННОЙ РЕАЛЬНОСТИ 94

3.1 Выбор графического движка (engine) для системы проектирования

компонентов расширенной реальности 95

3.2 Функциональные модули программно-инструментального комплекса автоматизированной системы синтеза компонентов расширенной реальности 100

3.2.1 Базовый класс приложения OGRE 100

3.2.2 Класс приложения OGRE 101

3.2.3 Менеджер управления алгоритмами и сценариями 101

3.2.4 Менеджер управления сценой и объектами 102

3.2.5 Менеджер управления конфигурацией 103

3.2.6 Совокупность классов описания виртуальных объектов на сценах расширенной реальности 104

3.3 Архитектура системы проектирования компонентов расширенной реальности 108

3.3.1 Подсистема идентификации объектов 110

3.3.2 Подсистемы определения вида и классификации 113

3.3.3 Подсистема работы с информационными ресурсами 115

3.3.4 Подсистема визуализации 115

3.3.5 Модуль управления пользовательским интерфейсом 116

3.4 Модель среды с синтезированными компонентами расширенной реальности 117

3.5 Алгоритм функционирования системы проектирования компонентов расширенной реальности 118

3.6 Программно-аппаратное обеспечение системы 121

3.7 Выводы по третьей главе 122 ГЛАВА 4. ВНЕДРЕНИЕ И ЭКСПЛУАТАЦИЯ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ПРОЕКТИРОВАНИЯ КОМПОНЕНТОВ РАСШИРЕННОЙ РЕАЛЬНОСТИ В РАЗЛИЧНЫХ ПРЕДМЕТНЫХ ОБЛАСТЯХ 124

4.1 Виртуальный интерактивный криминалистический полигон 125

4.2 Синтез виртуальной интерактивной стоматологической лаборатории 131

4.3 Подсистема визуализации результатов мониторинга объектов ЖКХ с использованием технологии расширенной реальности 140

4.3.1 Состав и структура подсистемы мониторинга с компонентами расширенной реальности 144

4.3.2 Описание работы подсистемы мониторинга объектов ЖКХ 147

4.4 Оценка эффективности использования системы с компонентами расширенной реальности 148

4.5 Выводы по разделу 151 ОСНОВНЫЕ ВЫВОДЫ И ЗАКЛЮЧЕНИЯ 153

ЛИТЕРАТУРА 155

ПРИЛОЖЕНИЕ 1 Описание работы подсистемы мониторинга объектов ЖКХ

176

ПРИЛОЖЕНИЕ 2 Акты внедрения 185

ВВЕДЕНИЕ

Актуальность работы. Современное развитие информационных технологий предопределило создание систем виртуальной и расширенной реальности. Первая погружает пользователя в виртуальную среду, которая генерируется компьютером в интерактивном режиме, вторая «искусственно» изменяет окружающий мир с помощью виртуальных объектов. Данное направление является динамично развивающимся и востребованным в плане научных исследований.

Производительность персональных компьютеров и мобильных вычислительно-коммуникационных устройств позволяет обрабатывать цифровые аудио- и видеоданные в режиме реального времени, что существенно расширяет сферу применения методов искусственного интеллекта, технологий трехмерного моделирования, способов управления объектами виртуальной реальности, интерфейсов человеко-машинного взаимодействия. Это позволяет пользователю непосредственно участвовать в процессе синтеза, управления и визуализации объектов виртуальной и расширенной реальности, предлагая более качественное восприятие информационных и образовательных материалов.

Поэтому решение задачи разработки моделей, методик и алгоритмов автоматизированного проектирования виртуальных объектов с интеграцией их в сцены реального окружения, реализации возможности интерактивного управления ими и визуализации на мобильных вычислительных устройствах в режиме реального времени является актуальной научно-исследовательской и прикладной проблемой.

Научные исследования и результаты, изложенные в диссертации, основаны на работах И. П. Норенкова, В. А. Камаева, В. А. Сойфера, Я. А. Фурмана, М. Н. Фаворской, М. В. Фурса, А. Г. Кравец и других российских ученых, а также зарубежных ученых, среди которых, Р. Вудс, У. Прэтт, Т. Павлидис, R. Azuma, D. Zhang, М. Fiala и многие другие.

Диссертационная работа направлена на решение научной задачи, которая связана с разработкой двухуровневой модели и методики автоматизированного проектирования компонентов расширенной реальности, с привязкой виртуальных объектов к предлагаемой системе планарных маркеров и особых точек на изображениях реальных объектов, которая отличается повышенной надежностью, точностью и качеством распознавания, возможностью визуализации синтезируемых сцен на мобильных вычислительных устройствах в режиме реального времени с возможностью управления.

Актуальность исследований обусловлена появлением и широким распространением мобильных информационно-вычислительных систем нового поколения в виде смартфонов и планшетов и существующим отставанием в области создания математического и программного обеспечения для синтеза и работы с виртуальными объектами по технологии расширенной реальности с целью внедрения новых методик и технологий интерактивного «повсеместного» (и-1еагптg) обучения, а также новых способов моделирования и исследования сложных объектов, систем и процессов.

Цели и задачи исследования. Целью диссертационной работы является повышение эффективности образовательных и управленческих технологий за счет автоматизации проектирования компонентов расширенной реальности и их использования при подготовке специалистов.

Для достижения цели необходимо решить следующие задачи:

1. Провести анализ предметной области в плане исследования технологий синтеза виртуальной и расширенной реальности, способов совмещения виртуальных и реальных объектов на сценах, методов анализа, распознавания и классификации изображений, существующих планарных маркерных систем, методов обучения с использованием технологии виртуальной реальности.

2. Разработать универсальную маркерную модель в виде планарного графического изображения и методику ее распознавания в цифровом видеопотоке в режиме реального времени с целью совмещения и точной

привязки виртуальных объектов к реальному окружению в процессе синтеза сцен расширенной реальности.

3. Разработать методику идентификации точечных особенностей на изображениях физических объектов в цифровом видеопотоке в режиме реального времени с целью совмещения и точной привязки виртуальных объектов к реальному окружению в системе проектирования компонентов расширенной реальности и провести ее экспериментальное исследование.

4. Разработать архитектуру и основные модули системы автоматизированного проектирования компонентов расширенной реальности, функциями которой являются установление соответствия между виртуальными. и реальными объектами, идентификация и локализация местоположения маркеров или точечных особенностей, сбор данных, визуализация сцен расширенной реальности.

5. Разработать программно-инструментальные комплексы с компонентами расширенной реальности в виде лабораторий, полигонов и тренажеров для подготовки специалистов различного профиля и поддержки работы в сфере ЖКХ, медицины, образования.

6. Выполнить апробацию и провести экспериментальные исследования предложенной системы автоматизированного проектирования компонентов расширенной реальности, а также разработанных обучающих лабораторий и полигонов с компонентами расширенной реальности при решении управленческих и образовательных задач.

Объектом исследования диссертационной работы является автоматизированная система проектирования компонентов расширенной реальности.

Предметом исследования являются модели компонентов расширенной реальности, а также методики и алгоритмы их автоматизированного проектирования.

Методы исследований. Для решения поставленных задач использовались алгоритмы обработки цифровых изображений, методы

математического и системного анализа, методы контурного анализа, методы и алгоритмы теории распознавания образов, методы и алгоритмы трехмерного моделирования, синтеза виртуальной среды расширенной реальности, объектно-ориентированного проектирования.

Научная новизна.

1. Предложены универсальная графическая планарная модель маркера и методика ее детектирования в цифровом видеопотоке в режиме реального времени для интеграции виртуальных объектов в сцены реального мира, которая в отличие от существующих позволяет распознать и идентифицировать объект даже при перекрытии маркера до 70 %.

2. Предложена методика обнаружения и распознавания точечных особенностей на изображениях реальных объектов в цифровом видеопотоке, включающая этапы выделения, обработки, локализации особенности, идентификации контуров, распознавания, которая в отличие от аналогов позволяет сопоставлять дескрипторы объектов путем использования рандомных деревьев с учетом перспективных искажений.

3. Впервые разработаны функциональная модель системы и методика автоматизированного проектирования компонентов расширенной реальности, которая позволяет синтезировать обучающую виртуальную среду с использованием мобильных вычислительных устройств в реальной окружающей среде.

4. Разработаны архитектура и функциональные модули системы автоматизированного проектирования компонентов расширенной реальности, которая в отличие от аналогов использует мобильные клиентские приложения для сбора данных и синтеза виртуальной среды, а серверное решение - для обработки, распознавания, хранения, поиска и загрузки сложных сцен и моделей.

Практическая значимость работы.

Диссертационные исследования выполнены в рамках приоритетного направления «Информационно-телекоммуникационные системы» и

способствуют развитию критических технологий доступа к мультимедийным услугам, уменьшения последствий природных и техногенных катастроф, обработки, хранения, передачи и защиты информации».

Результаты исследований позволяют разрабатывать и внедрять технологии виртуальной и расширенной реальности в различные области знаний, в частности, для визуализации результатов автоматизированного проектирования сложных технических объектов и систем, для подготовки специалистов (врачей-стоматологов, юристов, инженеров) с использованием технологии «погружения» в виртуальную среду, для мониторинга состояния объектов инженерных коммуникаций жилищно-коммунального хозяйства РФ.

Практическая ценность заключается в разработке инновационных методик и алгоритмов синтеза элементов расширенной реальности на мобильных коммуникационных вычислительных устройствах руководителей и персонала в реальном времени при наведении объектива видеоустройства на объекты контроля и мониторинга с возможностью локализации местонахождения и передачи изображений объектов для распознавания в центр обработки и получения необходимой информации по беспроводным каналам связи.

Разработанные модели маркеров, методики и алгоритмы распознавания и синтеза элементов расширенной реальности, программно-технической системы синтеза и визуализации виртуальной реальности могут быть использованы для решения задач «компьютерного» зрения в различных отраслях, при создании современных интеллектуальных систем поддержки принятия решений, систем автоматизированного проектирования и производства, автоматизированных систем мониторинга, управления и диспетчеризации. В работе даны практические рекомендации по внедрению результатов исследований и примеры их реального применения в сферах ЖКХ, образования, медицины.

Достоверность и обоснованность результатов. Обоснованность и адекватность разработанного адаптивного алгоритма подтверждается корректностью использования математического аппарата, их практической

реализацией, соответствующими выводами по итогам теоретического анализа путем сравнения результатов работы общеизвестных алгоритмов с предлагаемыми в работе, итогами экспериментальных исследований, полученных с помощью тестовой системы.

Соответствие паспорту специальности.

Работа выполнена в соответствии с паспортом специальности ВАК РФ 05.13.12 - Системы автоматизации проектирования, пункты 4, 5 и 8.

На защиту выносятся:

1. Модель маркера и методика ее детектирования в цифровом видеопотоке в режиме реального времени.

2. Методика обнаружения и распознавания точечных особенностей на изображениях реальных объектов в видеопотоке.

3. Модель системы и методика автоматизированного проектирования компонентов расширенной реальности.

4. Архитектура и функциональные модули системы автоматизированного проектирования компонентов расширенной реальности.

Внедрение результатов работы и связь с научными программами. Диссертационные исследования проводились на кафедре «Системы автоматизированного проектирования» Пензенского государственного университета (ПГУ) и выполнялись в процессе ряда НИР федеральных и ведомственных целевых программ: «Исследование методов и принципов управления информационными процессами в сенсорных и ячеистых сетях нового поколения»; «Методы управления потоками мультимедийной информации в самоорганизующихся ячеистых сетях», «Теоретические и алгоритмические основы позиционирования, мониторинга и визуализации состояния мобильных объектов в информационном пространстве на основе самоорганизующихся беспроводных сетей».

Результаты исследования внедрены в эксплуатацию при создании виртуального кабинета для обучения подготовки стоматологов в медицинском институте Пензенского государственного университета, для создания

подсистемы визуализации результатов мониторинга распределенных инженерных коммуникаций в муниципальном предприятии «Гортеплосеть» г. Кузнецка Пензенской области и для отработки приемов работы и получения практических навыков с элементами деловой игры в Пензенском филиале Российск