автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Модели, методы и инструментальные сервисы для создания профессиональных виртуальных облачных сред

На правах рукописи

Федорищев Леонид Александрович

МОДЕЛИ, МЕТОДЫ И ИНСТРУМЕНТАЛЬНЫЕ СЕРВИСЫ ДЛЯ СОЗДАНИЯ ПРОФЕССИОНАЛЬНЫХ ВИРТУАЛЬНЫХ ОБЛАЧНЫХ СРЕД

05.13.11 — математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат

диссертации на соискание ученой степени кандидата технических наук

21 НОЯ 2013

С/

Владивосток — 2013

005538633

005538633

Работа выполнена в лаборатории интеллектуальных систем Федерального государственного бюджетного учреждения науки Института автоматики и процессов управления ДВО РАН.

Научный руководитель: Грибова Валерия Викторовна,

доктор технических наук

Официальные оппоненты: Бобков Валерий Александрович,

доктор технических наук, старший научный сотрудник, заведующий лабораторией машинной графики ИАПУ ДВО РАН

Фищенко Виталий Константинович кандидат технических наук, старший научный сотрудник, заведующий лабораторией анализа океанологической информации ТОЙ ДВО РАН

Ведущая организация: Институт систем информатики имени

А.П.Ершова Сибирского отделения РАН (г. Новосибирск)

Защита состоится 13 декабря 2013 года в 10 часов на заседании диссертационного совета Д 005.007.01 в Федеральном государственном бюджетном учреждении науки Институте автоматики и процессов управления ДВО РАН по адресу: 690041, г. Владивосток, ул. Радио 5.

С диссертацией можно ознакомиться в библиотеке Института автоматики и процессов управления ДВО РАН.

Автореферат разослан ■•?£ ноября 2013 г.

Ученый секретарь

диссертационного совета Д 005.007.01, д.т.н. А.ВЛебедев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время виртуальные среды активно используются в образовании, военной области, медицине, индустрии развлечений, бизнесе, инженерии, спорте, социальных сферах. Виртуальная среда - это компьютерная модель фрагмента реального мира, имитирующая процессы явления или события, которые могут в нем происходить под воздействием различных факторов. По типу взаимодействия с пользователем виртуальные среды могут быть разделены на неинтерактивные и интерактивные. Неинтерактивные среды предназначены для наблюдения, демонстрации каких-либо явлений или процессов, пользователь в таких средах выступает в качестве зрителя; в интерактивных средах пользователь может активно взаимодействовать с элементами среды, изменяя ее. По требованиям к профессиональной подготовке их пользователей виртуальные среды можно разделить на среды общего назначения и профессиональные. Характерными особенностями виртуальных сред общего назначения (типичный представитель - компьютерные игры) является отсутствие каких-либо требований к профессиональной подготовке их пользователей; в них заранее определяется логика работы приложения, которая, как правило, в процессе использования мало подвержена изменениям; для таких сред характерна также коммерческая направленность реализации, что позволяет привлечь достаточно большой бюджет к разработке таких сред. Профессиональные виртуальные среды предназначены для решения задач в некоторой предметной области подготовленными специалистами, их основу составляют предметные знания, которые подвержены частым изменениям, а бюджет при их разработке, за редким исключением, очень мал.

В общем случае процесс создания виртуальной среды состоит из нескольких основных этапов: разрабатываются ЗЭ-модели объектов виртуального мира, для большинства моделей объектов описываются сценарии их поведения и возможного изменения отображения в виртуальной среде; затем из разработанных объектов формируется виртуальная среда (виртуальное окружение) - определяется положение объектов относительно друг друга, их размер, повороты и другие необходимые атрибуты; отдельной трудоемкой задачей является описание возможных сценариев как влияния объектов друг на друга, так и изменения виртуального мира при воздействии на него пользователя; функционал некоторых интерактивных сред требует включения оценки действий пользователя при его взаимодействии с виртуальным миром.

На сегодняшний день существуют различные специализированные и универсальные инструментальные средства, пакеты прикладных программ, библиотеки для создания виртуальных сред общего назначения: Дельфин, ToolBook, Lectora, CAVE, WorldToolKit, Avango, Lightning, Juggler, Unity3D, Virtools, Alternativa3D, Flare3D и многие другие. Значительный вклад в разработку и исследование методов и средств создания виртуальных сред внесли российские и зарубежные ученые: Беневоленский С.Б., Бобков В.А., Борзых A.A., Борисов В.Г., Вавилова Н.И., Валькман Ю.Р., Гаммер М.Д., Данилова С.К., Дзюбенко O.JL, Донской А.Н., Коженков А.О., Марченко А.Л., Сук А.Ф., Трухин A.B., Филатова Н.И., Чинакал В.О., Bierbaum А., Craig A., Cruz-Neira С., Erlbaum L., Ghee S., Jacko J., Just C., Hale K., Hansen K., Sears A., Stanney K., Sherman W., Vincenti G., Will J. и другие.

Особенностью профессиональных виртуальных сред является то, что они содержат предметные знания; их носителями являются эксперты предметной области, которые должны эти знания формировать и сопровождать. В архитектуре таких систем выделяется специализированный компонент (база знаний) и используется специализированная технология разработки, включающая экспертов и поддерживаемая специализированным инструментарием.

Однако в настоящее время неизвестны специализированные средства для разработки именно профессиональных виртуальных сред. Использование инструментов общего назначения для создания профессиональных виртуальных сред делает процесс их разработки и особенно сопровождения чрезмерно трудоемким и дорогим. Все имеющиеся средства ориентированы на использование программистами, иногда совместно с дизайнерами; процесс разработки связан с программированием нетривиальных скриптов или программ на языках программирования с последующей сборкой и компиляцией. Часто для разработки требуется использовать несколько различных библиотек и инструментальных средств и затем собирать из них единую систему. Включение в процесс разработки экспертов предметной области возможно только в качестве консультантов, а не полноправных его участников. Любое изменение требует трудоемкого перепрограммирования, последующей сборки и компиляции виртуальной среды. Отдельной проблемой является обеспечение широкой доступности через Интернет как средств разработки и сопровождения таких виртуальных сред, так и готовых реализаций.

Указанные выше факторы определяют актуальность теоретических и прикладных исследований диссертации, направленных на решение проблемы создания и сопровождения профессиональных виртуальных облачных сред.

Целью диссертационной работы является разработка моделей, методов и инструментальных сервисов для создания и сопровождения профессиональных виртуальных облачных сред.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработать общие принципы разработки инструментального сервиса, обеспечивающего создание, функционирование и сопровождение профессиональных виртуальных облачных сред.

2. Разработать онтологию профессиональной виртуальной среды и основанную на ней декларативную модель профессиональной виртуальной среды.

3. Разработать методы интерпретации декларативной модели профессиональной виртуальной среды.

4. Разработать методы реализации инструментальных сервисов для проектирования, интерпретации и сопровождения профессиональных виртуальных облачных сред.

5. Разработать технологию проектирования и сопровождения профессиональных виртуальных облачных сред и выполнить ее экспериментальную проверку.

Методы исследования. В работе использовались методы, базирующиеся на аппарате теории множеств, компьютерной графики, системного анализа, искусственного интеллекта, объектно-ориентированного анализа и проектирования, а также методы веб-программирования. Научная новизна работы состоит в следующем:

1. Предложены принципы создания и сопровождения профессиональных виртуальных облачных сред, в соответствии с которыми проектирование, реализация и сопровождение такой среды заменяется проектированием и сопровождением ее декларативной модели с последующей интерпретацией; этап кодирования на языке программирования в зависимости от конкретной виртуальной среды либо сводится к минимуму, либо отсутствует.

2. Разработана онтология профессиональной виртуальной среды, состоящая из трех основных компонентов: объектов виртуального мира; действий, которые можно производить с объектами виртуальной среды; сценария возможных действий пользователя для получения результата, определяемого обучающим заданием. В онтологии явно выделено два уровня: логический и презентационный.

3. Предложены различные типы моделей профессиональных виртуальных облачных сред, которые являются, во-первых, декларативными, во-

вторых, формируются по онтологии, в-третьих, благодаря наличию логического и презентационного уровня в онтологии позволяют не только включить в разработку и сопровождение декларативной модели экспертов предметной области и дизайнеров, но также и разделить работу между ними.

4. Впервые разработан метод интерпретации декларативной модели виртуальной среды, заключающийся в определении способа построения виртуальной сцены, определении схем работы клиентской и серверной частей, обработки событий и сообщений, способов хранения данных.

Практическая ценность и реализация результатов работы. Практическая значимость полученных в диссертационной работе результатов заключается в том, что разработанный комплекс программных средств (облачных сервисов) позволяет создавать и сопровождать профессиональные виртуальные облачные среды на основе декларативного подхода с включением в процесс разработки экспертов предметной области.

Создана технология проектирования и сопровождения профессиональных виртуальных сред с использованием разработанных программных средств.

На основе предложенной технологии с помощью разработанного комплекса программных средств реализованы профессиональные виртуальные облачные среды: компьютерные обучающие тренажеры по классическим методам исследования в офтальмологии, виртуальная химическая лаборатория, моделирование городского района.

Компьютерные обучающие тренажеры внедрены в учебный процесс Тихоокеанского государственного медицинского университета на кафедре офтальмологии и оториноларингологии для обучения студентов лечебного факультета по курсу "офтальмология" и дистанционного обучения врачей.

Программный комплекс использовался в Дальневосточном федеральном университете для выполнения междисциплинарных курсовых проектов.

Разработанные виртуальные среды и программные средства для их разработки и сопровождения доступны для использования на платформе IACPaaS1 (Intellectual Applications, Control and Platform as a Service) как облачные сервисы.

1 Грибова В В., Клещев А.С., Крылов Д А., Москаленко Ф.М., Смагин С.В., Тимченко В.А., Тютюнник М Б., Шапфеева Е.А. Проект IACPaaS. Комплекс для интеллектуальных систем на основе облачных вычислений // Искусственный интеллект и принятие решений. 2011. № 1. С.27-35.

Положения, выносимые на защиту:

1. Принципы построения профессиональных виртуальных сред как облачных сервисов.

2. Онтология профессиональной виртуальной среды.

3. Декларативная модель профессиональных виртуальных сред.

4. Метод интерпретации декларативной модели.

5. Комплекс программ и технология его применения для построения профессиональных виртуальных облачных сред.

Обоснованность и достоверность полученных результатов обеспечиваются корректным применением использованных в работе методов исследования и подтверждаются эффективным практическим применением предложенных в диссертации моделей, методов и программных средств.

Апробация работы. Основные положения диссертации докладывались и обсуждались на следующих международных и российских конференциях и семинарах: Международной конференции "Modern (е-) Learning" (г. Варна, Болгария, 2011, 2013), Международной конференции "Информационно-коммуникационные технологии в образовании "Образование и Виртуальность 2011" (г. Ялта, Украина, 2011), II и III Международной конференции по физиологии и медицине «Высокие технологии, фундаментальные и прикладные исследования в физиологии, фармакологии и медицине», (г. Санкт-Петербург, 2011, 2012), Международной конференции "Новые информационные технологии в образовании" (г. Екатеринбург, 2012), XI Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (г. Улан-Удэ, 2012), Тринадцатой национальной конференции по искусственному интеллекту с международным участием (г. Белгород, 2012), Международной конференции International Conference on Intelligent Computing (г. Хан-шань, Китай, 2012), XIX Международной заочной научно-практической конференции «Технические науки — от теории к практике» (г. Новосибирск, 2013), Конкурсе научных работ молодых ученых и специалистов ИАПУ ДВО РАН (г. Владивосток, 2012), а также на семинарах лаборатории интеллектуальных систем ИАПУ ДВО РАН (2010 - 2013 гг.).

Публикация результатов работы. По материалам диссертации опубликовано 18 работ, из них 4 статьи в журналах, входящих в перечень ВАК РФ.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы, включающего 138 наименований, и четырех приложений. Основное содержание работы изложено на 140 страницах машинописного текста, содержит 40 рисунков и 1 таблицу.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выполненных в диссертации исследований, сформулированы цель и задачи работы, рассмотрены научная новизна, практическая ценность результатов, приведены сведения об апробации и реализации основных положений диссертации, изложена структура диссертационной работы.

Первая глава содержит обзор литературы. В ней дано определение виртуальной среды, типы и характеристики виртуальных сред, области применения. Проведен анализ современного состояния исследований и разработок в области создания виртуальных сред. Рассмотрены и проанализированы как инструментальные средства и технологии, применяемые для разработки виртуальных сред, так и существующие программные системы с виртуальной реальностью. На основе проведенного обзора определена цель и основные задачи диссертационной работы.

Во второй главе диссертации представлены основные принципы создания и концептуальная архитектура инструментария для разработки и функционирования профессиональных виртуальных сред, программные и информационные компоненты инструментального комплекса. Описана онтология и различные типы декларативных моделей профессиональной виртуальной среды.

Основными принципами создания и сопровождения профессиональных виртуальных облачных сред являются:

1. Автоматизация процесса разработки профессиональной виртуальной среды (ЛВС). Для реализации данного принципа предложено заменить проектирование, реализацию и сопровождение ПВС на языке программирования проектированием и сопровождением декларативной модели ПВС с последующей ее интерпретацией, сведя к минимуму либо исключив (в зависимости от конкретной виртуальной среды) этап кодирования на языке программирования.

2. Включение в процесс разработки специалистов разного профиля -экспертов предметной области, дизайнеров, программистов и разделение работы между ними. Для реализации данного принципа предложено создать онтологию виртуальной среды, выделить в ней логический и презентационный уровни, в терминах которой разработчики ПВС будут формировать и сопровождать модель ПВС. Создание моделей осуществлять через структурный и графический редакторы, управляемые онтологией.

3. Использование как средства разработки ПВС, так и готового приложения как облачных сервисов. Разработка ПВС и использование

готового приложения как облачных сервисов не требует их установки на компьютере пользователя или разработчика, не предъявляет никаких дополнительных условий к операционной системе, оперативной памяти и др. техническим требованиям их компьютеров. Очень важно использование данной технологии для обеспечения жизнеспособности готового приложения, поскольку в процессе всего жизненного цикла модель ПВС доступна для сопровождения. Практически только эта технология и позволяет обеспечить модифицирование модели в процессе ее использования. Удаленное использование позволяет не только расширить аудиторию пользователей средства, но также и привлекать разработчиков независимо от их географического расположения.

В соответствии с представленными принципами разработана концептуальная архитектура программного комплекса (см. рис. 1). Программный комплекс состоит информационных и программных компонентов. Информационными компонентами комплекса являются: онтология профессиональной виртуальной среды, декларативная модель, мультимедиа-данные, внешние функции. Программными компонентам комплекса являются: структурный и графический редакторы модели; редактор функций; интерпретатор.

Разработчики

Эксперты Дизайнеры Программисты

Рис. 1. Концептуальная архитектура программного комплекса

Онтология профессиональной виртуальной среды состоит из трех основных компонентов: объектов, действий и сценария.

Объекты = {Простой объект, Изменяемый объект, Составной объект, Таблица, Источник света, Камера}, 0 <= I <= количество объектов

Простой объект = <Имя объекта, Описание, Логические атрибуты, Презентационные атрибуты >

Имя объектае Строка, имя объекта, его идентификатор, по которому к нему можно получить доступ

Логические атрибуты = {Логический атрибут}-,, 0 <= 1 <= количество логических атрибутов

Логический атрибут = <Имя е Строка, Значение е Типы данных> <...>

Действия -- /Действие; | Действие; е Действие^, 0 <= 1 <= количество действий Действие = <Имя действия, Описание, Способы выполнения, Входные параметры, Изменение состояния объектов, Получение оценки, Параметры обработки, Сообщение>

Входные параметры = {Входной параметр/ | Входной параметр, е Параметр}, 1<= 1 <= количество входных параметров

Параметр = <'-Значение, Ожидаемое значение, Операция сравнения> Операция сравнения с {=, !=, >, <, >=, <=} <...>

Сценарий = <Имя сценария, Этапы, Последовательность этапов> Этапы = {Этап }„ 0 <= 1 <= количество этапов

Этап = <Входные параметры, Вершины, Дуги, Начальная вершина, Конечная вершина>

Вершины = {Вершина! е Вершина}, 0 < \ <= количество вершин Дуги = {Дуга, е Дуга}, 0 < I <= количество дуг Вершина = <Действие, Параметр>

Дуга=<Веришна, из которой выходит дуга, Вершина, вкоторую входит дуга, Переход> <...>

На основе этой онтологии (ее полное описание дано в диссертационной работе) строится декларативная модель, состоящая из множества объектов виртуальной среды, множества действий, которые можно осуществлять с этими объектами и сценария.

Декларативные модели делятся на следующие основные типы в соответствии аналогичными типами самих виртуальных сред: неинтерактивные и интерактивные. Неинтерактивные, в свою очередь, делятся на статичные и анимационные. Неинтерактивные модели - это модели статичных виртуальных сред, предназначенных для наблюдения и

демонстрации. Интерактивные модели делятся на интерактивные с контролем и без контроля. Интерактивные модели предназначены для взаимодействия с пользователем. В интерактивных средах с контролем дополнительно описывается сценарий проверки выполненных действий.

В третьей главе диссертации описывается модель интерпретации виртуальной среды. Рассматривается клиент-серверная архитектура построения программного комплекса, способы хранения данных и обмен данными, процесс отображения декларативной модели в программную форму представления. Архитектура интерпретатора состоит из функциональных блоков на веб-клиенте, функциональных блоков на сервере и информационных ресурсов, используемых при интерпретации. Функциональный блок веб-клиента выполняет отображение виртуальной сцены и взаимодействие с пользователем. Серверный функциональный блок выполняет логическую обработку данных (см. рис. 2).

Интерпретация виртуальной среды состоит из нескольких шагов. Первым шагом является инициализация декларативной модели на сервере: запускается управляющий блок, который производит загрузку модели, ее преобразование, сохранение во временное состояние и передачу веб-клиенту. В веб-клиенте по переданной модели генератор сцены строит трехмерную виртуальную сцену: генерируются объекты сцены, загружаются необходимые медиа-данные (Зс1-модели, текстуры), с объектами связываются анализаторы событий, устанавливается управление сценой и т.д.

Инфо ресурсы

Медиа-данные

Модель

Модель в состояни

Внешние функции

Интерпретатор

Серверное приложение

Управляющий блок серверного приложения

Обработчик (Обработчик события)

г

(Обработчик действия) (Обработчик сценарий

Веб-клиент

Генератор сцены

Управляющий блок веб-клиента

г

Пользователь

Рис. 2. Схема интерпретации декларативной модели 11

Инициализация, обработка действий, обработка сценария есть отображение элементов декларативной модели в вызов соответствующего блока кода интерпретатора с абстрактными функциями. Например:

Простой объект = <Имя, Описание, Презентационные атрибуты> = <Имя, Описание, <Модель, Текстура, Координаты, Повороты,

Масштабы»

=>

{

Создать_объект (Имя, Описание)

Отобразить_простой_объект (Модель, Текстуры,

Презентационные атрибуты)

}

Отображение объекта выполняется функцией:

Отобразить_объект (Модель, Текстуры, Презентационные

атрибуты)

{

Загрузить модель (Модель)

Загрузить_текстуры (Тгкстуры)

Трансформировать_объект (Презентационные атрибуты)

}

Полное описание методов интерпретации и схем отображения представлено в тексте диссертации.

В четвертой главе диссертации описываются методы реализации программного комплекса на основе рассмотренной в предыдущих главах архитектуры, обсуждается выбор технологий и средств реализации.

Реализация программного комплекса выполнена на платформе IACPaaS, которая позволила решить ряд поставленных к программному комплексу требований. Информационные и программные ресурсы комплекса, включая онтологию, декларативные модели, медиа-данные, внешние функции, реализованные как агенты, редакторы, интерпретатор, располагаются в фонде платформы IACPaaS. Все информационные ресурсы — онтология, декларативные модели, данные (включая временные), имеют унифицированное представление в форме семантических сетей. Программные компоненты комплекса, включая редакторы и интерпретатор, реализованы как сервисы платформы IACPaaS на основе мультиагентного подхода на языке программирования Java. Агенты реализованных сервисов обмениваются информацией друг с другом помощью сообщений.

Веб-клиенты графического редактора и интерпретатора реализуются как Flash-модули, встраиваемые в веб-страницу и отображаемые

пользователю в браузере. Генерация трехмерной виртуальной сцены происходит с применением Flash-библиотеки Alternativa3D, использующей технологию Molehill. Страница с Flash-модулем загружается один раз и более не обновляется сервером. Flash-модуль работает на странице пользователя как непрерывный процесс, постоянно обновляющий динамически изменяющуюся трехмерную виртуальную среду.

Взаимодействие между веб-клиентом и сервисом платформы происходит путем передачи асинхронных сообщений серверному агенту, ответственному за обработку событий, и фонового ожидания от него результирующих сообщений. Форматом, в который преобразуется декларативная модель виртуальной среды для обмена сообщениями с веб-клиентом, является формат JSON.

Сервисы интерпретатора и графического редактора включают по два агента: инициализирующий агент и обрабатывающий интерфейсный агент. Всего для этих агентов реализовано 18 видов сообщений на языке Java.

Примеры сообщений интерфейсному агенту интерпретатора:

• load. Сообщение, предназначенное для загрузки декларативной модели

• download. Сообщение для загрузки файла ресурса с сервера

• loadLibModel. Сообщение для загрузки Зd-мoдeли из библиотеки

• action. Сообщение для обработки действия пользователя

• initExercise. Сообщение для инициализации упражнения, выбранного пользователем.

Аналогичные сообщения для других агентов интерпретатора и графического редактора представлены в диссертационной работе.

Для реализации веб-клиентов интерпретатора и графического редактора написано 56 классов на языке ActionScript.

В пятой главе диссертации описана технология разработки и использования профессиональных виртуальных сред с помощью программного комплекса, а также описаны ПВС, реализованные с его помощью.

Для разработки декларативной модели экспертам предметной области предоставляется структурный редактор для формирования логического представления декларативной модели виртуальной среды, являющийся одним из сервисов платформы IACPaaS.

Дизайнеры добавляют к декларативной модели необходимые медиа-данные: Зd-мoдeли, текстуры; размещают, поворачивают и масштабируют объекты сцены необходимым образом. Для этих задач дизайнерам предоставляется графический 3d-peflaKTop, разработанный в рамках

диссертационной работы, и являющийся одним из сервисов платформы 1АСРаа8.

Программисты могут расширить функционал интерпретатора профессиональной виртуальной среды, реализовав необходимые дополнительные модули в виде агентов и сделав на них ссылки в декларативной модели.

Экспериментальное исследование программного комплекса производилось в ходе разработки следующих виртуальных сред: компьютерного обучающего тренажера для офтальмологии и виртуальной химической лаборатории, демонстрационного проекта городского района. Компьютерный обучающий тренажер включает обучающие задания по классическим методам исследования в офтальмологии: определение клинической рефракции (скиаскопии), исследование поля зрения методом кампиметрии, определение остроты зрения по таблицам Сивцева, Головина, определению остроты зрения по оптотипам Б.Л. Поляка, и другие. В настоящее время компьютерный обучающий тренажер внедрен на кафедре офтальмологии и оториноларингологии для обучения студентов лечебного факультета по курсу "офтальмология" и дистанционного обучения врачей Виртуальная химическая лаборатория предназначена для безопасного проведения химических опытов и экспериментов из школьной практики.

Рис. 3. Примеры виртуальных сред

Демонстрационный проект городского района предназначен для визуальной интерактивной демонстрации объектов запланированного под строительство нового жилого комплекса и позволяет показать клиентам все преимущества покупки недвижимости в данном районе. На рис. 3 представлены примеры виртуальных сред.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. На основе анализа современных проблем при разработке профессиональных виртуальных сред предложены новые принципы их разработки и функционирования. В соответствии с этими принципами проектирование, реализация и сопровождение профессиональной виртуальной среды (ПВС) на языке программирования заменяется проектированием и сопровождением декларативной модели ПВС с последующей ее интерпретацией, при этом этап кодирования на языке программирования в зависимости от конкретной виртуальной среды либо сводится к минимуму, либо отсутствует; в процесс разработки включаются дизайнеры и эксперты предметной области, которые формируют модель ПВС по ее онтологии; средство разработки модели ПВС и сама виртуальная среда предоставляются разработчикам и пользователям как облачные сервисы.

2. Разработана онтология профессиональной виртуальной среды, включающая описание объектов, действий, сценариев. В онтологии выделены логический и презентационный уровни, позволяющие не только включить в разработку дизайнеров и экспертов предметной области, но также и разделить работу между ними.

3. Разработаны и классифицированы различные типы моделей профессиональных виртуальных сред: неинтерактивные статичные, предназначенные для демонстрации каких-либо предметов, статичных сцен; неинтерактивные анимационные, в которых объекты сцены имеют анимацию; интерактивные виртуальные среды без контроля — среды, позволяющие пользователю взаимодействовать с объектами сцены, получая от них обратную реакцию; интерактивные с контролем - среды, в которых анализируются действия пользователя и выдается объяснение полученных результатов.

4. Разработаны методы интерпретации модели ПВС, которые включают в себя создание виртуальной сцены, обработку событий, изменение объектов сцены. Определен механизм взаимодействия между клиентской и серверной частью виртуальной интерактивной среды, форматы сообщений между различными модулями, механизм хранения данных.

5. Разработаны методы реализации инструментального комплекса. Реализован интерпретатор, клиентский и серверный модули инструментария. Разработан 3 соредактор для создания трехмерных сцен виртуальных сред. Реализованный инструментальный комплекс работает как облачный сервис на базе платформы ¡АСРааБ.

6. Разработана технология создания профессиональных виртуальных сред с помощью реализованного инструментального сервиса для различных

специалистов: экспертов предметной области, дизайнеров, программистов. Совместно с экспертами предметной области разработаны следующие облачные сервисы: компьютерный обучающий тренажер по классическим методам офтальмологии, виртуальная химическая лаборатория, виртуальная демонстрация городского района.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Федорищев Л.А. Мультитекстурирование с помощью шейдеров // Программные продукты и системы. - 2013. -№ 1. - С.58-61.

2. Грибова В.В., Петряева М.В., Федорищев Л.А. Разработка виртуального мира медицинского компьютерного обучающего тренажера // Дистанционное и виртуальное обучение. - 2011. - № 9. - С. 56-66.

3. Грибова В.В., Федорищев Л.А. Обучающие виртуальные системы и средства их создания // Вестник информационных и компьютерных технологий. - 2012.-№3.-С. 48-51.

4. Грибова В.В., Федорищев Л.А. Интернет-комплекс для создания обучающих систем с виртуальной реальностью // Дистанционное и Виртуальное Обучение. - 2012. -№ 7. - С. 4-12.

5. Федорищев Л.А. Применение шейдеров AGAL для задач текстурирования в 3D Интернет-приложениях // Материалы XI Всероссийской научно-технической конференции "Теоретические и прикладные вопросы современных информационных технологий". - Улан-Удэ: Изд-во ВСГУТУ, 2012. - С. 96-100

6. Грибова В.В., Федорищев Л.А. Инструментальный сервис для создания виртуальных интерактивных облачных сред // Information Technologies & Knowledge. - 2013. - Vol .7, №3. - Pp. 277-281.

7. Gribova V.V., Fedorischev L.A. The architecture of Internet Software environment for creating teachware with Virtual reality // Emerging Intelligent Computing Technology and Applications. - Springer Berlin Heidelberg, 2012. Vol. 304, № ll.-Pp. 394-399.

8. Грибова B.B., Федорищев Л.А. Обучающие виртуальные системы на основе онтологий и трехмерной компьютерной графики // Материалы 13-й Международной конференции «Образование и виртуальность-2011». -Харьков-Ялта: УАДО, 2011. Выпуск 13. - С. 103-111.

9. Грибова В.В., Петряева М.В., Федорищев Л.А., Черняховская М.Ю. Модель виртуального мира мультимедиа тренажера для медицинского образования // International Book Series "Information Science and Computing", Sofia, Bulgaria, 2011. -№22. - Pp. 140-148.

10. Грибова В.В., Петряева М.В., Федорищев Л.А., Черняховская М.Ю. Структура формального представления объектов в компьютерных диагностических тренажерах // Сборник статей Второй международной научно-практической конференции "Высокие технологии, фундаментальные и прикладные исследования в физиологии и медицине". - СПб: Изд-во Политехи, ун-та, 2011. - Т. 2. - С. 103-105.

11. Грибова В.В., Федорищев Л.А. Виртуальная реальность в образовании: система разработки интернет-проектов И Материалы международной научно-практической конференции "Новые информационные технологии в образовании". - Екатеринбург: ФГАОУ ВПО «Рос. гос. проф.-пед. ун-т», 2012. - С.116-118.

12. Грибова В.В., Петряева М.В., Федорищев Л.А., Черняховская М.Ю. Формализация методов исследования в офтальмологии для компьютерных диагностических тренажеров // Сборник статей Третьей международной научно-практической конференции «Высокие технологии, фундаментальные и прикладные исследования в физиологии и медицине». - СПб.: Изд-во Политехи, ун-та, 2012. - Т.2. - С.191-195.

13. Грибова В.В., Федорищев Л.А. Интерпретатор проекта виртуальной среды для интерактивных компьютерных систем в Интернете // Материалы XIX международной заочной научно-практической конференции «Технические науки — от теории к практике». - Новосибирск: Изд. "СибАК", 2013. - С. 7-14.

14. Петряева М.В., Федорищев Л.А. Формализация методов исследования в неврологии для медицинских интеллектуальных систем // Материалы Всероссийской научной Интернет-конференции с международным участием "Современные системы искусственного интеллекта и их приложения в науке". — ИП Синяев Д.Н., 2013. - С.62-65.

15. Грибова В.В., Петряева М.В., Федорищев Л.А., Черняховская М.Ю. Модель объектов виртуального мира для диагностических медицинских компьютерных тренажеров. - Владивосток: ИАПУ ДВО РАН, 2010. - 24 с.

16. Грибова В.В., Петряева М.В., Федорищев Л.А., Черняховская М.Ю. Формальное представление методов исследования в офтальмологии для медицинских обучающих систем 4.1. - Владивосток: ИАПУ ДВО РАН, 2012. -28 с.

17. Грибова В.В., Петряева М.В., Федорищев Л.А., Черняховская М.Ю. Формальное представление методов исследования в офтальмологии для медицинских обучающих систем 4.2. - Владивосток: ИАПУ ДВО РАН, 2012. -36 с.

18. Gribova V.V., Fedorischev L.A. Internet Software Environment for Creating Teachware with Virtual Reality // Communications in Information Science and Management Engineering. - Hong Kong: World Academic Publishing Company, 2012. - Vol. 2, № 8. - Pp. 25-29.

Личный вклад автора. Все результаты, составляющие основное содержание диссертации, получены автором самостоятельно. В работах [3, 8, 15] автором предложена концептуальная идея по замене разработки виртуальной среды на языке программирования разработкой ее декларативной модели и последующей интерпретацией. В работах [9, 10, 12] автору принадлежит разработка онтологии декларативной модели профессиональных виртуальных сред. В работах [4, 11] автору принадлежит разработка архитектуры программного комплекса. В работах [2, 16, 17] автору принадлежит реализация прототипа компьютерного обучающего тренажера. В работе [14] автору принадлежит разработка и классификация различных типов декларативных моделей. В работах [13, 7, 18] автору принадлежит разработка методов интерпретации виртуальных сред. В работе [6] автором разработан и реализован программный комплекс для создания виртуальных сред, а также технология их создания.

Федорищев Леонид Александрович

Модели, методы и инструментальные сервисы для создания профессиональных виртуальных облачных сред

Автореферат

Подписано к печати: 07.11.2013 Усл. печ. л. 1,0 Уч.-изд. л. 0,8 Формат 60x84/16 Тираж 100 Заказ 12

Издано ИАПУ ДВО РАН. Владивосток, Радио, 5 Отпечатано участком оперативной печати ИАПУ ДВО РАН Владивосток, Радио, 5

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ ИНСТИТУТ АВТОМАТИКИ И ПРОЦЕССОВ УПРАВЛЕНИЯ ДАЛЬНЕВОСТОЧНОГО ОТДЕЛЕНИЯ РОССИЙСКОЙ АКАДЕМИИ НАУК

МОДЕЛИ, МЕТОДЫ И ИНСТРУМЕНТАЛЬНЫЕ СЕРВИСЫ ДЛЯ СОЗДАНИЯ ПРОФЕССИОНАЛЬНЫХ ВИРТУАЛЬНЫХ ОБЛАЧНЫХ

СРЕД

05.13.11 - математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

На правах рукописи

04201450642

Федорищев Леонид Александрович

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель -д.т.н. В.В. Грибова

Владивосток 2013

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ........................................................................................................................................4

ГЛАВА 1. ВИРТУАЛЬНЫЕ ИНТЕРАКТИВНЫЕ СРЕДЫ И ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ДЛЯ ИХ РАЗРАБОТКИ. ОБЗОР ЛИТЕРАТУРЫ..................................................12

1.1. Виртуальные среды. Общие понятия.................................................................................12

1.2. Средства разработки виртуальных сред.............................................................................19

1.3. Выводы из обзора существующих средств.......................................................................30

ГЛАВА 2. АРХИТЕКТУРА ИНСТРУМЕНТАРИЯ ДЛЯ РАЗРАБОТКИ

ПРОФЕССИОНАЛЬНЫХ ВИРТУАЛЬНЫХ СРЕД. ОНТОЛОГИЯ И МОДЕЛЬ

ПРОФЕССИОНАЛЬНОЙ ВИРТУАЛЬНОЙ СРЕДЫ..................................................................32

2.1. Основные принципы создания инструментария для разработки и функционирования профессиональных виртуальных сред.......................................................................................32

2.2. Концептуальная архитектура инструментального комплекса.........................................34

2.3. Онтология виртуальной среды............................................................................................36

2.4. Сценарий...............................................................................................................................51

2.5. Декларативная модель.........................................................................................................56

2.6. Выводы..................................................................................................................................63

ГЛАВА 3. ИНТЕРПРЕТАТОР ПРОФЕССИОНАЛЬНОЙ ВИРТУАЛЬНОЙ СРЕДЫ.............65

3.1. Архитектура интерпретатора.............................................................................................65

3.2. Интерпретация на клиенте...................................................................................................67

3.2.1. Построение виртуальной среды...................................................................................67

3.2.2. Обработка действий......................................................................................................74

3.3. Интерпретация на сервере...................................................................................................77

3.3.1. Загрузка проекта и отправка его клиенту...................................................................77

3.3.2. Обработка действий, переданных с клиента...............................................................77

3.3.3. Вызов внешних функций для обработки событий.....................................................79

3.3.4. Обработка сценария для выполненного действия......................................................80

3.3.5. Обновление информации о текущем состоянии модели...........................................83

3.4. Хранение и обмен информацией.........................................................................................83

3.5. Выводы..................................................................................................................................84

ГЛАВА 4. МЕТОДЫ РЕАЛИЗАЦИИ ПРОГРАММНОГО КОМПЛЕКСА...............................85

4.1. Требования к реализации программного комплекса.......................................................85

а. Технологии для реализации программного комплекса...................................................87

4.2.1. Технологии реализации серверной части программного комплекс.........................87

4.2.2. Технологии реализация клиентской части программного комплекса....................90

4.3. Платформа 1АСРаа8.............................................................................................................92

4.4. Методы реализации программного комплекса..................................................................95

4.4.1. Структурный редактор для формирования логического представления модели .. 95

4.4.2. Графический ЗЭ-редактор для формирования презентационного представления модели.......................................................................................................................................97

4.4.3. Интерпретатор.............................................................................................................106

4.5. Сравнительные характеристики программного комплекса...........................................115

4.6. Выводы................................................................................................................................117

ГЛАВА 5. ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОФЕССИОНАЛЬНОЙ ВИРТУАЛЬНОЙ

СРЕДЫ............................................................................................................................................118

5.1. Технология разработки модели........................................................................................118

5.2. Использование профессиональных виртуальных сред...................................................130

5.3. Экспериментальное исследование программного комплекса........................................131

5.3.1. Компьютерный обучающий тренажер с виртуальной реальностью для офтальмологии.......................................................................................................................131

5.3.2. Виртуальная химическая лаборатория......................................................................136

5.3.3. Демонстрационный проект городского района........................................................137

5.4. Выводы................................................................................................................................137

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ......................................................................................139

ЛИТЕРАТУРА...............................................................................................................................141

ПРИЛОЖЕНИЕ 1..........................................................................................................................158

Классы и функции графического редактора...........................................................................158

Классы и функции клиента интерпретатора...........................................................................165

ПРИЛОЖЕНИЕ 2..........................................................................................................................167

Реализация онтологии профессиональных виртуальных сред в структурном редакторе.. 167 ПРИЛОЖЕНИЕ 3..........................................................................................................................173

Реализация декларативной модели компьютерного тренажера для обучения проверке

зрения по таблицам Сивцева в структурном редакторе.......................................................173

Реализация декларативной модели компьютерного тренажера для обучения проверке

зрения по таблицам Сивцева в структурном редакторе.......................................................188

Реализация декларативной модели виртуальной химической лаборатории.......................196

ПРИЛОЖЕНИЕ 4..........................................................................................................................200

ВВЕДЕНИЕ

Актуальность темы. В настоящее время виртуальные среды активно используются в образовании, военной области, медицине, индустрии развлечений, бизнесе, инженерии, спорте, социальных сферах. Виртуальная среда - это компьютерная модель фрагмента реального мира, имитирующая процессы явления или события, которые могут в нем происходить под воздействием различных факторов. По типу взаимодействия с пользователем виртуальные среды могут быть разделены на неинтерактивные и интерактивные. Неинтерактивные среды предназначены для наблюдения, демонстрации каких-либо явлений или процессов, пользователь в таких средах выступает в качестве зрителя; в интерактивных средах пользователь может активно взаимодействовать с элементами среды, изменяя ее. По требованиям к профессиональной подготовке их пользователей виртуальные среды можно разделить на среды общего назначения и профессиональные. Характерными особенностями виртуальных сред общего назначения (типичный представитель - компьютерные игры) является отсутствие каких-либо требований к профессиональной подготовке их пользователей; в них заранее определяется логика работы приложения, которая, как правило, в процессе использования мало подвержена изменениям; для таких сред характерна также коммерческая направленность реализации, что позволяет привлечь достаточно большой бюджет к разработке таких сред. Профессиональные виртуальные среды предназначены для решения задач в некоторой предметной области подготовленными специалистами, их основу составляют предметные знания, которые подвержены частым изменениям, а бюджет при их разработке, за редким исключением, очень мал.

В общем случае процесс создания виртуальной среды состоит из нескольких основных этапов: разрабатываются ЗЭ-модели объектов виртуального мира, для большинства моделей объектов описываются сценарии их поведения и возможного изменения отображения в виртуальной среде; затем из разработанных объектов формируется виртуальная среда (виртуальное

окружение) - определяется положение объектов относительно друг друга, их размер, повороты и другие необходимые атрибуты; отдельной трудоемкой задачей является описание возможных сценариев как влияния объектов друг на друга, так и изменения виртуального мира при воздействии на него пользователя; функционал некоторых интерактивных сред требует включения оценки действий пользователя при его взаимодействии с виртуальным миром.

На сегодняшний день существуют различные специализированные и универсальные инструментальные средства, пакеты прикладных программ, библиотеки для создания виртуальных сред общего назначения: Дельфин, ToolBook, Lectora, CAVE, WorldToolKit, Avango, Lightning, Juggler, Unity3D, Virtools, Alternativa3D, Flare3D и многие другие. Значительный вклад в разработку и исследование методов и средств создания виртуальных сред внесли российские и зарубежные ученые: Беневоленский С.Б., Бобков В.А., Борзых A.A., Борисов В.Г., Вавилова Н.И., Валькман Ю.Р., Гаммер М.Д., Данилова С.К., Дзюбенко О.Л., Донской А.Н., Коженков А.О., Марченко А.Л., Сук А.Ф., Трухин A.B., Филатова Н.И., Чинакал В.О., Bierbaum A., Craig А., Cruz-Neira С., Erlbaum L., Ghee S., Jacko J., Just C., Hale K., Hansen K., Sears A., Stanney K., Sherman W., Vincenti G., Will J. и другие.

Особенностью профессиональных виртуальных сред является то, что они содержат предметные знания; их носителями являются эксперты предметной области, которые должны эти знания формировать и сопровождать. В архитектуре таких систем выделяется специализированный компонент (база знаний) и используется специализированная технология разработки, включающая экспертов и поддерживаемая специализированным инструментарием.

Однако в настоящее время неизвестны специализированные средства для разработки именно профессиональных виртуальных сред. Использование инструментов общего назначения для создания профессиональных виртуальных сред делает процесс их разработки и особенно сопровождения чрезмерно трудоемким и дорогим. Все имеющиеся средства ориентированы на

использование программистами, иногда совместно с дизайнерами; процесс разработки связан с программированием нетривиальных скриптов или программ на языках программирования с последующей сборкой и компиляцией. Часто для разработки требуется использовать несколько различных библиотек и инструментальных средств и затем собирать из них единую систему. Включение в процесс разработки экспертов предметной области возможно только в качестве консультантов, а не полноправных его участников. Любое изменение требует трудоемкого перепрограммирования, последующей сборки и компиляции виртуальной среды. Отдельной проблемой является обеспечение широкой доступности через Интернет как средств разработки и сопровождения таких виртуальных сред, так и готовых реализаций.

Указанные выше факторы определяют актуальность теоретических и прикладных исследований диссертации, направленных на решение проблемы создания и сопровождения профессиональных виртуальных облачных сред.

Целью диссертационной работы является разработка моделей, методов и инструментальных сервисов для создания и сопровождения профессиональных виртуальных облачных сред.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработать общие принципы разработки инструментального сервиса, обеспечивающего создание, функционирование и сопровождение профессиональных виртуальных облачных сред.

2. Разработать онтологию профессиональной виртуальной среды и основанную на ней декларативную модель профессиональной виртуальной среды.

3. Разработать методы интерпретации декларативной модели профессиональной виртуальной среды.

4. Разработать методы реализации инструментальных сервисов для проектирования, интерпретации и сопровождения профессиональных виртуальных облачных сред.

5. Разработать технологию проектирования и сопровождения профессиональных виртуальных облачных сред и выполнить ее экспериментальную проверку.

Методы исследования. В работе использовались методы, базирующиеся на аппарате теории множеств, компьютерной графики, системного анализа, искусственного интеллекта, объектно-ориентированного анализа и проектирования, а также методы веб-программирования. Научная новизна работы состоит в следующем:

1. Предложены принципы создания и сопровождения профессиональных виртуальных облачных сред, в соответствии с которыми проектирование, реализация и сопровождение такой среды заменяется проектированием и сопровождением ее декларативной модели с последующей интерпретацией; этап кодирования на языке программирования в зависимости от конкретной виртуальной среды либо сводится к минимуму, либо отсутствует.

2. Разработана онтология профессиональной виртуальной среды, состоящая из трех основных компонентов: объектов виртуального мира; действий, которые можно производить с объектами виртуальной среды; сценария возможных действий пользователя для получения результата, определяемого обучающим заданием. В онтологии явно выделено два уровня: логический и презентационный.

3. Предложены различные типы моделей профессиональных виртуальных облачных сред, которые являются, во-первых, декларативными, во-вторых, формируются по онтологии, в-третьих, благодаря наличию логического и презентационного уровня в онтологии позволяют не только включить в разработку и сопровождение декларативной модели экспертов предметной области и дизайнеров, но также и разделить работу между ними.

4. Впервые разработан метод интерпретации декларативной модели виртуальной среды, заключающийся в определении способа построения

виртуальной сцены, определении схем работы клиентской и серверной частей, обработки событий и сообщений, способов хранении данных. Практическая ценность и реализация результатов работы. Практическая значимость полученных в диссертационной работе результатов заключается в том, что разработанный комплекс программных средств (облачных сервисов) позволяет создавать и сопровождать профессиональные виртуальные облачные среды на основе декларативного подхода с включением в процесс разработки экспертов предметной области.

Создана технология проектирования и сопровождения профессиональных виртуальных сред с использованием разработанных программных средств.

На основе предложенной технологии с помощью разработанного комплекса программных средств реализованы профессиональные виртуальные облачные среды: компьютерные обучающие тренажеры по классическим методам исследования в офтальмологии, виртуальная химическая лаборатория, моделирование городского района.

Компьютерные обучающие тренажеры внедрены в учебный процесс Тихоокеанского государственного медицинского университета на кафедре офтальмологии и оториноларингологии для обучения студентов лечебного факультета по курсу "офтальмология" и дистанционного обучения врачей.

Программный комплекс использовался в Дальневосточном федеральном университете для выполнения междисциплинарных курсовых проектов.

Разработанные виртуальные среды и программные средства для их разработки и сопровождения доступны для использования на платформе IACPaaS1 (Intellectual Applications, Control and Platform as a Service) как облачные сервисы. Положения, выносимые на защиту: 1. Принципы построения профессиональных виртуальных сред как облачных сервисов.

1 Грибова В.В., Кпещев A.C., Крылов Д.А., Москаленко Ф.М., Смагин C.B., Тимченко В.А., Тютюнник М.Б., Шалфеева Е.А. Проект IACPaaS. Комплекс для интеллектуальных систем на основе облачных вычислений // Искусственный интеллект и принятие решений. 2011. № 1. С.27-35.

2. Онтология профессиональной виртуальной среды.

3. Декларативная модель профессиональных виртуальных сред.

4. Метод интерпретации декларативной модели.

5. Комплекс программ и технология его применения для построения профессиональных виртуальных облачных сред.

Обоснованность и достоверность полученных результатов

обеспечиваются корректным применением использованных в работе методов исследования, а также подтверждаются эффективным практическим применением предложенных в диссертации моделей, методов и программных средств.

Апробация работы. Основные положения диссертации докладывались и обсуждались на следующих международных и российских конференциях и семинарах: Международной конференции "Modern (е-) Learning" (г. Варна, Болгария, 2011, 2013), Международной конференции "Информационно-коммуникационные технологии в образовании "Образование и Виртуальность 2011" (г. Ялта, Украина, 2011), II и III Международной конференции по физиологии и медицине «Высокие технологии, фундаментальные и прикладные исследования в физиологии, фармакологии и медицине», (г. Санкт-Петербург, 2011, 2012), Международной конференции "�