автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Синтез визуальных объектов по естественно-языковому описанию на базе интегрированной онтологии

На правах рукописи

Литвинович Артем Владимирович

СИНТЕЗ ВИЗУАЛЬНЫХ ОБЪЕКТОВ ПО ЕСТЕСТВЕННО-ЯЗЫКОВОМУ ОПИСАНИЮ НА БАЗЕ ИНТЕГРИРОВАННОЙ ОНТОЛОГИИ

Специальность:

05.13.11 «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 3 МАЙ 2°13

О1

Москва —2013

005059958

Работа выполнена в Научно-Исследовательском Центре Электронной Вычислительной Техники (НИЦЭВТ), г. Москва.

Научный руководитель: кандидат технических наук, с.н.с.,

ведущий научный сотрудник инженерно-технического центра ОАО "НИЦЭВТ" Курбатов С.С.

Официальные оппоненты: доктор технических наук, профессор,

зам. директора по научной работе ФГБУ РосНииИТиАП Фоминых Игорь Борисович

кандидат технических наук, с.н.с., НИЛ НИО НИЦ Военно-медицинской академии, Санкт-Петербург Найденова Ксения Александровна

Ведущая организация: Федеральное государственное бюджетное

учереждение науки Институт программных систем им. А. К. Айламазяна РАН по адресу: 152020, Ярославская обл. Переславский район, с. Веськово, ул. Петра Первого, д. 4а.

Защита состоится «|% Об 2013 г. в/£■'.'¿У на заседании Диссертационного Совета Д212.125.01 при Московском авиационном институте (национальном исследовательском университете) "МАИ" по адресу: 125993 г. Москва, А-80, ГСП-3, Волоколамское шоссе, д. 4.

С диссертацией можно ознакомиться в библиотеке МАИ Автореферат разослан <а 5 » О $ 2013 г.

Ученый секретарь

диссертационного совета Д212.125.01 кандидат технических наук,

А.В. Корнеенкова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Технологии трехмерной визуализации в современной науке и технике являются неотъемлемым и весьма важным элементом обработки сложной информации о пространственном строении объектов. Технологии уровня OpenGL или Direct3D позволяют не только наглядно представлять пространственный объект, но и преобразовывать его, используя операторы сдвига, поворота, изменения масштаба и т.п.

На текущий момент разработано множество алгоритмов и методов визуализации (растеризация, рейкастинг, трассировка лучей, трассировка путей), которые обычно совмещаются в передовом программном обеспечении, чтобы получить достаточно качественное и фотореалистичное изображение при оптимальных затратах вычислительных ресурсов.

Однако физическая модель, для которой в основном и разработаны вышеперечисленные методы визуализации, описывает характеристики объекта на достаточно специфическом уровне. Методы визуализации описаний на более высоком понятийном уровне, развиты в гораздо меньшей степени. Тем не менее, во многих областях (создание прототипов конструкций, медицина, коммерческие приложения, использующие OLAP-технологии, интеллектуальные обучающие программы, междисциплинарная интеграция данных наблюдений и т.д.) требуется визуализация именно концептуального уровня.

В настоящее время для концептуального описания некоторых предметных областей широко используются онтологии. В информатике онтологии используются в процессе программирования как форма представления концептуальных знаний о реальном мире или его частях. Онтологии ориентированы на формальные средства представления, но наиболее высокий уровень описания обеспечивает только естественный язык.

Поэтому тема данного исследования, посвященного визуализации путем синтеза изображений из концептуального представления онтологического уровня трехмерных объектов, имеющих естественно-языковое описание, является весьма актуальной как в научном, так и в практическом аспектах.

Цель диссертационной работы. Главной целью данной работы является разработка системы синтеза изображений по выражениям естественного языка через общую, интегрированную онтологию предметной области. В соответствии с главной целью и с учетом комплексного характера проблемы, в диссертации необходимо было решить следующие конкретные задачи:

1. Разработка теоретических принципов компонента целостной системы, обеспечивающего синтез трехмерного изображения по описанию на предметно-ориентированном креолизованном (вербальном и иконическим) естественном языке.

2. Разработка расширяемого языка описания графических объектов, ориентированного на уровень объект-свойство-отношение (GRASP).

3. Создание интерпретатора разработанного языка, обеспечивающего визуализацию конструкций языка с помощью средств OpenGL.

4. Разработка элементов лингвистического обеспечения системы на основе семантически-ориентированного метода анализа, использующего полную морфологию и синтаксис в мере, которая определяется сложностью самого текста.

5. Создание методики расширения интерпретируемых конструкций языка GRASP новыми классами объектов, свойств и отношений.

Методы исследования. Для решения поставленных задач в работе используются методы компьютерной графики, методы создания и работы с онтологиями, методы лингвистической трансляции.

Достоверность результатов. Достоверность положений работы подтверждается квалифицированным использованием всех вышеперечисленных методов, сопоставимостью теоретических и экспериментальных результатов, а также положительными результатами тестирования в рамках НИР.

Научная новизна работы.

1. Сформулированы теоретические принципы компонента целостной системы, обеспечивающего синтез двумерного и трехмерного изображения по описанию на предметно-ориентированном креолизованном естественном языке.

2. Предложен расширяемый язык описания графических объектов GRASP, ориентированный на организацию визуализации в терминах объектов, отношений и их свойств.

3. Разработана технология визуализации объектов, базирующаяся на лингвистическом анализе предметно-ориентированного описания с крелизованными элементами текста, погружении его в онтологию, трансляции онтологического описания в разработанный язык GRASP и генерации изображения с помощью средств OpenGL.

4. Создана методика расширения интерпретируемых конструкций языка новыми классами объектов, свойств и отношений на основе декларативного представления практически без перепрограммирования интерпретатора.

На защиту выносятся следующие положения и результаты:

• Концептуальная модель и структурная схема экспериментальной системы синтеза графических объектов по тексту на предметно-ориентированном естественном языке;

• Обоснование целесообразности разработки и реализации языка синтеза графических объектов, обладающего высоким уровнем описания на основе специализированного разделения декларативно-процедурных составляющих и эффективной интеграцией с базами знаний (онтологиями);

• Разработка и апробация в экспериментальном программном образце метода, позволяющего качественно улучшить функционирование систем преобразования текста в изображение ( J TP-систем), ориентированных на русский язык.

• Обоснование перспективности использования развитых средств визуализации, интегрированных в базы знаний с доступом на предметно-ориентированном естественном языке;

Практическая ценность результатов диссертационной работы определяется созданием системы синтеза изображений по описанию на предметно-ориентированном креолизованном естественном языке, пригодной для многих областей применения.

Реализация результатов работы. Результаты работы внедрены в научно-исследовательской работе, выполняемой в НИЦЭВТ по Государственным контрактам № 07.514.11.4038 и № 07.514.11.4031 .

Апробация работы. Основные результаты работы обсуждались и были одобрены на XIV международной конференции «Речь и компьютер» (8РЕСОМ-

2011), на второй Международной научно-технической конференции «Компьютерные науки и технологии» (КНиТ-2011) и на Тринадцатой национальной конференции по искусственному интеллекту с международным участием (КИИ-

2012).

Публикации. Результаты диссертации отражены в 5 печатных работах, в том числе в 2-х рецензируемых ВАК журналах.

Структура н .объем работы. Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы. Работа содержит 130 страниц, включая 34 рисунка, 4 таблицы, список литературы из 126 наименований, 36 страниц приложений с актами об использовании результатов работы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, поставлены цели и задачи исследования, даны формулировки объекта и предмета исследований, указана методологическая база. Изложены результаты, определяющие научную новизну работы, даны сведения о практической значимости и апробации работы, указаны публикации, отражающие основные научные положения диссертации. В последнем разделе приведены сведения о структуре и объеме работы.

В первой главе определен предмет исследования и сформулированы теоретические принципы компонента интегральной системы, обеспечивающей синтез двумерного и трехмерного изображения по описанию на предметно-ориентированном креолизованном естественном языке. Дано краткое описание общей системы, обеспечивающей интеграцию потоков информации из различных источников: анализ/синтез креолизованного естественного языка и анализ/синтез изображений. Описано место разрабатываемого компонента в рамках общей системы (рис. 1).

ю

Рис. 1. Схема взаимодействия подсистем

КАИ — система концептуального анализа изображений; КСИ - система концептуального синтеза изображений; АЕЯ — система лингвистического анализа естественного языка; СЕЯ - система лингвистического синтеза естественного языка. 1п - (входное/выходное) изображение; {1п} — множество изображений; Ті — текст на ЕЯ; {Ті} — множество текстов на ЕЯ (перефразировки); Мк — описание объекта или ситуации в прикладной онтологии на языке семантического гиперграфа. ЯПЗ — язык представление знаний (семантический гиперграф).

Сформулированы следующие принципы компонента интегральной системы, обеспечивающей синтез двумерного и трехмерного изображения по описанию на предметно-ориентированном креолизованном естественном языке:

1) Целостность;

2) Высокий уровень описания;

3) Модульность и максимальная независимость интерфейсов;

4) Адаптивность и расширяемость;

5) Активное взаимодействие с онтологией.

Первый принцип означает целостность технологической цепочки от описания на предметно-ориентированном естественном языке, трансляции этого описания в онтологию, генерации программы визуализации и собственно визуализация. При его соблюдении следует учитывать, что исходное описание может включать значительно больше информации, чем необходимо для визуализации. Требуется как отображение этой информации в онтологии в процессе лингвистической трансляции, так и ее элиминация при визуализации.

Высокий уровень описания предполагает как использование предметно-ориентированного естественного языка для формулировки запроса, так и повышенный уровень абстракции при формальном представлении объекта визуализации. Реализация этого принципа не является тривиальной, требуется поиск компромисса между сложностью генерации программного кода из онтологического представления, выразительностью языка и эффективностью использования стандартных спецификаций типа OpenGL или DirectX.

Модульность и максимальная независимость интерфейсов определяют технические и эксплуатационные характеристики системы. Последовательное осуществление этого принципа обеспечивает как сокращение сроков реализации системы, так и удобство эксплуатации (выдача содержательной диагностики).

Принцип адаптивности и расширяемости необходимо соблюдать на нескольких этапах работы системы. На уровне онтологии его реализация означает редактирование и модификацию онтологии (как лингвистических знаний, так и знаний о предметной области). На уровне языка описания объектов визуализации этот принцип воплощен в языке GRASP.

Активное взаимодействие с онтологией означает разработку компонента онтологии, описывающего конструкции языка GRASP, средств генерации текстов на GRASP и возможностей визуализации непосредственно из онтологического представления. Полноценный интерфейс с онтологией предполагает расширение средств генерации с использованием возможностей семантического Web'a (RDF-схемы и язык OWL).

Во второй главе предлагается язык для работы с графическими объектами и описывается его реализация. Дана краткая характеристика существующих языков для работы с графическими объектами, приведены характеристики, совокупность которых отличает предлагаемый язык:

1) Повышенный уровень описаний, ориентация на элементы вида "объект", "отношение", "свойство".

2) Тесное взаимодействие с онтологией.

3) Адаптивность и расширяемость.

Для синтеза изображений был разработан язык алгоритмического описания графики GRAphics Situation Planner (GRASP). GRASP - полноценный язык

программирования с синтаксисом, напоминающим Lisp, результат интерпретации которого визуализируется средствами OpenGL.

Разрабатываемый язык состоит из двух частей: процедурная часть (П-язык) задаёт алгоритм синтеза объекта, по элементам которого он синтезируется; декларативная часть (Д-язык) задаёт связи (сцепки) между элементами и параметры элементов для процедурной части.

Базовый блок П-языка - графический объект. Графические объекты строятся из примитивов: куб, цилиндр, линия, и т.п. У объекта есть параметры, задаваемые программистом в Д-языке. Фактически, объект можно рассматривать как функцию, а параметры объекта - её аргументы.

Параметры объекта имеют явный тип, диапазон значений, и значение по умолчанию. Помимо объектов в П-языке есть и простые функции. В П-языке есть понятия цикла for, ветвления if присваивания локальной переменной var, а так же графические выражения сдвига shift, поворота rotate, масштабирования scale, начала группы group и т.п.

Д-язык определяет параметры и связи объектов. Объекты можно соединять так называемыми точками сцепки, положения которых задаются в П-языке. Точка сцепки состоит из положения, ориентации и типа. При соединении автоматически происходит расположение и ориентирование объектов в соответствии с использованными точками. Тип точки служит для определения несовместимых объектов.

Таким образом, в Д-языке задаётся дерево связей объектов, и их параметры. Параметры задаются числами или простыми формулами. Результатом работы интерпретатора GRASP является набор геометрических данных, которые делятся на группы:

• массив треугольников в виде тройки координат вершин, вектора нормали и текстурных координат (3D графика);

• либо массив отрезков прямых в виде пары координат (планиметрическая графика).

У каждой группы есть метаданные: используемая текстура, цвет, материал, свойства вывода (глобальная прозрачность, отбрасывание тени, и т.п.).

Архитектура интерпретатора позволяет менять и добавлять элементы языка, например, управляющие слова, примитивы графики и встроенные функции, прилагая минимальные усилия. В целом, интерпретатор расширяем как в области ввода-вывода и интеграции, так и в области языка и его структур.

Вывод интерпретатора можно визуализировать в общем случае непосредственно из msh-файла или из среды, интегрирующей интерпретатор GRASP в рамках описываемой ниже диалоговой программы "Космическая верфь".

Этапы интерпретации могут быть вызваны независимо, в онтологии они вызываются с помощью bat-файлов с соответствующими параметрами. Для более тесного взаимодействия с онтологией в языке предусмотрен механизм макрогенерации фрагментов программного кода путем вызова функций

онтологического представления.

Для языка GRASP разработан и реализован интерпретатор, инструментальный уровень реализации — язык программирования Паскаль. Интерпретация состоит из двух основных этапов: трансляция исходного текста программы в msh-файл и непосредственная визуализация конструкции с помощью спецификаций OpenGL.

Для априорно заданных базовых объектов для визуализации (арматура, цистерна, солнечная панель, переходник и т.п.) разработана среда, позволяющая в диалоге компоновать и визуализировать конструкцию, имитирующую космическую станцию. В этой среде, названной "Космическая верфь", в интерактивном режиме можно наращивать конструкцию из базовых элементов в виде наглядного изображения. Система отслеживает корректность компоновки, не допуская физически нереализуемые варианты.

В процессе компоновки можно вращать конструкцию для ее рассмотрения в разных ракурсах, менять масштаб, изменять параметры базовых объектов (число блоков, размеры и т.п.). По завершению процесса компоновки конструкции ее программное описание, сформированное системой на языке GRASP, можно сохранить в файле и визуализировать.

В третьей главе описывается взаимодействие между онтологией и генерацией изображений. Для программ на предложенном и реализованном языке разработано онтологическое описание, погруженное в интегральную онтологию. Разработан и реализован программно механизм, позволяющий вычленить из общей онтологии описание программы и сформировать текст на языке GRASP. Приведен пример фрагмента онтологического описания и результата генерации программного текста. Результат визуализации после выполнения сформированной программы отражен на рис. 2.

Генерация текста па GRASP опирается на базовые примитивы работы с онтологией и включает перебор по вершинам и связям семантической сети. В процессе перебора из интегральной онтологии вычленяются только те вершины, связи и свойства, которые необходимы для визуализации. Рассмотрены расширения разработанного механизма генерации программы на другие виды онтологий (RDF-схемы с использованием языка SPARQL).

Разработан модуль онтологии, вызывающий интерпретатор GRASP для трансляции сформированной программы к виду msh-файла и последующую визуализацию с использованием спецификаций OpenGL.

Отмечены атрибуты и функции онтологического представления, не требующие визуализации, но полезные для общего описания конструкции. В качестве атрибутов могут выступать, например, материал конструкции, прочность, стоимостные характеристики, поставщики ингредиентов и т.д.

В качестве функций следует назвать, прежде всего, сопоставление (matching), позволяющее найти аналоги, выявить структурные различия конструкций и т.п. Дополнительно онтология обеспечивает как общие функции типа наследования, так вычисление характеристик объекта с помощью присоединенных процедур.

На рис. 2 дан пример визуализации конструкции, описанной на предметно-ориентированном естественном языке и транслируемой в онтологическое представление. Текст на GRASP, сформированный из онтологии, имеет вид: Truss_B( Block_length=8, Block_count=5, Cross_A=l, Cross_B=-l, Cross_C=-l, #0&0:Tank_B( Radius=2, Length=10, #l&0:Solar_Panel_C( Rows=3, Tile_siz=8, Tile_wid=10 ) ) ,

#l&0:Tank_B( Radius=2, Length=10 )

#2&0:DG_Aux_Port_B( width=8.862, depth=4.605, Length=9.208 ) #8&0:Adaptor_B( Length=10,

#l&0:Truss_B( Block _length=7.4, Block_count=2, Cross_A=l, Cross_B=-l, Cross_C=-l,

#2&0:DG_Aux_Port_B( width=8, depth=4, Length=6 ) #3&0:DG_Aux_Port_B( width=8, depth=4, Length=6 ) #6&0:DG_Aux_Port_B( width=8, depth=4, Length=6 )

) ,) ,)

Креолизованный текст, задающий эту конструкцию, приведен ниже при описании результатов экспериментов. Важно отметить, что ряд свойств объектов не упоминается явно в ЕЯ-описании. Эти свойства и их значения извлекаются из онтологии, в ряде случае путем использования наследования.

Рис. 2. Визуализация конструкции путем интерпретации программы на GRASP, сформированной из онтологии по описанию в виде предметно-ориентированного

текста.

В четвертой главе описана разработка элементов лингвистического обеспечения для формирования онтологического описания объекта визуализации по предметно-ориентированным креолизованным предложениям тестов на подмножестве естественного языка «деловая проза». Деловой прозе свойственны

ю

жесткие средства выражения, однозначность передаваемой информации, экономность языковых средств, четкость функции каждого сообщения.

Креолизованный текст характеризуется сочетанием вербализованных и невербализованных (иконических) компонентов, что наблюдается в научных и особенно научно-технических текстах. К иконическим элементам в этих текстах относятся таблицы, символические изображения, формулы и т.п. С учетом такой специфики лингвистический анализ предложений креолизованного текста реализуется полным морфологическим анализатором и редуцированным и контекстно-ориентированным семантическим анализатором, который по мере необходимости вызывает синтаксический анализ.

Морфологический анализатор осуществляет морфологический разбор словоформ предложения на основу и флексию, поиск основы в словаре и по найденной словарной статье приписывание словоформам соответствующих грамматических признаков.

Синтаксический и семантический анализ основан на общеязыковых и проблемно-ориентированных контекстах, которые представляются в виде соответствующих моделей.

Синтаксическая модель (=синтаксическая онтология) образует некоторый «синтаксический» гиперграф, в котором присутствуют слова, знаки препинания, их обобщения и контексты, определяющие правила синтаксической сочетаемости.

Синтаксическая информация представляется в виде контекстов или контекстных правил. Контексты образуют иерархическую структуру, которая задается рекурсивно некоторым множеством гиперграфов различных уровней с системой выбранных синтаксических отношений (согласование, управление, следование и т.д.). Контекстные правила могут задаваться на любом уровне обобщения своих элементов. На уровне словоформ, основ, лексем, всевозможных классов и т.д. Синтаксические контексты могут представлять собой шаблоны для выделения в предложениях дат, чисел, имен файлов, географических названий, фамилий и т.п.

Семантическая модель естественного языка представляется общей прикладной онтологией, включающей описания ситуаций, заданные ЕЯ-текстом.

Схема с такой настраиваемой последовательностью лингвистической обработки может быть представлена следующим образом. На вход лингвистического анализатора поступает ЕЯ-текст. Первое выделенное из текста предложение проходит полный морфологический анализ. Далее выбирается первое слово с его морфологическими признаками и запускается процесс интерпретации этого слова. Если слово имеет единственную семантическую интерпретацию (т.е. однозначный «перевод» слова в концепт прикладной онтологии), то осуществляется переход к другому слову. В противном случае выбирается первое контекстное правило из упорядоченного множества синтаксических правил, заданного в синтаксической онтологии. Выбранное правило сопоставляется с морфологической структурой предложения.

На основе результатов сопоставления осуществляется интерпретация словосочетания предложения либо переход к другому контекстному правилу. Этот

п

процесс итеративно продолжается до тех пор, пока не будут проинтерпретированы все семантически значимые слова и словосочетания предложения.

Для лингвистического анализа креолизованных текстов нет необходимости проводить полный и последовательный синтаксический разбор предложения. Поэтому выбрана семантически-ориентированная архитектура лингвистического анализа, которая подключает соответствующий синтаксический компонент в зависимости от неопределенности и сложности самого текста.

Примером текста на предметно-ориентированном креолизованном естественном языке может быть следующее описание (взято из среды «Космическая верфь»):

Арматура типа В с числом блоков 5. В точке О арматуры присоединена цистерна Tank_ß через точку 0. К цистерне прикреплена солнечная панель типа С, точки сцепления 1 и 0. В точке 1 арматуры присоединена вторая цистерна Тапк_В через точку 0. Через точку 16 с арматурой сцеплен стыковочный элемент типа В, точка сцепки 0. Переходник типа В соединен с арматурой, точки сцепки 8 и 0, соответственно. Через точки 1 и 0 к переходнику подцеплена арматура типа В с числом блоков 2. На эту арматуру подцеплены три стыковочных элемента типа Б, точки сцепки 2:0,3:0 и 6:0 соответственно.

Другим примером креолизованного текста может быть формулировка планиметрической задачи:

Дан треугольник ABC, причем АВ=АС и Z А=80°. Внутри треугольника ABC взята точка Мтакая, что ZMBC=30 ° a ZMCB=10Найти ZAMC.

В рамках описанной схемы реализован морфологический анализатор на основе словаря Зализняка. Инструментальный язык реализации — СИ. Для синтаксической и семантической модели использован контекстно-ориентированный подход с акцентом на семантический (содержательный) анализ.

В пятой главе описаны результаты экспериментальных исследований и дана их обобщенная оценка. Использование GRASP для визуализации жестов языка глухонемых в экспериментальном варианте позволило наметить переход от текста к анимации, позволяющей имитировать сурдопереводчика. Визуализация конструкций в целостной системе, включающей трансляцию описания конструкции на предметно-ориентированном естественном языке в онтологическое описание, генерацию текста на GRASP и вызов интерпретатора, синтезирующего изображение описана выше и отражена на рис 2.

На этом рисунке отражена визуализация конструкции в статике, динамическая визуализация обеспечивает анимацию конструкции и изменение масштабирования. Предметно-ориентированное описание этой конструкции приведено выше. Отметим, что наличие в этом описании только элементов, необходимых для визуализации, дано только для простоты. В общем случае описание может включать предложения, не относящиеся к визуализации, но важных для предметной онтологии. Примеры таких предложений:

Арматура сделана из стали марки 35ХМЛ Стоимость цистерны - 55000 рублей Стыковочный элемент поставляется фирмой FF-XXX.

В онтологии такие предложения представлены соответствующими объектами, отношениями и свойствами (типа <сделано из>, <материал>, <входит в поставку> и т.д). Эти элементы могут быть важны при поиске аналогов, оценки экономичности и т.п., но должны быть элиминированы при визуализации. Разумеется, интегральное принятие решения выполняется экспертом с учетом всех характеристик конструкции.

Эксперимент по верификации включал синтез изображения для онтологической структуры понятия <Кораблик>. В этом эксперименте генерируется множество изображений этого концепта путем варьирования значений различных параметров структуры. Наглядное представление позволяет быстро выявить неточности задания параметров в онтологическом описании. На рис.3 приведен пример физически некорректного изображения, формируемого GRASP по семантически ошибочному описанию. В среде "Космическая верфь" такую конструкцию сформировать не удастся, ибо среда отслеживает корректность сцепки.

Рис. 3 Пример физически не вполне корректной конструкции.

Эксперименты по применению системы для верификации онтологии определены существованием в разрабатываемом интегральном комплексе (см. рис. 1.) системы распознавания, основанного на знании, и необходимостью автоматизации процесса пополнения и модификации онтологии с использованием процедуры синтеза изображений.

В первом случае использование системы концептуального синтеза изображений позволяет автоматизировать процесс построения обучающих выборок для системы распознавания и проверки самого процесса распознавания (что повышает уровень доверия разработчика к распознающей системе). Во втором случае такая необходимость возникает из-за того, что описания в онтологию могут вводиться разработчиком непосредственно на языке семантических гиперграфов или пользователем на проблемно-ориентированном ЕЯ. Во всех этих случаях требуется привлечение системы синтеза изображений для верификации процессов

обучения, пополнения и модификации онтологии.

Ниже приведен результат синтеза для онтологической структуры, представленной на рис. 4. (понятие Кораблик). Планировщик в этом случае генерирует множество изображений этого концепта, варьируя значениями различных параметров структуры. По рис. 4. видно, что для получения корректного описания понятия Кораблик необходимо задавать определенные диапазоны изменения этих параметров.

Отрезок Прямой

вх._в_стр-ру Параллелограмм

касается_в, редине

Отрезок прямой пересекает

Основание b,<

Рис. 4. Пример онтологического описания понятия Кораблик

~7

Штт

Ш

V

у

17

/ х:

Рис. 5. Множество синтезируемых образов по онтологической структуре понятия

Кораблик

Подобные эксперименты были проведены и для других концептов (Домик, Ромашка, Окружность, вписанная в треугольник и др.). Оценка и выводы:

Тестирование автономной работы синтезатора в интегрированной среде "Космическая верфь" в интерактивном режиме показало работоспособность и эффективность интерпретатора языка GRASP;

Тестирование разработанных средств лингвистической трансляции, генерации

текста на GRASP и визуализации показало работоспособность цепочки: "лингвистическая трансляция предметно-ориентированного описания конструкции на естественном языке - онтологическое представление конструкции - генерация для конструкции программы на GRASP - визуализация конструкции";

Эксперименты по расширению языка GRASP. новыми базовыми конструкциями доказали корректность логики интерпретатора при обработке расширений;

Эксперименты по верификации онтологических структур показали перспективность использования возможностей визуализации для отладки, пополнения и модификации онтологии.

Основные выводы и результаты по диссертационной работе в целом:

1. Сформулированы теоретические принципы компонента целостной системы, обеспечивающего синтез трехмерного изображения по описанию на предметно-ориентированном естественном языке.

2. Предложен расширяемый язык описания графических объектов GRASP, ориентированный на организацию визуализации в терминах объектов, отношений и их свойств.

3. Выполнена реализация предложенного языка GRASP в виде интерпретирующей системы, использующей для эффективной визуализации спецификации OpenGL.

4. Разработана технология визуализации объектов, базирующаяся на лингвистическом анализе предметно-ориентированного описания с крелизованными элементами текста, погружении его в онтологию, трансляции онтологического описания в язык GRASP и генерации изображения с помощью средств OpenGL.

5. Создана методика расширения интерпретируемых конструкций языка новыми классами объектов, свойств и отношений на основе декларативного представления практически без перепрограммирования интерпретатора.

6. Разработаны и реализованы модули лингвистического обеспечения компонента, обеспечивающие трансляцию предметно-ориентированного естественного языка в онтологическое представление.

7. Реализована технологическая цепочка, включающая лингвистическую трансляцию предложений на предметно-ориентированном естественном языке в онтологическое представление, генерацию программы на GRASP и визуализацию.

8. Проведены эксперименты, продемонстрировавшие работоспособность целостной компоненты, а также эффективность и расширяемость языка GRASP.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

1. Литвинович A.B., Курбатов С.С., Хахалин Г.К. Синтез выражений русского жестового языка по естественно языковому тексту // XIV международная конференция «Речь и компьютер». SPECOM-2011. РФ, Республика Татарстан -Казань, 2011, С. 420-425.

2. Курбатов С.С., Литвинович A.B., Хахалин Г.К. Синтез визуальных объектов по естественно-языковому описанию // Труды второй Международной научно-технической конференции «Компьютерные науки и технологии» (КНиТ-2011) 37 октября 2011 г., Белгород, Россия. - Белгород, 2011. С. 595-600.

3. Курбатов С.С., Литвинович A.B., Лобзин А.П., Хахалин Г.К. Концептуальный синтез графических образов по структурам прикладной онтологии // Тринадцатая национальная конференция по искусственному интеллекту с международным участием (КИИ-2012), Т. 2.. - Белгород: БГТУ, 2012. — С. 120127.

4. Литвинович A.B. Язык описания графических объектов GRASP // Нейрокомпьютеры: разработка, применение, № 10, 2012, С. 26-30.

5. Литвинович A.B. Система синтеза изображений по тексту на естественном языке // Динамика сложных систем — XXI век,^№ 1, 2013, С. 65-68.

Личный вклад автора в работах, опубликованных в соавторстве: [1] -разработка средств визуализации и тестовых примеров, [2] - разработка средств визуализации и общих принципов интегральной системы, [3] - разработка средств визуализации и интеграции с онтологией.

Множительный центр МАИ (НИУ) Заказ от 07. ¿752013 г. Тираж/$С?экз.

Научно-Исследовательский Центр Электронной Вычислительной Техники

(НИЦЭВТ)

На правах рукописи

04201357794 Литвинович Артем Владимирович

СИНТЕЗ ВИЗУАЛЬНЫХ ОБЪЕКТОВ ПО ЕСТЕСТВЕННОЯЗЫКОВОМУ ОПИСАНИЮ НА БАЗЕ ИНТЕГРИРОВАННОЙ

ОНТОЛОГИИ

Специальность - 05.13.11 Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Диссертация

на соискание ученой степени кандидата технических наук

Научный руководитель - к.т.н., снс, Курбатов С.С.

Москва - 2013

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ..............................................................................................................5

ГЛАВА 1. АНАЛИЗ ПРОБЛЕМЫ СИНТЕЗА ИЗОБРАЖЕНИЙ ПО ОПИСАНИЮ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ С ИСПОЛЬЗОВАНИЕМ ОНТОЛОГИЧЕСКИХ СТРУКТУР......................................................................10

1.1. Интегральная система.................................................................................10

1.2. Общие принципы ТТР-компонента интегральной системы...................121.3. Визуализация, онтология и лингвистическая трансляция......................14

1.3.1 Визуализация................................................................................14

1.3.2 Онтология......................................................................................15

1.3.3 Лингвистическая трансляция......................................................20

1.4. Программные средства для визуализации................................................21

1.5 Визуализация в САПР.................................................................................24

1.6 ТТР-системы.................................................................................................26

ГЛАВА 2. ЯЗЫК ОПИСАНИЯ ГРАФИЧЕСКИХ ОБЪЕКТОВ GRASP........29

2.1. Общая характеристика языка GRASP.......................................................29

2.2. Неформальное описание языка GRASP....................................................32

2.2.1. Д-язык...........................................................................................32

2.2.2. П-язык...........................................................................................33

2.3. Формальное описание языка GRASP........................................................36

2.3.1 Д-язык............................................................................................36

2.3.2 П-язык............................................................................................38

2.3.3 Интерпретация П-языка...............................................................51

2.4. Реализация GRASP.....................................................................................52

2.5. Выводы и результаты..................................................................................53

ГЛАВА 3. ОНТОЛОГИЯ И СИНТЕЗ ИЗОБРАЖЕНИЙ...................................54

3.1. Онтологии как средство интеграции приложений..................................54

3.2. Интерфейс онтология - генерация изображений....................................56

3.2.1. Онтологическое описание конструкций...................................56

3.2.2. Варианты интерфейса.................................................................57

3.3. Реализации интерфейса и вопросы эффективности................................61

ГЛАВА 4. ЛИНГВИСТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ОНТОЛОГИИ..............65

4.1. Проблема обработки естественного языка..............................................65

4.2. Реализованный вариант лингвистической трансляции...........................67

4.3. Элементы лингвистического обеспечения онтологии............................72

4.3.1. Общие сведения...........................................................................72

4.3.2. Графематический анализ............................................................75

4.3.3. Морфологический анализ...........................................................77

4.3.4. Синтаксический анализ...............................................................82

4.3.5. Семантическая интерпретация...................................................83

4.3.6. Семантический/проблемный анализ.........................................83

ГЛАВА 5. РЕЗУЛЬТАТЫ И ОЦЕНКА ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ................................................................................................84

5.1. Общие сведения...........................................................................................84

5.2. Автономное тестирование GRASP и среда "Космическая верфь"........85

5.3. Тестирование в интегральной системе.....................................................87

5.3.1. Генерация текста на GRASP из онтологии..............................87

5.3.2. Трансляция текста на GRASP в онтологию.............................91

5.4. Верификация онтологии и возможности расширения............................93

5.5. Визуализация научных данных.................................................................97

5.5.1. Использование GRASP для визуализации научных данных ..97

5.5.2. Визуализация междисциплинарных данных............................98

5.5.3. Визуализация происхождения данных....................................102

5.6. Моделирование процесса сурдоперевода...............................................104

5.7. Визуализация для ТТР-систем.................................................................110

5.8. Выводы.......................................................................................................114

ЗАКЛЮЧЕНИЕ....................................................................................................116

СПИСОК ЛИТЕРАТУРЫ...................................................................................118

Приложение 1. Установка, запуск интерпретатора языка GRASP с примерами текстов на GRASP и результатами визуализации................131

Приложение 2. Описание API Морфан.........................................................145

Приложение 3. Определение языка деловой прозы...................................149

Приложение 4. Математический и алгоритмический базисы

интерпретатора языка GRASP.......................................................................155

Приложение 5. Образы экрана при полном тестировании......................163

ВВЕДЕНИЕ

Актуальность темы.

Технологии трехмерной визуализации в современной науке и технике являются неотъемлемым и весьма важным элементом обработки сложной информации о пространственном строении объектов [1]. Технологии уровня OpenGL или Direct3D [2] позволяют не только наглядно представлять пространственный объект, но и преобразовывать изображение, используя операторы сдвига, поворота, изменения масштаба и т.п.

На текущий момент разработано множество алгоритмов и методов визуализации (растеризация, рейкастинг, трассировка лучей, трассировка путей), которые обычно совмещаются в передовом программном обеспечении, чтобы получить достаточно качественное и фотореалистичное изображение при оптимальных затратах вычислительных ресурсов.

В качестве наиболее известных программных средств следует упомянуть OpenGL, OpenGL ES, WebGL, Java OpenGL, 03D, GLSL и HLSL, POV-Ray SDL, VRML, X3D [3, 4, 5]. Однако при всем разнообразии этих средств создание инструментального средства, обладающего развитыми процедурной и декларативной составляющей, компактностью и наглядностью описания изображений, возможностями расширения, и, наконец, средой визуального программирования, является достаточно актуальной проблемой.

Существенно возрастает актуальность такого программного обеспечения, если оно успешно интегрируется с онтологическими описаниями, поскольку во многих областях (создание прототипов конструкций, медицина, коммерческие приложения, использующие OLAP-технологии, интеллектуальные обучающие программы, междисциплинарная интеграция данных наблюдений и т.д.) требуется визуализация именно концептуального уровня.

Интеграция системы визуализации с онтологиями и средствами лингвистической трансляции является наиболее сложной проблемой, требующей комплексного подхода [6]. Если программные средства визуализации получили достаточное развитие (уже упомянутые OpenGL и т.д.), количество онтологий весьма велико, обработка естественного языка достигла определенного уровня, то интеграция предоставляемых этим программным обеспечением возможностей в рамках целостной системы пока далека от концептуальной и технологической зрелости. Отдельные аспекты этой проблемы исследованы в работах [7, 8, 9].

В этих работах рассмотрена роль онтологий для обеспечения интеграции, возможности использования онтологий в различных областях, в том числе в САПР и в поддержке научной и образовательной деятельности. Всеми авторами отмечается большой потенциал и перспективность семантических технологий в самых различных областях науки и техники, но отмечаются также и трудности работы с онтологиями.

Цель данной работы - разработка системы синтеза изображений по выражениям естественного языка через общую, интегрированную онтологию предметной области. В соответствии с главной целью и с учетом комплексного характера проблемы, в диссертации необходимо было решить следующие конкретные задачи:

1. Разработка теоретических принципов компонента целостной системы, обеспечивающего синтез трехмерного изображения по описанию на предметно-ориентированном креолизованном (вербальном и иконическим) естественном языке.

2. Разработка языка описания графических объектов - GRASP, обладающего развитыми процедурной и декларативной составляющими, компактностью и наглядностью описания изображений, возможностями расширения и эффективной интеграцией с онтологией.

3. Реализация GRASP, включающая интерпретатор языка и среду визуального программирования.

4. Разработка элементов лингвистического обеспечения системы на основе семантически-ориентированного метода анализа, использующего полную морфологию и синтаксис в мере, который определяется сложностью самого текста.

5. Создание методики расширения интерпретируемых конструкций языка GRASP новыми классами объектов, свойств и отношений.

На защиту выносятся следующие положения и результаты:

• Целесообразность разработки и реализации языка синтеза графических объектов, обладающего высоким уровнем описания на основе специализированного разделения декларативно-процедурных составляющих и эффективной интеграцией с базами знаний (онтологиями);

• Концептуальная модель и структурная схема экспериментальной системы синтеза графических объектов по тексту на предметно-ориентированном естественном языке;

• Перспективность использования развитых средств визуализации, интегрированных в базы знаний с доступом на предметно-ориентированном естественном языке;

• Разработка и апробация в экспериментальном программном образце метода, позволяющего качественно улучшить функционирование систем преобразования текста в изображение (ТТР-систем), ориентированных на русский язык.

Объектом исследования являются технологии трехмерной визуализации, рассматриваемые в рамках интегрированных систем на базе онтологий.

Предметом исследования являются системы синтеза изображений по выражениям естественного языка через общую, интегрированную онтологию предметной области.

Методы исследования. Для решения поставленных задач в работе используются методы компьютерной графики, методы создания и работы с онтологиями, методы лингвистической трансляции.

Научная новизна работы.

1. Сформулированы теоретические принципы компонента целостной системы, обеспечивающего синтез двумерного и трехмерного изображения по описанию на предметно-ориентированном креолизованном естественном языке.

2. Предложен расширяемый язык описания графических объектов GRASP, ориентированный на организацию визуализации в терминах объектов, отношений и их свойств.

3. Разработана технология визуализации объектов, базирующаяся на лингвистическом анализе предметно-ориентированного описания с крелизованными элементами текста, погружении его в онтологию, трансляции онтологического описания в разработанный язык GRASP и генерации изображения с помощью средств OpenGL.

4. Создана методика расширения интерпретируемых конструкций языка новыми классами объектов, свойств и отношений на основе декларативного представления практически без перепрограммирования интерпретатора.

Практическая ценность результатов диссертационной работы определяется созданием системы синтеза изображений по описанию на предметно-ориентированном креолизованном естественном языке, пригодной для многих областей применения.

Реализация результатов работы. Результаты работы внедрены в научно-исследовательской работе, выполняемой в НИЦЭВТ по Государственным контрактам № 07.514.11.4038 и № 07.514.11.4031 .

Апробация работы. Основные результаты работы обсуждались и были одобрены на XIV международной конференции «Речь и компьютер» (SPECOM-2011), на второй Международной научно-технической

конференции «Компьютерные науки и технологии» (КНиТ-2011) и на Тринадцатой национальной конференции по искусственному интеллекту с международным участием (КИИ-2012).

Публикации. Результаты диссертации отражены в 5 печатных работах.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы. Работа содержит 130 страниц, включая 34 рисунка, 4 таблицы, список литературы из 126 наименований, 36 страниц приложений с актами об использовании результатов работы.

ГЛАВА 1. АНАЛИЗ ПРОБЛЕМЫ СИНТЕЗА ИЗОБРАЖЕНИЙ ПО

ОПИСАНИЮ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ С ИСПОЛЬЗОВАНИЕМ ОНТОЛОГИЧЕСКИХ СТРУКТУР

1.1. Интегральная система

Предметом исследования данной работы являются системы синтеза изображений по выражениям естественного языка через общую, интегрированную онтологию предметной области. Такие системы требуют комплексного подхода, интегрирующего возможности визуализации, онтологического представления знаний и средств лингвистической трансляции.

Важность интеграции различных технических информационных систем для сокращения сроков принятия решений и повышения их качества, а также роль онтологий для обеспечения интеграции отмечается многими специалистами [10]. Интеграция в широком понимании этого понятия возможна на различных уровнях. Для интеграции по данным разработан ряд методов более или менее успешно применяемых на практике. Из наиболее известных следует назвать давно развитую концепцию интероперабельности [11] и развиваемую в последнее десятилетие концепцию сервис-ориентированной архитектуры SOA [12].

Однако семантическая интеграция развита в значительно меньшей степени, несмотря на значительное число работ в этой области. Подход к такой интеграции был намечен еще в 70 годы 20-ого века при создании концептуальных моделей реляционных баз данных. Такие модели позволили не только получить доступ к одной базе на высокоуровневом языке, но и обеспечить интеграцию нескольких баз данных с различными схемами [13].

На современном этапе наиболее перспективным подходом к семантической (смысловой или содержательной) интеграции является использование онтологий. Ярким примером семантической интеграции является концепция семантического веба (Semantic Web) в Интернет,

предполагающая единообразное описание интернет-ресурсов (базирующееся на URL) и использующей средства логического вывода (на основе языка OWL) [14, 15, 16, 17, 24, 25].

В данной работе развита концепция компонента экспериментальной системы, базирующейся на онтологии, в принципе ориентированной на широкий спектр предметных областей. Система, обеспечивает интеграцию потоков информации из различных источников [18, 19, 20]: анализ/синтез креолизованного естественного языка и анализ/синтез изображений. Общая схема системы приведена на рис 1. Использование прикладной онтологии предполагает произвольную комбинацию информационных потоков: анализ естественного языка —> синтез изображения, анализ естественного языка --> синтез текста, анализ изображения --> синтез текста и т.д.

По определению креолизованный текст содержит разнородные части: вербальные и невербальные компоненты [21, 22]. В качестве невербальных могут выступать не только изображения, но и, например, математические формулы, программные коды, ионические знаки или символы угла, градуса. Марки изделий, телефоны, даты, шифры и подобные объекты также скорее относятся к невербальным объектам.

Рис. 1. Схема взаимодействия подсистем в интегральной системе [18]

КАИ - система концептуального анализа изображений; КСИ - система концептуального синтеза изображений; АЕЯ - система лингвистического

анализа естественного языка; СЕЯ - система лингвистического синтеза естественного языка. /п - (входное/выходное) изображение; {/п} - множество изображений; Тх - текст на ЕЯ; {Т\} - множество текстов на ЕЯ (перефразировки); Мк - описание объекта или ситуации в прикладной онтологии на языке семантического гиперграфа. ЯПЗ - язык представления знаний (семантический гиперграф) [23].

Разрабатываемый компонент системы включает анализ естественного языка (АЕЯ) - представление или ситуации в прикладной онтологии (Мк) и синтез изображения из онтологической структуры (КСИ). Этот компонент целесообразно рассматривать как расширение подхода «Текст в Изображение» (системы ТТР - «Text То Picture») [27, 28, 29]. Этот подход сформировался относительно недавно и пока далек от концептуальной и понятийной зрелости. Однако предварительные эксперименты с системами ТТР демонстрируют их перспективность для коммуникаций «человек-компьютер-человек», в частности в областях образования и здравоохранения [30, 31, 32, 33]. Подробнее о ТТР-системах в 1.6.

1.2. Общие принципы ТТР-компонента интегральной системы

Сформулированы следующие принципы компонента интегральной системы, обеспечивающей синтез двумерного и трехмерного изображения по описанию на предметно-ориентированном креолизованном естественном языке:

• Целостность;

• Высокий уровень описания;

• Модульность и максимальная независимость интерфейсов;

• Адаптивность и расширяемость;

• Активное взаимодействие с онтологией.

Первый принцип означает целостность технологической цепочки от описания на предметно-ориентированном естественном языке, трансляции этого описания в онтологию, генерации програ