автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Динамическая модель семантики и прагматики документов на базе расширения языка XML

ВВЕДЕНИЕ.

1. Формулировка проблем диссертационной работы, их контекст и текущее состояние.

2. Цели и задачи исследования диссертационной работы

3. Научная новизна и практическая ценность диссертационной работы

ГЛАВА 1. ОБЗОР СУЩЕСТВУЮЩИХ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ ДОКУМЕНТА И ФОРМУЛИРОВКА ЗАДАЧ

ИССЛЕДОВАНИЯ.

1.1. Документ и его семантическая обработка.

1.1.1. Понятие документа.

1.1.2. Документ, как элемент системы коммуникации.

1.1.3. Документ, как семиотическая система.

1.1.4. Понятие семантической модели документа.

1.1.5. Проблема семантической обработки документов.

1.2. Обзор современных подходов к семантической обработке документов.

1.2.1. Привязка к конкретной предметной области

1.2.2. Использование семантической сети в качестве универсальной семантической модели.

1.2.3. Дополнение семантических сетей ролевыми признаками

1.3. Обзор существующих семантических и прагматических моделей

1.3.1. "Компонентный анализ" (Катц, Фодор).

1.3.2. "Семантические падежи (роли)" (Филмор).

1.3.3. Модель Уилкса (Уилкс, Мастерман).

1.3.4. "Концептуальная зависимость" (Шенк).

1.3.5. "Смысл - Текст" (Жолковский).

1.3.6. Языки представления знаний и языки моделирования.

1.3.7. Прагматические модели.

1.4. Формулировка задачи построения семантико-прагматической модели документа

Выводы по главе.

ГЛАВА 2. СЕМАНТИКО-ПРАГМАТИЧЕСКАЯ МОДЕЛЬ ДОКУМЕНТА (СПМД).

2.1. Основные гипотезы и базовые понятия, лежащие в основе семантико-прагматической модели документа.

2.1.1. Гипотеза 1.

2.1.2. Гипотеза 2 (модель окружающего мира).

2.1.3. Гипотеза 3 (модель участника общения).

2.1.4. Гипотеза 4 (о прагматической структуре документа).

2.2. Структура и элементный состав семантико-прагматической модели документа

2.2.1. Мета-документ.

2.2.2. Модель контекста документа.

2.2.3. Прагматическая модель документа.

2.2.4. Семантическая модель документа.

2.3. Использование СПМД в конкретной предметной области.

2.3.1. Интерпретация элементов семантико-прагматической модели.

2.3.2. Создание СПМ реальных документов.

2.4. Ограничения, накладываемые на применение модели.

Выводы по главе.

ГЛАВА 3. СЕМАНТИЧЕСКИЙ АНАЛИЗ СПМД И ИЗВЛЕЧЕНИЕ

ИНФОРМАЦИИ ИЗ СПМД.

3.1. Семантический анализ семантико-прагматической модели документа

3.1.1. Анализ отношений объекта

3.1.2. Анализ окружения объекта

3.1.3. История отношений и действий объекта

3.1.4. Использование прагматических блоков в процессе синтеза новых документов.

3.2. Язык запросов к СПМД.

3.2.1. Извлечение объектов.

3.2.2. Извлечение отношений.

3.2.3. Извлечение событий (переходов).

3.2.4. Извлечение явлений (историй взаимодействия объектов)

3.2.5. Примеры запросов.

Выводы по главе.

ГЛАВА 4. ФОРМИРОВАНИЕ СЕМАНТИКО-ПРАГМАТИЧЕСКОЙ

МОДЕЛИ ДОКУМЕНТА.

4.1. Редактор семантико-прагматических моделей.

4.2. Язык описания шаблонов, используемых для формирования СПМД.

4.2.1. Текст.

4.2.2. Поле.

4.2.3. Команда выбора.

4.2.4. Элементы языка описания шаблонов, отвечающие за формирование семантико-прагматической модели.

Выводы по главе.

ГЛАВА 5. ПРИМЕР ИСПОЛЬЗОВАНИЯ СПМД В РЕАЛЬНОЙ СИСТЕМЕ УПРАВЛЕНИЯ ДОКУМЕНТАМИ (СУД).

5.1. Общие сведения о СУД "Нотариальные документы".

5.1.1. Назначение СУД.

5.1.2. Среда и язык реализации СУД.

5.2. Структура СУД.

5.2.1. Синтезатор текста.

5.2.2. Архиватор документов.

5.2.3. Блок синтаксического и семантического поиска документов в архиве.

5.2.4. Блок семантического анализа.

5.2.5. Интерфейсный блок.

Выводы по главе.

1. Формулировка проблем диссертационной работы, их контекст и текущее состояние

На всем протяжении бурного развития компьютерных технологий работы с данными и знаниями - реляционных, иерархических, сетевых, объектно-ориентированных СУБД, информационно-поисковых систем на базе генераторов запросов (SQL), оперативной аналитической обработки данных (OLAP), хранилищ данных (Data Ware House), интеллектуального анализа данных (Data Mining), особое место среди них всегда занимали электронные документы и системы управления документами (СУД).

Все перечисленные выше технологии (за исключением, в некоторых случаях, интеллектуального анализа данных) работают с уже структурированными данными, полученными путем обработки неструктурированной, неформализованной информации. Той самой информации, одним из важнейших источников которой (помимо непосредственно человека) является документ. Таким образом, технологии семантической обработки документов, имея дело с неструктурированной и неформализованной информацией, занимают особое место среди других технологий работы с данными и знаниями: они предшествуют им и, в идеале, должны создавать основу для их работы.

Обусловлено это тем, что документ является одной из наиболее универсальных форм представления информации, так как в его основе лежит естественный язык - самый гибкий из всех созданных человеком языков описания реальности.

К сожалению, выразительная гибкость документа, как формы представления информации, обернулось проблемой для развития технологий электронных СУД. Фактически, она обусловила негармоничность этого развития: с одной стороны последние годы прошли под знаком бурного развития таких направлений, как создание и редактирование документов, организация процесса движения документов, оперативное хранение и архивирование документов, классификация и поиск документов по ключевым словам, контроль исполнения документов, обеспечение безопасности документов [15]; с другой стороны такое важнейшее направление, как семантическая обработка (семантический анализ, синтез, семантический поиск, семантическая классификация и др.) документов развивалось значительно медленнее. В результате мы имеем огромный массив электронных документов, анализ которого человек осуществить уже не в состоянии.

Соответственно, нужны инструменты, автоматизирующие семантическую обработку. На сегодняшний день существует два основных подхода к решению проблем автоматизации семантического анализа документов.

Первый подход заключается в поиске методов интерпретации синтаксических и поверхностно-семантических конструкций естественного языка - ассоциации лексем и словокомплексов с некоторой соответствующей им системой понятий. В рамках данного подхода существует два основных метода: структурный (или лингвистический) и статистический. Оба они ориентированы на представление анализируемого текста в виде семантической сети, состоящей из ключевых смысловых понятий и связей между ними. При этом структурный подход получает семантическую сеть путем последовательных формальных анализов: морфологического, поверхностного синтаксического, глубинного синтаксического, поверхностного семантического. Статистический же подход выделяет ключевые понятия на основе их частотного анализа (что является, очевидно, менее точным способом, но более быстрым). В последние годы появились и значительно более продвинутые анализаторы, которые не ограничиваются построением семантической сети, а осуществляют ее интерпретацию (ассоциируют с ключевыми понятиями конкретные значения, в зависимости от контекста). В частности, разрешают омонимию на основе ассоциативных словарей [16]. Не смотря на определенные успехи данного подхода, его применение затруднено тем, что поверхностно-семантические модели (словари понятий, на которые отражаются лексемы, и правила этого отображения) - чрезвычайно сложны и меняются от одной предметной области к другой, что значительно снижает эффективность их практического использования.

Вторым подходом решения проблем семантического анализа документов является создание искусственной семиотической системы - семантической модели (глубинно-семантической модели). Семантическая модель представляет собой необъемную систему однозначных и строго структурированных понятий, полученных путем обобщения концептов (понятий) естественного языка. С семантической моделью ассоциируется формализованная нотация, еще более упрощающая автоматизацию анализа модели. Подобные модели, потенциально, предоставляют гораздо большие возможности семантического анализа, чем модели первого подхода, так как являются более выразительными, по сравнению с семантическими сетями. Однако формирование подобных моделей, на данный момент, остается серьезной проблемой (получить их из уже готового документа, в отличие от поверхностно-семантических моделей, пока не представляется возможным).

В последние несколько лет второй подход получает все большое распространение, поскольку уровень развития первого подхода не позволяет решать многие практические задачи (в частности, задачи, связанные с принятием решений на основе семантического анализа документов). Наиболее ярким подтверждением данной тенденции является быстрое развитие нового направления, поддерживаемого www-консорциумом, - Semantic Web. В его контексте созданы такие модели, как RDF [59] и DAML+OIL [60]. Все эти модели используют стандартную нотацию - язык моделирования структур данных XML [55].

В рамках направления Semantic Web, на данный момент, существует три основных проблемы:

- отсутствуют модели, поддерживающие моделирование динамических явлений, описываемых в документах (существующие модели основаны на семантических сетях, плохо приспособленных для представления динамики);

- отсутствуют модели, поддерживающие моделирование прагматики документов (целей авторов и языковых средств достижения этих целей);

- затруднена автоматизация формирования семантических моделей (получить подобные модели из готовых документов на данный момент, не представляется возможным).

Решению трех этих проблем и посвящена данная работа. Предлагаемая в работе семантико-прагматическая модель документа, относясь к направлению Semantic Web (используя в качестве своей нотации язык XML), поддерживает представление динамических процессов и прагматики документов. В качестве варианта решения третьей проблемы, в работе, предложена автоматизация создания семантико-прагматических моделей документов, в процессе синтеза этих документов, на основе шаблонов, сформированных экспертами. Существует множество организаций и предметных областей, документы в которых полностью или частично создаются на базе автоматизированных шаблонов (форм). Ярким примером является юриспруденция. Эти шаблоны вполне могут быть использованы для формирования моделей документов. В этом случае эксперт заранее создает семантико-прагматическую модель конкретного документа и специализированный шаблон, соответствующий этой модели. Оператор же, заполняя форму, автоматически создает не только документ, но и его модель.

В основе данной диссертационной работы лежит ряд идей и исследований. Концептуальные проблемы создания моделей и систем для интеллектуального анализа информации рассматривались в научных трудах Г. Буча, П. Коуда, О.В. Логиновского [24, 61], Д.А. Поспелова, Р.П. Чапцова, Э. Йордана и др.

Исследованиям проблемы построения семантических моделей естественно-языковых текстов посвящены работы Ю.Д. Апресяна, А.К. Жолковского, И. Катца, М.М. Мастермана, И.А. Мельчук, A.C. Нариньяни, Э.В. Попова, У.А. Уилкса, Ч. Филмора, И.А. Фодора, Р.С, Шенка, С. Шапиро и др. Проблема построения прагматических моделей и их связи с семантическими моделями отражена в работах В.В, Богданова, JI. Бирнбаум, Дж. Мей, A.C. Нариньяни, Дж. Остина, Р.С, Шенка и др.

Проблемы построения семантических моделей неразрывно связаны с проблемой представления знаний (последняя является методологией построения семантических моделей). Представлению знаний посвящены работы Д.Г. Боброва, Т. Виноград, И.П. Кузнецова, М. Минского, Ч. Морриса, A.C. Наринь-яни, Д.А. Поспелова, Э.В. Попова, Л.К. Шуберта и др.

Выводы по главе

На примере реализованной СУД "Нотариальные документы" показано, что предложенная в данной диссертационной работе семантико-прагматическая модель документа:

- во-первых, может быть использована в практической деятельности реальных организаций, создающих документы на основе шаблонов (форм);

- во-вторых, востребована этими организациями и восполняет пробелы современных систем управления документами в части семантического поиска и семантического анализа документов.

ЗАКЛЮЧЕНИЕ

Проведенные в рамках данной работы исследования образуют теоретическую и практическую основу решения задачи семантического анализа документов. К основным выводам и результатам этих исследований следует отнести следующее:

1) анализ существующих семантических моделей и методик семантического анализа естественно-языковых текстов позволил сделать следующий вывод: на данный момент существует два основных подхода к решению задачи семантического анализа. Первый подход (лингвистический) ориентирован на построение смыслового представления текста путем проведения ряда лингвистических и статистических анализов: морфологического, синтаксического, частотного и др. Смысловое представление, формируемое в этом случае, представляет собой семантическую сеть (или ее разновидность), которая дает возможность реализовывать, главным образом, алгоритмы статического анализа (анализ наличия связей между объектами, силы этих связей и т.п.);

2) в рамках второго подхода анализируется не сам документ, а его смысловое представление, которое формулируется в искусственной синтаксической нотации на основе формальной семантической модели (например, семантическая модель web-документа RDF, использующая нотацию языка XML). Поскольку гибкий и сложный синтаксис естественного языка заменяется искусственной нотацией, а семантика естественного языка - формализуется, данный подход потенциально позволяет реализовывать значительно более сложные алгоритмы семантического анализа. Однако на данный момент в качестве формальных моделей используются те же семантические сети, что искусственно занижает возможности данного подхода. Необходимо создать новую формальную модель семантики документа;

3) синтезирована семантико-прагматическая модель документа в нотации языка XML. Данная модель:

• поддерживает представление динамических явлений (путем комбинировании двух подходов к моделированию динамики объекта: разбиения движения объекта на отдельные статические состояния, описывающие все свойства и отношения объекта в некоторый промежуток времени; и выделения переходов в движении объекта - единичных изменений, затрагивающих отдельные отношения (свойства));

• поддерживает представление целей авторов и средств их выражения;

• лежит в основе реализации новых алгоритмов семантического анализа, связанных с анализом динамики событий и прагматики документов;

4) разработана методика автоматического формирования смысловых представлений документов в процессе их синтеза, основанная на использовании шаблонов, созданных экспертами для различных классов документов на базе СПМД. Данный метод позволяет обойтись без использования лингвистических процедур анализа документов;

5) разработаны алгоритмы, которые расширили ряд существующих алгоритмов семантического анализа на базе использования СПМД (в частности, алгоритмы анализа динамики отношений между определенной группой объектов; анализа истории изменений, происходящих с интересующим объектом; анализа окружения объекта). Спроектирован язык запросов, позволяющий применять вышеуказанные алгоритмы для анализа ХМЬ-баз данных, хранящих смысловые представления документов;

6) в процессе написания диссертационной работы, создана и внедрена в нескольких организациях система управления документами, поддерживающая предложенную в работе методику. Все элементы методики продемонстрировали свою работоспособность. Наибольшую эффективность своей работы система продемонстрировала в организациях, для которых характерен интенсивный процесс создания документов (в частности, в нотариальных конторах).

1.В., Панин А.В. Философия: Учебник. Издание второе, переработанное и дополненное. - М.: Проспект , 1998. - 368с.

2. Андреев A.M., Березкин Д.В., Кантонистов Ю.А. Экспертные юридические системы: миф или реальность? // МИР ПК #09/98

3. Белл Р. Социолингвистика: цели, методы, проблемы. М.: Междунар. отношения, 1980. - 318 с

4. Буч Г. Объектно-ориентированное проектирование с примерами приме-нения./Пер. с англ. М.: Конкорд, 1992. - 519с.

5. Богданов В. В. Иллокутивная функция высказывания и перформативный глагол. В: Содержательные аспекты предложения и текста. Калинин, 1983

6. Бауэр Ф.Л., Гооз Г. Информатика. Вводный курс: В 3-х ч. 4.1. / Пер. с нем. М.: Мир, 1990. - 336с.

7. Бауэр Ф.Л., Гооз Г. Информатика. Вводный курс: В 3-х ч. 4.2. / Пер. с нем. М.: Мир, 1990. - 423 с.

8. Гореткина Е. "Средства подготовки электронных документов" // Computer Week Moscow 19, 1995

9. Диалоговые системы в АСУ/ В.М. Брябрин, Ю.Я. Любарский, Л.И. Ми-кулич и др.; Под ред. Д.А. Поспелова. М.: Энергоиздат, 1983. - 208 с.

10. Дорошенко A. GPSS язык и система моделирования систем.// PC WEEK/RE 18, 1992

11. Жолковский А.К. и др. О принципиальном использовании смысла при машинном переводе.// Машинный перевод, 1961, вып.2

12. Жолковский А.К. Модель "Смысл Текст". - В кн.: Энциклопедия кибернетики. Том 2. - Киев: Украинская Советская энциклопедия, 1974

13. Закон Российской Федерации N 24-ФЗ "Об информации, информатизации и защите информации" от 25 января 1995 годаhttp://www.isecuritv.ru/lib/law2.html

14. Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник/ Под ред. Д.А. Поспелова - М.: Радио и связь, 1990. - 304с.

15. Клименко С.В., Крохин И.В., Кущ В.М., Лагутин Ю.Л. Электронные документы в корпоративных сетях: второе пришествие Гутенберга. М.: "Анкей", 1999.-272 с.

16. Королёв А.Н. Лингвистическое обеспечение информационно-поисковой системы Excalibur Retrieval Ware: Аналитический аспект http ://www.citforum.ru/ seminars/cis99/vest2 .shtml

17. Кук Д., Бейз Г. Компьютерная математика: Пер. с англ. М.: Наука. - Гл. ред. физ.-мат. лит., 1990. - 384 с.

18. Карташева Е. Интеллектуальные поисковые системы Excalibur// СЕТИ, #06, 1997

19. Кузнецов И.П. Семантические представления. М.: Наука, 1986. 296с.

20. Казанский Д. Системы ERP: основные задачи и область применения // Сети и системы связи, №2, 1998

21. Календарев А. Понятие XML/EDI http://www.citforum.ru/internet/articles/xmledi.shtml

22. Кальянов Г.Н. Консалтинг при автоматизации бизнес-процессов. -М.: "Горячая Линия Телеком", 2000. -320с.

23. Минский М. Фреймы и представление знаний. М.: Энергия, 1979.

24. Логиновский О.В., Тарасов В.М., Чапцов Р.П. Интеллектуальные информационные технологии и системы: Учебное пособие. Челябинск: ЧГТУ, 1996. - 53 с.

25. Мартин Дж. Организация баз данных в вычислительных системах. М.: Мир, 1978.

26. Мазный Г.Л. Лингвистические основы информатики http://utc.jinr.ru/~mazny/kurses/loi/

27. Моррис Ч. Основания теории знаков // Семиотика / Под ред. Ю. С. Степанова. — М., 1983.

28. Остин Дж. Слово как действие. // Новое в зарубежной лингвистике: Вып. 17, М.: Прогресс, 1986

29. Оксфордский толковый словарь: Англо-русский /Под ред. И.М.Осадчий. М.:Весь Мир, 1997. - 496 с.

30. Поспелов Д.А. Ситуационное управление: теория и практика. М.: Hayка. Гл. ред. физ.-мат. лит., 1986. - 286 с.

31. Поспелов Д.А. Логико-лингвистические модели в системах управления. -М.: Энергоиздат, 1981. 232 с.

32. Попов Э.В. Общение с ЭВМ на естественном языке М.: Наука. - Гл. ред. физ.-мат. лит., 1982. - 360 с.

33. Степанов, Ю. С. Семиотика. М., 1971.- 168 с.

34. Технология автоматического анализа текстов (TextAnalyst) http://www.analyst.ru

35. Фаулер М., Скотт К. UML в кратком изложении. Применения стандартного языка объектного моделирования: Пер. с англ. М.: Мир, 1999. -191с.

36. Хейес-Рот и др. Построение экспертные систем / Под ред. Ф. Хейес-Рота, Д. Уотермена, Д. Лената. М.: Мир, 1987

37. Шафф, А. Введение в семантику. М., 1963.

38. Шемакин Ю.И. Теоретическая информатика: Учебное пособие./ Под общей ред. К.И. Курбакова. М.:Изд-во Рос. Экон. Акад., 1998. 132с.

39. Шапот М., Рощупкина В. Интеллектуальный анализ данными и управление процессами //Открытые системы, № 4-5, 1998.

40. Щавелёв Л.В. Оперативная аналитическая обработка данных: концепции и технологии. http://www.citforum.ru/seminars/cis99/sch.shtml

41. DMA (Document Management Alliance)// http://www.aiim.org/dma

42. Document Object Model (DOM) Level 2 Specification // http://www.w3 .org/TR/DOM-Level-2

43. Fillmore Ch.T. Subjects, speakers and roles.// Synthese, 1970, v.21

44. Fillmore Ch.T. Types of lexical information. In: Studies in syntax and semantic. Amsterdam: Dordrecht-Holland, 1969

45. INTEGRATION DEFINITION FOR FUNCTION MODELING (IDEFO); INTEGRATION DEFINITION FOR INFORMATION MODELING (IDEF1, IX); INTEGRATION DEFINITION FOR ONTOLOGY DESCRIPTION (IDEF5) http:/www.idef.comhttp :/www. idef.ru

46. Katz I., Fodor I.A. The Structure of a Semantic Theoiy.// Language, 1963, v.39, №2

47. Bobrow D. G., Winograd, T. An overview of Knowledge Representation Language. In: Cognitive Science, 1977, #1

48. Карпов Б. И. Microsoft Office 2000: справочник СПб: "Питер", 2000 г, -448с.

49. Roger С. Schank. Conceptual Dependency: a Theory of Natural Language Understanding Cognitive/ Psychology, 1972, v.3, №4

50. Roger C. Schank. Conceptual Information Processing. Amsterdam: North-Holland Publishing Company, 1975

51. Король В.И. Visual Basic 6.0, Visual Basic for Applications 6.0. Язык программирования. Справочник с примерами М.: "КУДИЦ-Образ", 2000. -448с

52. Wilks Y. A. Grammar, Meaning and the Machine Analysis of language. -London: Routledge and Kegan Paul, 1972

53. Wilks Y.A. Preference Semantics. Stanford Artificial Intelligence Laboratory. Memo AIM-206, Memo AIM-211. Stanford: SRI, 1973

54. XML Queiy Language (XQL). // Position paper to the W3C Query Languages Workshop, Dec 3 and 4, 1998. http://www.w3.org/TandS/QL/QL98/pp/xql.html

55. Extensible Mark-up Language (XML) 1.0. (Second Edition) // W3C Recommendation 6-October-2000. http://www.w3 .org/TR/REC-xml

56. XML Schema Part 1 : Structures. // W3C Recommendation 2 May 2001 : http://www.w3.org/TR7xmlschema-l/

57. XML Schema Part 2: Datatypes // W3C Recommendation 2 May 2001 : http://www.w3.org/TR7xmlschema-2/

58. Namespaces in XML // World Wide Web Consortium 14-January-1999 http://www.w3 .org/TR/REC-xml-names

59. Resource Description Framework (RDF) Model and Syntax Specification // W3C Recommendation 22 February 1999 http://www.w3 .org/TR/REC-rdf-syntax

60. Annotated DAML+OIL Ontology Markup // W3C Note 18 December 2001 http://www.w3 .org/TR/daml+oil-walkthru

61. Логиновский O.B., Емельянова И.В. Моделирование. Учебное пособие. -Челябинск: Изд. ЮУрГУ, 2001. 115 с.

62. Коровин С.Е. "Семантико-прагматическая модель документа в нотации XML". Электронный журнал "Исследовано в России", 123, стр. 13601380, 2002 г. http://zhurnal.ape.relarn.rii/articles/2002/123.pdf

63. Кафтанников И.Л., Коровин С.Е. Семантика World Wide Web-документа // Вестник Юж.-Урал. гос. ун-та. Сер. Компьютер, технологии, упр., радиоэлектроника. Вып. 1. №9(09). - 2001. -С. 26-32.

64. Коровин С.Е., Мельников А.В., Кафтанников И.Л. Моделирование семантики и прагматики документа в нотации языка XML //Известия Челябинского научного центра. Челябинск: Издание ЧНЦ УРО РАН, РФЯЦ - ВНИИТФ, ЮУрГУ, 2002, - Вып. 16. -С.25-29.

65. Коровин С.Е. Язык XML и семантика электронного документа: динамическая семантическая модель //Интеллектика. Логистика. Системология: Сб. науч. тр.-Челябинск: Издание ЧНЦ РАЕН, РУО МАИ, ЧРО МАНГО, 2002.-Вып.7.-С. 182-189.