автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Концептно-ориентированная модель памяти программной системы автоматизированного перевода

Введение.

1. Современные средства технических переводов.

1.1. Задачи компьютерного перевода.

1.2. Технологии компьютерного перевода.

1.2.1. Выделение и анализ лексем.

1.2.2. Автоматический поиск лексем.

1.2.3. Проверка лексики.

1.2.4. Фрагментация текста.

1.2.5. Поиск языковых пар в памяти переводов.

1.2.6. Машинный перевод.

1.2.7. Проверка целостности фрагментов, формата и грамматики.

1.3. МТ и ТМ как альтернативные подходы.

1.4. Совместное использование МТ и ТМ.

1.4.1. Langenscheids Т1 Professional.

1.4.2. Personal Translator Plus 98.

1.4.3. Trados Translator's Workbench, интегрированный с Intergraph's Transend.

1.5. Полное слияние машинного перевода и памяти переводов.

1.5.1. Критерий успешности разработки.

Выводы

2. Концептно-ориентированная модель памяти переводов.

2.1. Человек - обязательный участник компьютерного перевода.

2.2. Основные определения.

2.3. Еще раз о технологиях перевода.

2.4. Аспекты использования памяти переводов.

2.4.1. Сфера применимости.

2.4.2. Основные принципы работы.

2.4.3. Пути расширения возможностей.

2.5. Многоуровневая модель памяти переводов.

2.5.1. Представление данных.

2.5.2. Поиск и добавление.

2.5.3. Вычисление пересечения языковых пар.

-32.5.4. От языковых пар к языковым звездам.

2.6. Язык UNL и концептно-ориентированная парадигма.

2.6.1. Краткое описание языка UNL.

2.6.2. Проблема изоморфизма пересечения языковых пар.

2.6.3. Концептно-ориентированная сущность памяти переводов.

Выводы

3. Универсальный сетевой язык UNL как средство организации текстовых СУБД.

3.1. Выбор формализма для текстовой СУБД.

3.2. Универсальный сетевой язык UNL.

3.3. Предпосылки создания баз данных в формате UNL.

3.4. Основные операции и свойства реляционной алгебры.

3.5. Общие требования к UNL-алгебре.

3.6. Операции UNL-алгебры.

3.6.1. Объединение.

3.6.2. Исключение.

3.6.3. Пересечение.

3.6.4. Селекция.

3.6.5. Конкретизация.

3.6.6. Отвлечение.

3.6.7. Обобщение.

3.6.8. Проекция.

3.7. Эффективность запросов к базе данных в формате UNL.

3.8. Применение алгебры языка UNL для организации памяти переводов.

3.8.1. Язык UNL как формат представления данных в памяти переводов.

3.8.2. Задачи управления данными.

3.8.3. Необходимые операции.

Выводы

4. Вариант архитектуры концептно-ориентированной памяти переводов.

4.1. Краткое введение.

4.2. Функциональная спецификация.

4.3. Внутренний дизайн.

4.4. Элементы данных.

-44.4.1. Интерфейсы.

4.4.2. Структуры данных.

4.5. Базовые алгоритмы.

4.5.1. Поиск вариантов перевода.

4.5.2. Добавление варианта перевода.

4.5.3. Создание и пополнение концепта.

4.5.4. Сопоставление UNL-предложения исходному тексту.

4.5.5. Ранжирование вариантов перевода.

4.5.6. Сопоставление двух UNL-предложений.

4.5.7. Формирование варианта перевода для комбинации двух UNL-предложений.

4.6. Алгоритмы памяти переводов.

4.6.1. Добавление.

4.6.2. Выборка.

4.6.3. Создание курсора.

4.7. Программные интерфейсы.

4.7.1. Память переводов.

4.7.2. Лингвистический анализатор.

4.7.3. UNL-алгебра.ЮЗ

Выводы

5. Анализ результатов работы программы-прототипа.

5.1. Описание программы.

5.1.1. Формат входных данных.

5.1.2. Формат выходных данных.

5.1.3. Работа программы: преобразование входа в выход.

5.2. Оценка эффективности концептно-ориентированной памяти переводов.

Выводы

Эта работа лежит в сфере компьютерных переводов с одного естественного языка на другой. Из существующих ныне двух основных подходов в данной области -машинного перевода и памяти переводов - более или менее серьезную теоретическую основу имеет только первый. В то же время, как бы странно это ни прозвучало, реальное коммерческое использование имеет место только для памяти переводов. Причина этого коротко описывается двумя словами: простота и надежность. Простота- это, скорее даже, примитивность, а надежность- это практически стопроцентная правильность перевода, которая гарантируется не какими-то статистическими данными, а самим принципом используемой технологии. Система памяти переводов, как и следует из названия, ничего не переводит сама - она лишь запоминает и использует переводы, которые уже были сделаны человеком.

Весь лингвистический аппарат (морфология, синтаксис, семантика) не позволяет машинному переводу обеспечить аналогичную надежность. Однако, плюсом его является то, что он позволяет всегда получить хоть какой-нибудь вариант перевода. Таким образом, какой бы выбор мы ни сделали, мы, выигрывая в чем-то одном, неизбежно проигрываем в другом.

Проводимое и описываемое здесь исследование имеет своей целью выделить достоинства обоих подходов применительно к задачам технических переводов и создать новую интегрированную технологию, представляющую собой выгодный симбиоз машинного перевода и памяти переводов.

Актуальность проблемы автоматизации технических переводов постоянно растет на протяжении последних десятилетий совместно с увеличением коммуникации между народами, появлением международных, оффшорных1 и аутсорсинговых2 компаний, усилением ориентации мирового рынка на конечного потребителя и ростом возможностей вычислительной техники. Вышеперечисленные факты подразумевают выпуск значительного объема технической документации, которая должна переводиться на многие языки и поддерживаться в актуальном

1 Оффшорное производство - (англ. offshore manufacturing) производство товаров за границей с целью их импорта.

2 Аутсорсинг- (англ. outsourcing) привлечение трудовых ресурсов внешних (зарубежных) фирм для выполнения работ. состоянии. Одним из эффективных путей ускорения процесса перевода является его автоматизация, для чего и существуют системы компьютерного перевода.

Учитывая скорость развития технологий и появления новых товаров и услуг, все более и более остро стоит проблема скорости перевода, решение которой требует обеспечения возможности использования существующих наработок. Действительно, каждый новых продукт, будь то технология, услуга, предмет бытовой техники или космический корабль, наследует заметную часть характеристик своего предшественника. Это приводит к тому, что и в технической документации содержание частично сохраняется. Данный факт подтверждает необходимость реализации механизмов повторного использования в системах автоматизации переводов. Это служит причиной того, что предпочтение отдается системам памяти переводов.

Как уже было отмечено выше, системы памяти переводов, несмотря на столь необходимые возможности повторного использования, оказываются эффективными лишь в случае незначительных изменений переводимых документов от версии к версии. Такие изменения имеют место при экстенсивном пути развития документируемого объекта, когда его структура остается прежней, а меняются лишь отдельные функции и количественные показатели. При изменении же самой концепции объекта (что сегодня очень часто происходит во многих отраслях: автомобилестроении, бытовой технике, программировании) современная память переводов оказывается практически бесполезной. В этом случае ее пытается заменить машинный перевод, который, как уже было отмечено, не обладает возможностями повторного использования (а также требует серьезной ручной корректировки результатов работы). В то же время, проблема повторного использования стоит здесь не менее остро, однако имеет более сложную основу. Текст уже не является частичным повторением своей предыдущей версии; он написан заново, однако, для той же предметной области, и повторяемость проявляется использовании устоявшихся оборотов и высказываний, характерных для данной области, которые, тем не менее, могут быть представлены в другом виде (изменен порядок слов, заменены некоторые термины и т.п.).

Иными словами, перед разработчиками различного рода документации стоит проблема повторного использования материала при его слабой повторяемости. Словосочетание «слабая повторяемость» в данном случае употреблено для обозначения ситуации, при которой простой строковый анализ не в состоянии выделить общие фрагменты в тексте, который, тем не менее, содержит повторения, выделяемые путем грамматического анализа. Актуальность данной проблемы подтверждается ведущимися в мире разработками (таких фирм как Trados и Xplanation) по совместному использованию машинного перевода и памяти переводов. Однако, до сих пор не существует формализма, описывающего работу такой интегрированной системы, что осложняет ее анализ и развитие. Этой задачи и посвящена данная работа.

Итак, задача этой работы заключается в разработке формальной модели и оценки эффективности системы автоматизированного перевода, реализующей механизм повторного использования переводов при слабой повторяемости текстов. Подзадачей является использование возможностей машинного перевода для выделения повторяющихся текстов.

Основным объектом исследования является память переводов. На основе существующих реализаций памяти переводов и с привлечением возможностей компьютерного грамматического анализа в работе простроена модель памяти, позволяющей эффективно выделять во входном тексте фрагменты, сходные с ранее переведенными и уже хранящиеся в памяти.

Предметом исследования являются механизмы организации данных в памяти переводов, а именно: сегментации текста, установлении логических связей между сегментами в базе данных, добавления сегментов в базу и поиска сегментов в базе.

Помимо системного анализа и общематематических методов, в работе использованы следующие методы:

• Строковая арифметика для выделения и поиска фрагментов текста, а также для лексического анализа.

• Теория множеств для описания модели «классической» памяти переводов и для разработки алгебры над языком UNL3.

• Теория графов для построения предварительной модели новой памяти переводов, учитывающей грамматические связи в тексте.

3 UNL (Universal Networking Language) - разрабатываемый Институтом Объединенных Наций язык для универсального представления текстов на различных естественных языках.

• Формализм объектно-ориентированного подхода- для конкретизации построенной модели и представления ее средствами более частного формализма (нежели теория графов).

• Формальный аппарат UNL для уточнения построенной модели, приведения ее к виду, удобному для создания алгебраической структуры и создания специальной алгебры.

• Методы функционального программирования (и реляционная алгебра) для создания программной модели разработанной памяти переводов.

• Методы алгоритмического программирования для реализации внутренних алгоритмов созданной программной модели и для написания программы-прототипа.

• Формальные грамматики для разработки формата входных данных для программы-прототипа.

• Статистические методы для анализа результатов работы программыпрототипа.

В состав научных результатов работы входят создание формальной модели новой памяти переводов, записанной средствами языка UNL, а также алгебры над языком UNL, определяющей состав, синтаксис и семантику операций над элементами в памяти переводов.

Кроме этого разработана общая программная архитектура ядра системы автоматизированного перевода на основе разработанной памяти переводов: заданы основные интерфейсы, логическая структура внутренних и внешних данных, а также предложены алгоритмы реализации основных процессов при работе с разработанной памятью переводов.

Практическим результатом является написание программы-прототипа, демонстрирующей в упрощенном виде возможности предлагаемой системы. Блок, реализующий операции, основанные на технологии машинного перевода, в данной программе не реализован, и его функции необходимо выполнять вручную, для чего в формат входных данных (переводимого текста) включен специальный язык разметки.

Практическая ценность разработанной системы заключается в двукратном повышении средней производительности памяти переводов по сравнению с текущими показателями. При этом, с одной стороны, производительность предлагаемой системы никогда не оказывается ниже, чем у существующих систем, а с другой стороны, ее преимущество перед классическим решением тем выше, чем ниже степень повторяемости текста.

Достоверность результатов подтверждается выполненным тестовым переводом нескольких файлов, статистической обработкой результатов перевода и исследованием широкой выборки файлов. Статистический анализ проводился путем исследования конкордансов (повторяющихся словосочетаний), с помощью которых можно достаточно точно измерить слабую повторяемость теста. Зная статистическую зависимость эффективности автоматического перевода от количества конкордансов, удалось подтвердить применимость предлагаемой памяти переводов для большого числа реальных текстов.

Также построенная модель и результаты работы программы-прототипа были обсуждены на профессорско-преподавательской конференции ЛЭТИ.

Выводы

1. Для экспериментальной проверки применимости концептно-ориентированной памяти переводов была написана программа-прототип.

2. Задачи грамматического анализа в программе не реализованы и решаются посредством введения специальной разметки во входной текст, задающей грамматические связи внутри предложения.

- 1123. В программе реализованы: a. Память переводов в виде графа языковых звезд с возможностью сохранения на диск. b. Блок операций UNL-алгебры. c. Блок среды переводчика, отвечающий за преобразование текста в UNL-представление и обратно, за формирование языковых пар и вариантов перевода. d. Интерфейс пользователя, позволяющий осуществлять перевод текста, в т. ч. используя варианты перевода, предлагаемые системой.

4. По результатам тестовых переводов нескольких текстов была накоплена статистика, отражающая зависимость между эффективностью автоматического перевода и количеством конкордансов (повторяющихся словосочетаний) в тексте, которые характеризуют степень повторяемости в тексте.

5. На основе полученной статистической зависимости эффективность автоматического перевода была посчитана для более широкой выборки текстов.

6. В результате исследования были установлены следующие факты: a. Эффективность концептно-ориентированной памяти переводов никогда не бывает ниже эффективности классической памяти переводов (что согласуется со свойствами модели). b. Концептно-ориентированная память переводов показана заметное повышение производительности системы перевода на текстах со слабой повторяемостью, для которых классическая память оказалась практические бесполезной. c. Средняя эффективность концептно-ориентированной памяти переводов на заданной выборке оказалась в 2 раза выше, чем у классической памяти.

-113-ЗАКЛЮЧЕНИЕ

В работе была решена задача построения формальной модели концептно-ориентированной памяти программной системы автоматизированного перевода, реализующей эффективный механизм повторного использования переводов при слабой повторяемости текстов. Значительная эффективность была достигнута за счет привлечения технологии машинного перевода. Также были проведены экспериментальная и статистическая оценки эффективности разработанной модели.

Помимо системного анализа и общематематических методов, в работе использованы следующие методы:

• Строковая арифметика для выделения и поиска фрагментов текста, а также для лексического анализа.

• Теория множеств для описания модели «классической» памяти переводов и для разработки алгебры над языком UNL.

• Теория графов для построения предварительной модели новой памяти переводов, учитывающей грамматические связи в тексте.

• Формализм объектно-ориентированного подхода- для конкретизации построенной модели и представления ее средствами более частного формализма (нежели теория графов).

• Формальный аппарат UNL для уточнения построенной модели, приведения ее к виду, удобному для создания алгебраической структуры и создания специальной алгебры.

• Методы функционального программирования (и реляционная алгебра) для создания программной модели разработанной памяти переводов.

• Методы алгоритмического программирования для реализации внутренних алгоритмов созданной программной модели и для написания программы-прототипа.

• Формальные грамматики для разработки формата входных данных для программы-прототипа.

• Статистические методы для анализа результатов работы программыпрототипа.

Научными результатами являются:

• Формальная модель концептно-ориентированной памяти переводов, основанная на формализме языка UNL.

• Алгебра над языком UNL, оперирующая высказываниями естественного языка, преобразованными в UNL-представление.

• Общая архитектура концептно-ориентированной системы автоматизированного перевода.

Практическим результатом является написание программы-прототипа, позволяющей экспериментально исследовать и оценить возможности разработанной системы перевода.

Результаты оценки эффективности предлагаемой системы автоматизированного перевода подтверждают целесообразность ее использования при переводе технических текстов, поскольку, в отличие от существующих решений, предлагаемая система позволяет сокращать человеческие трудозатраты на перевод в условиях слабой повторяемости текста. На таких текстах концептно-ориентированная система оказывается эффективнее в десятки раз, а среднее повышение эффективности составляет 100% (т. е. в 2 раза). В то же время, поскольку концептно-ориентированная модель является расширением существующей линейной модели памяти переводов, ее эффективность никогда не оказывается ниже, чем у существующих систем.

Сфера применения предлагаемой системы совпадает со сферой применения существующих систем памяти перевода (руководства пользователя, спецификации и другие технические тексты). Однако, более высокая эффективность позволяет использовать данную систему в условиях значительного разнообразия содержания переводимого материала, обусловленного, например, регулярными качественными изменениями свойств объектов документирования.

Так уж сложилось, что в момент написания этих строк на рынке была анонсирована новая версия профессиональной среды перевода SDLX. Эта система,

- 115изначально основанная на памяти переводов, теперь также обеспечивает и машинный перевод. Данное событие еще раз подтверждает наметившуюся в настоящее время тенденцию к интеграции технологий ТМ и МТ. Учитывая динамику развития информационных технологий (поколения программных продуктов меняются быстрее, чем проходит десятилетие), есть серьезные основания утверждать, что в ближайшие годы в лингвистических технологиях ожидаются коренные изменения. Простейшие (пока что) варианты соединения машинного перевода и памяти переводов очень быстро получат теоретическую основу и, развиваясь, захватят весь рынок компьютерных переводов.

Это означает, что результаты, полученные в данной работе, имеют несомненную ценность как фора в конкурентной борьбе, но, чтобы принести реальную прибыль, они должны быть, как можно скорее, использованы для разработки реальной системы. Поскольку средний цикл разработки очередной версии системы перевода составляет около трех лет, это и есть то время, в течение которого разработанная здесь модель представляет собой реальное ноу-хау. По истечении этого срока требования рынка вынудят фирм-разработчиков предложить новые решения, и, вероятнее всего, соответствующие исследования ведутся уже сейчас.

1. Universal Networking Language,http://www.ias.unu.edu/research prog/science technology/universalnetwork language.html

2. Peter Gardenfors, Meanings as Conceptual Structures// Lund University Cognitive Studies, 1995

3. Кобрина H. А., Понятийные категории и их реализация в языке// Понятийные категории и их языковая реализация, JI., 1989

4. Skidan О.Р. Mathematical Concept and its Categorial Structure// Concepts. Scientific Works of Centroconcept. Issue 1(3),1998. Conceptology and Concept-oriented Knowledge Bases. - Arkhangelsk (Russia): Pomor State University, 1998.

5. Peter Clark, The Syntax vs. Semantics Debate Revisited?// Knowledge Systems Laboratory, Institute for Information Technology. Ottawa, Canada, 1994

6. Alan К. Melby, Eight Types of Translation Technology// ATA, Hilton Head, November 1998

7. Esselink, В., A Practical Guide to Software Localization// 2000; 2nd ed.

8. Koehn, P. and Knight, K. 2001

9. Knowledge Sources for Word-Level Translation Models. Empirical Methods in Natural Language Processing conference (EMNLP'01)

10. Knight, K. and S. Luk. 1994.

11. Building a Large-Scale Knowledge Base for Machine Translation. Proceedings of the American Association of Artificial Intelligence AAAI-94. Seattle, WA

12. Germann, U., Jahr, M., Knight, K., Marcu, D., and Yamada, K. 2001

13. Fast Decoding and Optimal Decoding for Machine Translation. Proceedings of ACL-01. Toulouse, France-11712. Александр Силонов, На смену Stylus приходят PROMT и WebTranSite//

14. Компьютерная неделя N26(150). М., 1998

15. Al-Onaizan, Y., Germann, U., Hermjakob, U., Knight, K., Koehn, K., Marcu, D., Yamada, K. 2000.

16. Translating with Scarce Resources. American Association for Artificial Intelligence conference (AAAI'00)

17. Knight, K. and Langkilde, I. 2000.

18. Preserving Ambiguities in Generation via Automata Intersection. American Association for Artificial Intelligence conference (AAAI'00)

19. Олег Сонин, МТ или ТМ// Компьютерная неделя N26-27(200-201). М., 1999

20. Walker, М., Langkilde, I., Wright, J., Gorin, A., Litman, D. 2000.1.arning to Recognize Probabilistic Situations in a Spoken Dialogue System. Association for Computational Linguistics conference, North American chapter (NAACL'00)

21. Marcu, D., Carlson, L., Watanabe, M. 2000.

22. The Automatic Translation of Discourse Structures. Association for Computational Linguistics conference, North American chapter (NAACL'00)18. Knight, K. 1999.

23. Decoding Complexity in Word-Replacement Translation Models. Computational Linguistics, 25(4)19. Marcu, D. 2001

24. Towards a Unified Approach to Memory- and Statistical-Based Machine Translation. Proceedings of ACL-01. Toulouse, France20. Knight, K. 1997.

25. Automating Knowledge Acquisition for Machine Translation. AI Magazine18(4)

26. Martin Volk, The Automatic Translation of Idioms. Machine Translation vs. Translation Memory Systems// In Proc. Of ACL/EACL Joint Conference, Madrid, 1998

27. Knight, К., I. Chander, M. Haines, V. Hatzivassiloglou, E.H. Hovy, M. Iida, S.K. Luk, A. Okumura, R.A. Whitney, and K. Yamada. 1994.1.tegrating Knowledge Bases and Statistics in MT. Proceedings of the 1st AMTA Conference. Columbia, MD

28. Koehn, P., and Knight, K. 2000.

29. Estimating Word Translation Probabilities from Unrelated Monolingual Corpora Using the EM Algorithm. American Association for Artificial Intelligence conference (AAAI'00)

30. Куковякин A.B., Ляпин C.X., Скидан О.П. Обобщенная функциональная структура интеллектуальной текстовой базы данных// X Ломоносовские чтения. Доклады и тезисы. Архангельск, Изд-во ПГУ им. М.В.Ломоносова, 1998.

31. Скидан О.П., Черепанова Л.И. Аналитические возможности простого частотного поиска по текстовой базе данных// X Ломоносовские чтения. Доклады и тезисы. Архангельск, Изд-во ПГУ им. М.В.Ломоносова, 1998.

32. Oliver Streiter, A Semantic Description Language for Multilingual NLP// Institut fur deutsche Sprache/The Tuscan Word Centre, September 1998

33. Hiroshi Uchida, Meiying Zhu, Tarcisio Delia Senta, The UNL, a Gift for a Millenium// IAS/UNU, November 1999. http://www.unl.ias.unu.edu/publications/index.html

34. The Universal Networking Language (UNL) Specifications Version 2.0b// UNU/IAS/UNL Center, January 2000. http://www.unl.ias.unu.edu/unlsys/spec/unls20.htm

35. Universal Word Specifications Version 2.0// UNU/IAS/UNL Center, August 2000.

36. Hiroshi Uchida, Meiying Zhu, The UW Manual version 1.0// UNU/IAS/UNL Center, October 2000.

37. С. Д. Кузнецов, Основы современных баз данных. Лекция 5: Базисные средства манипулирования реляционными данными// Информационно-аналитические материалы Центра Информационных Технологий. http://citforum.udmnet.ni/database/osbd/glava19.shtml# 2 2

38. Универсальный сетевой язык UNL как средство организации текстовых баз данных и систем управления ими/Глазунов А. Г.;- 119

39. С.-Петербургск.электротехн.ун-т. СПб., 2001. - 28 е.: ил. - Библиогр. 6 назв. - Рус. - Деп в ВИНИТИ

40. Концептно-ориентированная модель памяти переводов/Глазунов А. Г.; С.-Петербургск.электротехн.ун-т. СПб., 2001. - 33 е.: ил. - Библиогр. 4 назв. - Рус. - Деп в ВИНИТИ

41. Концептно-ориентированная модель памяти переводов/Глазунов А. Г.; http://www.citforum.ru/programming/digest/cotm.shtml- 120-РИСУНКИ

42. Часы идут The clock is going

43. Поезд идет Поезд едет The train is going The train is running

44. Время идет Time is going Time is running

45. The engine is going The engine is running

46. Рис. 1. Соотношение слов и понятий в языкахвзаимосвязанных лексем языка «А»-J L1. Миожомво связанных но Nконцептов культуры «А»111

47. MHOACLIBO сиязлшых но концептов культуры «Б»-----— -------- ■- --

48. Hii/nci-h\ ,„т\рош.„ччы,н i/i«км, .<>

49. Рис. 2. Уровни интерпретации высказывания в процессе перевода

50. Рис. 3. Схема работы памяти переводов

51. Исходный ! фрагмент h текста !

52. Лингвистический анализатор1. Синтаксис

53. Промежуточное представление1. Морфология1. Многоязычный словарь1. Лингвистический синтезатор1. Синтаксис1. Морфология1. Целевой фрагмент текста

54. Рис. 4. Схема работы системы машинного переводарегулируется поворотом ручки по часовой стрелкеcan be adjusted by turning the knob clockwise1. ЯНННИ ■НЬ IBMHHPk

55. Температура Г ! Напор с ел'

56. The temperature The water head

57. Рис. 5. Оптимизация представления данных в памяти переводов

58. Рис. 6. Представление данных в памяти переводов в виде «синхронизированных» графов

59. Область терминологического словарярегулироваться1. Свойства:1. Время Q = О1. Число() = О1. ЛицоО = Оповорот

60. Свойства. ЧислоО ПадежО = 0 = 0