автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Построение алгоритмов реализации человеко-машинных речевых интерфейсов

РНЦ «КУРЧАТОВСКИЙ ИНСТИТУТ» ИНСТИТУТ МОЛЕКУЛЯРНОЙ ФИЗИКИ

УДК 004.89:004 4 На правах рукописи

"Г I -')

Коршаков Алексей Вячеславович СД^^7

ПОСТРОЕНИЕ АЛГОРИТМОВ РЕАЛИЗАЦИИ ЧЕЛОВЕКО-МАШИННЫХ РЕЧЕВЫХ ИНТЕРФЕЙСОВ.

Специальность: 05.13.11.-Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных

сетей.

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Научный руководитель: к. ф.-м. н В.Л. Введенский

1111111111111Н11111111>1

ООЗ1615 12

Москва-2007г.

Научный руководитель

кандидат физико-математических наук Введенский Виктор

Львович

Официальные оппоненты

доктор физико-математических наук Зизин Михаил

Николаевич

доктор биологических наук,

кандидат физико-математических наук,

профессор Фролов Александр

Ведущая организация Московский Инженерно-физический Институт (Технический Университет) МИФИ (ТУ)

на заседании диссертационного Д520 009 04 в Российском

научном центре «Курчатовский институт» по адресу 123182 г Москва, пл Курчатова д 1

С диссертацией можно ознакомиться в библиотеке РНЦ «Курчатовский институт»

Автореферат разослан £ 2007 г

Ученый секретарь /

Алексеевич

Защита диссертации состоится <Р

2007 года в ¿Оч <9&мт

диссертационного совета, кандидат технических наук

Г В Яковлев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы:

Сложность реализации человеко-машинного речевого интерфейса определяется во многом сложностью такой системы кодирования, как человеческий язык Вместе со стремительным вступлением человека в информационный век и растущей потребностью людей в эффективных средствах взаимодействия с вычислительной техникой, необходимость эффективного посредника между человеком и информационной средой становиться актуальной Речевые интерфейсы, или хотя бы системы, накладывающие ограничения на тот или иной аспект речевого общения, или их приложения, такие как автоматические «On Line 1 »-системы интеллектуального речевого и текстового перевода, устройства определения личности человека по голосу, системы автоматических объявлений, «автоответчики» справочных систем, и исследования, связанные с их совершенствованием или созданием новых типов подобных устройств, приобретают сегодня все большую актуальность Однако, исходя из анализа литературы или изделий, представленных на тематическом рынке программного обеспечения или компьютерного оборудования, а также из анализа программных продуктов, находящихся в бесплатном или условно-бесплатном доступе, следует, что ни одна из подобных систем не лишена принципиальных недостатков, порой ставящих под сомнение целесообразность их использования Иными словами, необходимого уровня качества общения, свойственного общению двух людей подобные изделия пока достичь не в состоянии Причем такое положение вещей, по-видимому, связано не с частными недостатками реализации какой-либо конкретной системы или продукта, а скорее с неким фундаментальным дефектом представлений о закономерностях процесса, образующего общение, ставших уже традиционными Об этом можно судить, в том числе и по тому факту, что в пределах разброса значений, связанных, в основном, с практической направленностью и спецификой целей, для которых проектируется конкретная система речевого интерфейса, все они обладают приблизительно одинаковым процентом отказов практически в одинаковых условиях работы

Важными представителями человеко-машинных интерфейсов и систем обработки речевой и/или текстовой информации, представленной на естественном человеческом языке, являются системы

1 Функционирующие «на лету», то есть без запаздывания относительно Ъ'

«сопровождаемого» процесса ''Л;

распознавания речи и текста, в смысле установления взаимнооднозначного соответствия между произнесенным словом или фразой (или напечатанным участком текста) и неким производимым вычислительной машиной действием.

Кажется логичным сосредоточиться на исследовании закономерностей самого языка в самом общем смысле, как переносчика информации в процессе общения, а также структуры, строения и способов применения основных элементов, кодирующих в нем информацию Причем желательно использовать в таком исследовании подходы и методы, в том числе отличающиеся от традиционных, сложившихся со времен начала экспериментов в области когнитивных наук, традиционного искусственного интеллекта и компьютерной техники Данные, полученные в подобных исследованиях, помогут по-новому взглянуть на проблему создания человеко-машинных интерфейсов и поднять качество их функционирования на новый уровень, принесут новое в практику создания электронных переводчиков

Цели и задачи работы

Целью данной работы является получение и разработка математических методов и алгоритмов, обеспечивающих

1 Получение информации, критической с точки зрения эффективного функционирования некоторого гипотетического речевого процессора (безотносительно к форме конкретной реализации последнего),

2 Получение информации, важной для функционирования высокоуровневой эмуляции тех или иных форм компьютерного речевого интерфейса типа человек-машина,

3 Разработка алгоритмов обработки и формализации нечеткой и трудно-формализуемой лингвистической формы информации, применимых после некоторой необходимой адаптации к реальным входным данным в реальных человеко-машинных интерфейсах, имеющих, пусть даже малый и/или промежуточный, лингвистический этап в трансляции команд и входных данных,

4 Попытка эмуляции процесса обработки лингвистической информации (разумеется, на примитивном уровне, что связано с поисковым характером обсуждаемых исследований) единственным достоверно эффективно функционирующим устройством обработки такой информации - центральной нервной системой человека

Положения работы, выносимые на защиту:

1 Метод естественно упорядочивания фонетического алфавита естественного языка

2 Фонетическое построение пространства понятий естественного языка

3 Два метода построения семантического пространства естественного языка (метод, использующий решение системы нелинейных алгебраических уравнений, и нейросетевой метод)

Методы исследования.

В работе применены следующие методы исследования и теоретические предпосылки Базовые концепции нейропсихологии, элементы математической статистики, элементарная теория многомерных евклидовых пространств, теория и методы вычислительной математики, связанные с решением систем нелинейных уравнений, теория нейронных сетей, численное моделирование, некоторые концепции искусственного интеллекта

Научная новизна проведенной работы состоит в следующем

1 Рассматривается новый подход к систематизации фонетического яруса лингвистических данных естественного языка, предполагающий кросс-языковый анализ фонетической структуры лексики группы языков,

2 Разработан новый способ систематизации и представления фонетического алфавита языка, связанный с распространенностью элементов алфавита в смыслопередающем корпусе языка,

3 Предложен новый способ представления словарного состава естественного языка (построение пространства понятий) в виде многомерного массива (в свою очередь представимого в виде графического изображения), позволяющий автоматически распознавать естественные языки и различные части из словарного запаса этих языков Потенциально данный способ представления лингвистической информации позволяет проводить семантическую кластеризацию и/или классификацию внутри фонетически представленных лексем языка,

4 Разработано два новых, взаимодополняющих друг друга в смысле рассматриваемых ими слов-понятий, алгоритма семантической кластеризации лексем естественного языка (построения семантического пространства), использующих в своей работе только информацию о существовании

взаимообратных переводов кластеризуемых слов на родственные естественные языки Несмотря на то, что работа данных алгоритмов не включает в себя анализ статистически значимых показателей встречаемости лексем языка, в каких бы то ни было больших корпусах лингвистической информации, разработанные алгоритмы, как показано в работе, работоспособны и могут выполнять задачу семантической кластеризации на необходимом для практических приложений уровне

Достоверность.

Представленные в диссертации результаты обоснованы теоретическим анализом, численным моделированием и верифицированы на известных фактах, почерпнутых из лингвистики и нейропсихологии

Практическая значимость.

Предложенные методы идентификации и обнаружения факта различия двух или более языков, использованных в анализируемом тексте, могут быть с успехом применены в программах интеллектуального перевода, облегчая, таким образом, использование интерфейса таких программ, а также в качестве удобных дополнений к программам-браузерам, применяемым при просмотре информации, содержащейся в глобальной сети Интернет Проблема определения языка, на котором написан документ в Интернете, решается на сегодняшний день либо пользователем, который должен для этого ознакомится с содержанием документа, который может не представлять для него ценности, либо автор документа должен указать язык документа явно (в языке разметки гипертекста HTML для этого предусмотрены специальные тэги) С использованием предложенных методов поиск немаркированных по признаку языка документов в Интернете может быть оптимизирован по эффективности

Методы построения смыслового пространства являются предтечами методов эффективной организации словарей в системах интеллектуального перевода и в системах поиска информации по семантическому признаку Классическая организация словаря, с распределением словарных единиц в соответствии с алфавитным порядком, не удовлетворяет целому ряду требований к оптимальной работе со словарем и поиска в нём Реструктуризация словарей в соответствии с категориями семантического пространства поможет построить систему интеллектуального перевода, отличающуюся скоростью и точностью работы, переводящую смысл предъявляемого

высказывания, а не его словарный состав Следствием последнего явления являются ошибочные переводы, либо вовсе отказ существующих систем электронного перевода

Кроме того, методы и алгоритмы семантической кластеризации и классификации, являются необходимой частью систем информационного поиска, автоматической рубрикации текстовой информации, а также систем извлечения данных

Апробация работы

Основные результаты в течение ряда лет докладывались на Всероссийской Научно-Технической Конференции

«Нейроинформатика» (Москва, 2004-2006 годы) О начальных этапах работы и результатах изучения функционирования алгоритма фонетического построения пространства понятий, можно судить по докладу на седьмой международной конференции «Cognitive Modeling in Linguistics», проходившей в Варне в 2004 году Кроме того, результаты части работы, связанной с построением смыслового пространства опубликованы в электронном рецензируемом журнале «Нейроинформатика», а также в рецензируемом журнале «Нейрокомпьютеры разработка, применение» Результаты промежуточных исследований смыслового пространства, также докладывались на Молодежной школе Курчатовского Института (Москва, РНЦ «Курчатовский институт» 2005)

Часть результатов этой работы была удостоена первой премии Молодежного Кикоинского конкурса Курчатовского института в 2006 году

Личный вклад автора

Структурирование и интерпретация полученных результатов Разработка, реализация, апробация и верификация представленных методов анализа формализации и представления в памяти вычислительной машины структуры информации, изначально представленной на естественном языке Развитие современных методов представления трудноформализуемой языковой информации с использованием «четких» численных методов и форм хранения данных в памяти вычислительной машины В диссертации предложены два метода идентификации и различения человеческого языка (п п 1, 2 в перечне положений, выносимых на защиту) и два метода структурирования словарного базиса языка по смысловому признаку (п 3 в перечне положений, выносимых на защиту)

Публикации

По теме диссертации опубликовано восемь работ, три из них в соавторстве Две статьи опубликованы в материалах международных конференций [1,2], четыре статьи в сборниках трудов конференций [3 - 6], одна статья в рецензируемом электронном журнале [7], и одна статья в рецензируемом журнале [8]

Структура и объём диссертации

Диссертация состоит из введения, четырех глав и заключения, двух приложений и списка цитируемой литературы, включающего 124 библиографические ссылки Работа содержит 162 страницы, включает 26 рисунков и 3 таблицы

СОДЕРЖАНИЕ РАБОТЫ

Введение. Кратко ставиться научная проблема человеко-машинных речевых интерфейсов, описываются основные составные части таких систем и проблемы, возникающие на пути реализации этих систем Во введении определены основные понятия и терминология, применяемые, в тексте диссертации Дана краткая классификация характерных уровней организации лингвистической информации и необходимых этапов обработки языковой информации

Изложение большей части приведенных в диссертации алгоритмов и положений, вынесенных на защиту, ведется в смысле их применения в системах интеллектуального перевода, информационного поиска, рубрикации и тому подобных задач, имеющих отношение к смысловой кластеризации и/или классификации лингвистической информации

Также во введении раскрывается актуальность темы диссертации, изложены основные цели и задачи, показана их практическая значимость, представлена структура работы и сформулированы основные положения, выносимые на защиту

В существующих языковых процессорах, будь то интеллектуальные переводчики или системы иного типа, недостаточно эффективно функционирует необходимый компонент, связанный с работой со смыслом обрабатываемого кода Идеалом является попытка привить компьютеру способность к верной интерпретации входящего речевого или текстового сигнала

Первая глава является вводной и освещает текущее состояние исследований в обсуждаемой области Первая глава посвящена обзору публикаций по тем проблемам обработки речевой и текстовой информации, которые являются ключевыми по отношению к реализации

человеко-машинных речевых интерфейсов В первом параграфе первой главы описано текущее состояние исследований по данному вопросу и приведены практические примеры существующих систем обработки речевой информации и экспериментальных исследований в этой области Описаны алгоритмы реализации составных частей человеко-машинных интерфейсов и смежных по выполняемым функциям устройств Описаны некоторые примеры обсуждаемых систем, фигурирующие на тематическом рынке Указаны их некоторые недостатки Главной частью системы обработки речи является словарь, а главной подзадачей является проблема кластеризации и/или классификации и смыслового анализа входящих речевых сигналов, т е слов, в соответствии с имеющимся словарем В связи с этим приведен обзор литературы, посвященной алгоритмам кластеризации и классификации, применяемым на сегодняшний день в области обработки лингвистической информации Описанные алгоритмы кластеризации и/или классификации разделены на несколько подтипов, а именно алгоритмы, связанные с поиском решения как пути на графе, вероятностные алгоритмы, эмпирические алгоритмы, алгоритмы типа к-средних, алгоритмы, связанные с анализом языка в контексте формальных грамматик и некой формальной модели языка Во втором параграфе первой главы кратко обсуждаются некоторые особенности функционирования современных алгоритмов реализации человеко-машинных интерфейсов, встречающихся на практике Характерной чертой большинства тематических публикаций является «анализ» больших корпусов лингвистической информации, отражающих все особенности естественного языка в статистическом смысле Кроме того, особенностью, например, систем морфологического анализа является использование единого формального лингвистического описания морфологии языка, которое было составлено лингвистами1 около тридцати лет назад Здесь же указывается на зависимость большинства систем от жестко заданного, связанного с ними словаря и способа взаимодействия с ним на программном уровне, а также на то, что только некоторые подобные словари сформированы в достаточно «полном» виде В третьем параграфе первой главы описывается задача кластеризации, появляющаяся на фонетическом ярусе анализа языка и/или при непосредственном распознавании речи Указывается на

'См Э Сепир «Грамматист и его язык» Сборник «Языки как образ мира» М ООО «Издательство ACT» 2003, 568с См. также Ю С Маслов Введение в языкознание Учебное пособие для вузов Издание второе, переработанное и дополненное М «Высшая школа» 1987, 272 с

деление систем распознавания речи на голосозависимые и голосонезависимые Показаны некоторые практически проблемы, возникающие при решении таких задач, в частности на проблему разделения сливающихся звуков при отсутствии пауз в речи При работе программ распознавания речи практически не используются закономерности языка как средства передачи информации, безотносительно к свойствам конкретного языка В четвёртом параграфе первой главы кратко охарактеризовано общее состояние исследований в области человеко-машинных интерфейсов, представленных на тематическом рынке программного обеспечения Обсуждаются ограничения, накладываемые на их функционирование Например, ограничение «шумных сред» В пятом параграфе первой главы приведены выводы по материалу первой главы

Во второй главе приведены основные требования, предъявляемые к человеко-машинному речевому интерфейсу, и в соответствии с которыми должны функционировать алгоритмы и виртуальные машины, являющиеся его составными частями Определены некоторые концепции, понятия и объекты, в рамках которых ведется дальнейшее изложение, приведён общий перечень алгоритмов, обсуждаемых в дальнейшем А также детально описаны теоретические основы предлагаемых алгоритмов Каждой части второй главы, а также каждой части третьей главы, где описаны результаты работы, рассмотренных во второй главе алгоритмов, соответствует отдельно разработанный программный продукт, реализующий описываемый алгоритм В первом параграфе второй главы описывается алгоритм, производящий «естественное» упорядочивание фонетического алфавита человеческого языка Исследование его работы реализовано на программе «А1рЬаВ11>1» Работа над алгоритмом позволила выявить некоторые базовые свойства фонетического алфавита языка, что дало в итоге, возможность производить описываемые операции с языковой информацией В основе такого анализа, в отличие от классического рассмотрения лингвистических корпусов, лежит анализ смыслопередающей части языка, в которую входят слова, обладающие некоторыми специальными свойствами В первую очередь это глаголы и существительные, как части речи, отвечающие за передачу информации об образе действия и предмете, над которыми совершаются действия Основная идея -выделить слова, выражающие достаточно четкие понятия, не допускающие сильной вариации смысла, т е двусмысленности, частого использования в переносном смысле Второе свойство - фонетическая стабильность, которая рассматривается как малая вариабельность фонетического строя слова при переходе от одного родственного языка

к другому, в как можно большем числе случаев, в анализируемом множестве языков Третьим свойством было то, что подавляющее большинство слов имело структуру согласный-гласный-согласный -Анализ проводился над 21 языком индоевропейской группы Процедура, которой подвергался корпус слов, составленный по указанным выше правилам можно описать следующим образом Компьютерная программа, просматривала некоторую выборочную совокупность из всего корпуса слов, и подсчитывала, сколько раз встречается тот или иной фонетический символ в рассматриваемых словах, набирая статистику Таким образом, был получен набор массивов данных -хэш1'и вида

(1)

для каждой выборочной совокупности и для каждого языка, где А, - 1-й фонетический символ (ФС), частота встречаемости фонетического символа в просматриваемой выборке q = - индекс по

порядковым номерам выборочных совокупностей, I = [1, Л^] е7- индекс

для обозначения порядкового номера обнаруженных внутри просматриваемой выборки фонетических символов Так как хэш'и представляют собой результат набора статистики, были сделаны необходимые оценки группового математического ожидания (как среднего арифметического наблюдаемых встречаемостей ФС) и дисперсии (по группе языков, как среднее в группе выборочных совокупностей для каждого из языков) по формулам математической статистики

У Ч (2)

о(х) = м(х2)-[м(х)]2

где обозначения индексов соответствуют таковым в формуле (1), X— выборочный вектор встречаемости фонетических символов, Ж - вектор средних частот встречаемости фонетических символов, М - оператор математического ожидания, В - оператор дисперсии Черта сверху символа означает усреднение

Полученная хэш-последовательность сортировалась по убыванию встречаемости и анализировалась с использованием расчетов средней

1 Две последовательности - символов и их значений, - между которыми существует взаимно однозначное соответствие

встречаемости и дисперсии значений средней встречаемости Основной результат данного направления исследований состоит в том, что данное распределение подчиняется следующей зависимости

Здесь Рм~ частота встречаемости N-то фонетического символа (ФС) фонетического алфавита (ФА) в данном списке слов, нормированная на единицу ¡л - константа То есть фонетическая азбука группы индоевропейских языков может быть описана только одним параметром Во втором параграфе второй главы рассмотрен алгоритм «фонетического» построения пространства понятий естественных языков Для рассмотрения этой модели были написаны программы «AlphaBit-З» с модулем «LAVE» (LAnguage Visualization Equipment) Данное направление исследований, во многом, является продолжением первого - о распространенности фонетических символов в естественных человеческих языках В качестве материала для исследования, как и в предыдущем случае, использовались фонетические транскрипции набора слов Однако изменился порядок выбора слов для анализа Изначальный корпус был кардинально переработан, существенно расширен и дополнен Общие принципы остались в основном теми же, кроме условия фонологической стабильности между языками От этого условия было решено отказаться Исследовались фонологическая структура только одного языка за один «заход», без перемешивания с другими языками В этом направлении внимание уделялось именно корреляции смысла понятия и его фонологической структуры Здесь также использовалась та же, что и описанная в предыдущем параграфе процедура получения фонетического алфавита, теперь уже только для одного языка из рассматриваемой выборки Число анализируемых слов находилось где-то между 1000 и 2000, что приблизительно равно числу китайских иероглифов, имеющих конкретное значение самих по себе Важнейший вывод из вышеописанного сравнения - это соотнесенность в лексико-семантическом поле «Это поле (базовый семантический корпус) - большее или меньшее множество слов, связанных с одним и тем же фрагментом действительности Слова, образующие поле, составляют «тематическую группу», более или менее широкого охвата» Основополагающим принципом, объединяющим разные слова в единое поле, является их отношение к внеязыковому предметному миру - слова связаны между собой постольку, поскольку связаны между собой внеязыковые реалии, стоящие за словом

Таким образом, сравнивая слова из двух языков, (или точнее сказать,

(3)

некоторые части слов, в состав которых входят корневые морфемы1), относящихся к базовому семантическому корпусу, можно говорить о совпадении смыслов этих слов в разных языках Звучания, однако, у этих слов (в общем случае произвольных) в разных языках могут несколько, а иногда существенно отличаться Это позволяет построить систему, способную различать языки по их репрезентативной семантической выборке, которая, кстати, значительно меньше всего словаря языка В контексте машинного перевода это поможет ответить на вопрос «с какого языка переводить», который в системах перевода представляет самостоятельную проблему, решаемую, обычно путем прямого запроса у пользователя программного продукта Алгоритм, рассмотренный во второй части второй главы, позволяет представить языковые данные в форме, необходимой для решения этой задачи Механизм работы заключается в представлении каждого слова как последовательности фонетических символов, каждому из которых, можно поставить в соответствие точку в некотором абстрактном пространстве, с размерностью, в общем случае равной длине слова Типичная картина визуализации языка представлена на рис 1 В данном случае это немецкий язык, построение осуществлено на 1842 корневых морфемах Представленное пространство рассматривается как евклидово размерностью £>тах

{VI4 =Ьзк"0¥,ч)}сЕо-, (4)

где V - вектор координат, определяющий слова, как точку в смысловом пространстве /, ц, п - индексы соответственно по номеру рассматриваемого языка, выборки слов и слову внутри выборки

Ья1*" {]¥, ц} - оператор выделения подмножества мощностью из

множества с , содержащего встречаемости Фонетических

Символов (ФС) языка I В реальности, естественно, длина слова ограничена, а, следовательно, и размерность этого пространства ограничена

Д™ = max

dim^^J)

(5)

где dim - оператор определения длины векторов, состоящих во множестве, на которое он действует Прямой набор статистики относительно длины слов среди рассматриваемого корпуса позволяет

1 В данном случае - скорее минимальная значащая часть слова, имеющая грамматический или лексический смысл

сделать вывод, что подавляющее большинство базовых слов-понятий в индоевропейских языках обладает длиной четыре фонетических символа (ФС) или менее

Формула (6) сохраняет обозначения предыдущих формул На рис 1 пространство представлено своими проекциями на соответствующие координатные плоскости

Фонологические изменения, которым подвержены ФС в языке, как в живой и постоянно изменяющейся открытой системе, влияют на положение конечной точки вектора-слова в семантическом пространстве в вышеупомянутых координатах, и на форму паттерна Каждый такой вектор соответствует какому-то слову рассматриваемой выборки, которое символизирует некоторый объект внешнего мира Судя по всему, процесс «фонетической изменчивости», не захватывает весь вокабулярный запас, какого бы то ни было языка целиком Некоторые слова оказывают сопротивление изменению своего фонетического ряда [1, 3] Одной из причин тому может быть особая значимость таких слов для большинства людей говорящих на данном языке Слова же, не относящиеся к группе особо значимых, претерпевают значительные изменения и полностью исчезают из языка, вытесняясь, например, заимствованиями Это явление демонстрирует себя как оттеснение далеко на периферию компактного паттерна семантического корпуса языка конечных точек векторов, соответствующих таким словам Либо же, такие точки вообще изымаются из паттерна Причиной тому, может быть некоторое снижение частоты употребления данного слова в своем первоначальном виде, как комбинации Фонетических Символов (ФС)

Место, внутри паттерна, которое раньше занимало исчезнувшее слово, может остаться пустым, а может породить слово, похожее на старое фонетическим строем, но с иным смыслом При такой трактовке полученных визуальных образов, становиться понятной идея о различении языков по построенным вышеописанным образом картам Звучания основных слов семантических корпусов каждого из языков редко совпадают полностью даже при специальном подборе слов со схожим фонетическим строем, а значит, и паттерны для каждого языка будут его уникальной «подписью», позволяя с достаточной точностью, зависящей от имеющего понятийного корпуса, определить язык Процедура построения семантического корпуса языков или визуализация базового лингвистического тезауруса, позволяет сравнивать человеческие языки как независимые объекты Это достигается путем сравнения и сопоставления «структуры» и «заселен-

(6)

Рис. 1. Фонетическое построение семантического пространства немецкого языка

ности» семантического пространства, приведенного в графическом виде на проекционных плоскостях семантического пространства

В третьем и четвертом параграфах второй главы описываются два метода построения карты семантического пространства языка Для этого была разработана программа построения смыслового пространства «СТ-Тгаш-5», которая, реализует описанные ниже функции в модулях «ЫАЕ» и «ЫЕБЮС»

К понятию семантического пространства слов-понятий языка, обсуждаемому во второй части второй главы диссертации, можно подойти и другим путем Можно говорить о построении понятийного корпуса без обсуждения каких-либо его фонетических признаков Описываемый алгоритм отображения обладает тем свойством, что представление пространства с его помощью позволяет выявить состав некоторых его областей, со свойствами, которые, как оказалось, при проведении экспериментов отличаются от свойств остальной его части Внутри этих областей можно ввести простую метрику и пользоваться ею для определения пространственных расстояний между членами понятийного пространства Расстояния между элементами, теоретически, означают расстояния между смыслами самих понятий, кодируемых словами Это очень важное свойство, позволяющее, в принципе, установить логическую связь между словами одного языка, что даст

возможность вычислительной машине правильно выполнить команду, подобрав по принципу максимальной близости к входящей «искаженной» командной последовательности слов, искомую последовательность, хранящуюся в машинной памяти и жестко соответствующую команде При использовании данных о связи между смыслом слов на «более широком поле» возможно установление связи между словами разных языков, что позволит создать универсальные системы перевода и интерпретации смыслового содержания речи и текста нового поколения

Рассматриваемые алгоритмы позволяют получить представление о строении семантического пространства языка, двумя различными методами В основе первого из методов лежит решение системы нелинейных алгебраических уравнений, второй метод позволяет произвести картирование семантического пространства при помощи аппарата нейронных сетей Оба метода используют одинаковые исходные данные, представляющие собой таблицы, где первая строка является последовательностью глаголов базового языка, например английского, первоначально без какой-либо систематизации Алгоритм создан таким образом, что в качестве базового языка может быть выбран любой, что потребует лишь некоторых предвычислений с исходными данными Каждый столбец, таким образом, соответствует каждому глаголу базового языка, кроме первого столбца Первый столбец содержит переводы глаголов базового языка (базовых глаголов) на другие языки, такие как, например, русский, болгарский, немецкий, латышский, французский, греческий, и ряд других Эти переводы расположены подряд один под другим, также первоначально без какой-либо систематизации Чем шире этот перечень, тем точнее карта семантического пространства для базового языка, построенная при использовании такого способа Ячейки таблицы заполнены нулями и единицами Нуль означает, что для данного глагола базового языка, соответствующего, конкретному столбцу таблицы, не существует взаимообратного перевода на вспомогательный язык, соответствующий строке таблицы Обратно, единица означает наличие такого перевода, то есть существование цепочки вида (например, для английского и русского языков) «§о —> идти, , --> go» Вся совокупность ячеек таблицы, содержащих 0 и 1, составляет матрицу исходных данных Количество существующих взаимообратных переводов для двух слов, приведенных в первой строке (то есть количество строк для двух рассматриваемых столбцов, в которых одновременно стоят единицы) рассматривается как мера в семантическом пространстве, причем отсутствие таковых говорит о том, что два данных слова «бесконечно

удалены друг от друга» Все парные расстояния между словами в семантическом пространстве формируют матрицу расстояний, согласно следующей формуле

к=1

(7)

где

(8)

[О, г/ х = О [1, г/ х*0

Здесь М - матрица исходных данных £> - искомое расстояние между словами базового языка, к - порядковый номер строки матрицы исходных данных, а прочие обозначения имеют те же смысл, что и в формуле (4)

Далее, после введения категории «объема слова», представляющего собой сумму всех единиц одного столбца (то есть суммарное количество взаимообратных переводов для каждого слова), строиться логарифмическая нормированная матрица расстояний в виде

у1,ч у',

(9)

а':; -

исходная объем I-

где /Д 4 - матрица («логарифмическая») расстояний,

матрица расстояний, составленная по исходным данным, V, того слова, V, - объем у - того слова Операция логарифмирования проведена для перевода данных в «континуальное пространство» Континуальность позволяет «сгладить» до некоторой «нечеткости» ступенчатую логику дискретного представления информации, подразумевающую только значения 0 и 1 Логарифмическая нормированная матрица расстояний, по предположению, содержит данные о «континуальных» расстояниях между смыслами глаголов На ее основании можно размещать глаголы-понятия в смысловом пространстве, присваивая каждому объекту координаты

Метод построения смыслового пространства языка с использованием решения системы нелинейных алгебраических уравнений использует для получения упомянутых координат точек, составленные в декартовой системе координат уравнения, полученные как выражения для расстояний между двумя точками с неизвестными координатами вида

Ш-к)

(10)

где /Д - расстояние согласно логарифмической нормированной

матрицы расстояний между «словами» с номерами г и у, щ и N -соответственно счётчик по номеру координаты и размерность рассматриваемого пространства, ах — искомые значения координат. Такая переопределённая система решается численными методами, с использованием некоторых специальных авторских критериев, отвечающих специфике задачи и характеру материала, над которым

Результатом этого

направления явилось, то, что все слова-понятия языка могут быть представлены как объёмные тела в некотором, вообще говоря, многомерном пространстве. Оказалось, что некоторое множество слов базового языка может быть сгруппировано таким алгоритмом в кластеры, причём все члены такого кластера будут иметь сходный смысл. Примечательно также, что большинство таких кластеров имеют 2-х мерную структуру. Пример результата работы такого метода смысловой кластеризации приведён на рис. 2. Это кластер «Connect»', который соответствует понятию «соединять что-либо с чем-либо».

Второй метод, пред-ставленный в четвёртом параграфе второй главы, связанный с нейросетевым построением, применялся преимущественно на множестве слов, не поддавшихся кластеризации по признаку близкого смысла алгоритмом описанным выше. Целью данных построений была попытка заполнить «белые пятна» на карте

1 Состав кластера: «Join», «Mix», «Fuse», «Merge», «Bind», «Tie», «Attach», «Combine», «Unite», «Connect», «Link» («Объединять», «Смешивать», «Сплавлять», «Сливаться», «Связывать», «Привязывать», «Прикреплять», «Соединять», «Объединять», «Соединять (сочетать)», «Сцеплять»),

производятся вычисления.

Рис. 2. Структура кластера выборки «Connect», для центра кластеризации «Join»

семантического пространства и получить данные об особенностях структуры пространства, расположенного между кластерами Таким образом, для этого при построении начальных приближений данного метода, из рассмотрения были исключены слова, «скластеризованные» методом решения нелинейных уравнений, оставшиеся после проведения картирования Также были исключены из рассмотрения первые несколько глаголов исходного рассматриваемого списка Взаимосвязи с прочими словами, для этой группы глаголов слишком сложны для анализа в этом приближении и модулируются приставками и предлогами, анализ которых не рассматривался в этом исследовании В работе построена сеть-кластеризатор, для восстановления по некоторому начальному приближению к кластеру (подаваемому на вход) оптимизированного состава кластера, относительно начального приближения, согласно матрице логарифмических нормированных расстояний Для этих целей была использована хопфилдоподобная полносвязная нейронная сеть с синхронной динамикой Обычно сети такой структуры используют как ассоциативные запоминающие устройства Сеть функционировала по следующему правилу

дискретного времени функционирования сети 1+1, п - число нейронов в сети, ж — матрица весов нейронной сети, Т - пороговое значение /-го нейронного элемента В качестве оператора нелинейного преобразования ^ использовалась простая пороговая биполярная функция вида

Обучение нейронной сети проводилось по обобщенному алгоритму

где у1 +1) - выходное значение г-го нейронного элемента в момент

(12)

Хэбба

к

(13)

к=1

К

где I, ] - индексы, пробегающие все значения номеров нейронов в нейронной сети, или, что, то же самое, - номера слов-понятий в исходной словесной выборке лук - обозначает к-й обучающий паттерн из набора К обучающих паттернов, в общем случае К равно числу нейронов в нейронной сети, или, что тоже самое, числу рассматриваемых слов-понятий На практике же число обучающих паттернов выбиралось из диапазона от К-1 (для одного из режимов функционирования, а также для некоторых режимов проверки функциональности работы нейронной сети, связанных с отладочными процедурами при написании программного обеспечения) до К=п, что соответствует общему случаю При работе алгоритма также предусматривались «доучивание», и/или переучивание нейронной сети «Доучивание», предусматривает пополнение уже сформированного кластера новым словом-понятием, по выбору экспериментатора, например, для проверки его совместимости с кластером Переучивание -для введения в сеть нового начального приближения для кластеризации Обучающие паттерны, формировались так, что их элементы, обладающие «пассивным» уровнем активности, соответствовали словам бесконечно удаленным от реперного слова, а элементы обучающих паттернов, обладающие «активным» уровнем - соответствовали словам, потенциально способным к кластеризации

С сетью проводилось 2 большие серии опытов для каждой выборки слов В первой серии опытов количество обучающих паттернов ограничивалось эмпирической формулой для максимальной емкости памяти рассматриваемых нейронных сетей

4 \п(п)

где Ь - емкость памяти, п - число нейронов сети1 Во второй серии сеть обучалась п обучающим паттернам для п нейронов Каждый обучающий паттерн представлял собой «гипотетическое» множество слов с родственным смыслом Тренировочные паттерны синтезировались в изобилии для каждого слова как «центра кластеризации» В первых сериях опытов упор делался на свойства функционирования нейронной сети, как ассоциативной памяти Согласно этому режиму функционирования предполагалось, что, сеть, по предоставленным примерам, будет способна сформировать ассоциативные связи между словами, согласно их смыслу, отраженному в матрице расстояний,

1 Саймон Хайкин «Нейронные сети полный курс», 2-е издание , испр Пер с англ - М ООО «И Д Вильяме», 2006, 1104 с ил

шш BET

ШЩ CAF;Ve

Щ1 МАТ»

ftesTROY

вдя WRECK

мн COUPIs

мм SHUFte

мм SLASH ецц'ч.

шшк on г/ 2f FlUEi

ша DRILL

шэд GRIND

IS PLUG C'fcllD

mm bmr DAMagfc

mat WiFe

ва TREMEte

IB DHAS ГС-ЛГЧ-'

TUG

ша TOSS-

шш REND

■И Bl.FMD

шш RUIN

«ш PRiCk

шн TRIM.

вз SHAKs

шш BURST

на SPREAD

ййя hop"

вша mm HEW JERK

очищая паттерны начального приближения от «не принадлежащих» паттерну слов-понятий. Вторая серия опытов, кроме ассоциативной функции, предполагала использование некой «креативности», свойственной сети, то есть, паразитная память, неизбежно появляющаяся при использовании хопфилдоподобный нейронных сетей, работающих в режиме ассоциативных запоминающих устройств, рассматривалась как валидная, а паттерны, воспроизводимые при этом как полноценные смысловые кластеры. К достоинствам данного метода, в отличие от метода, связанного с решением СНАУ1, можно отнести его способность охватывать не только «локальные» участки смыслового пространства и формировать в них кластеры, а обнаруживать «сродство» слов на расстоянии, значительно большем, чем в предыдущем методе. С его помощью можно находить связи между кластерами, сформированными алгоритмом, работа которого описана в третьей части второй главы. К недостаткам этого метода стоит отнести его неспособность выявить форму смыслового кластера, а только его состав [6 - 8]. На рис. 3 приведён типичный результат работы алгоритма картирования семантического пространства с использованием нейронных сетей. Видно, что алгоритмом сгруппированы слова «Punch2» и «Crush». Данный метод связывает кластер «Destroy» (Break., Destroy, Wreck, Shatter. Crush, Smash3), полученный методом решения системы нелинейных уравнений (показан на рис. 4), со словом «Punch», принадлежащем другому кластеру, иллюстрируя применение нейросетевого метода картирования пространства понятий, для множества слов-понятий, «неохотно» кластеризующихся в данной выборке или для применения нейросетевого метода как алгоритма связывания «локальных» кластеров в «большую картину». В пятом параграфе второй главы приведены выводы по теоретическому описанию предлагаемых в работе алгоритмов.

Рис. 3. Результат работы нейросетевого алгоритма. Связаны слова «Punch» (бить, ударять кулаком) «Crush» (сокрушать).

1 СНАУ - сокращение от Системы Нелинейных Алгебраических Уравнений.

2 Бить, ударять кулаком

3 Ломать, уничтожать, портить (ломать), дробить, крушить, сокрушать.

В третьей главе детально рассмотрены результаты работы всех описанных в диссертации алгоритмов на конкретных примерах, приводиться обсуждение и анализ приведенных результатов, а также указаны некоторые направления, в которых возможно совершенствование и расширение рассматриваемых алгоритмов. Каждый параграф третьей главы приводит тестовые результаты работы алгоритмов, описание которых приведено в соответствующем параграфе второй главы.

Четвёртая глава содержит общие выводы по функционированию предлагаемых алгоритмов, рекомендации по их практическому использованию, перспективы совершенствования рассмотренных методик и дальнейших исследований, а также, основные выводы, сделанные после выполнения работы и анализа её результатов. Первый параграф четвёртой главы содержит выводы по работе разработанных алгоритмов, перспективы их усовершенствования и практического использования в реальных человеко-машинных речевых и естественно-языковых интерфейсах. Второй параграф четвёртой главы состоит из основных выводов по проделанной работе. Третий параграф четвёртой главы представляет собой выводы по четвёртой главе.

Заключение содержит выводы по проведённой работе и её соответствие положениям выносимым на защиту диссертации.

Выводы. Несмотря на значительную литературу, доступную на сегодняшний день по обработке языковой информации компьютерными системами, работы в этом направлении, как было показано в первой главе, далеки от завершения. Рассмотрение новых концепций и теоретических предпосылок методов обработки языковой информации, её структурирования, возможно, позволит улучшить ситуацию с качеством автоматического машинного перевода и эффективностью существующих человеко-машинных интерфейсов. Основные результаты

BREAK

ieSTROY

Рис. 4. Структура кластера выборки «Destroy», для центра кластеризации «Break»

диссертационной работы состоят в следующем

1 В работе приведен метод естественного упорядочения фонетического алфавита естественного языка Показано, что зависимость встречаемости фонетических символов в этом алфавите может быть описана только одним параметром Показана возможность использования этого параметра для распознавания естественного человеческого языка

2 Знание фонетических алфавитов и встречаемости фонетических символов, составляющих эти алфавиты, позволяет использовать алгоритм фонетического построения семантического пространства естественного языка Представленное при помощи этого алгоритма смысловое пространство также может быть использовано для различения языков, по словарному составу рассматриваемого языка

3 Предложены два взаимодополняющих метода построения семантического пространства естественного языка без использования информации о звучании слов (подход, использующий решение системы нелинейных алгебраических уравнений и нейросетевой подход) Данные методы, по сути, являются методами кластеризации лексем естественного языка по признаку «смыслового родства» Как таковые они могут быть использованы в системах, где смысловая кластеризация играет ведущую роль К таковым относятся системы распознавания и обработки речи (собственно человеко-машинные речевые интерфейсы), информационный «семантический» поиск (например, в глобальной сети Интернет), системы автоматической рубрикации текстовых документов, системы извлечения данных из большого объема текстовой информации (так называемые «Data Mining»), а также некоторых других областях

Литература

1 V L Vvedensky, А V Korshakov , Visualization of the Basic Language Thesaurus Pioc VII International Conf «Cognitive Modelling in Linguistics», Varna 2004, pp 308-313

2 А В Коршаков Память на фонологические примитивы речи в нервной системе человека 2005, 4-я Международная выставка и конференция «Неразрушающий контроль и техническая диагностика в промышленности» Тез докл , с 24

3 В Л Введенский, А В Коршаков Естественно упорядоченный алфавит индоевропейских языков Нейроинформатика 2004, VI

Всероссийская Научно-Техническая Конференция, Сборник научных трудов, часть 2, 18-24 с

4 А В Коршаков «Самореплецируемый элемент памяти на фонологические примитивы речи в нервной системе человека » Нейроинформатика 2005 Труды VI Всероссийской научно-технической конференции, Часть 2, с 217-277

5 А В Коршаков «Эмулятор памяти на фонологические примитивы речи в нервной системе человека» Тезисы Молодежной Школы Курчатовского Института-2005, с 340-343

6 А В Коршаков «Процедура построения пространства понятий как часть системы машинного перевода» Нейроинформатика2006, VIII Всероссийская Научно-Техническая Конференция, Сборник научных i рудо в, часть 3, с 155-162

7 А В Коршаков «Самоорганизация в семантическом пространстве глаголов естественного языка» Электронный рецензируемый журнал «Нейроинформатика» 2-й номер 2006г

http //www nnsi ru/iont/ni/Journal/N2/

8 В JI Введенский, А В Коршаков О двух алгоритмах построения понятийной сети глаголов естественного человеческого языка и результатах их работы Рецензируемый журнал Нейрокомпьютеры разработка, применение» №7, 2007 г., с 75-84

Введение.

Глава 1. Анализ состояния исследований в области систем обработки речи, текста и человеко-машинных интерфейсов.

1.1. Существующие алгоритмы семантической кластеризации.

1.2. Особенности функционирования современных алгоритмов реализации человеко-машинных речевых интерфейсов.

1.3. Задача кластеризации/классификации на фонетическом ярусе естественного языка, как основная подзадача человеко-машинного речевого интерфейса.

1.4. Общее состояние исследований в области человеко-машинных речевых интерфейсов.

1.5. Выводы.

Глава 2. Теоретическое обоснование предлагаемых алгоритмов построения речевых интерфейсов.

2.1. Естественное упорядочение фонетического алфавита языка.

2.2. Пространство понятий, фонетическое построение.

2.3. Построение карты семантического пространства.

2.4. Нейросетевой алгоритм построения карты семантического пространства.

2.5. Результаты и выводы:.

Глава 3. Результаты функционирования предлагаемых алгоритмов.

3.1. Частоты встречаемости фонетических символов.

3.2. Фонетическое построение пространства понятий.

3.3. Построение карты семантического пространства.

3.4. Нейросетевой алгоритм построения карты семантического пространства.

3.5. Результаты и выводы.

Глава 4. Выводы по проведённому анализу.

По мере проникновения компьютеров во все слои общества становится очевидным, что многие люди испытывают трудности в общении с персональным компьютером. Ясно, что необходим новый способ общения с компьютером — простой, быстрый, интуитивный.

Преимущества речевого ввода становятся очевидными из следующего простого анализа. Спонтанная речь произносится со средней скоростью 2,5 слова в секунду, профессиональная машинопись - 2 слова в секунду, непрофессиональная -0,4 слова в секунду. Таким образом, даже по производительности в большинстве случаев речевой ввод имел бы значительное превосходство, тем более в случае, отличном от банального «набирания» текста. Кроме того, люди с физическими недостатками могли бы более эффективно пользоваться вычислительной техникой. Также, такая область применения речевых интерфейсов, как системы оперативных информационных услуг, за счёт расширения возможностей аппарата распознавания речи, могли бы значительно улучшить качество своих сервисов. И хотя системы, обладающие, как заявляют, подобными качествами уже существуют, например, в сфере телефонных информационных услуг, качество общения в них оставляет желать лучшего, так как принуждает пользователя к формальному соблюдению строгого протокола «вопрос-ответ», а также, обладает рядом других неприятных недостатков [1].

Все языки могут быть разделены на естественные, искусственные и частично искусственные. Естественные языки складываются стихийно и постепенно. Искусственные языки сознательно создаются людьми для каких-либо специальных целей: языки математики, логики, алгоритмические языки, шифры и т.п. Языки естественных и гуманитарных наук относятся к частично искусственным [2, 3]. Одна из особенностей искусственных языков состоит в строгой определенности их словаря, синтаксиса и семантики, что во многих случаях оказывается несомненным

Введение 5 преимуществом таких языков в сравнении с естественными языками, аморфными со стороны как словаря, так и правил образования предложений и их значений. Искусственные языки вторичны в отношении естественного языка: первые возникают на базе второго и могут функционировать только в связи с ним. Термин «конкретный естественный язык» понимается как реально существующая знаковая система. Суть языка как семиотической системы1 состоит в установлении соответствия между множеством всех возможных смыслов и множеством всех звуковых оболочек высказываний. То есть язык - это локализованный в мозгу человека механизм, который соотносит то, что, мы думаем, с тем, что мы говорим. Необходимым компонентом языка является подразумеваемый смысл производимого кода и его понимание. Эту посылку можно считать ключевой, и в её рамках ведётся всё дальнейшее изложение.

В середине ХХ-го века язык и речь стали исследоваться в теории искусственного интеллекта. Сам язык не дан для исследования в непосредственном наблюдении, поэтому приходится изучать его проявления - речь, а уже по ней пытаться строить модели языка [4, 5] с целью изучения его свойств. Эти исследования были задуманы для того, чтобы автоматизировать некоторые процедуры обработки текста, речи и языка с использованием вычислительной техники. После этого стало очевидно, что речевой интерфейс или вообще некоторая система работы с речью распадается па три составляющие. Это, во-первых, восприятие поступающего речевого сигнала. Во-вторых, встаёт задача «понимания» смысла сказанного, то есть перевода в машинный код информации, предоставляемой компьютеру человеком в речевом коде. Третья задача речевого интерфейса состоит в производстве ответных откликов на поступающие от человека команды. Понимание естественного языка, таким образом, не сводиться к передача слов, и требует знания о целях говорящего, контексте, а также о данной предметной области. Язык описывает взаимосвязи в сложном реальном мире, с

1 Суть языка как системы знаков.

Введение 6 которым должна быть знакома любая система, претендующая на понимание языка. Кроме того, имеет значение структура языка, слова состоят из фонем, и, в свою очередь, составляют предложения, фразы. Порядок следования фонем, слов и предложений не является случайным. Элементарные звуки, из которых состоит речь, не эквивалентны буквам [6]. Фонетическим строем языка занимается специальный раздел лингвистики - фонетика. В классической лингвистике существует ряд школ или направлений, ведущих, каждая, несколько отличающуюся, но схожую в целом систему членения звукового потока языка на фонемы [7]. Несмотря на это надо понимать, что смысловой состав речи, очевидно, мало зависит от способа её членения на звуки с целыо анализа. В подтверждение этого факта оказалось, что членения речи только на фонемы для компьютерного анализа недостаточно в связи с большой вариантностью произношения звуков в языке и коартикуляцией, то есть взаимопроникновением соседних звуков [1]. Значит, речевой сигнал должен состоять не из фонем, а из аллофонов - комбинаций «слипшихся» фонем или «реализаций» фонем в зависимости от условий произнесения [6]. Другие исследователи, напротив, рассматривали идею дробления на еще более короткие кусочки или даже вообще прелагали отказаться от понятия фонемы и «расчленять» речевой сигнал как-то иначе. Так родились фоноиды и еще масса авторских названий элементарных звуков [1, 7, 8 - 11].

Без корректного использования таких компонентов речи, как фонемы, слова и предложения, общение невозможно. И, наконец, если иметь человеко-машинные интерфейсы, то языковые конструкции - это продукт некоторого агента - человека или компьютера. Агенты внедрены в сложную среду и развиваются в направлениях, определяемых их индивидуальностью и социумом. Языковые действия являются целенаправленными.

Помимо хорошего знания предметной области, система понимания языка должна моделировать шаблоны и предложения самого языка. Например, в языковых конструкциях предлоги и прилагательные обычно стоят перед

Введение 7 существительными, а не наоборот [6, 12 - 14]. В частности, мощным средством для такого моделирования является аппарат марковских цепей [15, 16]. Марковские цепи также могут отражать взаимодействия между принципами построения языковых конструкций и реальным миром, для описания которого они предназначены. Однако, для того, чтобы сконструировать подходящую марковскую цепь, отражающую реальное положение вещей достаточно точно, необходимо обладать знаниями о структуре и строении языка. Разработка алгоритмов получения таких данных, а также дополнительной информации, способствующей правильному описанию феномена языка и его составляющих в компьютере, является одной из целей данной работы.

Язык - это очень сложный феномен, понимание которого включает в себя такие разнообразные и сложные процессы, как распознавание звуков и печатных букв, синтаксический разбор, вывод семантик высокого уровня и даже эмоционального контекста, передаваемого с помощью ритма и интонации. Для работы с этой сложной структурой лингвисты определили различные уровни анализа естественного языка:

1. Просодия, к которой относиться анализ ритма и интонации языка. Этот уровень анализа достаточно сложно формализуем, поэтому им зачастую пренебрегают.

2. Фонология - наука о звуках и их комбинациях в языковых структурах. Эта область играет важную роль в компьютерном распознавании и генерации речи.

3. Морфология - анализ компонент (морфем1), из которых состоят слова. К этой области относятся вопросы правил форматирования слов, в том числе использование префиксов, приставок и суффиксов для модификации значения корня слова в предложении, например, времени глагола. Морфема - объединяющее понятие для корня, приставки, суффикса, окончания [6].

Введение 8

4. Синтаксический анализ связан с изучением правил сочетания слов в отдельных фразах и предложениях, а также использованием этих правил для разбора и генерации предложений. Эта область наиболее информативна, и поэтому успешно применяется для автоматизации лингвистического анализа.

5. Семантика изучает значение слов, фраз и предложений, а также способы передачи смысла в выражениях естественного языка.

6. Прагматика - наука о способах использования языка и его воздействия на слушателя.

7. Знания об окружающем мире - это сведения о реальном физическом мире, в котором существуют оба агента, участвующие в общении. Это мир социальных взаимоотношений, а также значений и целей человека в обществе.

Существование этих уровней анализа подтверждаются лингвистикой и нейропсихологией, однако они не дают полного представления о языке. Они тесно связаны между собой и даже низко уровневые изменения интонации и ритма могут полностью изменить значение слова. Примером этому является сарказм. Для синтаксиса и семантики такая взаимосвязь очевидна, хотя между этими понятиями проводиться чёткая разделительная линия. Например, различные предложения можно интерпретировать по-разному в зависимости от контекста. Синтаксис также оказывает сильное влияние на семантику, что подтверждается значимостью структуры словосочетания при интерпретации предложений. Несмотря на то, что природа различия синтаксиса и семантики является предметом ожесточённых споров в лингвистике, эти различия сохраняются и играют важную роль в понимании естественного языка. Просодия и словесная передача информации дополняют друг друга [1]. Об этом можно судить исходя из исследований, связанных с «выборочным зашумлением речи». Просодические характеристики голоса, скрыты в основном в звучании гласных, в то время как смысл и значение произносимых слов закреплено за последовательностью согласных, промежутки между которыми заполняют гласные. И те, и другие фонемы можно искажать произвольным образом, но до определённого предела, смысл речи при этом останется понятным. Особо стоит подчеркнуть, что предел искажения фонем, в частности характеризуемый плотностью передачи информации, различен для гласных и согласных фонем, что может оправдать дробление речи на несколько каналов для целей более эффективного распознавания. Использование различных алгоритмов оптимизации передачи и сжатия информации на линии не позволяет уплотнить информационный поток сильнее, чем до 20 кбод1 [17, 18]. При большем уплотнении происходит необратимая потеря точности передачи деталей голоса, которые предположительно влияют на его узнавание, вследствие серьёзного огрубления низкоэнёргетической части спектра. Как уже было сказано выше, возможности просодического канала исчерпываются немного раньше.

Конкретная структура программ понимания естественного языка варьируется в зависимости от используемой идеологии и целей написания конкретного приложения. Проблема понимания языка может возникнуть при реализации интерфейса с базой данных, системы автоматического перевода и программы интерактивного обучения и пр. Во всех этих системах исходное предложение необходимо привести к внутреннему представлению, отражающему его значение. Этапы этого процесса для простой системы понимания естественного языка можно охарактеризовать следующим образом:

1. Первая стадия - синтаксический разбор или парсинг2 или анализ синтаксической структуры. В процессе синтаксического разбора проверяется, корректно ли составлено предложение, и определяется его лингвистическая структура. За счёт идентификации таких основных лингвистических отношений, как подлежащее - сказуемое,

1 Бод - единица скорости передачи информации по каналу связи.

2 Парсинг - от англ. Parsing - разбирать, анализировать, синтаксический разбор.

Введение 10 сказуемое - дополнение, в процессе синтаксического разбора, строится базис для семантической интерпретации. Результаты зачастую представляются в виде дерева разбора [19]. В синтаксическом анализаторе используются знания синтаксиса языка, морфологии и, частично, семантики.

2. Вторая стадия - семантическая интерпретация, то, что в данной работе названо пониманием языка. В результате выполнения этой стадии анализа формируется представление о содержании теста. «Содержание» обычно представляется в виде концептуальных графов, фреймов, логических представлений. В процессе семантической интерпретации используются знания о значении слов, их лингвистической структуре, о синонимах существительных и глаголов, а также об ограничениях наложенных на употребление слов в языке.

3. Третья стадия - добавление структур из базы знаний к внутреннему представлению предложения для формирования расширенного представления значения предложения. Для полного понимания предложения требуются знания о реальном мире. Окончательная структура представляет собой значение текста и используется программой понимания для дальнейшей его обработки. Например, в случае обслуживания человеко-машинным интерфейсом базы данных, такая структура используется для формирования представления запроса с учётом организации конкретной базы данных. Затем этот запрос может быть переведён на запрос на языке управления базами данных.

Эти стадии присутствуют практически во всех системах, хотя и могут быть по-разному реализованы в виде программных модулей. Например, во многих программах дерево разбора не строится в явном виде. Вместо этого напрямую генерируется внутреннее семантическое представление. Тем не менее, оно не явно

Введение 11 участвует в разборе предложения. Типичный пример - инкрементальный синтаксический разбор («incremental parsing») [19, 20]. В рамках данного метода фрагмент внутреннего представления формируется при разборе каждой существенной части предложения. Объединение таких фрагментов составляет полную структуру предложения, которая зачастую используется для устранения двусмысленности и общего руководства действиями синтаксического анализатора.

Актуальность. Сложность реализации человеко-машинного речевого интерфейса определяется во многом сложностью такой системы кодирования, как человеческий язык. Вместе со стремительным вступлением человека в информационный век и растущей потребностью людей в эффективных средствах взаимодействия с вычислительной техникой, необходимость эффективного посредника между человеком и информационной средой становиться актуальной. Речевые интерфейсы, или, хотя бы, системы, накладывающие ограничения на тот или иной аспект речевого общения, или их приложения, такие как «On Line1 «-системы автоматического речевого и интеллектуального текстового перевода, устройства определения личности человека по голосу, системы автоматических объявлений, «автоответчики» справочных систем, и исследования, связанные с их совершенствованием или созданием новых типов подобных устройств приобретают сегодня всё большую актуальность. Однако, исходя из анализа литературы или изделий, представленных на тематическом рынке программного обеспечения или компьютерного оборудования, а также из анализа программных продуктов, находящихся в бесплатном или условно-бесплатном доступе, следует, что ни одна из подобных систем не лишена принципиальных недостатков, порой ставящих под сомнение целесообразность их использования. Иными словами, необходимого уровня качества общения, свойственного общению двух людей подобные изделия пока достичь не в состоянии. Причём такое положение вещей, по-видимому, связано не с частными недостатками реализации

1 Функционирующие «на лету», то есть без запаздывания относительно «сопровождаемого» процесса.

Введение 12 какой-либо конкретной системы или продукта, а скорее с неким фундаментальным дефектом представлений о закономерностях процесса, образующего общение, ставших уже традиционными. Об этом можно судить, в том числе и по тому факту, что в пределах разброса значений, связанных, в основном, с практической направленностью и спецификой целей, для которых проектируется конкретная система речевого интерфейса, все они обладают приблизительно одинаковым процентом отказов практически в одинаковых условиях работы.

Важными представителями человеко-машинных интерфейсов и систем обработки речевой и/или текстовой информации представленной на естественном человеческом языке, являются системы распознавания речи и текста, в смысле установления взаимнооднозначного соответствия между произнесённым словом или фразой (или напечатанным участком текста) и неким производимым вычислительной машиной действием.

Из всего вышесказанного кажется логичным сосредоточиться на исследовании закономерностей самого языка в самом общем смысле, как переносчика информации в процессе общения, а также структуры, строения и способов применения основных элементов, кодирующих в нём информацию. Причём желательно использовать в таком исследовании подходы и методы, в том числе отличающиеся от традиционных, сложившихся со времён начала экспериментов в области когнитивных наук, традиционного искусственного интеллекта и компьютерной техники. Данные, полученные в подобных исследованиях, помогут по-новому взглянуть на проблему создания человеко-машинных интерфейсов и поднять качество их функционирования на новый уровень, принесут новое в практику создания электронных переводчиков.

Цели и задачи работы. Целью данной работы является получение и разработка математических методов и алгоритмов, обеспечивающих:

1. Получение информации, критической с точки зрения эффективного функционирования некоторого гипотетического речевого процессора

Введение 13 безотносительно к форме конкретной реализации последнего),

2. Получение информации, важной для функционирования высокоуровневой эмуляции тех или иных форм компьютерного речевого интерфейса типа человек-машина,

3. Обработка и формализация нечёткой и трудно-формализуемой лингвистической формы информации, применимых, после некоторой необходимой адаптации к реальным входным данным в реальных человеко-машинных интерфейсах, имеющих, пусть даже малый и/или промежуточный, лингвистический этап в трансляции команд и входных данных,

4. Попытка эмуляции процесса обработки лингвистической информации (разумеется, на примитивном уровне, что связано с поисковым характером обсуждаемых исследований) единственным достоверно эффективно функционирующим устройством обработки такой информации - центральной нервной системой человека.

Научная новизна. Научная новизна проведённой работы состоит в следующем:

1. Рассматривается новый подход к систематизации фонетического яруса лингвистических данных естественного языка, предполагающий кросс-языковый анализ фонетической структуры лексики группы языков,

2. Разработан новый способ систематизации и представления фонетического алфавита языка, связанный с распространённостью элементов алфавита в смыслопередающем корпусе языка,

3. Предложен новый способ представления словарного состава естественного языка (построение пространства понятий) в виде многомерного массива (в свою очередь представимого в виде графического изображения), позволяющий автоматически распознавать естественные языки и различные части из словарного запаса этих языков. Потенциально данный способ представления лингвистической информации позволяет проводить семантическую кластеризацию и/или классификацию внутри фонетически представленных лексем языка;

4. Разработано два новых, взаимодополняющих друг друга в смысле рассматриваемых ими слов-понятий, алгоритма семантической кластеризации лексем естественного языка (построения семантического пространства), использующих в своей работе только информацию о существовании взаимообратных переводов кластеризуемых слов на родственные естественные языки. Несмотря на то, что работа данных алгоритмов не включает в себя анализ статистически значимых показателей встречаемости лексем языка, в каких бы то ни было больших корпусах лингвистической информации, разработанные алгоритмы, как показано в работе, работоспособны и могут выполнять задачу семантической кластеризации на необходимом для практических приложений уровне.

Практическая значимость. Предложенные методы идентификации и обнаружения факта различия двух или более языков, использованных в анализируемом тексте, могут быть с успехом применены в программах интеллектуального перевода, облегчая, таким образом, использование интерфейса таких программ, а также в качестве удобных дополнений к программам-браузерам, применяемым при просмотре информации, содержащейся в глобальной сети Интернет. Проблема определения языка, на котором написан документ в Интернете, решается либо пользователем, который должен для этого ознакомится с содержанием документа, который может не представлять для него ценности, либо автор документа должен указать язык документа явно (в языке разметки гипертекста HTML для этого предусмотрены специальные тэги). С использованием предложенных методов поиск немаркированных по признаку языка документов в Интернете может быть оптимизирован по эффективности.

Методы построения смыслового пространства являются предтечами методов эффективной организации словарей в системах интеллектуального перевода и в системах поиска информации по семантическому признаку. Классическая организация словаря, с распределением словарных единиц в соответствии с алфавитным порядком, не удовлетворяет целому ряду требований к оптимальной работе со словарём и поиска в нём. Реструктуризация словарей в соответствии с категориями семантического пространства поможет построить систему интеллектуального перевода, отличающуюся скоростью и точностью работы, переводящую смысл предъявляемого высказывания, а не его словарный состав. Следствием последнего явления являются ошибоч1[ые переводы, либо вовсе отказ существующих систем электронного перевода.

Кроме того, методы и алгоритмы семантической кластеризации и классификации, являются необходимой частью систем информационного поиска, автоматической рубрикации текстовой информации, а также систем извлечения данных.

Положения работы, выносимые на защиту:

1. Метод естественного упорядочивания фонетического алфавита естественного языка.

2. Фонетическое построение пространства понятий естественного языка.

3. Методы построения семантического пространства естественного языка (метод, использующий решение системы нелинейных алгебраических уравнений, и нейросетевой метод).

Апробация работы. Основные результаты в течение ряда лет докладывались на Всероссийской Научно-Техпической Конференции «Нейроинформатика» (Москва, 2004-2006 годы). О начальных этапах работы и результатах изучения

Введение 16 функционирования алгоритма фонетического построения пространства понятий, можно судить по докладу на седьмой международной конференции «Cognitive Modeling in Linguistics», проходившей в Варне в 2004 году. Кроме того, результаты части работы, связанной с построением смыслового пространства опубликованы в электронном рецензируемом журнале «Нейроинформатика», а также в рецензируемом журнале «Нейрокомпьютеры: разработка, применение». Результаты промежуточных исследований смыслового пространства, также докладывались на Молодёжной школе Курчатовского Института (Москва, РНЦ «Курчатовский институт» 2005).

Часть результатов этой работы была удостоена первой премии Молодёжного Кикоинского конкурса Курчатовского института в 2006 году.

Публикации. По теме диссертации опубликовано восемь работ, три из них в соавторстве. Две статьи опубликованы в материалах международных конференций [21, 22], четыре статьи в сборниках трудов конференций [23 - 26], одна статья в рецензируемом электронном журнале [27], и одна статья в рецензируемом журнале [28].

Достоверность. Представленные в диссертации результаты обоснованы теоретическим анализом, численным моделированием и верифицированы на известных фактах, почерпнутых из лингвистики и нейропсихологии.

Методы исследования. В работе применены следующие методы исследования и теоретические предпосылки: базовые концепции нейропсихологии, элементы математической статистики, элементарная теория многомерных евклидовых пространств, теория и методы вычислительной математики, связанные с решением систем нелинейных уравнений, теория нейронных сетей, численное моделирование, некоторые концепции искусственного интеллекта.

Личный вклад автора. Структурирование и интерпретация полученных результатов. Разработка, реализация, апробация и верификация разработанных методов анализа, формализации и представления в памяти вычислительной

Введение 17 машины структуры информации, изначально представленной на естественном языке. Развитие современных методов представления трудноформализуемой языковой информации с использованием «чётких» численных методов и форм хранения данных в памяти вычислительной машины. В диссертации предложены два метода идентификации и различения человеческого языка и два метода структурирования словарного базиса языка.

Структура и объём работы. Диссертация состоит из введения, четырёх глав и заключения, двух приложений и списка цитируемой литературы, включающего 124 библиографические ссылки. Работа содержит 162 страницы, включает 26 рисунков и 3 таблицы.

Основные результаты диссертационной работы состоят в следующем:

1. В работе приведён метод естественного упорядочения фонетического алфавита естественного языка. Показано, что зависимость встречаемости фонетических символов в этом алфавите может быть описана только одним параметром. Показана возможность использования этого параметра для распознавания естественного человеческого языка.

2. Знание фонетических алфавитов и встречаемости фонетических символов, составляющих эти алфавиты, позволяет использовать алгоритм фонетического построения семантического пространства естественного языка. Представленное при помощи этого алгоритма смысловое пространство также может быть использовано для различения языков, по словарному составу рассматриваемого языка.

3. Предложены два взаимодополняющих метода построения семантического пространства естественного языка без использования информации о звучании слов (подход, использующий решение системы нелинейных алгебраических уравнений и нейросетевой подход). Данные методы, по сути, являются методами кластеризации лексем естественного языка по признаку «смыслового родства». Как таковые

Заключение 142 они могут быть использованы в системах, где смысловая кластеризация играет ведущую роль. К таковым относятся системы распознавания и обработки речи (собственно человеко-машинные речевые интерфейсы), информационный «семантический» поиск (например, в глобальной сети Интернет), системы автоматической рубрикации текстовых документов, системы извлечения данных из большого объёма текстовой информации (т.н. «Data Mining»), а также некоторых других областях.

За неоценимую помощь в создании данного труда автору хотелось бы поблагодарить своего научного руководителя - Введенского Виктора Львовича и начальника лаборатории, в которой проводилось данное исследование - Салима Пшеймаховича Наурзакова, а также всех людей, как-либо способствовавших написанию данной работы.

1. Р. К. Потапова «Речевое управление роботом: лингвистика и современное автоматизированные системы» Изд. 2-е, перераб. И. доп. М.: КомКнига, 2005.-328 с.

2. А. А. Ильин. «Логика: учебник для гуманитарных факультетов» М: ФАИР-ПРЕСС, 2002http://www.psylib.ukrweb.ne^ooks/ivina01/index.htm

3. Э. Сепир. «Статус лингвистики как науки» Сборник «Языки как образ мира». М.: ООО «Издательство ACT» 2003 568с.

4. Э. Сепир. «Грамматист и его язык» Сборник «Языки как образ мира». М.: ООО «Издательство ACT» 2003, 568с.

5. А. Егорушкин. «У каждого свой язык?» http://www.computerra.ru/offIine/2002/446/18308/.6. 10. С. Маслов. Введение в языкознание. Учебное пособие для вузов. Издание второе, переработанное и дополненное. М. «Высшая школа» 1987, 272 с.

6. С. В. Князев, С. К. Пожарицкая. Современный русский литературный язык. Фонетика, графика, орфография, орфоэпия. Учебное пособие для вузов. Москва Академический проект. 2005, 310 с.8. «Услышь меня, машина» http://art.bdk.com.ru/govor/infastl.htm

7. Д. Давыдов. «Из заметок о синтетическом искусстве: поведение как часть текста». Журнал «Черновик» №19/2004.

8. Джордж Ф. Люгер. «Искусственный интеллект: стратегии и методы решения сложных проблем», 4-е издание.: Пер. с англ. М.: Издательский дом «Вильяме, 2005, 864 с. : ил.

9. Г. Капанадзе. Современные зарубежные системы машинного перевода. М.: ВЦП, 1989, 101с.: схем. (Обзорная информация / ВЦП; Вып. 17. Серия «Машиностроение и автоматизация информационных процессов»)

10. М. Говорун. Машинный перевод в XX веке //Мир Internet.-2001, №2, с. 16-26.

11. Ю. П. Зайченко «Динамическое программирование для Марковских процессов» http://www.ntcnvg.rU/lekcii/l 16.htm

12. Л. М. Местецкий «Математические методы распознавания образов» Курс лекций МГУ, ВМиК, кафедра «Математические методы прогнозирования», 2002-2004, http://www.ccas.ru/frc/papers/mestetskii04course.pdf

13. В. Ю. Бабков, М. А. Вознюк, В. И. Дмитриев. «Системы мобильной связи». СПб.: ГУТ.-СПб, 1999, 331 с.

14. Б. С. Лившиц, А. П. Пшеничников, А. Д. Харкевич. Теория телетрафика. 2-е изд., перераб. и доп. М.: Связь, 1979, 224 е., ил.19.«Искусственный интеллект: современный подход», 2-е издание., Пер. с англ. М.: ООО «И.Д. Вильяме», 2006, 1408 с.: ил.

15. J. Allen Natural Language Understanding. Menlo Park, С A: Benjamin/Cummings, 1987.

16. V.L. Vvedensky, A.V Korshakov., Visualization of the Basic Language Thesaurus. Proc. VII International Conf. «Cognitive Modelling in Linguistics», Varna 2004, pp. 308-313.

17. A.B. Коршаков Память на фонологические примитивы речи в нервной системе человека. 2005, 4-я Международная выставка и конференция «Неразрушающий контроль и техническая диагностика в промышленности» Тез. Докл., с. 24.1. Список литературы 145

18. В. J1. Введенский, А. В. Коршаков: Естественно упорядоченный алфавит индоевропейских языков. Нейроинформатика 2004, VI Всероссийская Научно-Техническая КонфереЕщия, Сборник научных трудов, часть 2, 18-24 е.

19. А.В. Коршаков «Самореплецируемый элемент памяти на фонологические примитивы речи в нервной системе человека.» НейроиЕЕформатика 2005. Труды VI Всероссийской научно-технической конференции, Часть 2, с. 217-277.

20. А.В. Коршаков. «Эмулятор памяти на фонологические примитивы речи в нервной системе человека». Тезисы Молодёжной Школы Курчатовского Института-2005, с. 340-343.

21. А. В.Коршаков. «Процедура построения проетраЕЕСтва понятий как часть системы машинного перевода». Нейроинформатика 2006, VIII Всероссийская Научно-Техническая Конференция, СборЕЕик научных трудов, часть 3, с. 155-162.

22. А. В. Коршаков «Самоорганизация в семантическом пространстве глаголов естествеЕЕНого языка». Электронный рецензируемый журнал «Нейроинформатика» 2-й Еюмер 2006г. http://www.niisi.ru/iont/ni/Journal/N2/ neurojournal@gmail.com

23. В. JL Введенский, А. В. Коршаков. О двух алгоритмах построения понятийной сети глаголов естественного человеческого языка и результатах их работы. Рецензируемый журнал «Нейрокомпьютеры: разработка, применение» №7 (июль) 2007 г. с. 75-84.

24. G. Erkan, D.R. Radev. LexRank: Graph-based Lexical Centrality as Salience in Text Summarization. Journal of Artificial Intelligence Research 22 (2004) 457-479 Submitted 07/04 Published 12/04.

25. B. Stein, O. Niggemann On the Nature of Structure and its Identification // P. Widmayer, G. Neyer, S. Eidenbenz (eds.). Graph-Theoretic Concepts in Computer Science. LNCS 1665. Springer-Verlag, 1999, p. 122-134.1. Список литературы 146

26. Ф.А. Новиков. «Дискретная математика для программистов» СПб.: Питер, 2003, 304 е., ил.

27. Б. Н. Иванов. «Дискретная математика. Алгоритмы и программы» М.: Лаборатория базовых знаний, 2003, 288с., ил.

28. И. Братько. «Программирование на языке ПРОЛОГ для искусственного интеллекта» /Пер. с англ. М.: Мир, 1990, 560с., ил.

29. Dominic Widdows and Beate Dorow. A Graph Model for Unsupervised Lexical Acquisition. 19th International Conference on Computational Linguistics, Taipei, August 2002, p. 1093-1099.

30. J. A. Hartigan and M. A. Wong, 1978: Algorithm AS 136: A K-means clustering algorithm. Appl. Stat., 28, p. 100-108.

31. S Deerwester, S. T. Dumais, Т. K. Landauer, G. W. Furnas, and R. A. Harshman, (1990), "Indexing by latent semantic analysis." Journal of the Society for Information Science, 41(6), p. 391-407.

32. P. Gamallo, C. Gasperin, A. Augustini, G. P. Lopes Syntactic-Based Methods for Measuring Word Similarity // Text, Speech and Dialogue: Fourth International Conference TSD-2001. LNAI 2166. Springer-Verlag, 2001. p. 116-125.

33. Susana Eyheramendy, Alexander Genkin, Wen-Hua Ju, David D. Lewis, David Madigan. «Sparse Bayesian Classifiers for Text Categorization» http://www.stat.rutgers.edu/~madigan/PAPERS/shortFat-vl3.pdf1. Список литературы 147

34. P. Resnik. Semantic Similarity in a Taxonomy: An Information-Based Measure and its Application to Problems of Ambiguity in Natural Language. Journal of Artificial Intelligence Research 11 (1999) 95-130 Submitted 03/08 Published 7/99

35. Ландэ Д.В. Основы интеграции информационных потоков: Монография. К.: Инжиниринг, 2006. - 240 с.

36. Ландэ Д.В., Фурашев В.Н., Брайчевский С.М., Григорьев А.Н. Основы моделирования и оценки электронных информационных потоков: Монография. К.: Инжиниринг, 2006. - 176 с.

37. Cynthia A. Thompson, Raymond J. Mooney. Acquiring Word-Meaning Mappings for Natural Language Interfaces. Journal of Artificial Intelligence Research 18 (2003) 1-44 Submitted 05/02 Published 1/03

38. B.A. Вудс Сетевые грамматики для анализа естественных языков. // Кибернетический сборник. Новая серия. -М.:Мир, 1978.-вып. 13. с. 120-158.

39. С. Кулагина Исследования по машинному переводу. -М.: Наука, 1979

40. M-J. Nederhoh, Giorgio Satta. IDL-Expressions: A Formalism for Representing and Parsing Finite Languages in Natural Language Processing. Journal of Artificial Intelligence Research 21 (2004) 287-317 Submitted 06/03 Published 03/04

41. D. Sleator and D. Temperley, "Parsing English with a link grammar," Computer Science Dept., Carnegie-Mellon Univ., Pittsburgh, PA, Tech. Rep. CMU-CS-91-196, Oct. 1991.

42. J. D. Lafferty, D. Sleator, and D. Temperley, "Grammatical trigrams: A probabilistic model of link grammar," in Proc. AAAI Fall Symp. Probabilistic Approaches to Natural Language, Cambridge, MA, Oct. 1992.

43. Stefan Wermter, Volker Weber. SCREEN: Learning a Flat Syntactic and Semantic Spoken Language Analysis Using Artificial Neural Networks. Journal of Artificial Intelligence Research 6 (1997) 35-85 Submitted 07/96 Published 01/97.1. Список литературы 148

44. Frolov, A. A. Husek, D. Muraviev, I. P. Polyakov, P. Y. Boolean Factor Analysis by Attractor Neural Network. Neural Networks, IEEE Transactions. Volume: 18, Issue: 3 page(s): 698-707.

45. С. Осовский. «Нейронные сети для обработки информации» М.: «Финансы и статистика» 2002, 344 е., ил.

46. В. А. Головко. «Нейронные сети: обучение, организация и применение». Издательское предприятие журнала «Радиотехника». Москва 2001, 256 с. ил. (Нейрокомпьютеры и их применение).

47. Ah-Hwee Tan, Fon-Lin Lai. «Text Categorazation, Supervised Learning, and Domain Knowledge Integration». http://www.cs.cmu.edu/~dunja/KDDpapers/TanTM.pdf

48. Ji He, Ah-Hwee Tan, Chew-Lim Tan. «А Comprative Studu on Chinese Text Categorization Methods» http://www.jihe.net/downIoads/papers/he00pricai.pdf

49. A.M. Андреев, Д.В. Березкин, B.B. Морозов, К.В. Симаков. «Автоматическая классификация текстовых документов с использованием нейросетевых алгоритмов и семантического анализа» http://company.yandex.ru/grant/2005/08Shelestov103119.pdf

50. Charles X. Ling. Learning the Past Tense of English Verbs: The Symbolic Pattern Associator vs. Connectionist Models. Journal of Artificial Intelligence Research 1 (1994) 209-229 Submitted 11/93 Published 02/94.

51. Национальный корпус русского языка Ьир://га5софога.т/согрога-51гисШге.Мт1

52. Т. McEnery, and A. Wilson,: Corpus Linguistics, Edinburgh: Edinburgh University Press. (1996)1. Список литературы 149

53. А. Климов. «MSAgent графические персонажи для интерфейсов» СПб. Петербург, «БХВ-Петербург», 2005, 352 е.: ил.63.«Нужно ли разговаривать с компьютером?» http://art.bdk.com.ru/govor/infast 10.htm

54. NEC Electronics http://www.necel.com/index.html

55. NEC Electronics http://www.nec.co.jp/

56. Ландэ Д.В. Семантический вэб: воплощение идеи. // "Телеком". 2005. -№ 6. - С. 60-65.

57. Semantic Web Activity webpagehttp://www.w3.org/blog/SW?s=Semantic+Web&sentence=AND&submit=Sear ch

58. С. E. Shannon. «А Mathematical Theory of Communication». The Bell System Technical Journal, Vol. 27, pp. 379-423, 623-656, July, October, 1948.

59. Baeza-Yates and Ribeiro-Neto, Modern Information Retrieval, ACM Press, 1999.74.«Benford's Law and Zipf s Law» http://www.cut-the-knot.org/doyouknow/zipfLaw.shtml

60. A. J. Lotka, «The Frequency Distribution of Scientific Productivity», Journal of the Washington Academy of Sciences, 16(12):317-323, 1926.

61. P. E. Black, ««Benford's law», from Dictionary of Algorithms and Data Structures», P. E. Black, ed., NIST. http://www.nist.gov/dads/HTML^enfordsIaw.html.

62. B. Rousseau, R. Rousseau. «Some ideas concerning the Semantic Web» Library and Information Service, 2002, 8, p. 39-49.

63. H. A. Simon. «On Class of Skew Distribution Functions» Biometrika, Volume 42, Issue 3/4 (Dec., 1955), p. 425-440.

64. G. A. Miller «The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information». The Psychological Review, 1956, vol. 63, pp. 81-97

65. Der Dokumenten-Server der Universitat Leipzig, http://wortschatz.uni-leipzig.de/index.html

66. Foreignword. com, The language site http://www.foreignword.com

67. D. B. Searls. «The language of genes» Nature 420, 211 217 (2002); doi: 10.1038/nature01255 14 November 2002

68. V.L.Vvedensky. «Common model of evolution for living cell and central nervous system» Bioelectrochemistry and Bioenergetics 1999; 48(2), p.343-347.84.«Knowledge as a Living System» http://www.dtic.mil/dtic/annualconf/conf02agenda.html

69. M. H. Chrestiansen, S. Kirby. «Language evolution: consensus and controversies» TRENDS in Cognitive Sciences Vol.7 No. 7 July 2003/

70. A. H. Радченко. «Информационные механизмы памяти модели амнезий» Изд-во СПб.: «Анатолия» 2002, с.298. ил.1. Список литературы 151

71. В. А. Курдюмов. «Курс китайского языка. Теоретическая грамматика.» Москва «Цитадель-трейд», «Лада». 2005, 576 с.

72. А Р Лурия. «К пересмотру учения об амнестической афазии». Проблемы афазии и восстановительного обучения. Под ред. Л. С. Цветковой. М: Изд-во Моск.ун-та, 1975, с. 16-23

73. Е. Zaidel. «Lexical organization in right hemisphere». // Buser R., Rougek P. (eds.). Cerebral correlates of conscious experience. Elsevier, 1978.

74. T. В. Рябова (Ахутина). «Механизм порождения речи по данным афазиологии». Вопросы порождения речи и обучения языку / Под ред. А. А. Леонтьева, Т. В. Рябовой. М.: Изд-во Моек ун-та, 1967. с.76 92.

75. Л. Витгенштейн. «Философские исследования» Сборник «Языки как образ мира». М.: ООО «Издательство ACT» 2003, 568с.

76. Т. В. Ахутина. «К вопросу о механизмах динамической афазии и аграмматизма при эфферентной моторной афазии» Проблемы афазии и восстановительного обучения /Под ред. Л. С. Цветковой. М.: Изд-во Моск. ун-та, 1975, с 81-100.

77. Л. Я. Баллонов, В. Л. Деглин, Т. В. Черниговская. «Функциональная асимметрия мозга в организации речевой деятельности». Сенсорные системы. Сенсорные процессы и асимметрия полушарий / Отв. Ред. Г. В. Гершуни. Л.: Наука, 1985, с. 99-113.

78. Теория функциональной грамматики: Введение, аспектуальность, временная локализованность, таксис. Изд.2. Бондарко А.В. (Ред.) 2001. 348 с.

79. R. Jakobson «Linguistic Types of Aphasia» //Jakobson R/ Selected Writings/ Vol. II (Words and Language). Paris, 1963.

80. Michael W. L. Chee, Edsel W. L. Tan, and Thorsten Thiel. Mandarin and English Single Word Processing Studied with Functional Magnetic Resonance Imaging. The Journal of Neuroscience, April 15, 1999, 19(8):3050-30561. Список литературы 152

81. Giuglea А.-М., Moschitti A. Knowledge Discovering Using FrameNet, VerbNet and PropBank // Proceedings of the Workshop on Ontology and Knowledge Discovering (ECML-2004). Pisa, Italy: 2004, p. 929-936.

82. Chen J., Palmer M. Clustering-based Feature Selection for Verb Sense Disambiguation // Proceedings of the 2005 IEEE International Conference on Natural Language Processing and Knowledge Engineering (IEEE NLP-KE 2005). Wuhan, China: 2005, p. 36-41.

83. В. А. Ильин, Э. Г. Позняк «Аналитическая геометрия» 4-е изд., доп.-М.: Наука. Гл. ред. Физ-мат. Лит., 1988, 224 с. (Курс высшей математики и математической физики /Под ред. А. Н. Тихонова, В. А. Ильина, А. Г. Свешникова).

84. Ушаков А.В., Хабалов В.В., Дударенко Н.А. Математические основы теории систем: элементы теории и практикум./ Под ред. Ушакова А.В. СПб: СПбГУИТМО, 2007.

85. Дж. Голуб, Ч. Ван Лоун. «Матричные вычисления» Перевод с английского Ю. М. Нечепуренко, А. Ю. Романова, А. В. Собянина, Е. Е. Тыртышникова. Под редакцией В. В. Воеводина. Москва «Мир» 1999 г. -549с.

86. В. И. Крылов, В. В. Бобков, П. И. Монастрырский. «Вычислительные методы». Изд. «Наука» Главная редакция Физ.-мат. Лит. М. 1976.-303с.

87. Н. С. Бахвалов, Н. П. Жидков, Г. М. Кобельков. «Численные методы» 4-е издание. М.: БИНОМ. Лаборатория знаний, 2006, 636 е.: ил.

88. В. М. Вержбинский. «Основы численных методов» 2-е изд., перераб. -М.: Высш. шк., 2005, 840 е.: ил.1. Слисок литературы 153

89. А. А. Амосов, Ю. А. Дубинский, Н. В. Копчёнова. «Вычислительные методы для инженеров» /М.: Высш. шк., 1994. 544 е.: ил.

90. В. М. Вержбинский. «Численные методы (линейная алгебра и нелинейные уравнения)» 2-е изд., испр. М.: ООО «Издательский дом «ОНИКС 21 век»», 2005, 432 е.: ил.

91. Саймон Хайкин «Нейронные сети: полный курс», 2-е издание., испр.: Пер. с англ. М. : ООО «И.Д. Вильяме», 2006, 1104 с.: ил.

92. Timothy Masters. Practical Neural Network Recipes in С++. Acadimic Press, Inc. Harcourt Brace Jovanovich, Publishers. Boston, San Diego, New York, London, Sydney, Tokyo, Toronto. 1993, 493 c.

93. И. И. Меламед. «Нейронные сети и комбинаторная оптимизация» -Автоматика и телемеханика, 1994, № 11, с. 3-40.

94. J. Hertz, A. Krogh, R. G. Palmer. «Introduction to the theory of neural computation» Lecture Notes Volume I, Addison-Wesley Publishing Company. 1990 327 c.

95. Amit D.J. Modeling Brain Function: The world of Attractor Neural Networks, New York: Cambridge University Press, 1989

96. Hopfield J.J. "Neural networks and physical systems with emergent collective computational abilities", Proceedings of the National Acadamy of Sciences, USA, 1982, vol.79, p. 2554-2558.

97. Ch. M. Bishop «Neural networks for pattern recognition» Clarendon press, Oxford. 1996, 482 c.

98. Дж. Пирс, «Символы, сигналы, шумы». Мир, Москва, 1967, 336с.1. Список литературы 154

99. В. И. Циркин, С. И, Трухина. «Физиологические основы психической деятельности и поведения человека». М.: Медицинская книга, Н. Новгород: Изд-во НГМА, 2001, 524 с.

100. Б. Шнайер. «Прикладная криптография. Протоколы, алгоритмы, исходные тексты на языке Си». М.: Издательство ТРИУМФ, 2003, 816 с.: ил.

101. S. Thiebaux, Ch. Gretton, J. Slaney, D. Price, F. Kabanza «Decision-Theoretic Planning with non-Markovian Rewards» Journal of

102. Artificial Intelligence Research 25 (2006) 17-74. Submitted 12/04; published 01/06

103. P. Бейтс., M. Мак-Доннел «Восстановление и реконструкция изображений» Пер. с англ. М.: Мир, 1989, 336 е., ил.

104. С. Малла «Вейвлеты в обработке сигналов» Пер. с англ. М.: Мир, 2005,671 е., ил.

105. В. J1. Введенский Сеть корней глаголов русского языка. Нейроинформатика 2006, VIII Всероссийская Научно-Техническая Конференция, Сборник научных трудов, часть 3, с. 236-243.