автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математическое моделирование и программная реализация семантического преобразования поисковых запросов

005017798

Кириллов Антон Владимирович

Математическое моделирование и программная реализация семантического преобразования поисковых запросов

Специальность 05.13.18 -Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 с дпр ті

Москва-2012

005017798

Работа выполнена на кафедре инноваций и бизнеса в сфере информационны технологий Национального исследовательского университета «Высш; школа экономики»

Научный руководитель доктор технических наук

Фомичёв Владимир Александрович

Официальные оппоненты: Норенков Игорь Петрович

доктор технических наук, профессор, заслуженный деятель науки и техники РФ, МГТУ им. Н. Э. Баумана, зав. кафедрой "Системы автоматизированного проектирования"

Толчеев Владимир Олегович,

доктор технических наук, доцент, Национальный исследовательский университет Московский энергетический институт, профессор кафедры управления и информатики

Ведущая организация: Институт системного анализа РАН

Защита состоится «16» мая 2012 г. в 15:00 на заседании диссертационно: совета Д 212.048.09 при Национальном исследовательском университет «Высшая школа экономики» (НИУ ВШЭ) по адресу: 105187, г. Москва, у. Кирпичная, д.ЗЗ, ауд. 505. > -

С диссертацией можно ознакомиться в библиотеке НИУ ВШЭ по адрес; 101990, г. Москва, ул. Мясницкая, д. 20.

Автореферат разослан «3» апреля 2012 г.

Ученый секретарь / .

диссертационного совета, /J л

доктор технических наук^г^- Фомичёв Владимир Александрович

I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. В настоящее время параллельно с ростом объемов информации в Интернете происходит разработка новых и совершенствование существующих подходов к ее поиску. Все большую актуальность приобретают средства семантического поиска, под которыми понимаются системы, принимающие на вход некоторый запрос, обрабатывающие его с использованием рассуждений над специфичной базой знаний и возвращающие совместимые результаты. Входным запросом может являться, например, вопрос на естественном языке (ЕЯ), представление вопроса при помощи триплетов, графическое представление, набор ключевых слов, отдельные фразы и т.д. В роли базы знаний могут выступать онтологии, аннотированные массивы текста, текстовые документы, Веб, XML-документы, RDF документы, HTML документы и т.д. В нашей стране значительный вклад в развитие семантического поиска внесли Э.Э. Гасанов, А.Е. Ермаков, А.Н. Королев, И.П. Кузнецов, Д.Г. Лахути, H.H. Леонтьева, М.Г. Мальковский, А.Г. Мацкевич, A.C. Нариньяни, И. С. Некрестьянов, Г.С. Осипов, И.В. Сегалович, A.B. Сокирко, Н.В. Перцов, H.H. Перцова, Э.В. Попов, В.Ш. Рубашкин, И.А. Тихомиров, В.О. Толчеев, В.А. Тузов, В.А. Фомичёв, Н.П. Харин, В.Ф. Хорошевский и другие учёные.

Однако, несмотря на большое разнообразие методов и подходов к семантическому поиску, у существующих поисковых систем имеется ряд недостатков. К ним можно отнести отсутствие семантического описания электронных документов (в большинстве случаев), высокую трудоемкость алгоритмизации автоматизированного создания данного описания, большой разрыв между технологиями семантического веба и гипертекстового поиска (развиваются параллельно и независимо друг от друга), недостаточные интеллектуальные возможности анализаторов естественно-языковых запросов вопросно-ответных систем.

Объект исследования: методы семантической обработки поисковыми системами естественно-языковых запросов.

Предмет исследования: методы применения формальных средств для семантического анализа и преобразования поисковых запросов на естественном языке, проектирования лингвистической базы знаний, а также баз знаний для поддержки преобразования запросов и поиска.

Цель исследования: разработать такой метод семантического преобразования важных с практической точки зрения естественно-языковых поисковых запросов в форму (множество производных запросов), позволяющую традиционным системам поиска обнаружить наиболее релевантные результаты, который предусматривает применение формальных средств для описания (а) системы концептуальных единиц первичного уровня, (б) логической структуры базы знаний для поддержки преобразования запросов и поиска.

Задачи исследования:

1.Провести анализ состояния исследований по семантической обработке поисковыми системами вопросов на естественном языке (ЕЯ) с целью выявления классов вопросов, недостаточно проработанных в научной литературе и имеющих большую практическую значимость для систем естественно-языкового поиска.

2. По результатам проведенного анализа разработать метод семантического преобразования, который бы позволил трансформировать поданный на вход естественно-языковой запрос в форму (множество производных запросов), позволяющую повысить релевантность документов, выдаваемых системами поиска по ключевым словам.

3. Выбрать наиболее соответствующую предложенному методу методологическую основу исследования для построения математических моделей компонентов базы знаний, необходимых для семантического преобразования естественно-языковых запросов.

4. Построить математические модели компонентов базы знаний, необходимых для семантического преобразования поисковых запросов для выбранных типов вопросов. Построить итоговую математическую модель для поддержки семантического преобразования запросов и поиска.

5. На основе предложенных моделей разработать алгоритмы анализа и преобразования поисковых запросов в форму (множество производных запросов), позволяющую повысить релевантность документов, выдаваемых системами поиска по ключевым словам. Разработать алгоритм ранжирования результатов по степени релевантности поисковому запросу.

6 . Разработать программный комплекс, реализующий предложенный метод семантического преобразования поисковых запросов. 7. Провести тестирование разработанного программного комплекса и проанализировать полученные результаты.

Теоретико-методологическую основу исследования составляют теория алгоритмов, теория графов, теория контекстно-свободных грамматик, теория К-представлений, методы теоретического программирования и Веб программирования.

Достоверность и обоснованность научных положений подтверждается корректным применением математического аппарата теории К-представлений, теории контекстно-свободных грамматик, теории алгоритмов и результатами тестирования разработанной компьютерной программы.

В ходе исследования была решена научная задача создания такого метода семантического преобразования естественно-языковых запросов в расширенную форму, позволяющую традиционным поисковым системам получать более релевантные результаты, который предусматривает применение формальных средств для описания (а) системы первичных единиц концептуального уровня, (б) логической структуры базы знаний для

поддержки преобразования запросов и поиска, (в) шаблонов семантических трансформаций, необходимых для преобразования поисковых запросов.

Теоретическая значимость исследования. Впервые предложен базирующийся на математической модели подсистемы базы знаний метод семантического преобразования ЕЯ-запросов поисковых систем (ПС) в форму (множество производных запросов), позволяющую повысить релевантность результатов работы системы поиска по ключевым словам.

Практическая значимость исследования состоит в том, что предложен новый подход к анализу и преобразованию ЕЯ-запросов поисковых систем в такую форму (множество производных запросов), которая позволяет повысить релевантность документов, получаемых от традиционных поисковых систем. Данный подход базируется на построении математических моделей семантических и семантико-синтаксических объектов, которые используются алгоритмами построения множества преобразованных запросов. Разработанные алгоритмы позволяют определять типы и подтипы ЕЯ-запросов ПС, а также выделять объекты интереса запросов. На основе разработанной модели базы знаний для поддержки преобразования запросов и поиска в зависимости от типа запроса и выделенных объектов интереса происходит построение множества семантически преобразованных запросов, которые подаются на вход традиционной ПС. Разработанный алгоритм ранжирования результатов поисковой выдачи позволяет повысить релевантность результатов по сравнению с системами поиска по ключевым словам. Математический подход, базирующейся на теории К-представлений, является предметно независимым и может быть использован при проектировании базы знаний для поддержки преобразования запросов и поиска в разных предметных областях. Важным аспектом практической ценности разработанного комплекса является возможность его интеграции с любым количеством поисковых систем, а также возможность управления информацией в базе знаний с целью повышения соответствия результатов поиска информационной потребности пользователей, что не требует внесения изменений в разработанные алгоритмы.

Полученные в диссертации результаты использованы в научных и проектных исследованиях компании «Вокском - Голосовые Телекоммуникации» (Москва), а также в лекционных и лабораторных занятиях по дисциплине «Проектирование лингвистических процессоров» на кафедре «Информационные технологии» «МАТИ» - Российского государственного технологического университета им К.Э. Циолковского.

Основные положения, выносимые на защиту:

1. Разработан комплекс математических моделей семантических и семантико-синтаксических объектов, предназначенных для расширения пользовательских поисковых запросов:

1.1. Математическая модель проблемно-ориентированной системы

первичных единиц концептуального уровня, используемой для построения множества преобразованных аспектно-ориентированных запросов.

1.2. Математическая модель концептуальной базы целей, используемая для преобразования запросов достижения целей.

1.3. Математическая модель концептуальной базы знаний об изменениях множеств, используемой для поддержки преобразования запросов об изменениях состава множеств.

1.4. Итоговая математическая модель базы знаний для поддержки семантического преобразования запросов и поиска.

2. Разработан комплекс из двух алгоритмов, обеспечивающих анализ поисковых запросов на соответствие рассматриваемым типам и подтипам поисковых запросов, а также позволяющий определить значимые объекты интереса поисковых запросов.

3. Разработаны метод и алгоритм построения множества преобразованных запросов.

4. Разработан программный комплекс, реализующий предлагаемый метод семантического преобразования поисковых запросов и использующий разработанные алгоритмы. Разработанный программный комплекс был успешно развернут по адресу http://www.aoseneine.ru.

5. Разработана КС-грамматика в форме Бэкуса-Наура для описания входного языка поисковых запросов пользователей.

Апробация и внедрение результатов исследования. Основные результаты работы представлялись и получили одобрение на научно-практической конференции студентов и аспирантов «Информационные технологии в экономике, бизнесе, управлении» (ГУ-ВШЭ, 2010), на IX Международной научно-технической конференции «Новые информационные технологии и системы» (НИТиС-2010), на молодежной научной конференции «Гагаринские чтения» в МАТИ (2011) и на научном семинаре «Математические модели информационных технологий» Отделения прикладной математики и информатики факультета бизнес-информатики НИУ ВШЭ в 2012 году. По теме диссертационной работы опубликовано 7 научных работ, включая две статьи в изданиях из списка изданий, рекомендованных ВАК РФ. Разработанный в диссертации программный комплекс был развернут по адресу http://www.aosengine.ru/.

Структура диссертации: основной текст диссертации изложен на 156 страницах, состоит из введения, четырёх глав, заключения, списка литературы из 100 наименований и девяти приложений.

II. ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность темы диссертационной работы, сформулированы цели и задачи работы, определены ее теоретическая и практическая значимость, приведены сведения об апробации и внедрении

работы, о структуре диссертации и о публикациях по теме диссертации.

В первой главе анализируется современное состояние исследований по разработке систем синтаксического и семантического поиска информации во Всемирной Паутине (Вебе) и корпоративных внутренних сетях. Детально рассматриваются принципы поиска по ключевым словам и логика, применяемая в системах такого класса, а также наиболее распространенные методы ранжирования результатов поиска. Проводится обзор и классификация систем, реализующих принципы семантического поиска. Значительное внимание уделяется описанию принципов разработки естественно-языковых поисковых систем и анализу характеристик основных представителей систем данного класса. Рассматриваются отечественные разработки в области семантического поиска, методы и модели, применяемые в данных системах. Формулируется цель диссертационного исследования.

Во второй главе в параграфе 2.1 выделяются для исследования три класса важных для приложений, но недостаточно исследованных в научных публикациях естественно-языковых запросов: (1) аспектно-ориентированные запросы (касающиеся характеристик объекта интереса либо его особенностей). Примеры: «Каковы особенности компьютера iMac?», «Как устроен мейнфрейм?»; (2) запросы о достижении целей (связанные с успехами и неудачами тех или иных интеллектуальных систем). Примеры: «Каковы успехи компании Oracle?», «Какие неудачи были у компании Microsoft два года назад?»; (3) запросы, касающиеся сохранения или изменения состава того или иного множества. Примеры: «Какие изменения были в прошлом году в руководстве компании Google?», «Какие изменения были в компании Яндекс в департаменте эксплуатации?».

В параграфах 2.2 - 2.3 предлагаются принципы нового подхода к семантически-ориентированному поиску информации в Интернете, основанного на семантическом преобразовании входного запроса в форму (множество производных запросов), позволяющую традиционной поисковой системе найти более релевантные (семантически) документы. Для каждого из выделенных классов запросов предлагаются принципы семантического преобразования.

Характеристическим объектом, или характеристическим словом, будем называть слово запроса, позволяющее охарактеризовать его принадлежность тому или иному типу. Объектами интереса запроса будем называть те слова запроса, которые составляют непосредственную информационную потребность пользователя. Дополнительными объектами интереса будем называть дополнительные элементы запроса, важные для пользователя. Например, характеристическим объектом запроса «Каковы характеристики процессора Cray?» является слово «характеристики», а объектом интереса -«процессор Cray». Для запроса «Какие успехи были у компании Cloudera в 2010 году» характеристическим объектом является слово «успехи», объектом

интереса - «компания С1оис1ега», а дополнительным объектом интереса -«2010 год».

Значительную ценность для практики представляют методы семантического поиска, инвариантные по отношению к предметной области либо способные работать в широком диапазоне предметных областей. В связи с этим в параграфе 2.4 сделан вывод о целесообразности разработки новых методов семантического поиска информации в Сети на основе широко применимой математической модели, описывающей (а) систему первичных информационных единиц, используемых поисковой системой (что означает перечисление таких единиц и описание их взаимосвязей); (б) цели людей и организаций; (в) динамику изменений различных множеств (совета директоров фирмы и т.д.). Проведенный анализ научной литературы показал, что в настоящее время в доступной литературе опубликована только одна теория, предоставляющая возможности построения математических моделей удовлетворяющих требованиям (а) - (в), это теория К-представлений (концептуальных представлений). Данная теория изложена в большой серии публикаций В.А. Фомичева на русском и английском языках.

Основной предлагаемый принцип расширения аспектно-ориентированных запросов (АО-запросов) заключается, во-первых, в построении семантических производных первоначального запроса. Для преобразования такого рода необходимо учитывать концептуальное окружение характеристического слова, специфическое для определенного типа запроса, т. е. его синонимы, гипонимы и гиперонимы. Использование синонимичных запросов позволит расширить спектр релевантных по ключевым словам документов и обнаружить необходимую информацию. Гипонимы и гиперонимы характеристических слов используются с той же целью, но имеют несколько другой смысл: в некотором документе может присутствовать информация, касающаяся объекта интереса запроса в контексте рассмотрения его либо как' составляющего элемента (гипонима) более общей сущности, либо, наоборот, может рассматриваться составляющая часть понятия (в данном случае характеристическое слово будет выступать в качестве гиперонима). Например, для понятия «компьютер» гипонимами являются понятая «сервер» и «ноутбук»; для понятия «сервер» гиперонимом является понятие «компьютер». Концептуальное окружение позволит строить семантически близкие запросы, а также анализировать возвращаемые документы на соответствие запросу.

В параграфе 2.5 построена математическая модель проблемно-ориентированной системы первичных единиц концептуального уровня с целью создания основы для разработки алгоритмов семантического преобразования АО-запросов. Модель описывает новые классы формальных объектов, названных размеченными концептуально-объектными системами (р.к.о.с.) и расширенными концептуальными базисами (р.к.б.).

Для построения произвольной р.к.о.с. нужно выбрать сортовую систему 5, удовлетворяющую нескольким дополнительным требованиям (аспектно-орентированную сортовую систему). В теории К-представлений сортовой системой называется произвольная упорядоченная четверка S = (St, Р, Gen, Tol), где St - конечное множество символов, называемых сортами и интерпретируемых как обозначения наиболее общих понятий, рассматриваемых в выбранной группе предметных областей, Р - выделенный сорт «смысл сообщения», интерпретируемый как характеристика семантических представлений высказываний и связных повествовательных текстов; Gen - бинарное отношение (частичный порядок) на St, отражающее факт существования иерархии понятий по степени общности; Tol - бинарное отношение на St, отражающее возможность наличия нескольких несопоставимых семантических характеристик объектов из рассматриваемой области (см. «Информационные технологии», 2002, № 10, С. 16-25).

Пример. Множество St может включать такие элементы физ.об, дин.физ.об, интс, интерпретируемые как обозначения понятий «физический объект», «динамический физический объект», «интеллектуальная система»,что Gen включает пары (физ.об, дин.физ.об), (физ.об, физ.об), и Tol включает пары (физ.об, интс), (интс, физ.об).

В этом случае размеченной концептуально-объектной системой, согласованной с сортовой системой S, называется упорядоченный набор Cobs вида (X, V, tp, F, Qf, Chr, Fgn), где X, V - счетные непересекающиеся множества символов (первичный информационный универсум и множество переменных), tp - отображение из объединения множеств Л'и Г в множество типов Tp(S), F - подмножество, состоящее из обозначений функций, Qf -множество, состоящее из 11 выделенных бинарных реляционных символов для отображения содержания АО-запросов, Chr - выделенное конечное подмножество множества унарных функциональных символов F[l] (интерпретируется как множество характеристик (аспектов) объектов заданной предметной области).

Пусть Concepts - множество всех таких d из X, что тип tp(d) начинается с символа \ (т.е. d - обозначение понятия). Тогда Fgn - это функция, ставящая в соответствие произвольному cpt из Concepts упорядоченную тройку Gn = (Ge, Concr, Syn), где Ge - множество обобщающих понятий для концепта cpt, Сопсг - множество конкретизирующих понятий для концепта cpt, Syn -множество синонимов (на концептуальном уровне) концепта cpt, причем Ge, Concr, Syn - это подмножества множества Concepts. Функцию Fgn будем называть детерминантом концептуального окружения; если cpt - элемент множества Concepts, то упорядоченная тройка Gn(cpt) = (Ge, Concr, Syn) будет называться концептуальным окружением термина cpt.

Пример. Пусть cpt = «характеристики», тогда детерминант концептуального окружения Gn(cpt) = (Ge, Concr, Syn), где Ge = {отзыв,

рекомендация}, Conor = {описание}, Syn = {описание}.

Расширенным концептуальным базисом (р.к.б.) называется произвольная упорядоченная четверка Extbs вида (S, Cobs, Ql), где S — произвольная аспектно-ориентированная сортовая система, Cobs — размеченная концептуально-объектная система (к.о.с.) вида (X, V, tp, F, Qf, Chr, Fgn), согласованная с S, и Ql — система кванторов и логических связок для сортовой системы S и концептуально-объектной системы Ci=(X V, tp, F).

Пусть Extbs — произвольный р.к.б. вида (S, Cobs, Ql), где S — произвольная аспектно-ориентированная сортовая система, Cobs — размеченная концептуально-объектная система вида (X, V, tp, F, Qf, Chr, Fgn) согласованная с S, и Ql — система кванторов и логических связок. Тогда концептуальный базис В = (S, Ct, Ql), где Ct=(X,V, tp, F), называется семантическим ядром расширенного концептуального базиса Extbs и обозначается через Sem-Core(Extbs).

В параграфе 2.7 предлагается новый метод формального описания структуры входных текстов анализатора АО-запросов рассматриваемых видов на основе аппарата КС-грамматик. Сначала вводится специальное полуформальное представление структуры входных запросов, которое будет называться стем-формой запроса. Название происходит от термина стемминг, обозначающего выделение основы слова, однако в контексте диссертации стемминг понимается как приведение слова к базовой форме.

Шаблоном стем-формы входного запроса будем называть запрос, приведенный к следующему виду: (1) нет ни одной заглавной буквы; (2) каждое слово в запросе находится в базовой форме; (3) набор слов, которые являются опциональными, заключаются в фигурные скобки; альтернативные слова или словосочетания из некоторого набора разделяются вертикальной чертой; набор альтернативных слов или словосочетаний, любой элемент которого должен присутствовать в тексте, заключается в квадратные скобки; слова, которые не важны при рассмотрении запроса, заменяются на символ #;' слова, следующие друг за другом, связываются при помощи знака «+».

Шаблон стем-формы — это формат обобщенного представления стем-формы, соответствие которому позволит отнести заданное на входе предложение к одному из типов, а также выделить необходимые объекты интереса. В шаблонах используются специальные символы, описанные выше а также элементы вида ОИп, где п — это порядковый номер (в интервале [1,3]) объекта интереса поискового запроса: ОИ1 — характеристический объект, позволяющий определить тип вопроса, ОИ2 и ОИЗ — это объекты интереса, аспекты которых необходимо найти. Например, шаблон стем-формы какой+ # + ОИ1 (сущ.)+[выполняет\преследует]+ОИ2? ОИ1=миссия цель описывает структуру запросов «Какую миссию выполняет X?» и «Какую цель преследует X?».

Для корректной обработки и анализа входных поисковых запросов системы структура входных текстов семантического анализатора была формально описана с использованием контекстно-свободных грамматик. Для этих целей была определена КС-грамматика входного языка запросов. Эта грамматика описывает множество шаблонов стем-форм запросов. Рассмотрим некоторые продукции построенной КС-грамматики:

<текст>::=<вопрос_описания_структуры>|<вопрос_описания_характерис тик>|<вопрос_описания_работы>|<вопрос_описания_функций>|<вопрос_опи сания_назначения>|<вопрос_описания_применения>|<вопрос_описания_прин адлежности>|<вопрос_описания_различий>|<вопрос_описания_общих_харак теристик>|<вопрос_описания_особенностей>|<вопрос_описания_возможност ей>;

<вопрос_описания_структуры>::=как<набор_символов><специфическая _цепочка_1><набор_символов><возможное_вопросительное_слово><набор_ символов><специфическая_цепочка_2><опциональная_цепочка><набор_сим волов>|возможное_вопросительное_слово><набор_символов><специфическо е_существительное><набор_символов>|из что состоять <набор_символов>|из какой<набор_символов><специфическая_цепочка_2>состоять<набор_символ ов>;

<специфическая_цепочка_1>::=устраивать|структурировать|организовыв

ать;

<специфическая_цепочка_2>::= устройство|структура|организация|составляющая|составляющая часть|компонент|элемент;

В параграфах 2.9 - 2.10 разрабатываются алгоритмы семантического преобразования аспектно-ориентированных запросов и вспомогательный структурированный алгоритм определения типа и объектов интереса запросов данного вида. Данные алгоритмы базируются на математической модели проблемно-ориентированной системы первичных единиц концептуального уровня, что делает их независимыми от предметной области и платформы реализации. Применяемый подход на основе использования словарей слов-индикаторов позволяет более гибко варьировать результаты работы алгоритма без его изменения, т. е., внося изменения в словарь, можно влиять на результаты работы алгоритма без вмешательства в его логику. Алгоритм определения типа запроса на первом шаге использует специальный подалгоритм, позволяющий сузить спектр рассматриваемых типов запросов, что значительно сказывается на результатах работы (уменьшается количество проверяемых вариантов). Кроме того, в алгоритме специальным образом обрабатываются смешанные ситуации, когда присутствуют несколько характеристических слов-индикаторов разных типов. Алгоритм определения объектов интереса запроса использует несколько подалгоритмов, специфических для ситуаций, возникающих при анализе запросов.

Специальным образом обрабатываются: запросы с двумя объектами интереса; запросы, в которых объект интереса расположен перед характеристическим словом; запросы описания принадлежности и особенностей (в таких запросах присутствует дополнительный объект интереса).

В третьей главе предлагается новый подход к семантической обработке запросов о достижении целей и запросов о возможных изменениях множеств. Вопросами достижения целей будем называть предложения, в которых запрашивается информация, касающаяся результатов функционирования того или иного объекта или системы ("Какие неудачи испытала компания Sun в 2010 году?", "Каковы успехи компании Intel за 2011 год?" и т.д.). В качестве модельной предметной области была выбрана область предпринимательской деятельности: анализируются успехи и неудачи организаций (компаний). Под целью компании понимается конечный желаемый результат, который определяется в процессе планирования и регулируется функциями управления.

Сначала строится математическая модель компонента базы знаний поисковой системы, необходимого для семантического преобразования вопросов о достижении целей. Для этого определен класс формальных объектов, названных концептуальными базами целей (к.б.ц.).

Пусть Extbs - произвольный расширенный концептуальный базис (р.к.б), и концептуальный базис В является семантическим ядром Extbs. Тогда концептуальной базой целей (к.б.ц.), согласованной с р.к.б Extbs, называется набор Gbase вида (В, цел, рац, событие, Goals), где тройка (Д цел, рац) является концептуальным базисом с числовой разметкой, событие является выделенным сортом из множества St(B), и выполняются следующие условия: (1) множество Acts(B) = {у изХ(В) \ tp(y) = \событие} непусто и конечно; (2) первичный информационный универсум Х(В) включает такой элемент Юбъект-интереса, что тип 1р(Юбъект-интереса) является конкретизацией базового типа [объект];(3) универсум Х(В) включает элементы (обозначения тематических ролей) Агент и Роль2, причем tp(Azenm) = {( событие, s)}, tp(Ponb2) - {( событие, /)}, где Jul - элементы множества сортов St (В), причем ни один из этих сортов не является конкретизацией сорта Р (сорт «смысл сообщения») или сорта событие-, (4) Goals является некоторым конечным множеством выражений СК-языка (стандартного концептуального языка) Ls(B) вида

<event-concept * (Агент, с{1)(Роль2, d2), estimatiori>, (1) где event-concept принадлежит множеству Acts(B), dl и d2 - различные элементы универсума Х(В), причем какой-либо из этих элементов является символом Юбъект-интереса, estimation - обозначение рационального числа от -1 до 1, отличного от 0.

Пример. Множество Goals может включать цепочку <поглощение-орг * (Агент, Юбъект-интереса)(Роль2, нек компания), ]>.

В отличие от понятия концептуального базиса, введенного в теории К-представлений, концептуальные базы целей включают формальные представления целей интеллектуальных систем (в том числе организаций), являющиеся выражениями СК-языков. Данная модель позволяет учитывать факты успехов либо неудач какой-либо компании. Однако для семантического расширения поисковых запросов этих данных недостаточно. Необходимо иметь возможность преобразовывать данные факты в словосочетания, которые наиболее вероятно встречаются в электронных документах. Следует учитывать, что преобразование должно учитывать морфологические свойства слов и синтаксис фраз, чтобы наиболее гибко трансформировать факты в ЕЯ-выражения. Поэтому вводится понятие шаблона семантической трансформации.

Пусть Gbase - концептуальная база целей (к.б.ц.) вида (В, цел, рац, событие, Goals), Morph-values - конечное множество символов, интерпретируемых как значения различных морфологических признаков (существит, глагол, прош-время, наст-время, пассив-залог и т.д.). Тогда шаблоном семантической трансформации, порожденным к.б.ц. Gbase и множеством Morph-values, называется произвольный упорядоченный набор вида (sem-pattern, X, У, Z, prop-chain) , где sem-pattern - элемент

множества Goals, (X, Y, Z) - произвольная перестановка без повторений из символов #Л#, #Pred#, #В#, и prop-chain - цепочка вида v[l] * v[2] * ... * vfkj, где 7 <к, v[l], ..., v[k] — элементы множества Morph-values.

Пример. Пусть sem-pattern - цепочка <поглощение-орг * (Агент, Юбъект-интереса)(Роль2, нек компания), 1>. Тогда набор (sem-pattern, #А#, #Pred#, #В#, глаг * прош-время) является одним из возможных шаблонов семантической трансформации.

Разработан метод преобразования вопросов достижения целей в множество производных запросов на основе концептуальной базы целей и набора шаблонов семантической трансформации.

Преобразование происходит при помощи правил трансформации, уникальных для каждого из фактов. В правиле трансформации указываются порядок слов в результирующем словосочетании, а также их формы. На основании хранимых в базе фактов и соответствующих правил трансформации генерируются словосочетания, которые позволят традиционной системе поиска по ключевым словам найти документы, содержащие в себе упоминания данных фактов.

Метод порождения результирующих индикаторов.

1.По входному запросу находится информационная единица Studied-object,

обозначающая объект интереса запроса.

2. По шаблону вида (1) строится цепочка XYZ.

3. В цепочке X Y Z символ #А# заменяется на произвольную лексическую

единицу, которой соответствует информационная единица Studied-object.

4. Пусть sem-pattern - цепочка вида <event-concept * (Агент, dl)(Ponb2, d2),

estimation>. Тогда в цепочке, полученной на Шаге 3, символ #Pred# заменяется на произвольную лексическую единицу pred-word-form, которой соответствует информационная единица event-concept, причем словоформа pred-word-form должна обладать значениями морфологических признаков, задаваемыми цепочкой prop-chain.

5. В цепочке, полученной на Шаге 4, символ #В# заменяется на произвольную

лексическую единицу, соответствующую той из семантических единиц dl и d2, которая отлична от символа #Объект-интереса в исходном шаблоне.

Пример. Пусть Studied-object = firm-Oracle, sem-pattern - цепочка <поглощение-орг * (Агент, #Объект-интереса)(Роль2, нек фирма1), 1>. Тогда по шаблону семантической трансформации вида (sem-pattern, #А#, #Pred#, глаг * ПрошВр) в соответствии с данным алгоритмом может быть построен результирующий индикатор «Oracle поглотил компания».

Преимуществом этого метода является компактность представления данных, позволяющих построить семантическое расширение запроса о достижении целей.

Проводится анализ и разработка метода и алгоритма построения семантического расширения вопросов об изменениях множеств. Строится математическая модель компонента базы знаний поисковой системы, необходимого для семантического преобразования вопросов об изменениях множеств. Для этого определен класс формальных объектов, названных базами знаний об изменениях множеств (б.з.и.м.).

Пусть Extbs - произвольный расширенный концептуальный базис (р.к.б.) вида (S, Cobs, Ql), где S — произвольная аспектно-ориентированная сортовая система, Cobs — размеченная концептуально-объектная система вида (X, V, tp, F, Qf, Chr, Fgn) согласованная с S, и Ql — система кванторов и логических связок для сортовой системы S и концептуально-объектной системы Ct=(X,V, tp.F); концептуальный базис В является семантическим ядром Extbs, тогда базой знаний об изменениях множеств, согласованной с р.к.б. Extbs, называется произвольная упорядоченная пятерка SetsKb вида (С, Сотр, fdecomp, Ind, h), где С и Сотр - конечные подмножества множества Х(В), и для любого элемента d множеств С и Сотр тип tp(d) начинается с символа "Т" (т.е. элементы множеств С и Сотр интерпретируются как понятия); fdecomp - функция, ставящая в соответствие произвольному элементу из С некоторое подмножество множества Сотр (данная функция интерпретируется как декомпозирующая); Ind - конечное множество произвольных символов, которые интерпретируются как индикаторы изменений (действий, совершаемых с элементами множества Сотр); h -функция, ставящая в соответствие элементу из Сотр подмножество индикаторов из Ind. Данная функцияю называется детерминантом

индикаторов изменений для элементов целевого множества Сотр.

Пример. Если С и Comp включают соответственно элементы фирма1 и отдел, и отдел - элемент множества/с1есотр(фирма1), то И(отдел) = {создан, объединен, расформирован, реорганизован, разделен}. Разработан алгоритм определения объектов интереса запроса об изменениях в составе множеств, позволяющий не только определять основные объекты интереса (множества, изменения в которых интересуют пользователя), но и временной интервал, относительно которого запрашивается информация, и который может быть задан многими способами (примерами различного указания временного интервала служат «2010», «2011 год», «пару лет назад», «5 лет назад», «в прошлом году»).

Рассмотрим разработанный в параграфе 3.2.3 метод построения множества преобразованных запросов об изменениях в составе множеств. Пусть задан поисковый запрос со = "Какие изменения были в составе компании Газпром?". После того, как определено целевое множество поискового запроса ш, а также его название («Газпром»), можно приступать к генерации множества семантически преобразованных запросов, порождаемых запросом со.

Результирующие запросы формируются на основании заполненной базы знаний об изменениях множеств SetsKb вида (С, Comp, fdecomp, Ind, hj. Сначала происходит поиск по базе знаний элемента о>,[0] -"ёттеу " с целью извлечения информации о составляющих элементах компании и индикаторов изменений. Значение функции fdecomp для са,[0] ="ёиШёу " будет следующим: f decomfao^O]) = {департамент, отдел, служба}, а функции h(fdecomfjcü) [0]),) = {создан, объединен, расформирован, реорганизован, разделен}, где f decom£w,[0]), один из компонентов целевого множества Ш), полученный при помощи функции fdecomp.

После того, как информация извлечена из базы знаний, необходимо сгенерировать цепочки вида Х+ /decomfcw^Q]), + h(f decomfoo^0]),), + Д где

Х=сог[ 1], т.е. непосредственно название компании, i - это индекс элемента из f decom^co,[0]) , а j - индекс индикатора из множества индикаторов полученного при помощи функции h. D - опциональный параметр, указывающий на временной интервал, в рамках которого необходимо анализировать изменения в составе объекта X. Для генерации полного множества результирующих запросов ExtSet необходимо сгенерировать все возможные сочетания элементов из множеств fdecomfeo^ 0]) и

й(/ decomfea, [0]),). Сгенерированный набор словосочетаний затем передается на вход традиционной поисковой системы.

В отличие от понятия концептуального базиса, введенного в теории К-представлений, базы знаний об изменениях множеств включают формальные

представления составных элементов множеств и индикаторов изменений для множеств (в том числе относящихся к организациям).

В параграфе 3.10 строится итоговая математическая модель базы знаний для поддержки семантического преобразования запросов и поиска, объединяющая разработанные модели в единое целое.

Пусть Extbs - произвольный расширенный концептуальный базис. Тогда базой знаний для поддержки преобразования запросов и поиска будет называться произвольная упорядоченная тройка SearchKb вида (Extbs, Gbase, SetsKb),rne Extbs - расширенный концептуальный базис (р.к.б.), Gbase -концептуальная база целей для концептуального базиса B=Sem-Core(Extbs) и SetsKb - база знаний об изменениях множеств для концептуального базиса B-Sem-Core (Extbs).

В четвертой главе на основе предложенного метода преобразования поисковых запросов была разработана логическая архитектура программного комплекса и сформулированы основные функциональные требования к компонентам решения. На основе разработанной логической архитектуры и требований к компонентам была спроектирована и реализована архитектура решения, состоящего из трех основных подсистем: лингвистической базы знаний (ЛБЗ), аспектно-ориентированной базы знаний и подсистемы анализа и расширения запросов - AOS Engine.

ЛБЗ предназначена для хранения и предоставления доступа к информации о грамматических свойствах слов, для определения семантического контекста того или иного слова, для построения взаимосвязей между словами, а также для осуществления стемминга слов. Доступ к системе реализован посредством интерфейса веб-сервиса, что позволяет ее использовать независимо от всего программного комплекса. Данное архитектурное решение обусловлено тем, что лингвистические данные должны быть максимально доступны не только для разработчика одной конкретной системы, но и для всего сообщества разработки приложений, связанных с поиском информации и анализом ЕЯ-текстов.

Основное назначение аспектно-ориентированной базы знаний (АОБЗ) заключается в хранении и предоставлении доступа к информации об аспектах понятий. Однако помимо этого база предназначена для работы инженеров по знаниям и предоставляет возможность ввода данных и сбора статистики. В АОБЗ хранятся такие объекты, как ЕЯ-запрос, соответствующие ему тип и объекты интереса, аспекты заданного понятия и примеры текстов, содержащие ответы на первоначальный запрос. Таким образом, при правильном наполнении АОБЗ можно использовать для улучшения алгоритмов анализа поисковых запросов путем машинного обучения. Система предоставляет открытый доступ с возможностью ввода данных через графический интерфейс, а также предоставляет веб-интерфейс для доступа к данным. По сути, данная подсистема является автономным веб-приложением,

которое может быть использовано в любом контексте. Данное архитектурное решение так же, как и в случае с ЛБЗ, обусловлено тем, что доступ к лингвистическим данным должен быть максимально открыт для сообщества.

Веб-интерфейс

Подсистема AOS Engine является центральной подсистемой программного комплекса, в которой происходит анализ и расширение поисковых запросов, передача их в систему поиска по ключевым словам и ранжирование полученных результатов.

В 4 главе был разработан и реализован итоговый алгоритм построения расширенного множества запросов для любого из рассмотренных типов и подтипов, основанный на предложенном методе.

Проведено тестирование алгоритмов определения типа и объектов интереса поисковых запросов методом белого ящика в автоматическом режиме при помощи библиотеки тестирования JUnit. Было сформировано множество из более чем 300 уникальных поисковых запросов различных

типов, элементы которого последовательно подавались на вход алгоритмам, затем средствами фреймворка ШгЛ производился анализ соответствия результатов работы алгоритма ожидаемым.

Результаты тестирования алгоритмов определения типа и объектов интереса поисковых запросов показали их высокую устойчивость к измененному порядку слов в запросах, а также возможность манипулировать результатами работы алгоритмов без внесения изменений в их логику. Так как анализ запросов происходит на основании словарей, содержащих стоп-слова, результаты работы можно корректировать, внося изменения в базу данных и без вмешательства в логику работы алгоритма. Алгоритмы используют большое количество подалгоритмов, покрывающих различные ситуации, связанные с многообразием структур и порядком слов первоначальных запросов.

Анализ работоспособности программного комплекса проводился следующим образом: были выбраны наиболее типичные представители поисковых запросов различных типов и поданы на вход разработанного комплекса. Первые 10 возвращенных документов анализировались на предмет наличия в них детализаций, выполненных в соответствии с разработанным методом преобразования. Если в документе содержалось какое-либо количество детализаций, то он признавался условно релевантным. В таблице 1 приведен пример результатов по запросу каждого из типов.

Таблица 1. Количество условно релевантных документов по различным запросам

1 Как работает телефон Samsung Galaxy S? 5

2 Каковы характеристики компьютера Lenovo W500? 5

3 Какая структура у телевизора Philips? 4

4 функции телефона Google Nexus S? 6

5 для чего предназначены компьютеры ШМ? 5

6 Как применяется телефон Motorola Razr? 7

7 К какому классу принадлежит компьютер Lenovo Т61? 8

8 Чем отличаются телефоны Samsung и IPhone? 4

9 Что общего у телевизора Philips и Sony? 5

10 особенности телефона Nokia N800 7

11 Каковы возможности компьютера HP Proliant? 8

12 Какие неудачи были у компании Google два года назад? 9

13 Какие изменения были в составе компании Аэрофлот? 6

Представим данные результаты в виде гистограммы (Рис. 2).

1 .

1 ■> і ШШШШШШШШШ

Г1 ІЩЩІРіРіІ і

ЙРрМЩ ШШЩЩіі ^ШМЩЩШ'й 11 Ч г 1 ш

1 . 1 1 ¡¡а Щ ! КОЇШ Эл' •ІІ'^гі'Шік ^ ГГІ г * іп:

1І1 ЕЗ ~Г: л'Г- ІМЇІІ і: л'І

ЖУІШш:;.; а ШшШ і К Й 1:

Рисунок 2. Результаты поиска документов по преобразованным запросам

Результаты показали, что в большинстве случаев количество найденных документов, содержащих детализации, построенные на основании заполненных баз знаний, в среднем превышает 50%. Однако, если по каким-либо частным случаям показатели будут неудовлетворительные, данная ситуация может быть легко исправлена, а показатели улучшены путем внесения изменений в базу знаний. Поиск происходит на основе базы знаний, которая настраивается для конкретной предметной области.

Для дальнейшего развития предложенного метода представляется необходимым проведение исследования точности поиска на основе коллекций документов с целью изучения влияния преобразований запросов на релевантность документов поисковой выдачи. Также необходимо исследовать результаты работы предложенного метода, используя в качестве системы, выполняющей непосредственно поиск, систему, в которой отсутствует компонент ранжирования по внешним факторам, это позволит развить алгоритмы построения множества расширенных запросов и ранжирования, потому что использование оценки на основе векторно-пространственной модели позволит более точно осуществлять поиск документов, содержащих детализации запросов.

Сделан вывод о необходимости адаптации содержащейся в базах знаний информации для повышения точности поиска в зависимости от ожиданий пользователей. Таким образом, спроектированная и разработанная на основе предложенного метода поисковая система является универсальным инструментом, легко адаптируемым как к информационной потребности пользователей, так и к любой поисковой системе, используемой в качестве источника результатов поиска по ключевым словам. Разработанная архитектура и применяемый алгоритм ранжирования результатов позволяют использовать в качестве источника потенциально любое количество поисковых систем, тем самым давая возможность еще более улучшить результаты поиска.

III. ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ Основные результаты, полученные лично соискателем, и их научная новизна заключаются в том, что:

1. Исследованы три класса важных для приложений, но недостаточно изученных в научных публикациях естественно-языковых запросов: (а) аспектно-ориентированные запросы, (в) запросы, касающиеся достижения или недостижения целей интеллектуальных систем (в том числе организаций), (в) запросы о возможных изменениях состава определенных множеств объектов (например, совета директоров конкретной фирмы).

2. На основе анализа и типизации аспектно-ориентированных запросов предложен набор первичных информационных единиц (реляционных символов) для разработки алгоритма анализа аспектно-ориентированных запросов.

3. Построена математическая модель проблемно-ориентированной системы первичных единиц концептуального уровня, используемых преобразователем запросов. С этой целью введены формальные понятия аспектно-ориентированной сортовой системы, размеченной концептуально-объектной системы и расширенного концептуального базиса. По сравнению с предложенным в теории К-представлений понятием концептуального базиса введенное понятие расширенного концептуального базиса позволяет:

• учитывать множество аспектов, связанных с тем или иным понятием, т.е. учитывать набор основных характеристик объектов, квалифицируемых определенным понятием;

• строить концептуальное окружение того или иного понятия при помощи функции «детерминант концептуального окружения».

4. На основе математической модели проблемно-ориентированной системы первичных единиц концептуального уровня (задающей класс расширенных концептуальных базисов) был разработан оригинальный метод анализа и семантического расширения аспектно-ориентированных запросов.

5. Предложен новый метод формального описания структуры входных текстов анализатора аспектно-ориентированных естественно-языковых вопросов на основе аппарата контекстно-свободных грамматик.

6. Разработаны алгоритмы определения типа и объектов интереса аспектно-ориентированных поисковых запросов, использующие ряд подалгоритмов обработки специфических типов данных запросов.

7. Разработаны общие принципы функционирования целевого алгоритма построения множества семантически преобразованных поисковых запросов.

8. Построена математическая модель компонента базы знаний поисковой системы, необходимого для семантического преобразования вопросов о достижении/недостижении цели. Для этого определен класс формальных объектов, названных концептуальными базами целей (к.б.ц.). В отличие от понятия концептуального базиса, введенного в теории К-представлений,

концептуальные базы целей включают формальные представления целей интеллектуальных систем (в том числе организаций), являющиеся выражениями СК-языков (стандартных концептуальных языков).

9. Предложено математическое описание многообразия шаблонов семантической трансформации, порожденных рассматриваемыми концептуальной базой целей и множеством символов, интерпретируемых как значения морфологических признаков словоформ. В доступной научной литературе отсутствует прототип понятия "шаблон семантической трансформации".

10. Разработан метод преобразования вопросов достижения целей в множество производных запросов на основе концептуальной базы целей и набора шаблонов семантической трансформации. Преимуществом этого метода является компактность представления данных, позволяющих построить семантическое расширение запроса о достижении/ недостижении цели.

11. Построена математическая модель компонента базы знаний поисковой системы, необходимого для семантического преобразования вопросов об изменениях в составе множеств. Для этого определен класс формальных объектов, названных базами знаний об изменениях множеств. В отличие от понятия концептуального базиса, введенного в теории К-представлений, базы знаний об изменениях множеств включают формальные представления составляющих элементов множеств и индикаторов изменения состава множеств.

12. Разработан метод преобразования вопросов об изменениях в составах множеств в множество производных запросов на основе базы знаний об изменениях множеств. Преимуществами этого метода являются компактность представления данных, позволяющих построить семантическое расширение запросов такого типа, и независимость формы представления от предметной области.

13. Спроектирован и разработан программный комплекс AOS Engine, реализующий предложенный метод семантического преобразования поисковых запросов. Проведенное тестирование и анализ результатов поиска демонстрируют, во-первых, работоспособность алгоритмов определения типа и объектов интереса запросов, а во-вторых, действительное наличие детализаций запросов в электронных документах, содержащих информацию по первоначальному запросу.

IV. ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Кириллов А.В., Фомичев В.А. О новом подходе к семантическому преобразованию естественно-языковых запросов поисковых систем // Бизнес-информатика, 2011. № 1. С. 61-68 (личный вклад 0,55 п.л.) (издание рекомендовано ВАК РФ).

2. Кириллов А.В. Метод семантического преобразования обобщенных запросов на основе базы целей // Бизнес-информатика, 2011. № 3. С. 16-24 (0,59 п.л.) (издание рекомендовано ВАК РФ).

3. Кириллов А.В. Поисковые системы: компоненты, логика и методы ранжирования // Бизнес-информатика, 2009. № 4(10). С. 51—59 (0,82 п.л.).

4. Кириллов А.В. Преодоление разрыва между семантическим и традиционным поиском информации // Сборник трудов IX Международной научно-технической конференции «Новые информационные технологии и системы» (НИТиС-2010). 2010. С. 22-32 (0,42 п.л.).

5. Кириллов А.В. Поисковые системы изнутри// Компьютер Пресс, 2010. №2. С. 17—21 (0,48 пл.).

6. Кириллов А.В. О новом подходе к концептуальному поиску информации в интернете // Сборник трудов международной молодежной научной конференции «XXXVII Гагаринские чтения», МАТИ, 2011. С. 1113 (0,49 п.л.).

7. Fomichov V.A., Kirillov A.V. Semantic Transformation of Search Requests for Improving the Results of Web Search // Pre-Conference Proceedings of the Focus Symposium on Intelligent Information Management Systems (August 2, 2011, Focus Symposia Chair: Jens Pohl) in conjunction with InterSymp-2011, 23rd International Conference on Systems Research, Informatics and Cybernetics, August 1 - 5, 2011, Germany). San Luis Obispo, CA, USA: Collaborative Agent Design Research Center, California Polytechnic State University (Cal Poly), 2011. P. 37-43 (личный вклад 0,30 пл.).

Лицензия ЛР № 020832 от 15 октября 1993 г. Подписано в печать «5» апреля 2012 г. Формат 60x84/16 Бумага офсетная. Печать офсетная. Усл. печ. л. 1. Тираж 100 экз. Заказ №31.

Типография издательства НИУ ВШЭ, 125319, г. Москва, Кочновский пр-д., д. 3

61 12-5/2176

Национальный исследовательский университет "Высшая школа экономики"

Кириллов Антон Владимирович

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ И ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СЕМАНТИЧЕСКОГО ПРЕОБРАЗОВАНИЯ ПОИСКОВЫХ ЗАПРОСОВ

Специальность 05.13.18 - Математическое моделирование, численные методы

и комплексы программ

Диссертация на соискание ученой степени кандидата технических наук

На правах рукописи

Научный руководитель: д.т.н В.А.Фомичев

Москва-2012

СОДЕРЖАНИЕ

СОДЕРЖАНИЕ......................................................................................................2

ВВЕДЕНИЕ............................................................................................................6

Глава 1. Основные подходы к поиску информации в электронных документах ....................................................................................................................................14

1.1. Традиционные поисковые системы.......................................................14

1.1.1 Формальные компоненты поисковой системы...............................15

1.1.2 Логический метод определения множества претендентов............17

1.1.3 Проблема ранжирования: переход от г к т....................................19

1.1.3.1 Логический метод ранжирования.................................................20

1.1.3.2 Ранжирование на основе вектора документа..............................21

1.1.3.3 Реалистичные модели ранжирования..........................................24

1.1.4 Оценка качества документа на основе цитирования: алгоритм PageRank..........................................................................................................25

1.1.4.1 Вычисление рейтинга страницы по алгоритму Ра§еЯапк..........27

1.1.4.2 Наглядное обоснование.................................................................28

1.2. Семантический поиск.............................................................................29

1.3. Естественно-языковые поисковые системы......................................... 33

1.3.1 Обзор зарубежных естественно-языковых поисковых систем.....35

1.3.2 Обзор отечественных естественно-языковых поисковых систем.36

1.4. Постановка задачи диссертационного исследования..........................39

1.5. Выводы по главе 1...................................................................................41

Глава 2. Формализация и алгоритмизация обработки аспектно-ориентированных запросов................................................................................42

2.1 Состояние исследований по семантической обработке вопросов на естественном языке.............................................................................................42

2.2 Базовые принципы нового подхода к семантически-ориентированному поиску информации в Интернете.......................................................................46

2.3 Разработка принципов семантического расширения аспектно-ориентированных запросов................................................................................51

2.3.1 Центральные идеи предлагаемого подхода.....................................51

2.3.2 Первичные информационные единицы для разработки алгоритма анализа аспектно-ориентированных запросов............................................53

2.4 Краткая характеристика теории К-представлений...............................54

2.5 Разработка математической модели проблемно-ориентированной системы первичных единиц концептуального уровня.....................................57

2.6 Разработка плана алгоритма построения семантического расширения аспектно-ориентированного поискового запроса.............................................62

2.7 Анализ структуры входных запросов аспектно-ориентированного типа..........................................................................................67

2.8 Формализация предположений о входном языке аспектно-ориентированных поисковых запросов.............................................................70

2.9 Основные идеи разработки алгоритмов определения типа и объектов интереса входных запросов................................................................................75

2.10 Алгоритмы определения типа аспектно-ориентированного вопроса и его объектов интереса.........................................................................................80

2.10.1 Алгоритм определения типа запроса...........................................80

2.10.2 Алгоритм определения объектов интереса запроса...................81

2.11 Разработка алгоритма построения семантического расширения аспектно-ориентированного поискового запроса............................................83

2.12 Обсуждение разработанных алгоритмов..............................................85

2.13 Выводы по главе 2...................................................................................86

Глава 3. Разработка алгоритмов семантического преобразования обобщенных запросов на основе математических моделей компонентов базы знаний.....88

3.1. Разработка принципов семантического расширения обобщенных запросов достижения целей................................................................................ 88

3.2. Формальная модель базы знаний для представления целей...............92

3.3. Анализ структуры запросов достижения целей...................................94

3.4. Разработка алгоритма определения типа вопросов достижения целей и их объектов интереса..........................................................................................95

3.5. Метод преобразования вопросов достижения целей к расширенному виду........................................................................................98

3.6. Разработка принципов семантического расширения обобщенных запросов об изменениях состава множеств......................................................98

3.7. Разработка формальной модели базы знаний для описания изменений состава множеств...............................................................................................103

3.8. Анализ структуры запросов об изменениях составов множеств.....105

3.9. Разработка алгоритма определения типа запросов об изменениях составов множеств и их объектов интереса....................................................107

3.10. Метод построения семантического расширения вопросов об изменениях в составе множеств.......................................................................112

3.11. Разработка итоговой модели базы знаний для поддержки поиска ..114

3.12. Выводы по главе 3.................................................................................115

Глава 4. Программная реализация системы семантически-ориентированного поиска на основе предложенного метода и исследование полученных результатов.........................................................................................................117

4.1 Разработка и реализация архитектуры программного комплекса AOS Engine..................................................................................................................117

4.1.1 Разработка концептуальной архитектуры программного комплекса... 117

4.1.2 Разработка компонентной архитектуры программного комплекса .121

4.1.2.1 Общая архитектура программного комплекса и выбор платформы реализации........................................................................121

4.1.2.2 Лингвистическая база знаний.............................................122

4.1.2.3 Аспектно-ориентированная база знаний...........................127

4.1.2.4 Подсистема AOS Engine......................................................129

4.1.2.5 Выбор платформы реализации...........................................131

4.2 Разработка итогового алгоритма построения расширенного множества запросов и ранжирования результатов............................................................133

4.3 Исследование полученных результатов..............................................137

4.4 Выводы по главе 4.................................................................................142

Заключение.........................................................................................................144

СПИСОК ЛИТЕРАТУРЫ.................................................................................147

ПРИЛОЖЕНИЯ.................................................................................................157

Приложение 1. Структура и примеры входных аспектно-ориентированных

запросов..............................................................................................................158

Приложение 2. Система продукций разработанной КС-грамматики..........168

Приложение 3. Полная таблица записей словарей, используемых для анализа

структуры входных запросов...........................................................................174

Приложение 4. Алгоритмы..............................................................................180

Приложение 5. Анализ структуры понятий, являющихся множествами. ...216 Приложение 6. Примеры построения множества семантически

преобразованных запросов...............................................................................224

Приложение 7. Экранные формы программных компонентов.....................235

Приложение 8. Данные для баз знаний...........................................................239

Приложение 9. Акты внедрения.......................................................................249

ВВЕДЕНИЕ

Актуальность темы исследования. В настоящее время параллельно с ростом объемов информации в Интернете происходит разработка новых и совершенствование существующих подходов к ее поиску. Все большую актуальность приобретают средства семантического поиска, под которыми понимаются системы, принимающие на вход некоторый запрос, обрабатывающие его с использованием рассуждений над специфичной базой знаний и возвращающие совместимые результаты. Входным запросом может являться, например, вопрос на естественном языке (ЕЯ), представление вопроса при помощи триплетов, графическое представление, набор ключевых слов, отдельные фразы и т.д. В роли базы знаний могут выступать онтологии, аннотированные массивы текста, текстовые документы, Веб, XML- документы, RDF документы, HTML документы и т.д. В нашей стране значительный вклад в развитие семантического поиска внесли Э.Э. Гасанов, А.Е. Ермаков, А.Н. Королев, И.П. Кузнецов, Д.Г. Лахути, H.H. Леонтьева, М.Г. Мальковский, А.Г. Мацкевич, A.C. Нариньяни, И. С. Некрестьянов, Г.С. Осипов, И.В. Сегалович, A.B. Сокирко, Н.В. Перцов, H.H. Перцова, Э.В. Попов, В.Ш. Рубашкин, И.А. Тихомиров, В.О. Толчеев, В.А. Тузов, В.А. Фомичёв, Н.П. Харин, В.Ф. Хорошевский и другие учёные.

Однако, несмотря на большое разнообразие методов и подходов к семантическому поиску, у существующих поисковых систем имеется ряд недостатков. К ним можно отнести отсутствие семантического описания электронных документов (в большинстве случаев), высокую трудоемкость алгоритмизации автоматизированного создания данного описания, большой разрыв между технологиями семантического веба и гипертекстового поиска (развиваются параллельно и независимо друг от друга), недостаточные интеллектуальные возможности анализаторов естественно-языковых запросов вопросно-ответных систем.

Объект исследования: методы семантической обработки поисковыми системами естественно-языковых запросов.

Предмет исследования: методы применения формальных средств для семантического анализа и преобразования поисковых запросов на естественном языке, проектирования лингвистической базы знаний, а также баз знаний для поддержки преобразования запросов и поиска.

Цель исследования: разработать такой метод семантического преобразования важных с практической точки зрения естественно-языковых поисковых запросов в форму (множество производных запросов), позволяющую традиционным системам поиска обнаружить наиболее релевантные результаты, который предусматривает применение формальных средств для описания (а) системы концептуальных единиц первичного уровня, (б) логической структуры базы знаний для поддержки преобразования запросов и поиска.

Задачи исследования:

1.Провести анализ состояния исследований по семантической обработке поисковыми системами вопросов на естественном языке (ЕЯ) с целью выявления классов вопросов, недостаточно проработанных в научной литературе и имеющих большую практическую значимость для систем естественно-языкового поиска.

2. По результатам проведенного анализа разработать метод семантического преобразования, который бы позволил трансформировать поданный на вход естественно-языковой запрос в форму (множество производных запросов), позволяющую повысить релевантность документов, выдаваемых системами поиска по ключевым словам.

3. Выбрать наиболее соответствующую предложенному методу методологическую основу исследования для построения математических моделей компонентов базы знаний, необходимых для семантического преобразования естественно-языковых запросов.

4. Построить математические модели компонентов базы знаний, необходимых для семантического преобразования поисковых запросов для выбранных типов вопросов. Построить итоговую математическую модель для поддержки

семантически-ориентированного преобразования и поиска. 5. На основе предложенных моделей разработать алгоритмы анализа и преобразования поисковых запросов в форму (множество производных запросов), позволяющую повысить релевантность документов, выдаваемых системами поиска по ключевым словам. Разработать алгоритм ранжирования результатов по степени релевантности поисковому запросу. 6 . Разработать программный комплекс, реализующий предложенный метод семантического преобразования поисковых запросов.

7. Провести тестирование разработанного программного комплекса и проанализировать полученные результаты.

Теоретико-методологическую основу исследования составляют теория алгоритмов, теория графов, теория контекстно-свободных грамматик, теория К-представлений, методы теоретического программирования и Веб программирования.

Достоверность и обоснованность научных положений подтверждается корректным применением математического аппарата теории К-представлений, теории контекстно-свободных грамматик, теории алгоритмов и результатами тестирования разработанной компьютерной программы.

В ходе исследования была решена научная задача создания такого метода семантического преобразования естественно-языковых запросов в расширенную форму, позволяющую традиционным поисковым системам получать более релевантные результаты, который предусматривает применение формальных средств для описания (а) системы концептуальных единиц первичного уровня, (б) логической структуры базы знаний для поддержки преобразования запросов и поиска, (в) шаблонов семантических трансформаций, необходимых для преобразования поисковых запросов.

Теоретическая значимость исследования. Впервые предложен базирующийся на математической модели подсистемы базы знаний метод семантического преобразования ЕЯ-запросов поисковых систем (ПС) в форму (множество производных запросов), позволяющую повысить релевантность

результатов работы систем поиска по ключевым словам.

Практическая значимость исследования состоит в том, что предложен новый подход к анализу и преобразованию ЕЯ-запросов ПС в такую форму (множество производных запросов), которая позволяет повысить релевантность документов, получаемых от традиционных ПС. Данный подход базируется на построении математических моделей семантических объектов, которые используются алгоритмами построения множества преобразованных запросов. Разработанные алгоритмы позволяют определять типы и подтипы ЕЯ-запросов поисковой системы, а также выделять объекты интереса запросов. На основе разработанной модели базы знаний для поддержки преобразования запросов и поиска в зависимости от типа запроса и выделенных объектов интереса происходит построение множества семантически преобразованных запросов, которые подаются на вход традиционной ПС. Разработанный алгоритм ранжирования результатов поисковой выдачи позволяет повысить релевантность результатов по сравнению с системами поиска по ключевым словам. Математический подход, базирующейся на теории К-представлений, является предметно независимым и может быть использован при проектировании базы знаний для поддержки преобразования запросов и поиска в разных предметных областях. Важным аспектом практической ценности разработанного комплекса является возможность его интеграции с любым количеством поисковых систем, а также возможность управления информацией в базе знаний с целью повышения соответствия результатов поиска информационной потребности пользовате-лей, что не требует внесения изменений в разработанные алгоритмы.

Полученные в диссертации результаты использованы в научных и проектных исследованиях компании «Вокском - Голосовые Телекоммуникации» (Москва), а также в лекционных и лабораторных занятиях по дисциплине «Проектирование лингвистических процессоров» на кафедре «Информационные технологии» «МАТИ» - Российского государственного технологического университета им. К.Э. Циолковского.

Основные положения, выносимые на защиту:

1. Разработан комплекс математических моделей семантических и семантико-синтаксических объектов, предназначенных для расширения пользовательских поисковых запросов:

1.1. Математическая модель проблемно-ориентированной системы первичных единиц концептуального уровня, используемой для построения множества преобразованных аспектно-ориентированных запросов.

1.2. Математическая модель концептуальной базы целей, используемая для преобразования запросов о достижении целей.

1.3. Математическая модель базы знаний об изменениях множеств, используемой для поддержки преобразования запросов об изменениях множеств.

1.4. Итоговая математическая модель базы знаний для поддержки семантического преобразования запросов и поиска.

2. Разработан комплекс из двух алгоритмов, обеспечивающих анализ поисковых запросов на соответствие рассматриваемым типам и подтипам поисковых запросов, а также позволяющий определить значимые объекты интереса поисковых запросов.

3. Разработаны метод и алгоритм построения множества преобразованных запросов.

4. Разработан программный комплекс, реализующий предлагаемый метод семантического преобразования поисковых запросов и использующий разработанные алгоритмы. Разработанный программный комплек�