автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка и применение метода формализации проектирования рекомендательных систем с естественно-языковым интерфейсом

Правиков Алексей Александрович

РАЗРАБОТКА И ПРИМЕНЕНИЕ МЕТОДА ФОРМАЛИЗАЦИИ ПРОЕКТИРОВАНИЯ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ С ЕСТЕСТВЕННО-ЯЗЫКОВЫМ ИНТЕРФЕЙСОМ

Специальность 05.13.11 -Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

1 2 МАЙ 2011

Москва-2011

4845418

Работа выполнена в «МАТИ» - Российском государственном технологическом университете имени К.Э. Циолковского.

Научный руководитель:

доктор технических наук, доцент Фомичёв Владимир Александрович

Официальные оппоненты:

доктор технических наук, доцент Толчеев Владимир Олегович

кандидат технических наук, доцент Белов Александр Владимирович

Ведущая организация:

ЗАО ДиалогНаука

Защита состоится «_27_» мая 2011 г. в 14^ часов на заседании диссертационного совета Д 212.341.07 при Российском государственном социальном университете по адресу: 129226, Москва, ул. Вильгельма Пика, д. 4., стр. 1, к.6, ауд. 418.

С диссертацией можно ознакомиться в библиотеке Российского государственного социального университета по адресу: 129226, г. Москва, ул. Вильгельма Пика, д. 4, к.З и на интернет-сайте www.rgsu.net

Автореферат разослан « ¿6 » апреля 2011 г.

Учёный секретарь //

диссертационного совета Д 212.341.07 ^Тлх

кандидат физико-математических наук, / Ж/

доцент ( Е.В.Чумакова

I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. С начала 2000-х годов в области электронной коммерции развивается направление, цель которого заключается в разработке рекомендательных систем (РекС) с естественно-языковым интерфейсом (ЕЯ-интерфейсом). Такие системы предназначены для того, чтобы помочь посетителю Интернет-портала фирмы или государственной организации принять решение о выборе товаров и/или услуг. Исследование, проведенное в начале 2000-х годов в США, показало, что до 80 процентов пользователей предпочитают взаимодействовать не с традиционной системой предлагаемых меню, а с ЕЯ-интерфейсом (в экспериментах применялись англоязычные интерфейсы).

В декабре 2010 года первое место в рейтинге начинающих компаний (стартапов), ежегодно составляемом международной компанией Guidewire Group, заняла испанская компания Anboto. В конкурсе участвовало несколько сотен начинающих компаний из разных стран мира. Компания Anboto разрабатывает рекомендательные системы, ориентированные на диалог с пользователем на естественном языке (виртуальные агенты по продаже). Диалог реализуется на основе семантически-ориентированного подхода к обработке компьютером естественного языка.

Исследования по организации взаимодействия с компьютером на естественном языке (ЕЯ) - русском, английском, японском и других -развиваются с конца 1960-х годов как в нашей стране, так и во многих других странах. В нашей стране значительный вклад в развития этого направления внесли Ю.Д. Апресян, И.М. Богуславский, И.А. Большаков, Е.И. Большакова, В.М. Брябрин, Б.Ю. Городецкий, В.А. Жигалов, А.К. Жолковский, А.Е. Ермаков, А.П. Ершов, О.С. Кулагина, Е.С. Кузин, И.П. Кузнецов, С.С. Курбатов, Д.Г. Лахути, H.H. Леонтьева, Л.И. Литвинцева, Ю.Я. Любарский, М.Г. Мальковский, Л.И. Микулич, A.C. Нариньяни, Г.С. Осипов, Э.В. Попов, Д.А. Поспелов, Г.В. Рыбина, В.Ш. Рубашкин, В.А. Тузов, В.А. Фомичёв, Н.П. Харин, В.Ф. Хорошевский, Г.С. Цейтин, ПЛ. Цинман и другие учёные.

После длительного периода экспериментальных исследований в начале 2000-х годов наметилась тенденция к широкому применению ЕЯ-интерфейсов. Главным образом, это вызвано бурным развитием сети Интернет и прогрессом в реализации широкомасштабного проекта Семантической Паутины (Семантического Веба).

Основная часть исследований по разработке ЕЯ-интерфейсов и лингвистических процессоров (ЛП) различных видов была реализована для английского языка, синтаксис которого существенно отличается от синтаксиса русского языка (РЯ). В отличие от английского языка, русский язык (РЯ) относится к классу сильно флективных языков.

Однако в научной литературе остаются недостаточно проработанными теоретические вопросы проектирования РекС с ЕЯ-интерфейсом, это относится

как к русскоязычным, так и англоязычным интерфейсам РекС. В первую очередь следует отметить недостаточную проработанность вопросов формального описания входного языка ЕЯ-интерфейса, логической структуры используемой ЕЯ-иктерфейсом лингвистической базы данных и потребность в программно-независимых методах описания алгоритмов семантико-синтаксического анализа входных запросов РекС. Рекомендательные системы необходимы для разных предметных областей. Поэтому чёткое описание входного языка должно являться важной частью технической документации системы. Такое описание позволяет оценить возможность адаптации системы к новой предметной области и трудоёмкость доработки ЕЯ-интерфейса. Сегодня публикации по этой проблеме, как правило, содержат только несколько примеров входных текстов.

Объест исследования: методы проектирования рекомендательных систем с естественно-языковым интерфейсом.

Предмет исследования: технологии применения формальных средств для описания входного языка рекомендательной системы с ЕЯ-интерфейсом, логической структуры лингвистической базы данных (ЛБД) и для представления ситуаций, возникающих з процессе обработки входного запроса пользователя РекС.

Цель исследования: разработать метод проектирования РекС с семантически-ориентированным ЕЯ-интерфейсом, предусматривающий применение формальных средств для описания (а) многообразия смысловых структур, соответствующих запросам пользователя на нормализованном русском язьже, (б) логической структуры ЛБД, (в) ситуаций, возникающих в процессе обработки входного запроса пользователя РекС.

Задачи исследования:

1. Разработка математической модели проблемно-ориентированной системы первичных единиц концептуального уровня, используемой рекомендательной системой.

2. Разработка математической модели многообразия смысловых структур, соответствующих запросам пользователей РекС на нормализованном ЕЯ, как центральной части описания входного языка ЕЯ-интерфейса РекС.

3. Разработка и программная реализация алгоритма, преобразующею нормализованный ЕЯ-запрос пользователя РекС (запрос на русском языке) в его семантическое представление (СП).

4. Разработка и программная реализация алгоритма, преобразующего СП запроса в SQL-выражение для последующей организации взаимодействия с базой данных о товарах и выдачи рекомендации пользователю.

5. Разработка и программная реализация алгоритма обработки SQL запроса, соответствующего входному запросу пользователя РекС на нормализованном естественном (русском) языке.

6. Разработка рекомендаций для интеграции созданного программного комплекса в существующие решения.

7. Исследование работоспособности предложенных методов и алгоритмов.

Теоретико-методологическую основу исследования составляют метод формального описания семантики естественно-языковых текстов с помощью аппарата СК-языков (стандартных концептуальных языков), метод построения формальных моделей лингвистических баз данных, разработанный в теории К-нредставлений, теория алгоритмов, теория контекстно-свободных грамматик, методы теоретического программирования и Веб программирования.

Достоверность и обоснованность научных положений подтверждается корректным применением математического аппарата теории К-представлений и теории контекстно-свободных грамматик, теории алгоритмов и результатами тестирования разработанной компьютерной программы.

В ходе исследования была решена научная задача создания метода проектирования рекомендательных систем с семантически-ориентированным ЕЯ-интерфейсом, предусматривающего применение формальных средств для описания (1) многообразия смысловых структур, ассоциированных с запросами пользователя на нормализованном русском языке, (2) логической структуры лингвистической базы данных, (3) многообразия ситуаций, возникающих в процессе обработки входного запроса пользователя РекС.

База исследования. Исследование проводилось на кафедре информационных технологий в «МАТИ» - Российском государственным технологическом университете им. К.Э. Циолковского.

Основные результаты, полученные лично соискателем, и их научная новизна состоят в том, что:

1. Построена проблемно-ориентированная математическая модель системы первичных единиц концептуального уровня, используемой ЕЯ-интерфейсом рекомендательной системы (РекС), которая вводит дополнительные информационные единицы, обеспечивающие: (а) возможность формального описания смысловой структуры таких ЕЯ-запросов, которые являются фразами смешанного типа: включающими обозначения объектов интереса для пользователя РекС и высказывания, касающиеся свойств этих объектов; (б) возможность формального описания семантики и прагматики нечетких характеристик объектов («недорогой», «компактный» и т.д.) с помощью выражений СК-языков.

2. Разработан метод математического описания смысловой структуры ЕЯ-запросов пользователя РекС, являющихся фразами смешанного типа, т.е. конкатенациями (сцеплениями) обозначений объектов и высказываний (утверждений), описывающих свойства этих объектов, причем в этих фразах могут использоваться логические связки «и», «или», «не» (в доступной научной литературе такие методы не рассматривались).

3. Построена математическая модель лингвистической базы данных (ЛБД), основными отличиями которой по сравнению с моделью ЛБД, предложенной В.А. Фомичевым, являются (а) оригинальный компонент ЛБД, являющийся математической моделью системы первичных единиц

концептуального уровня, используемой ЕЯ-интерфейсом РекС и (б) упрощенная структура модели ЛБД за счет отсутствия словаря глагольно-предложных семангико-синтаксических фреймов. Преимуществом предложенной математической модели ЛБД является уменьшение трудоемкости разработки алгоритма семантико-синтаксического анализа входных ЕЯ-запросов РекС.

4. Разработан алгоритм преобразования ЕЯ-запроса пользователя РекС в семантическое представление (К-представление), главными отличиями и преимуществами которого по сравнению с алгоритмами семантико-синтаксического анализа ЗетБуп и БетЗуп!], предложенными В.А. Фомичевым, являются: (а) входные тексты другого вида, а именно, фразы смешанного вида, т.е. конкатенации (сцепления) обозначений объектов интереса пользователя РекС и высказываний (утверждений), описывающих свойства этих объектов, (б) упрощение алгоритма семантико-синтаксического анализа за счет отсутствия промежуточного этапа построения матричного семантико-синтаксического представления входного запроса.

5. Предложен способ формализации семантики и прагматики нечетких характеристик объектов интереса пользователя РекС («недорогой», «компактный» и т.п.) с помощью математических понятий функции и СК-языка в заданном концептуальном базисе.

6. Построена КС-грамматика в форме Бэкуеа-Наура для генерации выражений, отображающих различные ситуации диалога, возникающие в результате поиска списка товаров по запросу пользователя РекС.

7. Разработана и исследована формула для определения очерёдности вывода пользователю отдельных товаров из общего списка релевантных товаров.

8. Разработан метод формализации проектирования рекомендательных систем с ЕЯ-интерфейсом, отличием и преимуществами которого по сравнению с известными методами являются (а) построение математической модели смысловой структуры входного запроса на нормализованном естественном (русском) языке, (б) применение формальных понятий для описания алгоритма семантико-синтаксического анализа ЕЯ-запросов пользователя РекС, (в) разработка КС-грамматики для порождения выражений, отражающих ситуации диалога с пользователем РекС.

Теоретическая значимость исследования. Впервые предложены средства и метод формализации проектирования рекомендательных систем с семантически-ориентированным ЕЯ-иктерфейсом> входные запросы которого формулируются на нормализованном русском языке.

Практическая значимость исследования диссертации состоит в том, что предложен новый подход к разработке рекомендательных систем с ЕЯ-интерфейсом. Этот подход базируется на построении математических моделей семантических объектов, связанных с входными запросами пользователя РекС и на формальном описании ситуаций диалога, возникающих в ходе обработки

входного запроса пользователя. Разработанные алгоритмы позволяют сделать более удобным и ускорить взаимодействие пользователя с рекомендательной системой и увеличить эффективность интернет ресурса за счёт внедрения более эффективного механизма поиска товара и механизма формирования рекомендации пользователю на основе имеющейся базы данных о товарах. Предложенный способ нормализации входных запросов пользователя делает структуру запроса не слишком сложной, но гибкой. Это уменьшает трудоёмкость программной реализации алгоритмов, осуществляющих семантическую обработку входного запроса. Математический подход, базирующейся на теории K-представлений, является предметно независимым и может быть использован при проектировании РекС в разных предметных областях. Важным аспектом практической ценности разработанного комплекса является возможность его интеграции в существующую структуру интернет каталога или магазина.

Полученные в диссертации результаты использованы в научных и проектных исследованиях компании «ТРИАЛ ЭЛЕКТРОНИКС Плс» (Москва) и «МАТИ» - Российского государственного технологического университета им К.Э. Циолковского. Материалы диссертационной работы использованы при проведении лекционных и лабораторных занятий по дисциплине «Проектирование лингвистических процессоров» на кафедре «Информационные технологии» МАТИ.

Основные положения, выносимые на защиту:

1. Разработан комплекс математических моделей семантических и семантико-синтаксических объектов, ассоциированных с входными запросами пользователей рекомендательной системы:

1.1. Математическая модель системы первичных единиц концептуального уровня, используемой ЕЯ-интерфейсом РекС.

1.2. Математическая модель многообразия смысловых структур, соответствующих запросам пользователей РекС, как центральный компонент описания входного языка ЕЯ-интерфейса РекС.

1.3. Математическая модель лингвистической базы данных, используемой алгоритмом семантико-синтаксического анализа входных запросов пользователя РекС.

2. Разработан комплекс из двух алгоритмов, обеспечивающих преобразование запроса пользователя на нормализованном русском языке в SQL выражение с использованием K-представления запроса в качестве промежуточной формы представления.

3. Разработана структура реляционной базы данных для хранения морфологической и семантико-синтаксической информации, связанной с лексическими единицами. Программно реализован набор функций языка Веб программирования PHP, предназначенный для преобразования входного текста на русском языке в SQL-запрос. Разработанный программный комплекс был успешно внедрён на сайте http://wwvv.allworldauto.ru.

4. Разработана КС-грамматика в форме Бзкуса-Наура для порождения выражений, отражающих ситуацию диалога с пользователем.

5. Разработана формула для определения очерёдности вывода пользователю отдельных товаров из общего списка релевантных товаров. Выполнено компьютерное моделирование для исследования поведения значений формулы в широком диапазоне изменения значений входных параметров.

Апробация и внедрение результатов исследования. Основные результаты работы представлялись на молодежной научной конференции «Гагаринские чтения» в МАТИ в 2009 и 2010 годах и на научно-практической конференции студентов и аспирантов «Информационные технологии в экономике, бизнесе, управлении» (ГУ-ВШЭ, 2010). По теме диссертационной работы опубликовано 6 научных работ, включая две публикации в изданиях из списка изданий, рекомендованных ВАК РФ. Разработанный в диссертации программный комплекс был интегрирован на сайте http://wv.Tv.allvvorldauto.ru/.

Структура диссертации: диссертация изложена на 160 страницах, состоит из введения, четырёх глав, заключения, списка литературы, из 138 наименований, и двух приложений. Приложение 1 содержит результаты тестирования программного комплекса. В Приложении 2 приведен акт внедрения. Объём работы: 151 страница основного текста включающего 9 рисунков, 10 таблиц и 9 страниц приложения.

И. ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цели и задачи работы, определены ее теоретическая и практическая значимость, приведены сведения об апробации и внедрении работы, о структуре диссертации и о публикациях по теме диссертации.

В первой главе анализируются подходы к разработке рекомендательных систем различных видов и сделан вывод о перспективности разработки рекомендательных систем с естественно-языковым интерфейсом. Проведён обзор основных направлений исследований в области формализации семантики естественного языка (ЕЯ). Особое внимание уделено описанию структуры теории К-представлений (концептуальных представлений), изложенной в большой серии публикаций В.А. Фомичева на русском и английском языках. Приведена постановка задачи диссертационного исследования.

Вторая глава диссертации посвяшена разработке метода формализации проектирования рекомендательных систем (РекС) с семантически-ориентированным ЕЯ-интерфейсом, а также конкретизации первых трех этапов этого метода. В разделе 2.1 излагаются принципы преобразования запроса пользователя РекС на нормализованном русском языке в SQL запрос. Сначшга запрос преобразуется в семантическое представление (СП), для построения которого используется широко применимый, предметно независимый и программно независимый формализм. Затем СП запроса преобразуется в SQL выражение. При этом могут задаваться уточняющие вопросы пользователю. Для уменьшения трудоемкости и ускорения разработки алгоритма построения

СП запроса предлагается вводить запросы, включающие только существительные, прилагательные, сравнительные формы прилагательных («больше», «старше»), частицу «не», логические связки «и», «или».

В разделе 2.2. предлагается метод формализации проектирования РекС с семантически-ориентированным естественно-языковым (русскоязычным) интерфейсом. Этот метод предусматривает следующие этапы проектирования:

1. Разработка проблемно-ориентированной математической модели системы первичных единиц концептуального уровня, используемой ЕЯ-интерфейсом рекомендательной системы (РекС) на основе первой базовой математической модели теории К-представлений, определяющей класс формальных объектов, называемых концептуальными базисами.

2. Построение математической модели многообразия смысловых структур, соответствующих запросам пользователей РекС на нормализованном естественном (русском) языке, на основе аппарата СК-языков (стандартных концептуальных языков), предлагаемого теорией К-представлений.

3. Разработка математической модели лингвистической базы данных (БД), т.е. БД со сведениями, используемыми алгоритмами семантико-синтаксического анализа для преобразования входного запроса в его семантическое представление.

4. Разработка алгоритма, преобразующего нормализованный ЕЯ-запрос пользователя РекС (запрос на русском языке) в его СП, являющееся К-представлением запроса, т.е. выражением некоторого СК-языка.

5. Построение алгоритма, преобразующего К-представление запроса пользователя РекС в SQL-выражение для последующей организации взаимодействия с базой данных о товарах и выдачи рекомендации пользователю.

6. Разработка структура реляционной базы данных для хранения морфологической и семантико-синтаксической информации, связанной с лексическими единицами.

7. Разработка компьютерной программы, предназначенной для преобразования входного запроса пользователя РекС на нормализованном русском языке в SQL-запрос.

8. Построение КС-грамматики в форме Бэкуса-Наура для порождения выражений, отражающих ситуации диалога с пользователем РекС.

9. Разработка и программная реализация алгоритма организации диалога с пользователем РекС.

Формулировка метода предполагает, что его применение осуществляется проектной группой, в состав которой входит специалист, владеющий методами дискретной математики, в том числе знакомый с основами математической логики и теории К-представлений.

Разделы 2.3 - 2.8 посвящены конкретизации первых трех шагов предложенного метода проектирования. Отправной точкой для детализации первого шага является определение класса формальных объектов, называемых

концептуальными базисами (к.б.). Это определение, являющееся частью теории К-представлений, опубликовано, в частности, в статье В.А. Фомичева в журнале «Информационные технологии», 2002, № 10, с. 16-25. Задание произвольного к.б. равносильно заданию некоторого упорядоченного набора вида (c¡, с 2- £;s), компоненты которого c¡, с 2 ..., c¡¡ являются, главным образом, счетными или конечными множествами символов, а также выделенными элементами этих множеств.

Например, c¡ = St - это конечное множество символов, называемых сортами и интерпретируемых как обозначения наиболее общих понятий из рассматриваемой группы предметных областей. Так, St может включать элементы простр.вб (сорт «пространственный объект»), физ.об (сорт «физический объект»), дин.фга.сб (сорт «динамический физический объект»), орг (сорт «организация»). Компонент c¡= Gen (отношение общности) является бинарным отношением на St (частичным порядком), отражающим существование иерархии по степени общности на множестве понятий. Например, Gen может включать пару {физ.об, дин.фга.сб).

Компонент c¡ = X - это счётное множество символов, называемое первичным информационным универсумом, компонент с6 = V - счётное множество символов, называемых переменными, компонент cs = F - непустое конечное подмножество множества X, состоящее из обозначений функций. Элементы X интерпретируются как первичные единицы концептуального уровня. Компонент с7 является отображением 1р, связывающим с каждым элементом d из объединения множеств X к V некоторую цепочку tp(d) -формальную характеристику элемента d, называемую типом элемента d ( типом функции Максим-скорость может быть цепочка {(дин.физ.об, знач скор)}).

В разделе 2.3 вводятся дополнительные предположения об информационных единицах рассматриваемого к.б. В. После рассмотрения серии вспомогательных определений вводится понятие проблемно-ориентированного концетуального базиса (п.о.к.б.). Каждый п.о.к.б. Probs является четверкой вида (В, Dig-par-system, Ling-par-system, Output-mark-systcm)jae В -концептуальный базис, Dig-par-system - пятерка вида (d¡, ...,d5), Ling-par-sysíem - пятерка вида (g¡,..., g¡), Output-mark-system - семерка вица (h¡ ,..., h7), и компоненты d¡, d:,d3,d¡,g¡,..., g¡, k,,..., hTявляются выделенными сортами из множества St = Si(B) или элементами первичного информационного универсума X = Х(В), а компонент di - это выделенное подмножество Units универсума X = Х(В), его элементы интерпретируются как единицы измерения: кг, м, рубль, евро и т.д. Формальные объекты Dig-par-system, Ling-par-system, Outpui-mark-system называются разметкой числовых параметров, разметкой лингвистических параметров и разметкой выходных параметров для к.б. В.

Компоненты систем Dig-par-system, Ling-par-system, Output-mark-system связаны рядом соотношений. В частности, постулируется, что: (1) множество сортов St включает выделенные элементы наш, вещ, parameter-unit, digit-param-

value, ling-value, интерпретируемые соответственно как обозначения понятий «натуральное число», «вещественное число», «единица измерения», «значение числового параметра», «лингвистическое значение»; (2) для каждого и из подмножества Units tp(u) с- St(B), и сорт tp(u) является конкретизацией сорта parameier-ur.il для отношения Gen(B).

Последовательность математических определений, заканчивающаяся определением класса проблемно-ориентированных концептуальных базисов, интерпретируется как проблемно-ориентированная математическая модель системы первичных единиц концептуального уровня, используемой ЕЯ-интерфейсом РекС. Эта модель исиользуется для разработки математической модели многообразия смысловых структур, соответствующих запросам пользователей РекС на нормализованном естественном (русском) языке.

На основе отбора части выразительных механизмов аппарата СК-языков каждому п.о.к.б. Probs и произвольной переменной var ставится в соответствие (посредством последовательности определений, задающих вспомогательные формальные языки) язык Linf(B,var), где В = B(Probs)- концептуальный базис, являющийся первым компонентом п.о.к.б. Probs.

Пример. Можно задать п.о.к.б. Probs так, что yjeV(B(Probs}) и Linf(B(Probs),y!) включает цепочку (Меныие(Цена(у1),350000/руб)л Цеет(у1,(тёмно-зелёный v темно -синий)) л Страна-сборки(у ¡.(Германия v Бельгия))).

Чаще всего запрос пользосателя РекС состоит из двух частей. Часть i кратко обозначает объект интереса пользователя (например, "Немецкий легковой автомобиль"). Часть 2 перечисляет дополнительные требования, которым должен удовлетворять объект интереса (например, "не cmapiue 5 лет, цвет тёмно-зелёный или тёмно-синий"). Поэтому в данной работе предлагается строить первичный семантический образ (ПСО) запроса пользователя РекС б виде <Semreprl, Semrepr2>, где Semreprl - семантическое представление (СП) краткого описания объекта интереса пользователя (например, СП выражения "немецкий легковой автомобиль"), a Semrepr2 - СП фрагмента, перечисляющего дополнительные требования, которым должен удовлетворять объект интереса (например, СП выражения <ше старше 5 лет. цвет тёмно-зелёный или тёмно-синий»).

Пример. Пусть запрос1 -«Немецкие легковые автомобили не cmapuie 5 лет, Цвет - тёмно-зелёный или тёмно-синий, не дороже 350000рублей», тогда можно задать п.о.к.б. Probs так, что ПСО образ запроса1 будет являться выражением вида <Semreprl, Semrepr2>, где Semreprl=ece авто * (Страна-производитель, Германия) (Вид-авто, легковой),

8етгер2=(^Болъше(Возраст(у1),5/год) л Цвет(у¡,(тёмно-зелёный vmeMW-синий)) л Бо.пыие(Цена(у1), 350000/руб)).

В построенном выражении значения параметров Страна-производитель и Вид-авто задаются в подцепочке Semreprl не в тон же форме, что и значения параметров Возраст, Цвет и Цена в подцепочке Semrepr2. Анализ вырази-

тельных механизмов СК-языков позволил предложить такую форму первичного семантического представления (ПСП) исходного ЕЯ-запроса пользователя РекС, которая дает возможность единообразно отображать значения всех параметров объекта интереса пользователя, что удобно для последующей обработки запроса. Если semrequest - ПСО запроса, то ПСП запроса semrequesl является значением специального отображения Secondary-form (раздел 2.4).

Пример. Пусть запрос 1 = «Немецкие легковые автомобили не старше 5 лет, цвет - темно зелёный или тёмно-синий, не дороже 350000/рублей», и semrequest -это построенный выше первичный семантический образ запроса 1 вида <Semreprl, Semrepr2>. Тогда ПСП запроса Secondary-form(semrequest) является цепочкой вида

Объект-интереса (запрос!, все авто*(Элемент, Si), Описание!(произв авто*(Элемент, Sj):yi, (Страна-производитель^¡, Германия) /\

Bud-aemo(yi, легковой) л Больше (Возраст (у ¡), 5/год) л Цвет(у/, (тёмно-зелёный v тёмно-синий)) л Больше (Цена(у1), 350000/руб)). Запросы могут включать нечеткие характеристики объектов интереса («недорогой» и т.д.). Поэтому в разделе 2.5. определение класса п.о.к.б. дополнено определением класса прагматических сигнатур (п.с.), где произвольная п.с. Pragmsign является упорядоченной тройкой вида (ling-atr, Ling-attributes, Interpr), где ling-atr - некоторый сорт из множества St(B(Probs)), Ling-attributes - подмножество множества Х(В) \ F(B), для каждого элемента prop е Ling-attributes выполняется соотношение tp(prop)= ling-atr, и Interpr -функция, частично определённая на декартовом произведении Ling-attributes*Physconcepts со значениями в множестве Linf(B,yi).

Пример. Пусть множество Ling-attributes включают семантическую единицу дешёв, а множество Physconcepts включает единицу автомобиль. Тогда

In 1егрг(дешёв, автомобиль)=Меньше(Цена(у]),350000/руб).

В разделах 2.6 - 2.8 главы 2 разработана математическая модель лингвистической базы данных (ЛБД) ЕЯ-интерфейса РекС. Модель задает определение класса формальных объектов, названных проблемно-ориентированными лингвистическими базисами (п.ол.б.). Каждый п.ол.б. является набором Problingb вида (Probs, Pragmsign, Tform, Lsdic, Frp ) , где Probs - проблемно-ориентированный концептуальный базис, Pragmsign прагматическая сигнатура, согласованная с Probs, Tform - текстообразующая система, согласованная с базисом Probs, Lsdic — лексико-семантический словарь, согласованный с Probs и Tform, Frp - словарь предложных семантико-синтаксических фреймов, согласованный с Probs, Tform и Lsdic.

В третьей главе разработаны алгоритм семантико-синтаксического анализа входных ЕЯ-запросов пользователя РекС и алгоритм построения SQL выражений. Первый алгоритм преобразует нормализованный ЕЯ-запрос пользователя РекС (запрос на русском языке) в его семантическое

представление (СП). Это СП являегся К-представлением запроса, т.е. выражением некоторого СК-языка (стандартного концептуального языка). Второй алгоритм преобразует К-представление запроса в SQL-выражение для организации (на следующих этапах обработки запроса) взаимодействия с базой данных о товарах и выдачи рекомендации пользователю.

Разработаны вспомогательные алгоритмы для поиска смысловых отношений в сочетаниях следующего вида: прилагательное + существительное, существительное + имя собственное, существительное1 + предлог + существительное2 , существительное + числительное, сравнения.

Для реализации алгоритмов была разработана структура MySQL базы данных, представленная в виде ER-модели. Для преобразования К-представления в готовое к выполнению SQL выражение был разработан алгоритм Формир-sq]. Рассмотрены принципы применения бизнес-правил для построения SQL-запроса, позволяющие интерпретировать нечёткие характеристики (лингвистические переменные).

В четвёртой главе рассмотрен комплекс вопросов, касающихся обработки SQL запросов пользователя, в том числе вопрос организации диалога с пользователем. Для организации диалога разработана КС-грамматика в форме Бэкуса-Наура для порождения выражений, отражающих ситуацию диалога с пользователем:

<выражениг>::=<ограничение-парам>(_Е\/ЕШ=<вид-события>), <огрантение-парам>::=<ограничение-парам>&&<ограничение-парам>, <ограничгние-пара\1>::=(<парамгтр><огяношение><беличина>), <параметр>::= length | height ] breadth, <отношение>.:~< j > | == | >= j <=,

<вид-события>::='фильтр' | 'рекомендация' \ 'ничего не найдено', <величир.а>:: =<число> \ <перемепная> \ <зиачение-цеета>, <значение-иеета>: = 'зелёный' ] 'синий'\ 'красный' ] 'желтый'\ 'бежевый'\ 'белый' | 'серый',

<часло>::=<вещ-число> | <целое-число> < цглое-число> ::~< пифра>, <иелое-число>::=<14ифра><целое-число>, <цифра>::=0 \1 \ 2\3\4\5\6\7 \ 8\ 9, <вещ-число>::=<целое-число>. <целое-число>, <перемекная>::={х1} \ {х2} \ {хЗ} \ {х4}.

Некоторые примеры формальных выражений и соответствующих им ЕЯ-фраз представлены в таблице 1.

Таблица 1

Формальные выражения, отражающие ситуации диалога, и соответствующие

им фразы для пользователя.

Параметр или их комбинация Выдаваемый текст

_kol>max&& "Запрос возвратил слишком большое

_EVENT=' фильтр' количество товаров"

(length<={xl})&& (со1ог=='синий') && (_ЕУЕОТ='фильтр') "В сформированном списке преобладают автомобили длиной не больше {xl} метров синего цвета. Не желаете ограничиться только этими параметрами отбора?"

(price<{xl})&& (_ЕУЕМТ='рекомендация') "Большинство товаров дешевле {price}. Не желаете отобразить только этот товар?"

(price>{xl})&& (_Е УЕМТ=='рекомендация') "Большинство товаров дороже {price}. Не желаете отобразить только этот товар?"

(_not_rccognizc_parm='6o.ibiiiofi') && (_ЕУЕШ"=='рекомендация') Большой, неоднозначный параметр; пожалуйста, уточните критерии отбора.

(price>{xl}) && (_not_recognize_parm='floporofi')&& ( ЕУЕМТ='рскомендация') В запросе преобладают дешевые товары. Не желаете изменить условия поиска?

(firm_name='ford') && (_ЕУЕЫТ=='рекомендация') Не желаете просмотреть автомобили марки Ford?

(_kol==0) && (_EVENT=-' ничего не найдено') По Вашему запросу ничего не найдено

(_kol=0)&& (_query_count>5) && ( EVENT=='ничего не найдено') По Вашему запросу ничего не найдено. Задайте более «мягкие» условия поиска.

(_EVENT='ничего не найдено') && ((_ко1==0)&& (price<{xl|)) Ничего не найдено! Попробуйте уменьшить цену ниже {xl}.

EVENT—'ничего не найдено' По Вашему запросу ничего не найдено!

Все параметры представляют из себя логические выражения, которые соединены связками && («и»), || («или»). Особенно важен идентификатор _EVENT, указывающий, какое событие участвует в формировании фразы. Так, значение 'рекомендация' говорит о том, что запрос возвратил какой-то результат в виде группы товаров, но система рекомендует обратить внимание на конкретный товар. Значение 'фильтр' укажет на то, что список товаров можно сократить по каким-либо параметрам, описанным в этом выражении.

Предложена оригинальная формула для определения очерёдности вывода пользователю отдельных товаров из общего списка товаров, релевантных запросу пользователя. Введём ряд обозначений, которые будут использованы в формуле вычисления характеристики delta-ch: ratingjeoutti - диапазон изменения значений delta-ch; user - пользователь; model - товар;

marh^fiuscr, mode!) - оценка пользователя [-ratingcount...+ rating count]', rating_ from_user,(user, model,mark) - рейтинг оценки пользователя поставленный другим (/-м) пользователем [-rating_count...+ rating_couni\\ п - общее количество пользователей давших оценку, оценки пользователя;

V rating _ from _user (user, model, mark)

ratingluser,model,marh)= —-, рейтинг оценки

n

пользователя [-raling_count ...+ rating_count];

preference commodity [0..1] - покупал или нет пользователь данный товар; ch_manual- указывается вручную \-rating_count ...+ rating_count\

rating_count, если preference_commod;ty = 1 ch aulofttser,model) = <j mark(user,mode!}*raiting(user„model,mark(user,model))

[ rating count

рейтинг товара [-rating_count...+ raiing_count\

Результат внедрения формулы учёта релевантности показан на графике,

рис.2.

Реиги* без сггчшивэоибйфумдо

1 Л - - ! 1 ■ -i

Л + / р-

! /1 Н. LJ

^. - | ,-j., j . |

!Д |............... 1 ! Г 1

ч ■ ! .1 .. '.М .......t

Рис. 1

Рис 2.

До внедрения функции релевантности (рис.1) рейтинг товара находится в области отрицательных значений значительно дольше, чем после внедрения delta-ch (рис. 2). В главе 4 сформулированы также рекомендации для интеграции разработанного программного комплекса в существующие решения.

III. ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ

1. Разработана проблемно-ориентированная математическая модель системы первичных единиц концептуального уровня, используемой ЕЯ-интерфейсом рекомендательной системы (РекС).

2. Построена математическая модель многообразия смысловых структур, соответствующих запросам пользователей на нормализованном естественном языке, предназначенная для использования в качестве центрального компонента описания входного языка ЕЯ-интерфейса РекС.

3. Разработан алгоритм, преобразующий нормализованный естественноязыковой запрос пользователя РекС (запрос на русском языке) в его семантическое представление, являющееся K-представлением запроса, т.е. выражением некоторого СК-языка (стандартного концептуального языка).

4. Построен алгоритм, преобразующий K-представление запроса в SQL-выражение для последующей организации взаимодействия с базой данных о товарах и выдачи рекомендации пользователю.

5. Разработана структура реляционной базы данных для хранения морфологической и семантико-синтаксической информации, связанной с лексическими единицами. Программно реализован набор функций языка Веб программирования PHP, предназначенный для преобразования входного текста на русском языке в SQL запрос.

6. Разработана КС-грамматика в форме Бэкуса-Наура для порождения выражений, отражающих ситуацию диалога с пользователем.

7. Разработана формула для определения очерёдности вывода пользователю отдельных товаров из общего списка релевантных товаров. Выполнено компьютерное моделирование для исследования поведения значений формулы в широком диапазоне изменения значений входных параметров.

8. Сформулированы рекомендации для интеграции разработанного программного комплекса в существующие решения.

9. Разработанный программный комплекс был успешно внедрён на сайте http://www.allworldauto.ru.

IV. ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ 1. Правиков A.A., Фомичев В.А. Разработка рекомендательной системы с естественно-языковым интерфейсом на основе математических моделей семантических объектов // Бизнес-информатика. Междисциплинарный научно-практический журнал ГУ-ВШЭ, Москва, 2010, № 4 (14). С. 3-11. (издание рекомендовано ВАК РФ).

2. Правиков A.A. Метод формализации проектирования рекомендательных систем с семантически-ориентированным естественно-языковым интерфейсом // Ученые записки Российского государственного социального университета, 2010, № 11.0,6 п.л. (изданиерекомендовано ВАК РФ).

3. Правиков A.A. Разработка и программная реализация методов математического моделирования содержания диалога с ЭВМ пользователя рекомендательной системы // XXXV Гагаринские чтения. Научные труды Международней молодежной научной конференции в 8 томах. Москва, 2009. М.: МАТИ, 2009. Т.4. С. 44.

4. Правиков A.A. Некоторые принципы и средства организации диалога с пользователем рекомендательной системы // Научные труды. МАТИ. Вып. 15(87). Москва, 2009. С. 192-195.

5. Правиков A.A. Элементы формализации диалога с пользователем русскоязычного интерфейса рекомендательной системы // XXXVI Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8 томах. Москва, 2010 г. М.: МАТИ, 2010. Т.4. С. 39.

6. Правиков A.A. Разработка алгоритмов обеспечения русскоязычного интерфейса рекомендательной системы// Новые материалы и технологии НМТ-2010, Том 2, Москва, МАТИ, 2010. С. 124.

Правиков Алексей Александрович

РАЗРАБОТКА И ПРИМЕНЕНИЕ МЕТОДА ФОРМАЛИЗАЦИИ ПРОЕКТИРОВАНИЯ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ С ЕСТЕСТВЕННО-ЯЗЫКОВЫМ ИНТЕРФЕЙСОМ

Специальность 05.13.11 -математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук Фомичёв Владимир Александрович

Изготовление оригинал-макета: Правиков Алексей Александрович

Подписано в печать: 26.04.2011

Заказ № 5415 Тираж - 100 экз. Печать трафаретная. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 www.autoreferat.ru

Введение.

Глава 1. Актуальность и формальные средства разработки рекомендательных систем с естественно-языковым интерфейсом.

1.1. Ранние подходы к разработке рекомендательных систем.

1.2. Предпосылки появления рекомендательных систем с естественно-языковым интерфейсом.

1.3. Рекомендательные системы с естественно-языковым интерфейсом.

1.4. Принципы функционирования рекомендательной системы с естественноязыковым интерфейсом NLA.

1.5. Основные подходы к формализации семантики естественно-языковых текстов, имеющие ограниченную сферу применения.

1.5.1. Теория концептуальной зависимости в естественных языках.

1.5.2. Семантические сети.

1.5.3. Расширенные и неоднородные семантические сети. s ' »

1.5.4. Теория концептуальных графов.

1.5.5. Эпизодическая логика.

1.6. Подход теории К-представлений к формализации смысловой структуры естественно-языковых текстов.

1.6.1. Краткая характеристика теории К-представлений.

1.6.2. Основные идеи базовой математической модели теории К-представлений.

1.7. Постановка задачи.

1.8. Выводы по главе 1.

Глава 2. Математические модели для преобразования запроса пользователя рекомендательной системы в семантическое представление.

2.1. Неформальное описание структуры и принципов обработки первоначального запроса пользователя на естественном языке.

2.2. Метод формализации проектирования рекомендательных систем с естественно-языковым интерфейсом.

2.3. Разработка дополнительных предположений о структуре рассматриваемого концептуального базиса.

2.4. Разработка математической модели многообразия смысловых структур первоначального запроса пользователя рекомендательной системы.

2.5. Формализация бизнес-правил.

2.5.1. Основные идеи определения класса прагматических сигнатур.

2.5.2. Определение класса прагматических сигнатур.

2.5.3. Принципы компьютерной реализации бизнес-правил.

2.6. Вспомогательные определения, используемые для формализации структуры лингвис гической базы данных.

2.7. Формализация структуры семантико-синтаксических компонентов лингвистической базы данных.

2.7.1. Модифицированное определение текстообразующей системы.

2.7.2. Модифицированное определение лексико-семантического словаря.

2.7.3. Модифицированное определение словаря предложных семантико-синтаксических фреймов.

2.8. Понятие лингвистического базиса.

2.9. Выводы по главе 2.

Глава 3. Разработка алгоритма преобразования запроса пользователя в семантическое представление и затем в SQL выражение.

3.1. Разработка плана алгоритма построения семантического представления запроса пользователя.

3.1.1. Назначение алгоритма.

3.1.2. Внешняя спецификация алгоритма "Построение-СемП-запроса".

3.1.3. План алгоритма "Построение-СемП-запроса".

3.2. Разработка алгоритма первичной обработки запроса пользователя.

3.2.1. Внешняя спецификация алгоритма "Первич-обработка".

3.2.2. Внешние спецификации вспомогательных алгоритмов.

3.2.3. Алгоритм первичной обработки запроса.

3.2.4. Рекомендации по реализации процедуры выделения элементарных значащих единиц входного запроса.'.

3.2.5. Принципы обработки многозначных слов.

3.2.6. Рекомендации по обработке фрагментов текста с частицей "не'", числительными и обозначениями числовых значений параметров.

3.3. Алгоритмизация поиска смысловых связей между элементарными значащими единицами запроса.

3.3.1. Обработка конструкций "Существительное 1 + предлог + Существительное!".

3.3.2. Обработка конструкции вида "Существительное + прилагательное".

3.3.3. Обработка сравнительных конструкций.

3.4. Обработка конструкций с именами собственными и связующими словами.

3.5. Разработка головного алгоритма.

3.6. Принципы использования бизнес-правил для построения SQL запроса.

3.7. Программная реализация алгоритма построения семантического представления запроса.

3.7.1. Структуры данных, соответствующих проблемно-ориентированному лингвистическому базису.

3.7.2. Сведения о программной реализации алгоритма построения семантического представления запроса.

3.8. Разработка алгоритма преобразования K-представления в SQL запрос.

3.8.1. Назначение и принципы работы алгоритма.

3.8.2. Разработка алгоритма создания промежуточного массива.

3.8.3. Разработка алгоритма построения набора ограничивающих параметров отбора.

3.8.4. Разработка итогового алгоритма.

Выводы по Главе 3.

4. Разработка и программная реализация алгоритмов для организации диалога с пользователем рекомендательной системы.

4.1. Принципы и схема обработки SQL запроса, соответствующего входному запросу пользователя рекомендательной системы.

4.2. Разработка КС-грамматики для порождения выражений, отражающих ситуацию диалога с пользователем.

4.3. Применение бизнес - стратегий при организации диалога с пользователем рекомендательной системы.

4.3.1. Синтез антирекомендации.

4.3.2. Рекомендации, основанные на неявном параметре отбора.

4.3.3. Рекомендация товара по ключевым словам.

4.4. Разработка формулы для установления очерёдности выборки товаров из построенного списка.

4.5. Результаты испытаний разработанной компьютерной программы.

4.6. Анализ возможностей интеграции разработанной системы в существующие решения.

4.7. Эффективность внедрения ЕЯ-помощника на сайт.

4.8. Разработка логической структуры данных для обеспечения возможности интеграции с существующими базами данных.

4.9. Выводы по Главе 4.

Актуальность темы исследования. С начала 2000-х годов в области электронной коммерции развивается направление, цель которого заключается в разработке рекомендательных систем (РекС) с естественно-языковым интерфейсом (ЕЯ-интерфейсом). Такие системы предназначены для того, чтобы помочь посетителю Интернет-портала фирмы или государственной организации принять решение о выборе товаров и/или услуг. Исследование, проведенное в начале 2000-х годов в США, показало, что до 80 процентов пользователей предпочитают взаимодействовать не с традиционной системой предлагаемых меню, а с ЕЯ-интерфейсом (в экспериментах применялись англоязычные интерфейсы) [81-83].

В декабре 2010 года первое место в рейтинге начинающих компаний (стартапов), ежегодно составляемом медународной компанией Guidewire Group, заняла испанская компания Anboto [72]. В конкурсе участвовало несколько сотен начинающих компаний из разных стран мира. Компания Anboto разрабатывает рекомендательные системы, ориентированные на диалог с пользователем на естественном языке (виртуальные агенты по продаже). Диалог реализуется на основе семантически-ориентированного подхода к обработке компьютером естественного языка [72].

Исследования по организации взаимодействия с компьютером на естественном языке (ЕЯ) — русском, английском, японском и так далее — развиваются с конца 1960-х годов как в нашей стране, так и во многих других странах. В нашей стране значительный вклад в развития этого направления внесли Ю.Д. Апресян, И.М. Богуславский, И.А. Большаков, Е.И. Большакова, В.М. Брябрин, Б.Ю. Городецкий, В.А. Жигалов, А.К. Жолковский, А.Е. Ермаков, А.П. Ершов, О.С. Кулагина, Е.С. Кузин, И.П. Кузнецов, С.С. Курбатов, Д.Г. Лахути, H.H. Леонтьева, Л.И. Литвинцева, Ю.Я. Любарский, М.Г. Мальковский, Л.И. Микулич, A.C. Нариньяни, Г.С. Осипов, Э.В. Попов, Д.А. Поспелов, Г.В. Рыбина, В.Ш. Рубашкин, В.А. Тузов, В.А. Фомичёв, Н.П. Харин, В.Ф. Хорошевский, Г.С. Цейтин, ПЛ. Цинман и другие учёные.

После длительного периода экспериментальных исследований в начале 2000-х годов наметилась тенденция к широкому применению ЕЯ-интерфейсов. Главным образом, это вызвано стремительным ростом парка персональных компьютеров, бурным развитием сети Интернет и прогрессом в реализации широкомасштабного проекта Семантической Паутины (Семантического Веба).

Разработка ЕЯ-интерфейсов интеллектуальных баз данных является одним из главных направлений исследований по проектированию лингвистических процессоров (ЛП) - программ, понимающих ЕЯ.

Основная часть исследований по разработке ЕЯ-интерфейсов и ЛП других видов была реализована для английского языка, синтаксис которого существенно отличается от синтаксиса русского языка (РЯ). В отличие от английского языка, РЯ относится к классу сильно флективных языков. Это выражается в том, что слова РЯ могут изменяться многими способами; например, окончания существительных меняются в зависимости от грамматического падежа и числа, окончания глаголов зависят от времени и лица и т.д. Другой важной особенностью РЯ является весьма свободный порядок слов; например, в предложениях с глаголом в действительном залоге подлежащее может располагаться как перед сказуемым, так и после сказуемого.

Однако в научной литературе остаются недостаточно проработанными теоретические вопросы проектирования РекС с ЕЯ-интерфейсом, это относится как к русскоязычным, так и англоязычным интерфейсам РекС. В первую очередь следует отметить недостаточную проработанность вопросов формального описания входного языка ЕЯ-интерфейса, логической структуры используемой ЕЯ-интерфейсом лингвистической базы данных и потребность в программно-независимых методах описания алгоритмов семантико-синтаксического анализа входных запросов РекС.

Цель и задачи работы. Разработка метода формализации проектирования рекомендательных систем с семантически-ориентированным естественноязыковым интерфейсом на основе математических моделей семантических и семантико-синтаксических объектов, ассоциированных с входными запросами пользователя системы. Для достижения этой цели в диссертации решались следующие задачи:

1. Разработка математической модели системы первичных единиц концептуального уровня, используемой ЕЯ-интерфейсом рекомендательной системы (РекС).

2. Разработка математической модели многообразия смысловых структур, соответствующих запросам пользователей РекС на нормализованном естественном (русском) языке, как центрального компонента описания входного языка ЕЯ-интерфейса.

3. Разработка и программная реализация алгоритма, преобразующего нормализованный ЕЯ запрос пользователя РекС (запрос на русском языке) в его семантическое представление (СП).

4. Разработка и программная реализация алгоритма, преобразующего СГ1 запроса в SQL-выражение для последующей организации взаимодействия с базой данных о товарах и выдачи рекомендации пользователю.

5. Разработка и программная реализация алгоритма обработки SQL запроса, соответствующего входному запросу пользователя РекС на нормализованном естественном (русском) языке.

6. Разработка рекомендаций для интеграции созданного программного комплекса в существующие решения. f

7. Исследование работоспособности разработанных методов и алгоритмов.

Методы исследования. В работе использовались методы теории прикладных интеллектуальных систем, теории формальных грамматик и языков, теории К-представлений, теоретического программирования и Веб программирования.

Научная новизна работы определяется: 1. Рассмотрением в построенной проблемно-ориентированной математической модели системы первичных единиц концептуального уровня, используемой ЕЯ-интерфейсом рекомендательной системы (РекС), информационных единиц, обеспечивающих: (а) возможность формального описания смысловой структуры таких ЕЯ-запросов, которые являются фразами смешанного типа: включающими обозначения объектов интереса для пользователя РекС и высказывания, касающиеся свойств этих объектов; (б) возможность формального описания семантики и прагматики нечетких характеристик объектов («недорогой», «компактный» и т.д.) с помощью выражений СК-языков.

2. Созданием метода математического описания смысловой структуры ЕЯ-запросов пользователя РекС, являющихся фразами смешанного типа, т.е. конкатенациями (сцеплениями) обозначений объектов и высказываний (утверждений), описывающих свойства этих объектов, причем в этих фразах могут использоваться логические связки «и», «или», «не» (в доступной научной литературе такие методы не рассматривались).

3. Построением оригинальной математической модели лингвистической базы данных (ЛБД), основными отличиями которой по сравнению с моделью ЛБД, предложенной В.А. Фомичевым, являются (а) оригинальный компонент ЛБД, являющийся математической моделью системы первичных единиц концептуального уровня, используемой ЕЯ-интерфейсом РекС и (б) упрощенная структура модели ЛБД за счет отсутствия словаря глагольно-предложных семантико-синтаксических фреймов. Преимуществом предложенной математической модели ЛБД является уменьшение трудоемкости разработки алгоритма семантико-синтаксического анализа входных ЕЯ-запросов РекС.

4. Разработкой алгоритма преобразования ЕЯ-запроса пользователя РекС в семантическое представление (К-представление), главными отличиями и преимуществами которого по сравнению с алгоритмами семантико-синтаксического анализа 8ет8уп и 8ет8упП, предложенными В.А. Фомичевым, являются: (а) входные тексты другого вида, а именно, фразы смешанного вида, т.е. конкатенации (сцепления) обозначений объектов интереса пользователя РекС и высказываний (утверждений), описывающих свойства этих объектов, (б) упрощением алгоритма за счет отсутствия промежуточного этапа построения матричного семантико-синтаксического представления входного запроса.

5. Разработкой способа формализации семантики и прагматики нечетких характеристик объектов интереса пользователя РекС («недорогой», компактный» и т.п.) с помощью математических понятий функции и СК-языка в заданном концептуальном базисе.

6. Построением КС-грамматики в форме Бэкуса-Наура для генерации выражений, отображающих различные ситуации диалога, возникающие в результате поиска списка товаров по запросу пользователя РекС.

7. Разработкой и исследованием формулы для определения очерёдности вывода пользователю отдельных товаров из общего списка релевантных товаров.

8. Разработкой метода формализации проектирования рекомендательных систем с ЕЯ-интерфейсом, отличием и преимуществами которого по сравнению с известными методами являются (а) построение математической модели смысловой структуры входного запроса на нормализованном естественном (русском) языке и (б) применение формальных понятий для описания алгоритма семантико-синтаксического анализа ЕЯ-запросов пользователя РекС.

Практическая ценность и предложения по использованию результатов. Практическая ценность работы заключается в том, что предложен новый подход к разработке РекС с семантически-ориентированным ЕЯ-интерфейсом. Этот подход базируется на построении математических моделей семантических объектов, связанных с входными запросами пользователя РекС. Предложенный способ нормализации входных запросов делает структуру запросов не слишком сложной, но гибкой. Это уменьшает трудоёмкость программной реализации алгоритмов, осуществляющих семантическую обработку входного запроса. Математический подход, базирующейся на теории К-представлений, является предметно-независимым и может быть использован при проектировании РекС в разных предметных областях. Разработанный в диссертации программный комплекс был интегрирован на сайте http://www.allworldauto.ru/. Важным аспектом практической ценности разработанного комплекса является возможность его интеграции в существующую структуру интернет каталога или магазина.

Полученные в диссертации результаты использованы в научных и проектных исследованиях компании "ТРИАЛ ЭЛЕКТРОНИКС Плс" (Москва) и

МАТИ» - Российского государственного технологического университета им К.Э. Циолковского.

Материалы диссертации использованы при проведении лекционных и лабораторных занятий по дисциплине "Проектирование лингвистических процессоров" на кафедре "Информационные технологии" МАТИ.

Апробация работы Основные положения диссертационной работы докладывались и обсуждались на международной научной конференции "Гагаринские чтения" в МАТИ в 2009 и 2010 годах и на научно-практической конференции студентов и аспирантов "Информационные технологии в экономике, бизнесе, управлении" (ГУ-ВШЭ, 2010).

Публикации. По теме диссертационной работы опубликовано 6 научных работ, в том числе две статьи в журналах из списка ВАК РФ.

Структура и объём работы. Диссертация изложена на 160 страницах, состоит из четырёх глав основного текста (151 страница), заключения, списка используемой литературы, включающего 138 наименований, и двух приложений. Приложение 1 содержит результаты тестирования программного комплекса. В Приложении 2 приведены акты внедрения.

Основное содержание работы.

В первой главе анализируются подходы к разработке рекомендательных систем различных видов и сделан вывод о перспективности разработки рекомендательных систем с естественно-языковым интерфейсом. Проведён обзор основных направлений исследований в области формализации семантики естественного языка (ЕЯ). Особое внимание уделено описанию структуры теории К-представлений (концептуальных представлений), являющейся методологической основой данной диссертационной работы.

Во второй главе, во-первых, предложено обобщенное описание метода формализации проектирования рекомендательных систем с семантически-ориентированным ЕЯ-интерфейсом, Во-вторых, с целью конкретизации отдельных шагов этого метода построены математические модели таких объектов семантического уровня, которые существенно влияют на проектирование информационного и алгоритмического обеспечения естественно-языковых интерфейсов рекомендательных систем. Первая модель описывает систему первичных единиц концептуального уровня, используемых РекС. Вторая модель характеризует многообразие смысловых структур, соответствующих запросам пользователей на нормализованном естетвенном (русском) языке. Третья модель описывает логическую структуру лингвистической базы данных.

В третьей главе разработаны два алгоритма, последовательно преобразующие нормализованный естественно-языковой запрос пользователя рекомендательной системы (запрос на русском языке) сначала в его семантическое представление (СП), а затем в SQL-выражение для последующей организации взаимодействия с базой данных о товарах и выдачи рекомендации пользователю. Промежуточное СП является K-представлением запроса, т.е. выражением некоторого СК-языка (стандартного концептуального языка). Оба алгоритма программно реализованы на языке Веб программирования PHP.

В четвёртой главе рассмотрен комплекс вопросов, касающихся обработки SQL запросов пользователя, в том числе вопрос организации диалога с пользователем. Для организации диалога разработана КС-грамматика в форме Бэкуса-Наура для порождения выражений, отражающих ситуацию диалога с пользователем. Предложена формула для определения очерёдности вывода пользователю отдельных товаров из общего списка релевантных товаров. Выполнено компьютерное моделирование для исследования поведения значений формулы в широком диапазоне изменения значений входных параметров. Сформулированы рекомендации для интеграции разработанного программного комплекса в существующие решения.

4.9. Выводы по Главе 4

В данной главе получены следующие основные результаты:

1. Разработана КС-грамматика в форме Бэкуса-Наура для порождения выражений, отражающих ситуацию диалога с пользователем.

2. Разработан обобщённый алгоритм обработки SQL запроса, соответствующего входному запросу пользователя рекомендательной системы (РекС) на нормализованном естественном (русском) языке. Этот алгоритм программно реализован на языке Веб программирования PHP.

3. Разработана формула для определения очерёдности вывода пользователю отдельных товаров из общего списка релевантных товаров. Выполнено компьютерное моделирование для исследования поведения значений формулы в широком диапазоне изменения значений входных параметров.

4. Сформулированы рекомендации для интеграции разработанного программного комплекса в существующие решения.

5. Работоспособность и эффективность разработанного программного комплекса была проверена посредством интеграции на сайте http://www.allworldauto.ru, где представлены характеристики автомобилей различных стран и лет выпуска.

Заключение по диссертации

В данной диссертационной работе получены следующие основные результаты:

1. Разработана проблемно-ориентированная математическая модель системы первичных единиц концептуального уровня, используемой естественноязыковым интерфейсом рекомендательной системы (РекС).

2. Построена математическая модель многообразия смысловых структур, соответствующих запросам пользователей на нормализованном естественном языке, предназначенная для использования в качестве центрального компонента описания входного языка ЕЯ-интерфейса РекС.

3. Разработан алгоритм, преобразующий нормализованный естественноязыковой запрос пользователя рекомендательной системы (запрос на русском языке) в его семантическое представление, являющееся К-представлением запроса, т.е. выражением некоторого СК-языка (стандартного концептуального языка).

4. Построен алгоритм, преобразующий K-представление запроса в SQL-выражение для последующей организации взаимодействия с базой данных о товарах и выдачи рекомендации пользователю.

5. Разработана структура реляционной базы данных для хранения морфологической и семантико-синтаксичесокй информации, связанной с лексическими единицами. Программно реализован набор функций языка Веб программирования PHP, предназначенный для преобразования входного текста на русском языке в SQL запрос.

6. Разработана КС-грамматика в форме Бэкуса-Наура для порождения выражений, отражающих ситуацию диалога с пользователем.

7. Разработана формула для определения очерёдности вывода пользователю отдельных товаров из общего списка релевантных товаров. Выполнено компьютерное моделирование для исследования поведения значений формулы в широком диапазоне изменения значений входных параметров.

8. Сформулированы рекомендации для иитеграции разработанного программного комплекса в существующие решения.

9. Разработанный программный комплекс был успешно внедрён на сайте http://www.allworldauto.ru. I

1. Антопольский А., Майорович Т., Чугунов А. Формирование электронного документного пространства и перспективы создания Российской ассоциации электронных библиотек// Информационные ресурсы России. 2005. № 1 (83). С. 2-5.

2. Арлазаров B.JL, Емельянов Н.Е. Организационное управление и искусственный интеллект (Ред.) // Сборник трудов ИСА РАН. М, Едиториал УРСС, 2003. -448 с.

3. Арлазаров В.Л., Емельянов Н.Е. Документооборот. Прикладные аспекты (Ред.) // Сб. трудов ИСА РАН. М„ Едиториал УРСС, 2004. 184 с.

4. Белов А. А., Волович М. М. Автоматическое распознавание тематики сверхкоротких текстов // Труды Междунар. Семинара Диалог'2007 по компьютерной лингвистике, URL http://www.dialog-21.ru/dialog2007/ materials/html/05 .htm

5. Богатырев М.Ю., Тюхтин В.В. Построение концептуальных графов как элементов семантической разметки текстов. // Труды Междунар. семинара Диалог'2009 по компьютерной лингвистике, URL http://www.dialog21 .ru/di alog2009/m ater ials/html/0 6. htm

6. Большаков И.А., Большакова Е.И., Гельбух А.Ф. Ассоциативная сеть понятий, образующих запросы к Интернету, URL http://www.dialog-21 ,ru/dialog2010/materials/html/10.htm

7. Проект Диалинг Автоматическая Обработка Текста, http://www.aot.ru/

8. Ермаков А.Е. Неполный синтаксический анализ текста в информационно-поисковых системах // Компьютерная лингвистика и интеллектуальные технологии. Труды Междун. семинара Диалог'2002. В двух томах. Т. 2. Прикладные проблемы. М, Наука, 2002.-С. 180-185.

9. Жигалов В. А. Об опыте разработки системы построения ЕЯ-интерфейсов к базам данных. // Труды Международного семинара Диалог'98, Казань, 1998. С. 801 808.

10. Жигалов В.А. Естественное общение с приложением // Открытые системы №12/2001, стр. 22-27. http://inbase.artint.ru/article/zhigalov-0102.asp

11. Имхонет, мультикультурный рекомендательный сервис (рекомендательная система); // http://www.imhonet.ru/

12. Киселев СЛ., Ермаков А.Е., Плешко В.В. Поиск фактов в тексте естественного языка на основе сетевых описаний // Компьютерная лингвистика и интеллектуальные технологии. Труды Междунар. конф. Диалог'2004 (Верхне-волжский, 2-7 июня 2004 г.). С. 282-285.

13. Козеренко Е.Б., Кузнецов И.П. Эволюция лингво-семантических представлений в интеллектуальных системах на основе расширенных семантических сетей // Институт проблем информатики РАН, Москва, URL http://www.dialog-21 .ru/dialog2010/materials/html/33 .htm

14. Кретов A.A., Воронеж A.B. Программа семантической классификации лексики ПроСеКа: теоретические и прикладные аспекты // Труды Междунар. семинара Диалог'2009 по компьютерной лингвистике 2009, URL http://www.dialog-21 .ru/dialog2009/materials/html/3 7.htm

15. Кузнецов Б А., Солнцева Е.К., Деревянкин М.В., Закамская Д.В. Обработка запросов на естественном языке новое качество поиска в БД ВИНИТИ // НТИ. Серия 2. Информационные процессы и системы. 2001. № 11. - С. 31-37.

16. Кузнецов И.П. Кибернетические диалоговые системы // М: Наука, 1976. -299 с.

17. Кузнецов И.П. Механизмы обработки семантической информации // М: Наука, 1978.-С. 175.

18. Кузнецов И.П. Семантические представления // М: Наука, 1986.- 290 с.

19. Кузнецов И.П., Шарнин М.М. Интеллектуальный редактор знаний на основе расширенных семантических сетей // В сб. И.А. Мизин (отв. ред.), Системы и средства информатики. Вып. 5. М.: Наука, 1993. С. 14-21.

20. Курбатов С.С. Автоматизированное построение естественно-языкового интерфейса для реляционных баз данных // Новости искусственного интеллекта. 2002. № 2. С. 17-21.

21. Люгер Дж.Ф. Искусственный интеллект. Стратегии и методы решения сложных проблем // 4-е издание. Пер. с англ. М.¡Издательский дом "Вильяме", 2003.-864 с.

22. Люстиг И.В., Фомичев В.А. Принципы формального отображения семантики лексических единиц, предложений и дискурсов в интеллектуальной поисковой системе Мес^еагсИ // Компьютерная лингвистика и интеллектуальные технологии. Труды Междунар. конф. Диалог'2004

23. Всрхневолжский, 2-7 июия 2004 г.) . С. 431-435.

24. Мальковский М.Г. Диалог с системой искусственного интеллекта. М., издательство МГУ, 1985.-214 с.

25. Мальковский М.Г., Шикин И.Ю. Нечеткий лингвистический интерфейс // Программирование, 1998. № 4. С. 50-61.

26. Микулич Л.И. Интеллектуальный интерфейс: достижения и проблемы.// Международная конференция по проблемам управления.(29 июня — 2 июля 1999 года). Избранные труды. Том 2: Москва. ИПУ. 1999. С. 68-74.

27. Микулич Л.И. Онтологии в системах с интеллектуальным интерфейсом. // Научная сессия МИФИ-2000. Сборник научных трудов. МИФИ. М.: 2000. С.165-174.

28. Микулич Л.И. Базовая модель интеллектуального интерфейса. // Труды Института проблем управления. Том XI // М.- 2000. С. 5 16.

29. Микулич Л.И. Модель интеллектуального интерфейса. // Труды КИИ-2000. Т. 1. // М.: ФИЗМАТЛИТ 2000. С. 389 - 398.

30. Осипов Г.С. Построение модели предметных областей. Неоднородные семантические сети // Изв. АН СССР. Техн. Кибернетика. 1990. № 5. С. 32-45.

31. Осипов Г.С. Приобретение знаний интеллектуальными системами // М: Наука, Физматлит. 1997. 112с

32. Осипов Г.С, Куршев Е.П., Кормалев Д.А., Трофимов И.В., Рябков О.В., Тихомиров И.А. Семантический поиск в среде Интернет // Препринт. 2003. Переславль-Залесский, ИПС РАН.-37 с.

33. Пацкин А.Г. Опыт построения полной морфемно-ориентированной сети для русского языка // Компьютерная лингвистика и интеллектуальные технологии. Труды Междунар. конф. Диалог'2004 (Верхневолжский, 2-7 июня 2004 г.). С. 493-498.

34. Правиков A.A. Некоторые принципы и средства организации диалога с пользователем рекомендательной системы // Научные труды. МАТИ, 2009. Вып. 15(87) С. 192-195.

35. Правиков A.A. Элементы формализации диалога с пользователем русскоязычного интерфейса рекомендательной системы // Научные труды Международной молодежной научной конференции XXXVI Гагаринские чтения Москва, 8-9 апреля, МАТИ, 2010. Т.4, С. 39-40.

36. Правиков A.A. Разработка алгоритмов обеспечения русскоязычного интерфейса рекомендательной системы // Новые материалы и технологии НМТ-2010, Том 2 МАТИ. Москва 2010 С. 124.

37. Правиков A.A. Формальные средства для разработки рекомендательной системы с естественно-языковым интерфейсом // Научные труды. МАТИ, Вып. 17(89), 2010. С. 255-259

38. Правиков A.A. Метод формализации проектирования рекомендательных систем с семантически-ориентированным естественно-языковым интерфейсом // Ученые записки Российского государственного социального университета, 2010, № 11.

39. Рекомендательные система, свободная энциклопедия ВикипедиЯ // Ьир://ги^1к1ресйа.ог^ш1к1/Рекомендательнаясистема

40. Тузов В.А. Компьютерная семантика русского языка // Труды Междун. семинара Диалог'2001 по компьютерной лингвистике и ее приложениям. Том 2. Прикладные проблемы. РосНИИ Искусств. ИИнтеллекта, 2001. С. 356-363.

41. Фомичёв В.А. Представление информации средствами К-исчислений: Учебное пособие // М., Московский институт электронного машиностроения (МИЭМ), 1988.- 60 с.

42. Фомичёв В.А. К-исчисления, К-языки и проблематика создания фонда естественно-языковых процессоров //Вторая Всесоюз.конф. по созданию Машинного Фонда русского языка (Материалы конф.).- М., Институт русского языка АН СССР, 1988.- С. 99-106.

43. Фомичёв В.А. К-языки и разработка новых информационных технологий // Новые информационные технологии в системотехнике / Под ред. Л.С. Болотовой.-М.: Радио и Связь, 1990. С. 53-62.

44. Фомичёв В.А. Математические основы представления смысла текстов для разработки лингвистических информационных технологий. Часть I. Модель системы первичных единиц концептуального уровня // Информационные технологии. 2002. № 10. С. 16-25.

45. Фомичёв В.А. Формализация проектирования лингвистических процессоров. Москва, МАКС Пресс, 2005.- 368 с.

46. Фомичёв В.А. Формализация структуры основных словарей лингвистической базы данных// Качество и ИПИ (САЬ8)-технологии. № 3. 2005. С. 30-38.

47. Фомичёв В.А. Стандартные К-языки как универсальный и гибкий инструмент формирования контрактов и протоколов переговоров в области электронной коммерции //Информационные технологии. 2005. № 3. -С. 26-29.

48. Фомичев В.А. Семантико-синтаксические анализаторы вопросо-ответных Интернет-систем нового поколения как инструмент повышения качества высшего образования // Качество. Инновации. Образование. 2005. № 1. С. 6772.

49. Фомичев В.А. Понятие текстообразующей системы как компонент нового формального аппарата для проектирования лингвистических процессоров // Информационные технологии. № 8. 2005. С. 22-27.

50. Фомичев В.А. Новый метод преобразования естественно-языковых текстов в семантические представления // Информационные технологии. 2005. № 10. С. 25-35.

51. Фомичев В.А. Новый класс языков для представления содержания посланий компьютерных интеллектуальных агентов // Качество и ИПИ (CALS)-технологии. № 1. 2005. С. 34-39.

52. Фомичев В.А. Класс формальных языков и алгоритм для построения семантических аннотаций Веб-доку ментов // Вестник МГТУ имени Н.Э. Баумана. Сер. «Приборостроение». 2005. № 3 (60). С. 73-86.

53. Фомичев В.А. Математические основы представления содержания посланий компьютерных интелектуальных агентов. М., ГУ-ВШЭ, изд-во ТЕИС, 2007. — 176 с.

54. Фомичев В.А. Подход теории К-представлений к формальному отображению содержания контрактов и протоколов переговоров в области электронной коммерции // Бизнес-информатика. Междисциплинарный научно-практический журнал. 2007. № 2. С. 34-38.

55. Anboto 2010. Guidewire Group Announces the Innovate! 100 List of High-Performing Startups Around the World; available online at http://www.innovatel00.com/.

56. Androutsopoulos I., Ritchie G. D. Natural Language Interfaces to Databases an Introduction //Natural Language Engineering, Cambridge University Press, 1995, 29-81.

57. Ardissono L., Goy A., Petrone G., Segnan M. A software architecture for dynamically generated adaptive Web stores (2001) // In Proc. of the 17th Int. Joint Conf. on Artificial Intelligence, IJCAI'01.

58. Berners-Lee T., Hendler J., Lassila O. The Semantic Web // Scientific American, May 2001, p. 29-37.

59. Berners-Lee T., Hall W., Hendler J.A., O'Hara K., Shadbolt N., Weitzner D.J. A Framework for Web Science // Foundations and Trends in Web Science, 2006, Vol. 1, Issue 1. now Publishesr Inc., Hanover, MA, USA. 134 p.

60. Bhat S., C Anantaram., Hemant J. Framework for text-based conversational userinterface for business applications // Lecture Notes in Computer Science, 2007, Vol. 4798/2007,301-312.

61. Billsus, D., Pazzani, M. User Modeling for Adaptive News Access // User Modeling and User-Adapted Interaction, 2000, Vol. 10, Nos. 2-3, pp. 147-180.

62. Chai J., Horvath V., Nicolov N. Natural Language Assistant A Dialog System for Online Product Recommendation // AI Magazine, 2002, V. 23, No. 2, p. 63-76.

63. Cimiano P., Haase P., Heizmann J., Mantel M., Studer R. Towards portable natural language interfaces to knowledge bases The case of the ORAKEL system, Journal Data & Knowledge Engineering Archive, Vol. 65, Issue 2, May 2008 -P. 325-354.

64. Fomichov V.A. Mathematical models of natural-language-processing systems as cybernetic models of a new kind. Cybernetica (Belgium). 1992. V. XXXV . N. 1. P. 63-91.

65. Fomichov V.A. Towards a mathematical theory of natural-language communication // Informática. An Int. J. of Computing and Informatics (Slovenia). 1993. 17(1). P. 21-34.

66. Fomichov V.A. K-calculuses and K-languages as powerful formal means to design intelligent systems processing medical texts // Cybernetica (Belgium). 1993. V. XXXVI. N. 2. P. 161-182.

67. Fomichov V.A. Integral Formal Semantics and the design of legal full-text databases // Cybernetica (Belgium). 1994. V. XXXVII. N. 2. P. 145-177.

68. Fomichov V.A. A mathematical model for describing structured items of conceptual level // Informática (Slovenia). 1996. V. 20. N. 1. P. 5-32.

69. Fomichov V.A. The Method of Constructing the Linguistic Processor of thej

70. Studies, Vienna. 2008. Vol. 2. pp. 537-542 (2008)

71. Fomichov V.A. Semantics-Oriented Natural Language Processing: Mathematical Models and Algorithms // Springer: New York, Heidelberg, London, 2010. 354 p.

72. Fomichov V.A. Theory of K-representations as a Comprehensive Formal Framework for Developing a Multilingual Semantic Web // Special Issue on

73. Semantic Informational Technologies of Informatica. An International Journal of Computing and Informatics (Slovenia), 2010, Vol. 34, No. 3. P. 287-296.

74. Germany-RecSyst 2003 An accommodation recommender system based on associative networks (2003) // Available online, URL http://ispaces.ec3.at/papers/DITTENBACFI.EA2003a-natural-language.pdf.

75. Germany-RecSyst 2006 How to analyze free text descriptions for recommending TV programmes (2006) Available online, URL http://www8.informatik.uni-erlangen.de/IMMD8/Lectures/EINFKI/ecai2006.pdf.

76. Goldberg, D., Nichols, D., Oki, B.M., Terry, D. Using collaborative filtering to weave an information tapestry // Comm. of the ACM, 1992, 35(12). P. 61-70.

77. Haase P., Herzig D., Musen M., Thanh T. Semantic Wiki Search, Lecture Notes in Computer Science, 2009, Vol. 5554/2009, 445-460.

78. Haase P., Mathafi Т., Ziller M. An evaluation of approaches to federated query processing over linked data// Proceeding I-SEMANTICS TO Proceedings of the 6th International Conference on Semantic Systems, 2010.

79. Herlocker J.L., Konstan J.A. Content-Independent Task-Focused Recommendation // IEEE Internet Computing, vol. 5, no. 6, pp. 40-47, Nov./Dec. 2001.

80. Hwang C.H., Schubert L.K. Episodic Logic: a comprehensive, natural representation for language understanding // Minds and Machines, 1993, Vol. 3 -P.381-419.

81. InBASE: создание и настройка ЕЯ-интерфейсов. Инструкции и рекомендации http://inbase.artint.ru/docs/docs.asp?show=cre&page=l

82. Java Servlet Technology // http://java.sun.com/products/servlet/

83. Jin R., Si L., and Zhai C. Preference-Based Graphic Models for Collaborative Filtering // Proc. 19th Conf. Uncertainty in Artificial Intelligence (UAI 2003), August 2003.

84. Jin R., Si L., Zhai C. and Callan J. Collaborative Filtering with Decoupled Models for Preferences and Ratings //Proc. 12th International Conf. Information and KnowledgeManagement (CIKM 2003), November 2003.

85. Kaufmann E., Bernstein A., Zumstein R. A natural language interface to query ontologies based on clarification dialogs // Proc. 5th International Semantic Web Conference (ISWC 2006), Springer (November 2006), p. 980-981.

86. Kaufmann E., Bernstein A. How useful are natural language interfaces to the semantic web for casual end-users? // Proceedings of the Forth European Semantic Web Conference (ESWC 2007), Innsbruck, Austria, June 2007.

87. Lei Y., Uren V. Motta, E. Semsearch: a search engine for the semantic web // Managing Knowledge in a World of Networks, Springer Berlin / Heidelberg (2006) -P.23 8-245.

88. Lopez V., Motta E. Ontology driven question answering in AquaLog. In: NLDB2004 (9th International Conference on Applications of Natural Language to Infor- 'mation Systems), Manchester, UK (2004)

89. Mithun S., Kosseim L. Resolving quantifier and number restriction to question OWL ontologies. In: Proceedings of The First International Workshop on Question Answering (QA2007), Xian, China (October 2007). -P. 6.

90. Pazzani, V. A Framework for Collaborative, Content-Based, and Demographic Filtering // Artificial Intelligence Revue, Dec. 1999, p. 393-408.

91. PHP is an HTML-embedded scripting language http://www.php.net

92. Popescu A.-M., O. Etziony O., Kautz E. Towards a theory of natural-language interfaces to databases // In: Proc. of the 8th International Conference on Intelligent User Interfaces, 2003, Miami, FL , 149-157.

93. Popescu A. M. Information Extraction from Unstructured Web Text, University of Washington, A dissertation submitted in partial fulfillment of the requirements for the degree of Doctor of Philosophy, 2007, -P. 152.

94. Popov B., Kiryakov A., Ognyano D., Manov D., Kirilov A., Goranov M. Towards Semantic Web Information Extraction // Human Language Technologies

95. Workshop at the 2nd International Semantic Web Conference (IS WC2003), Florida, USA (2003). -P. 21.

96. Portable Operating System Interface (for UniX) http://www.posix.ru

97. Resnick, P., Varian, H.R. Recommender Systems // Commun. ACM, 1997, 40(3):56-58.

98. RDF/XML Syntax Specification (Revised) , Dave Beckett, Editor. W3C Recommendation, 10 February 2004 (2004) // URLhttp://www.w3.org/TR/2004/REC-rdf-syntax-grammar-20040210/. Latest version available at http://www.w3.org/TR/rdf-syntax-grammar.

99. Ruotsalo T. Methods and Applications for Ontology-Based Recommender Systems. Aalto University, TKK Dissertations 222, 2010.

100. Schank, R.C. Conceptual Dependency: a theory of natural language understanding. Cognitive Psychology. 1972. V. 3. N. 4. pp. 552-631. »

101. Sowa J. F. Conceptual graph standard and extensions, in M-L Mugnier, & M. Chein, eds., Conceptual Structures: Theory, Tools, and Applications // Lecture Notes in AI #1453, Springer-Verlag, Berlin, 1998, pp. 3-14.

102. Sowa J. F. Conceptual Graphs // In P. Bernus, K. Mertins, & G. Schmidt, eds. // Handbook on Architectures of Information Systems, Second edition, SpringerVerlag, Berlin, 2006, pp. 295-319.

103. Sowa J. F. Conceptual Graphs // In F. van Harmelen, V. Lifschitz, and B. Porter, eds., Handbook of Knowledge Representation, Elsevier, 2008, pp. 213-237.

104. Stynes P., Conlan O., O'Sullivan D. Towards a Simulation-based Communication Tool to Support Semantic Business Process Management, 3rd international Workshop on Semantic Business Process Management, 2008

105. Wârnestâl P. Dialogue Behavior Management in Conversational Recommender ems // Linköping Studies in Science and Technology Dissert. No. 1113, 2007.

106. WebSphere Application Server// http://www.ibm.com/developerworks/ ru/websphere/newto/

107. Zhou L. Natural language interface for information management on mobile devices, J. Behaviour & Information Technology Archive, 2007, Vol. 26, Issue 3.