автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Алгоритмы и комплекс программ моделирования персонифицированного естественно-языкового взаимодействия оператора с ЭВМ

На правах рукописи

СУРАНОВА Дарья Александровна

АЛГОРИТМЫ И КОМПЛЕКС ПРОГРАММ МОДЕЛИРОВАНИЯ ПЕРСОНИФИЦИРОВАННОГО ЕСТЕСТВЕННО-ЯЗЫКОВОГО ВЗАИМОДЕЙСТВИЯ ОПЕРАТОРА С ЭВМ

05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат

диссертации на соискание ученой степени кандидата технических наук

005544987

Томск - 2013

005544987

Работа выполнена на кафедре теоретической кибернетики и прикладной математики ФГБОУ ВПО «Алтайский государственный университет» и на кафедре комплексной информационной безопасности электронно-вычислительных систем ФГБОУ ВПО «Томский государственный университет систем управления и радиоэлектроники»

Научный руководитель:

Официальные оппоненты:

доктор технических наук, доцент Мещеряков Роман Валерьевич

Силич Виктор Алексеевич, доктор технических наук, профессор (Национальный исследовательский Томский политехнический университет, профессор кафедры оптимизации систем управления)

Ведущая организация:

Мельников Сергей Юрьевич, кандидат физико-математических наук (ООО «Лингвистические и информационные технологии», заместитель генерального директора, г. Москва)

Санкт-Петербургский институт информатики и автоматизации Российской академии наук

Защита диссертации состоится «25» декабря 2013 г. в 15— на заседании диссертационного совета Д 212.268.02 в ФГБОУ ВПО «Томский государственный университет систем управления и радиоэлектроники» по адресу: 634050, г. Томск, пр. Ленина, 40.

С диссертационной работой можно ознакомиться в библиотеке ФГБОУ ВПО «Томский государственный университет систем управления и радиоэлектроники» по адресу: 634050, г. Томск, ул. Вершинина, 74.

Автореферат разослан 22 ноября 2013 г.

Ученый секретарь диссертационного совета

Р.В. Мещеряков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В связи с повсеместным распространением компьютеров в различных сферах общественной жизни, возникает необходимость в простых и понятных способах человеко-машинного взаимодействия. В настоящее время удобство пользователя является приоритетной задачей, и для достижения этой цели используются не только графические, но и голосовые, сенситивные, тактильные решения. Несмотря на широкие возможности, многие программные продукты, реализованные на автоматизированных рабочих местах, ограничиваются лишь использованием графического способа обмена данными, особенно если это касается взаимодействия с персональным компьютером. В сложных вычислительных системах большое внимание уделяется точности расчетов, а не процессу взаимодействия пользователя с программой. Тем не менее хорошо продуманный интерфейс, включающий речевое взаимодействие человека и ЭВМ, может существенно сократить временные затраты операторов и в некоторых случаях повысить точность задания исходных данных.

Исследованием возможностей применения естественного языка занимались такие ученые, как Т.В. Батура, Терри Виноград, O.A. Герасименко, В.А. Жигалов, Ю.А. Косарев и другие. Программные системы, использующие распознавание и генерацию речевых сигналов на ЭВМ, были успешно применены для научных исследований многими российскими и зарубежными учеными, такими как A.B. Аграновский, А. Блэк, В.П. Бондаренко, Т.К. Винцюк, В.Р. Женило, Ю.Н. Жигу-левцев, Ю.И. Журавлев, Н.Г. Загоруйко, Д. Клатг, Э.Г. Кнеллер, Ю.И. Косарев, О.Ф. Кривнова, Д.А. Леднов, Б.М. Лобанов, Р.В. Мещеряков, Р.К. Потапова, И.В. Поттосин, А.Л. Ронжин, С.Ю. Мельников, Ю.Н. Ромашкин, М.А. Сапожков, А.К. Скляров, В.Н. Сорокин, П. Тэйлор, Г. Фант, Дж. Фланаган, М.В. Хитров, В.Я. Чучупал и другими. Проведенные в последнее время исследования позволили существенно снизить количество ошибок распознавания речи и разработать новые способы адаптации в системе человеко-машинного взаимодействия на естественном языке. Однако исследований, посвященных применению речевых возможностей в определенных областях человеческой деятельности, проводится недостаточно.

Таким образом, тема диссертации, посвященная решению проблем человеко-машинного взаимодействия на естественном языке, является актуальной.

Целью данной работы является разработка теоретико-множественной модели процессов персонифицированного человеко-машинного взаимодействия и комплекса программ, реализующего сценарии естественно-языкового взаимодействия в ограниченной предметной области.

Для достижения данной цели необходимо решить следующие задачи:

1. Анализ предметной области и обзор существующих подходов к решению проблемы многомодального человеко-машинного взаимодействия.

2. Проектирование теоретико-множественной модели процессов человеко-машинного взаимодействия с учетом ограничений предметной области.

3. Проектирование структуры системы компьютерного моделирования процессов взаимодействия человека и ЭВМ с использованием речевых технологий на естественном языке.

4. Проведение комплекса экспериментальных исследований по сравнению качества речевых модулей, по оценке вариантов взаимодействия, способов адаптации системы к сложности диалога.

5. Модификация численных алгоритмов поиска синонимов и алгоритма поиска слова, эквивалентного эталонному, при наличии ограничения предметной области.

6. Разработка алгоритмического и программного обеспечения персонифицированного естественно-языкового взаимодействия, применяющего методические рекомендации по построению многомодальных естественно-языковых интерфейсов.

Объект исследования. Процессы взаимодействия человека и ЭВМ на естественном языке.

Предметом исследования является разработка системы компьютерного моделирования для исследования возможностей применения естественно-языкового взаимодействия в системах автоматизации рабочих мест.

Соответствие содержания диссертации избранной специальности.

Диссертация выполнена в соответствии с пп. 4. «Реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента»; 5. «Комплексные исследования научных и технических проблем с применением современной технологии математического моделирования и вычислительного эксперимента»; 8. «Разработка систем компьютерного и имитационного моделирования» паспорта специальности 05.13.18 - «Математическое моделирование, численные методы и комплексы программ» ВАК (технические науки).

Методы исследования. Для достижения поставленных целей использовались методы имитационного моделирования, прикладное, системное программирование, программирование баз данных, а также вычислительный эксперимент.

Научная новизна работы

1. Предложена новая теоретико-множественная модель процессов человеко-машинного взаимодействия, в основу которой положены многомодальные интерфейсы и обоснованная совокупность параметров настройки автоматизированных рабочих мест.

2. Модифицированы численные алгоритмы поиска слова, эквивалентного эталонному, и алгоритмы поиска синонимов при наличии ограничения предметной области и сценариев взаимодействия.

3. Разработаны алгоритмы персонифицированного построения естественно-языкового взаимодействия ограниченной предметной области, отличающиеся от существующих наличием обоснованных методических рекомендаций и учетом модальности интерфейсов.

Теоретическая и практическая значимость. Результаты диссертации могут быть использованы для развития математического моделирования и обработки информации речевого взаимодействия и для совершенствования математического и программного обеспечения прикладных информационных систем.

Практическая значимость результатов работы определяется возможностями их использования для повышения точности и сокращения времени ввода и контроля данных при создании речевых интерфейсов. Разработанные алгоритмы, программный комплекс и базы данных используются в ООО «Биллинговый центр», ООО «НПФ «АИСТ». Результаты работы используются в учебном процессе в Алтайском государственном университете и Томском государственном университете систем управления и радиоэлектроники.

Основные положения, выносимые на защиту.

1. Теоретико-множественная модель процессов человеко-машинного взаимодействия позволяет описать взаимодействие с учетом предметной области, ограничений, протоколов, сценариев поведения, типа, характеристик и целей пользователя.

2. Численный алгоритм поиска слова, эквивалентного эталонному, использующий словарь синонимов, и численный алгоритм схожести слов, учитывающий ограничения предметной области и сценарии взаимодействия.

3. Алгоритмическое и программное обеспечение персонифицированного естественно-языкового взаимодействия, сокращающее время, затрачиваемое на операцию, и применяющее методические рекомендации по построению многомодальных интерфейсов.

Апробация работы. Основные результаты работы докладывались и обсуждались на российских и международных научно-практических конференциях: региональных конференциях по математике «МАК-2012», «МАК-2013» (Барнаул, 2012, 2013 гг.); Всероссийской научно-практической конференции «Многоядерные процессоры, параллельное программирование, ПЛИС, системы обработки сигналов», посвященной 40-летию АлтГУ (Барнаул, 2013); II Всероссийской научно-технической конференции молодых ученых, аспирантов и студентов с международным участием «Высокие технологии в современной науке и технике» (Томск 2013); Краевом семинаре по геометрии и математическому моделированию (Барнаул, 2013); X Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Наука и молодежь-2013»

(Барнаул, 2013); Всероссийской молодежной школе-семинаре «Анализ, геометрия и топология» (Барнаул, 2013), Международной молодежной школе-семинаре «Ломоносовские чтения на Алтае-2013» (Барнаул, 2013); научно-практической конференции «Виртуальные и интеллектуальные системы» (Барнаул, 2013).

Публикации. По теме диссертации автором опубликовано 12 печатных работ, в том числе 4 статьи в ведущих реферируемых научных журналах, рекомендуемых ВАК Минобрнауки РФ для публикаций результатов диссертационных работ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 102 источников, содержит 17 таблиц и 31 рисунок. Общий объем работы составляет 128 страниц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследования, определяются цель, задачи, объект, предмет, методы исследования, раскрывается научная новизна, формулируются положения, выносимые на защиту.

В первой главе проводится обзор современного состояния проблемы взаимодействия человека и компьютера в автоматизированных системах. В настоящее время к человеко-машинным интерфейсам предъявляются высокие требования. В качестве примеров для разных областей можно рассмотреть приложение «Собеседница», использующее голосовой интерфейс мобильного телефона, программу «Watson» компании IBM, приложения «Умного дома» и другие. Существуют голосовые решения для биллинговых систем, такие как приложения для сбора показаний по счетчикам, программы обзвона абонентов для напоминания о задолженности и другие. Указанные программы предназначены для широкого круга пользователей. Операторы ЭВМ в своей профессиональной деятельности, как правило, взаимодействуют с системой через графические инструменты. Работа оператора с приложением происходит в одностороннем режиме, без обратной связи, что является для человека неестественным и увеличивает вероятность ошибки. Тенденции развития современных способов взаимодействия людей с устройствами таковы, что происходит переход к решениям, способным адаптироваться в процессе диалога под конкретного пользователя. При этом возможности применения таких решений в профессиональной деятельности операторов ЭВМ исследуются и моделируются недостаточно. Вследствие этого ставится задача диссертационного исследования - рассмотреть способы обеспечения человеко-машинного взаимодействия для автоматизированных рабочих мест с применением речевых технологий.

Во второй главе рассматриваются способы обеспечения взаимодействия, производится формальная постановка задачи на основе теоретико-множественного описания модели, производится выделе-

ние областей применения данной модели на примере биллинговой системы. Рассматриваются способы оценки эффективности системы и приводятся примеры испытаний.

В качестве примера рассматривается биллинговая система учета платы за жилищно-коммунальные ресурсы. Биллинговая система -автоматизированная система учёта предоставленных услуг, их тарификации и выставления счетов для оплаты. Для постановки задачи в формальном виде используется теоретико-множественное описание процессов человеко-машинного взаимодействия, для реализации - многомодальные интерфейсы, использующие режимы речевого и графического ввода/вывода данных. Определим множества и отношения:

- типы пользователей Р = {prie К},К = {1,...,к], в частности,

к = 3; pi - специалист ВЦ; р2 - бухгалтер по квартплате; рз - поставщик услуг;

- характеристики пользователей н ={h,i& L},L = {l,...,l}, в частности, I — 4; hi — пол; кг — возраст; /гз - четкость дикции; /г4 - четкость слуха;

- цели пользователей С = {с1,/еМ},М=(1.....m}, в частности;

m - 4; cj - найти лицевой счет; q - сформировать отчет; cj - ввести показания; q — ввести адрес;

- моменты времени Т = {f}

- технические варианты реализации взаимодействия: множество

входных ¡п = {Wj.ie Y},Y = {1.....>-} и выходных Out = {otlJe Z],

Z ={1,...,г} взаимодействий. Примем у = 3, iti\ - ввод с клавиатуры, im — ввод голосом при помощи микрофона с использованием модуля распознавания М1, Шз - ввод голосом при помощи микрофона с использованием модуля распознавания М2, z = 3, ot\ - вывод информации посредством дисплея, otj - вывод информации через динамики (в речевой форме) при помощи модуля синтеза С2, о?3 - вывод информации через динамики (в речевой форме) при помощи модуля синтеза СЗ;

- сценарии работы s ={snie Х},Х ={1,Сценарий работы зависит от цели, типа пользователя и от решений, принимаемых в процессе работы в системе. Примем s, =fi(p, с, v(t)), ре Я,ce C,ve V где v(t)~ решение, принимаемое пользователем в момент времени t.

Множество допустимых протоколов взаимодействия определяется декартовым произведением множеств С, S, Т, In, Ouf. Res" £ Cn xSnxTx lnn x Outn ■ Под протоколом в данном случае понимается совокупность правил взаимодействия функционально значимых блоков системы.

Для каждого протокола определим множество показателей: D = {Di(P,H,C,S,N,In,Out),ie N},N ={1,...,п}. Примем п = 3, Dx -продолжительность времени взаимодействия, Z)2 - уровень ошибок, Оз — степень удовлетворенности пользователей и т.д. Пусть величина показателя D, определяет уровень качества по данному критерию,

то есть чем больше ошибок, время взаимодействия и негативная реакция пользователей, тем величина больше. Введем также множество коэффициентов значимости для D: В = {h,ie N} ■

Целью является поиск параметров х, у, z, таких, что для известных параметров к, I, т будет выполняться условие:

Xji * Iny,Outz) -> min,

где п - количество показателей. Для организации процесса взаимодействия введены следующие ограничения:

- ограничения, связанные с квалификацией и предпочтениями пользователей 0\\

- ограничения внешней среды (шум, расстояние до микрофона) Оъ

- программные ограничения и ограничения физических устройств (отсутствие интернета, микрофона, поддержки модулей) Oy,

- количество модальностей для данной модели равно двум, т.е. интерфейс для ввода и вывода данных может быть голосовым или графическим О4,

- словарь предметной области ограничен выбранной областью О5;

- взаимодействие должно проходить в режиме, близком к реальному времени Об- Множество моментов времени было определено ранее, поэтому данное условие можно записать как t —> min. При этом допустимо ввести максимальные временные величины ожиданий для различных типов действий: Tm = {tm„ie Q],Q = {\,-,q}- Примем <7 = 5, tm\ = 0,2 с для подтверждения простого действия (клик мышью, нажатие клавиши), Шг = 1 с для ответа на простую команду, Шз = 2 с допустимая пауза при ведении диалога, Шц = 4 с для ответа на сложный вопрос, Ш5 = 20 с для ответа на вопрос в мультизадачном режиме. Если время выполнения выбранного действия превышает определенный лимит, то это действие необходимо отменить.

Пусть F (Oi) —* min, если ограничение О, выполнено. Тогда целью является обеспечение условий, при которых ^6 F(0,.)->min. Таким образом взаимодействие должно быть реализовано в виде интерактивного диалога с учетом типа и квалификации пользователя. Обобщая вышесказанное, для обеспечения оптимального взаимодействия необходимо выполнение условий:

Ц, b,*D,(Pt,HnCm,Sx, Т, 1пу, Омг) —> min,

F(Oi) —> min, t —> min.

Целью исследования является поиск такого множества протоколов взаимодействия, в котором будет выбран наиболее эффективный сценарий ведения диалога в режиме реального времени и достигнуто оптимальное соотношение модальностей - графического и речевого взаимодействия. Для реализации речевого способа взаимодействия и адаптации системы к индивидуальным особенностям пользователей можно применять системы синтеза и распознавания

речи с учетом информационного фона и управлять параметрами системы за счет персонифицированной настройки.

ойой»

Ттст

Терминология

т

Выбор РЛОДЗЛЬНОСТИ

- Системотехника ;

Определение высказываний

Алфавит языка, таблица длительностей Синтаксис, грамматика, семантика, орфшпия

1} си,топы - длштпьнаапь, 2) высказывания > дпипшпмюсть

Словарь ударных слов Расстановка ударений Ритмика, орфоэпия

1) сишапы ■" ударность 2) отъя — удврноеть и шп уд»$мо»с% тона

Словарь корректируемых последовательностей, словарь транскрибирования Фонетическое транскрибирование Орфоэпия, синтаксис

1) фетттФотв птт. 2} фатттсзашв стхщ 3) еысхазьтшия

......................................У

Алфавит языка. Таблица длительностей Расчет длительностей зауков Орфоэпия, синтаксис

1) фодвюдо&М&Ф —

йпитвтн&вть.

2} высказывания - длительность

Табпммз типов высказываний Расчет частоты основного тона Орфоэпий, семантика, синтаксис

1) фоявтич&скш анъхи -&тятггьност» и изш&нтж ЧОТ 2) фотттвсятот -дюнтяьност» и изттт& ЧОТ, 3) высказывания - йттюяшость и г/жмвнив ЧОТ

Физическая реализация

Рисунок 1. Схема синтеза речи 9

Для определения оптимальных настроек необходимо провести эксперименты для выбранной области. При использовании модулей синтеза и распознавания речи необходимо учитывать особенности выбранной области и определить ограничения, при выполнении которых работа будет комфортной и эффективной. В качестве примера рассматривается модель синтеза речи, включающая некоторые уровни описания текста: семантический, синтаксический, фонетический, а также ограничения, которые для них действуют. На рисунке 1 приведена схема преобразования текста в речь и уровни представления информации. Слева обозначены данные, на основе которых определяется конфигурация и признаки получаемых данных. В средней части представлена информация на всех этапах преобразования и результат. Справа приведены правила языка. Они включены в блоки левой и центральной части в виде таблиц, правил, условий регулярности, алгоритмов.

В случае выбора биллинговой системы в качестве предметной области словарный запас будет ограничен терминами и выражениями, которыми пользователи оперируют в процессе работы. Данное ограничение будет действовать на семантическом уровне, и учитываться при определении смысла каждого отдельного слова. В случае применения речи в качестве дополнительной модальности к графической, необходимо учитывать возможность ее непосредственного использования. Это может быть связано с ограничением физических ресурсов, наличием подключения к сети (в случае использования сетевого интерфейса) и другими особенностями. Графическая и речевая модальности могут быть использованы для ввода и вывода. Обобщенная гибридная модель процессов человеко-машинного взаимодействия, в основу которой положены многомодальные интерфейсы, представлена на рисунке 2.

Характеристики

пользователя,

цель

Л, С/, Я,

Система человеко-машинного взаимодействия

Включает элементы: Использует Учитывает:

Протоколы технологии:

Сценарии {5} Состояние

Ограничения {О} Распознавание речи окружающей

Показатели {£>} Синтез речи среды

Действие

Рисунок 2. Обобщенная гибридная модель процессов человеко-машинного взаимодействия

В третьей главе проведена настройка системы для предметной области биллинговых систем и рассмотрены приемы адаптации для голосового режима работы, описаны протоколы взаимодействия и произведена экспериментальная оценка полученной системы по нескольким параметрам.

Настройка словаря системы состоит в определении наиболее часто используемого функционала, определении фраз и слов, которыми опе-

рируют пользователи. На основе предпочтений выделены структуры фраз, употребляемых для обозначения действий. В процессе работы модифицировались численные алгоритмы поиска синонимов с учетом предметной области на основании позиции слова во фразе. Дополнительно применен численный алгоритм поиска с вычислением расстояния Левенштейна и учетом попадания в предметную область.

За основу был взят алгоритм извлечения синонимов из толкового словаря, авторами которого являются французские учёные под руководством Винсента Блонделя. На основе толкового словаря и заголовков статей (вокабул) для каждого слова производится построение графа, в котором вершины соответствуют вокабулам.

Пусть определен А - словарь предметной области и зафиксирован набор фраз пользователей Ф. Каждому слову А, соответствует набор синонимов {S}i, при этом для любого такого набора определен эталон Kj. Пусть р - позиция слова w, во фразе Фу. Каждая фраза может содержать одно и более слов, т.е. для каждой фразы Ф, определены множества Wi = {Wim}, Pt = {pim}, где l<m<fi, n - количество слов во фразе. Тогда для каждого слова w„ расположенного во фразе на позиции т, необходима функция преобразования к эталонному слову либо отмечающая, что преобразования нет. Алгоритм состоит из набора шагов.

1. Для любого слова w, найти эталон К,: если найден, то производится замена слова на эталон, если не найден, то это слово и есть эталон.

2. Найти Ki во фразе <t>f если найдено, то проверить, совпадает ли позиция p(w) слова с текущей позицией т: если совпадает, то слово найдено и соответствует, алгоритм закончен. Если не совпадает, то производится смещение вперед, либо назад, корректировка сформированной структуры, если слово найдено, то алгоритм закончен.

3. Если слово не найдено, то вызвать алгоритм поиска слова: если слово найдено, то алгоритм закончен.

Если слово определить не удалось, то происходит поиск слова с применением расстояния Левенштейна и учетом попадания в предметную область. Определим величину Mr — D(\Vj, wa), которая показывает, насколько различны два слова, имеющие длину In (wj и In (wa). Для вычисления Mr необходимо сравнить строки побуквенно, при этом

D(wu wa) = Y'lad (b/щ) , b/wj),

где b/w) - буква в слове w на позиции j; т = тах (In (w,), In (wj); b/w) = «пустой символ», если j > ln(w).

Для слов из фразы, не входящих в предметную область и имеющих меру схожести отличную от нуля, производится оценка стоимости преобразований. Стоимость преобразования для слов vv„ w„ определена как величина Ct - F(wi, wa). Пусть / (Ь/vvj, b/wa)) - стоимость побуквенного преобразования. Использованы следующие стоимости (учитывалось фонематическое написание для русского языка при условии, что буквы соответствуют звукам - гласным или согласным):

Г1- ври замене гласных на гласные;

1, при замена сэгласных к а согласные;

1,при удалении или добавлении доследнеП Нуквы слога;

ари даСавдении буквы;

пра замене согласных на гласные;

<2, при замене гласных на согласные.

Тогда оценка преобразования слова включает все его побуквенные преобразования, и искомое слово wa должно удовлетворять условию:

F(wt,wa) = f(bj(wt)>bj(wa))'^> min-

Алгоритм состоит из следующих шагов.

1. Вычислить меру схожести Мг искомого слова со словами словаря.

2. Для каждого слова w,- выбрать слова с минимальными весами.

3. Для каждого выбранного слова вычислить стоимость Ct.

4. Выбрать слова с минимальной Ct, не превышающей пороговое значение.

5. Уточнить слово через диалог с пользователем.

Для разработки и проверки системы использовались приемы адаптации:

- поддержка речевого и графического режима работы с возможностью переключения между ними в процессе работы;

- адаптация к нечетко произнесенным командам при ограниченном словаре позволяет избегать ненужных вопросов к пользователю;

- запоминание контекста некоторого фиксированного объекта и его использование в рамках сеанса работы;

- использование справочников системы для проверки введенных значений;

- использование привычных в употреблении фраз пользователей.

Для оценки эффективности адаптивного голосового взаимодействия были проведены эксперименты на биллинговой системе, используемой для расчета платы за жилищно-коммунальные услуги в г. Барнауле. Для словаря биллинговых систем был выполнен анализ четырех модулей распознавания речи и проведено их сравнение в несколько этапов: распознавание отдельного слова, набора слов и фраз (рис. 3). По вертикали отмечено количество (в процентах) правильно распознанных слов или фраз. Для данного эксперимента были заданы величина доверительной вероятности 0,9. Количество экспериментов по каждому модулю для каждого параметра составило до 280 произношений для каждого элемента. Условия эксперимента соответствовали обычным рабочим условиям, спокойной обстановке, соотношение сигнал-шум было равно 30 дБ.

Для одного из модулей распознавания была выполнена оценка количества и категорий ошибок. Выбранный модуль был проверен группой пользователей на корректность распознавания отдельного слова, набора отдельных слов и фраз - соответственно графики 1, 2,

3 на рисунке 4. По вертикали отмечено процентное соотношение количества ошибок к общему числу испытаний. Темным цветом отражены ошибки, светлым - правильные результаты. По горизонтали отмечены результаты по отдельным сериям экспериментов. Количество экспериментов составило до 240 произношений для каждого элемента при доверительной вероятности 0,9.

««

в

|5|,

................«и шда

М2

« ' ' I '1 шш *М» ; Л; ^ Ж М4 от^льше^^^______<£йазы__

Рисунок 3. Результат сравнения модулей распознавания речи

Для словаря биллинговых систем проведено сравнение качества синтеза модулей на предмет правильности интонации (01), ускорения/замедления воспроизведения речи (02), смещения ударения (ОЗ), пропуска звука/наличия посторонних звуков (04), лишней паузы/отсутствия паузы (05). Результаты сравнения модулей для отдельных слов и предложений приведены в диссертации.

I \ фразы

\ \ ¡00% |

» И »

«з П 60 I

40 ] 40

го £ 11 го 1 И го Я

о ~ 1..Й I ! .1 1 ; д ^ I & 1 § I Ш ё .Й I А ! I

1111

жшгршадгша : \ егряю жьщмыстт \ жщпткжт

Рисунок 4. Результаты распознавания одного слова, набора слов и фраз

На примере операции поиска лицевого счета был проведен эксперимент по оценке времени, затрачиваемого при работе через графический и речевой интерфейсы. Действиями Д1-Д6 обозначены разные варианты каждого из способов поиска: Д1, ДЗ, Д5 - поиск по номеру, Д1, ДЗ, Д5 - поиск по адресу. Результаты приведены в таблице 1, в скобках указано время с учетом использования контекстного поиска. В некоторых случаях при использовании речевого режима было выявлено трехкратное преимущество по времени. Для каждого типа действия проведено по 20 экспериментов.

Таблица 1. Среднее время поиска лицевого счета в секундах

Способ взаимодействия Д1 Д2 ДЗ Д4 Д5 Дб

Графический 18 42 9 20 7 15

Речевой 7 6(14) 5 6(14) 7 6(14)

Для алгоритма поиска слова была произведена оценка эффективности на примере ошибок эксперимента по распознаванию фраз.

Данный алгоритм был применен для каждой фразы, результатом работы была преобразованная корректная фраза, преобразованная некорректная или исходная некорректная фраза. Результаты эксперимента приведены в таблице.

Таблица 2 - Результат применения алгоритма поиска слова

Вид фразы Преобразованная Исходная

корректная некорректная некорректная

Количество, % 68 4 28

Для алгоритма поиска синонимов была произведена оценка эффективности на основе статистики пользователей за октябрь 2013 года, количество фраз составило 1327. На основе данных таблицы 3 можно сделать вывод о том, что примерно в 70% случаев поиск лицевого счета заканчивается успешно. В остальных ситуациях происходит уточнение через диалог с пользователем и также достигается результат. Для фраз «Лицевой 1234» и «Найди 1234» производилось уточнение, в результате которого цель была достигнута в 62% случаев.

Таблица 3 - Результат применения алгоритма поиска синонимов

Структура фразы Количество, % Достигнута ли цель? Причина

Найти лицевой 1234 34,8 Да соответствует эталону

Найти счет 1234 15,2 Да замена синонимом

Поиск счета 1234 9,1 Да замена синонимом

Найди счет 1234 11,7 Да замена синонимом

Лицевой 1234 10,6 Нет пропущено слово

Найди 1234 13 Нет пропущено слово

Другие 5,6 Нет некорректная структура

На основе проведенных экспериментов сформулированы рекомендации:

1. Настройку системы целесообразно начинать с действий, выполняемых чаще всего, либо с операций, занимающих продолжительное время. Определять список таких действий лучше всего на основе сбора статистики.

2. Для выбранного набора слов и фраз экспериментально выбрать модуль, показывающий лучший результат для выбранной области с учетом множества вариативности произношения дикторами.

3. Уменьшить количество ошибок распознавания за счет: обучения системы, выбора модуля с лучшим качеством распознавания или использования набора ключевых слов.

На рисунке 5 приведены возможные сценарии взаимодействия для биллинговой системы. Под сценарием взаимодействия понимается последовательность действий пользователя с некоторым набором характеристик, выполняемая для достижения поставленной цели. Поведение системы рассмотрено для определенных ранее множеств Р, Н, С, In, Out и ограничений 0\-0ь-

Пользователь Р. с иарлюгеристками н. е«оди< в систему и «ЙОДИГ мастойки. Ил основе заторигаций определен тип пользователя.

Рисунок 5. Схема сценариев взаимодействия

В четвертой главе описан комплекс программ, реализующих алгоритмы, и база данных, приведены требования к программному и аппаратному обеспечению. Приведены примеры выходных форм и этапы их получения.

Алгоритм разбора фразы на примере формирования отчета

Рассмотрим работу алгоритма на примере фразы «отчет выбрать начисление адрес город Барнаул улица Попова дом 19 месяц январь разрез лицевой и услуга». Фраза содержит ключевые слова -«отчет», «разрез», «выбрать». Справочные слова — «адрес», «город», «улица», «дом», «месяц», «лицевой и услуга». Значения справочных слов - «Барнаул», «Попова», «19», «январь», «начисление». После анализа слов и сверки со справочниками формируется структура.

Таблица «Данные», к которой происходит обращение в процессе выборки, должна быть многомерной. Каждая величина хранится в виде числа и набора атрибутов, определенных для него. Для каждого атрибута должен существовать справочник с соответствующим названием, и если атрибут «Дом» определен как поле «Id_House», то в системе должен существовать справочник домов с названием «House». Схема разбора фразы представлена на рисунке 6.

Рисунок 6. Схема алгоритма для формирования отчета на основе фразы

Полученная структура используется для последующего формирования отчета.

Структура комплексов программ

В диссертации разработаны и описаны комплекс программ диалогового взаимодействия и комплекс для проведения тестов по оценке таких параметров, как скорость взаимодействия, количество ошибок и др.

Особенностью комплекса программ диалогового взаимодействия является возможность переключения режимов графического и речевого способа взаимодействия в процессе работы, а также учет индивидуальных настроек пользователя. Основными являются модуль диалогового взаимодействия и модуль анализа результатов. В блоке построения диалога происходит выбор модальностей и реализация взаимодействия с использованием модулей синтеза и распознавания речи, а также графических средств. Блок анализа разбирает и анализирует фразы пользователя, формирует структуру, производит проверку ошибок.

Комплекс программ оценки параметров взаимодействия позволяет оценить применимость для выбранной предметной области определенного способа коммуникации по заданным параметрам. На основе установленных параметров и варианта теста происходит ввод тестовой последовательности или оценок. Затем данные сопоставляются с эталонами и формируется результат в виде графиков, таблиц или диаграмм.

Апробация комплекса проводилась для биллинговой системы учета платы за жилищно-коммунальные ресурсы в г. Барнауле, о чем свидетельствует соответствующий акт. При использовании системы для поиска лицевых счетов, домов, организаций было получено преимущество по скорости до семи раз, в случае формирования некоторых простых отчетов получено преимущество по времени 15-20%.

Количество ошибок на примере поиска лицевых счетов изменилось незначительно (2-3%) за счет того, что многие номера, даже ошибочно введенные, существуют в системе. В общей сложности, эффект от внедрения составил 15-20%.

Выбор настроек, модальности, учет ограничений грп входе в систему

1 ~

Взаимодействие с пользователем для выорзнной формы диалогз

1

Анализ и обработка результатов диалога

Комплекс диалогового взаимодействия

Набор индивидуальных настооек пользователя

Текущее техническое состояние системы и окружающей среды

Данные в речевом или графическом виде

Набор внешних модулей для взаимодействия.

Набор алгоритмов и структур обработки данных

Набор выходных форм, действий

Реализация действия

Рисунок 7. Структура комплекса диалогового взаимодействия

Выбор теста и параметров тестирования

Набор настроек, вариантов тестов

| Ознакомление с инструкцией [«—[ Инструкция.

указания к тесту

I Прохождени^теста [»—| Набор заданий выбранного теста |

Обработка данных 1«—I Эталоны

I — - Комплекс осенки

I параметров взаимодействия

Вывод результата

Рисунок 8. Структура комплекса оценки параметров взаимодействия

Рассмотренные в диссертации подходы к проектированию интерфейсов позволяют применять речевые возможности для автоматизированных рабочих мест операторов ЭВМ. Использование иерархической модели синтеза и распознавания речи предоставляет расширенные возможности при управлении процессом синтеза речи и адаптацией диалога в процессе взаимодействия системы, используемой для расчета платы за жилищно-коммунальные ресурсы. Разработанная система диалогового взаимодействия на примере автоматизированного рабочего места оператора биллинговой системы построена с использованием общепринятого словаря предметной области и с учетом привычек пользователей. Комплексы программ могут быть использованы для тестирования диалоговых систем и отработки вариантов человеко-машинного взаимодействия на естественном языке и при проектировании систем автоматизации рабочих мест.

В Заключении приведены основные результаты и выводы диссертационной работы.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

Создана теоретико-множественная модель процессов персонифицированного человеко-машинного взаимодействия и комплекс программ, реализующий сценарии естественно-языкового взаимодействия в ограниченной предметной области. Основные результаты работы состоят в следующем.

1. Проведен анализ существующих способов взаимодействия человека и компьютера и способов обеспечения их адаптивности. По результатам анализа был выбран речевой вариант взаимодействия как наиболее естественный для большинства пользователей. Для обеспечения адаптивности была выбрана иерархическая модель ре-чеслухового взаимодействия.

2. Рассмотрены способы взаимодействия человека и компьютера на примере автоматизированного рабочего места оператора бил-линговой системы. Представлена и обоснована теоретико-множественная модель процессов человеко-машинного взаимодействия с поддержкой многомодальных интерфейсов. Для модели введены ограничения и приведены требования.

3. Разработана структура системы компьютерного моделирования процессов взаимодействия человека и ЭВМ на естественном языке. Разработана структура базы данных системы, состоящая из хранилища данных и справочников: настроек, данных и алгоритмов. Предложен вариант хранения данных в виде многомерной структуры для обеспечения простой и быстрой их выборки.

4. Разработан и апробирован программный комплекс для оценки способов взаимодействия операторов ЭВМ и компьютера. Проведены многоступенчатые тесты по оценке скорости взаимодействия, сравнению качества распознавания и синтеза различных модулей, оценке отдельного модуля для разных пользователей, выявлены зависимости влияния индивидуальных особенностей человека на результат распознавания. Выделены методические рекомендации по проектированию человеко-машинных вариантов взаимодействия с использованием речевых технологий и внедрению таких интерфейсов в существующие системы.

5. Разработаны алгоритмы разбора, анализа и преобразования фраз на естественном языке. Определены словарь, структура фраз и определены требования к алгоритму анализа фраз пользователей. Модифицированы численные алгоритмы поиска слова, эквивалентного эталонному. Рассмотрены сценарии взаимодействия пользователей на примере биллинговой системы, и на основе них спроектированы варианты диалоговых взаимодействий.

6. Разработан и апробирован программный комплекс для различных вариантов взаимодействия на примере биллинговой системы расчета платы за жилищно-коммунальные ресурсы. Для каждого варианта взаимодействия рассмотрены сценарии поведения системы в случае корректных и ошибочных данных и приведены варианты исправления ошибок. При проектировании взаимодействия были учтены правила эргономики.

ПУБЛИКАЦИИ ПО ТЕМЕ ИССЛЕДОВАНИЯ

Работы, опубликованные автором в ведущих рецензируемых научных журналах, рекомендованных ВАК Министерства образования и науки РФ

1. Суранова Д.А. Разработка модели диалоговых человеко-машинных интерфейсов в биллинговых системах // Известия Алтайского государственного университета. 2012. - №1 (73). - С. 167-170.

2. Суранова Д.А. Использование естественного языка для формирования

запросов в биллинговых системах // Доклады ТУСУРа. - 2012. - №1 (25), ч. 2.-С. 216-219.

3. Суранова Д.А. Структура стенда для исследования человеко-машин-

ного интерфейса на естественном языке // Известия Алтайского государственного университета. 2013. - №2 (77). - С. 114—117.

4. Суранова Д.А., Тиунов С.Д., Мещеряков Р.В. Численная реализация

эффективного доступа в биллинговой системе с использованием голосового интерфейса // Доклады ТУСУРа. 2013. - №2 (28) - С. 129-135.

Другие публикации

5. Суранова ДА. Проектирование диалоговых интерфейсов для биллинговых систем // МАК-2012: мат. XV регион, конф. по математике. - Барнаул: Изд-во Алт. ун-та, 2012. - С. 142-143.

6. Суранова Д.А. Применение технологий синтеза и распознавания речи для моделирования интерфейсов в вычислительных системах // Многоядерные процессоры, параллельное программирование, ПЛИС, системы обработки сигналов: мат. Всерос. науч.-практ. конф., по-свящ. 40-летию АТУ. - Барнаул: Изд-во Алт. ун-та, 2013. - С. 117-120.

7. Суранова Д.А. Моделирование процессов взаимодействия человека с компьютером на естественном языке // Высокие технологии в современной науке и технике: сб. науч. тр. П Всерос. науч.-техн. конф. молодых ученых, аспирантов и студентов с междунар. участием. - Томск, 2013.-.Т. 2.-С. 442-444.

8. Суранова Д.А. Применение речевых возможностей в разработке программного обеспечения для взаимодействия человека с компьютером на естественном языке // Сборник трудов краевого семинара по геометрии и математическому моделированию. - Барнаул: Изд-во Алт. ун-та, 2013. - С. 67-70.

9. Суранова Д.А. Адаптивные интерфейсы для взаимодействия человека с компьютером // Наука и молодежь - 2013: сб. науч. тр. X Всерос. науч.-техн. конф. студентов, аспирантов и молодых ученых. - Барнаул, 2013. - С. 91-92.

10. Суранова Д.А. Проектирование человеко-машинных интерфейсов на естественном языке // МАК-2013: мат. XVI регион, конф. по математике. - Барнаул: Изд-во Алт. ун-та, 2013. - С. 137-140.

11. Суранова Д.А. Моделирование речевого взаимодействия при проектировании интерфейсов // Анализ. Геометрия, топология: мат. Всерос. молодежной школы-семинара. — Барнаул, 2013. — С. 152—155.

12. Суранова Д.А. Разработка и применение человеко-машинных интерфейсов с голосовым взаимодействием // Ломоносовские чтения на Алтае - 2013: сб. тр. школы-семинара. - Барнаул, 2013. - С. 403-408.

Подписано в печать 22.11.2013. Усл. печ. л. 1,5. Тираж 150 экз. Заказ №372.

Типография Алтайского государственного университета 656049, Барнаул, ул. Димитрова, 66

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФГБОУ ВПО «Алтайский государственный университет» ФГБОУ ВПО «Томский государственный университет систем управления и

радиоэлектроники»

04201453878

. ( На правах рукописи

Суранова Дарья Александровна

АЛГОРИТМЫ И КОМПЛЕКС ПРОГРАММ МОДЕЛИРОВАНИЯ ПЕРСОНИФИЦИРОВАННОГО ЕСТЕСТВЕННО-ЯЗЫКОВОГО ВЗАИМОДЕЙСТВИЯ ОПЕРАТОРА С ЭВМ

Специальность: 05.13.18 - Математическое моделирование, численные методы и комплексы программ

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель д-р техн. наук, доцент Р.В. Мещеряков

Барнаул, Томск - 2013

Содержание

Введение.......................................................................................................................5

1 Проблема диалогового человеко-машинного взаимодействия.........................11

1.1 Человеко-машинные интерфейсы диалогового взаимодействия...................11

1.2 Актуальность проблемы проектирования адаптированных диалоговых интерфейсов на примере биллинговых систем......................................................15

1.3 Современное состояние проблемы создания человеко-машинных интерфейсов и обзор существующих решений......................................................18

1.4 Постановка задачи исследования......................................................................21

Выводы к главе 1.......................................................................................................22

2 Разработка теоретико-множественной модели адаптивного взаимодействия для биллинговой системы........................................................................................23

2.1 Существующие методы обеспечения адаптивного взаимодействия.............23

2.2 Области применения систем. Выделение функционально значимых областей применения человеко-машинных интерфейсов на примере биллинговой системы. Проектирование многомодальных интерфейсов...................................28

2.3 Особенности использования информационного фона речевых сигналов в модулях синтеза и распознавания...........................................................................35

2.4 Расчет параметров речевого сигнала на примере компиляционного метода синтеза........................................................................................................................37

2.5 Варианты испытаний системы диалогового взаимодействия........................44

2.6 Выбор критериев оценки способов адаптации................................................47

Выводы к главе 2.......................................................................................................50

3 Методика и примеры проведения испытаний диалоговой системы взаимодействия..........................................................................................................51

3.1 Состав словаря и структура фраз предметной области...................................51

3.2 Настройка системы диалогового взаимодействия...........................................54

3.3 Приемы адаптации для операторов биллинговой системы............................56

3.4 Алгоритмы анализа фраз естественного языка................................................59

3.4.1 Алгоритм поиска синонимов с учетом предметной области на основе позиции слова во фразе.............................................................................................59

3.4.2 Алгоритм поиска с применением расстояния Левенштейна и учетом попадания в предметную область............................................................................61

3.5 Описание поведения системы для различных сценариев взаимодействия .. 63

3.6 Примеры испытаний системы............................................................................65

3.6.1 Сравнение качества распознавания различных модулей для словаря биллинговых систем.................................................................................................67

3.6.2 Оценка количества и категорий ошибок для выбранного модуля распознавания............................................................................................................75

3.6.2.1 Распознавание одного слова........................................................................76

3.6.2.2 Распознавание отдельных слов....................................................................77

3.6.2.3 Распознавание команд..................................................................................78

3.6.3 Сравнение качества синтеза различных модулей для словаря биллинговых систем.........................................................................................................................80

3.6.4 Оценка времени взаимодействия....................................................................86

3.6.5 Оценка изменения количества ошибок после применения алгоритмов поиска синонимов и поиска слова...........................................................................88

3.6.5.1 Оценка алгоритма поиска синонимов.........................................................89

3.6.5.2 Оценка алгоритма поиска слова..................................................................90

3.6.6 Оценка скорости синтеза и распознавания речи...........................................90

3.7 Выводы, сделанные на основе испытаний.......................................................91

Выводы к главе 3.......................................................................................................93

4. Описание алгоритмов и структуры данных программного комплекса...........94

4.1 Выбор аппаратного, программного, алгоритмического обеспечения для реализации диалоговой системы взаимодействия.................................................94

4.2 Структура хранения данных диалоговой системы..........................................96

4.3 Структура хранения данных системы оценки параметров взаимодействияЮО

4.4 Алгоритм разбора и анализа фраз...................................................................101

4.5 Преобразование структуры данных для оптимизации взаимодействия.....107

4.6 Модули распознавания и синтеза речи...........................................................109

4.7 Инструментарий для генерации выходных форм и режимы работы..........110

4.8 Структура комплексов программ....................................................................113

4.8.1 Комплекс диалогового взаимодействия......................................................114

4.8.2 Комплекс оценки параметров взаимодействия...........................................115

4.9 Внедрение..........................................................................................................115

Выводы к главе 4.....................................................................................................118

Заключение..............................................................................................................119

Список использованных источников....................................................................121

Приложение А. Справка о внедрении в ООО «Биллинговый центр»...............129

Приложение Б. Акт о внедрении в ООО НПФ «АИСТ».....................................130

Приложение В. Справка об использовании в учебном процессе (АТУ)...........131

Приложение Г. Акт о внедрении в учебный процесс (ТУСУР).........................132

Введение

Актуальность темы. В связи с повсеместным распространением компьютеров в большинстве сфер общественной жизни, возникает необходимость в простых и понятных способах человеко-машинного взаимодействия. Исторически ситуация радикально улучшилась с появлением манипулятора «мышь» и графического способа обмена информацией -персональный компьютер стал доступен широкому кругу людей [66]. Возникло понятие «удобного» интерфейса, разработчики программ стали уделять внимание внешнему виду своих продуктов. В настоящее время удобство пользователя является приоритетной задачей любого разработчика, и для достижения этой цели уже используются не только графические, но и голосовые, сенситивные, тактильные возможности [13, 17, 44, 55]. В качестве примеров можно привести коммуникаторы, смартфоны, планшеты, где по умолчанию реализовано несколько видов взаимодействия.

Несмотря на широкие возможности, многие программные продукты, реализованные на автоматизированных рабочих местах, ограничиваются лишь использованием графического способа обмена данными, особенно если это касается взаимодействия с персональным компьютером [50, 93]. В сложных вычислительных системах зачастую большое внимание уделяется точности расчетов, а не процессу взаимодействия пользователя с программой. Тем не менее, хорошо продуманный интерфейс, включающий речевое взаимодействие человека и ЭВМ, может существенно сократить временные затраты операторов и в некоторых случаях повысить точность задания исходных данных.

Исследованием возможностей применения естественного языка занимались такие ученые, как Т.В. Батура, Терри Виноград, O.A. Герасименко, В.А. Жигалов, Ю.А. Косарев и другие. Программные системы, использующие распознавание и генерацию речевых сигналов на ЭВМ, были успешно применены для научных исследований многими российскими и зарубежными учеными, такими как A.B. Аграновский, А. Блэк, В.П. Бондаренко,

Т.К. Винцюк, В.Р. Женило, Ю.Н. Жигулевцев, Ю.И. Журавлев, Н.Г. Загоруйко, Д. Клатт, Э.Г. Кнеллер, Ю.И. Косарев, О.Ф. Кривнова, Д.А. Леднов, Б.М. Лобанов, Р.В. Мещеряков, Р.К. Потапова, И.В. Поттосин, А.Л. Ронжин, С.Ю. Мельников, Ю.Н. Ромашкин, М.А. Сапожков, А.К. Скляров, В.Н. Сорокин, П. Тэйлор, Г. Фант, Дж. Фланаган, М.В. Хитров, В.Я. Чучупал и другими. Проведенные в последнее время исследования позволили существенно снизить количество ошибок распознавания речи и разработать новые способы адаптации в системе человеко-машинного взаимодействия на естественном языке. Однако исследований, посвященных применению речевых возможностей в определенных областях человеческой деятельности, проводится недостаточно.

Таким образом, тема диссертации, посвященная решению проблем человеко-машинного взаимодействия на естественном языке, является актуальной.

Целью данной работы является разработка теоретико-множественной модели процессов персонифицированного человеко-машинного взаимодействия и комплекса программ, реализующего сценарии естественноязыкового взаимодействия в ограниченной предметной области.

Для достижения данной цели необходимо решить следующие задачи:

1. Анализ предметной области и обзор существующих подходов к решению проблемы многомодального человеко-машинного взаимодействия.

2. Проектирование теоретико-множественной модели процессов человеко-машинного взаимодействия с учетом ограничений предметной области.

3. Проектирование структуры системы компьютерного моделирования процессов взаимодействия человека и ЭВМ с использованием речевых технологий на естественном языке.

4. Проведение комплекса экспериментальных исследований по сравнению качества речевых модулей, по оценке вариантов взаимодействия, способов адаптации системы к сложности диалога.

5. Модификация численных алгоритмов поиска синонимов и алгоритма поиска слова, эквивалентного эталонному, при наличии ограничения предметной области.

6. Разработка алгоритмического и программного обеспечения персонифицированного естественно-языкового взаимодействия, применяющего методические рекомендации по построению многомодальных естественноязыковых интерфейсов.

Объект исследования. Процессы взаимодействия человека и ЭВМ на естественном языке.

Предметом исследования является разработка системы компьютерного моделирования для исследования возможностей применения естественноязыкового взаимодействия в системах автоматизации рабочих мест.

Соответствие содержания диссертации избранной специальности.

Диссертация выполнена в соответствии с пп. 4. «Реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента»; 5. «Комплексные исследования научных и технических проблем с применением современной технологии математического моделирования и вычислительного эксперимента»; 8. «Разработка систем компьютерного и имитационного моделирования» паспорта специальности 05.13.18 - «Математическое моделирование, численные методы и комплексы программ» ВАК (технические науки).

Методы исследования. Для достижения поставленных целей использовались методы имитационного моделирования, прикладное, системное программирование, программирование баз данных, а также вычислительный эксперимент.

Научная новизна работы

1. Предложена новая теоретико-множественная модель процессов человеко-машинного взаимодействия, в основу которой положены

многомодальные интерфейсы и обоснованная совокупность параметров настройки автоматизированных рабочих мест.

2. Модифицированы численные алгоритмы поиска слова, эквивалентного эталонному, и алгоритмы поиска синонимов при наличии ограничения предметной области и сценариев взаимодействия.

3. Разработаны алгоритмы персонифицированного построения естественно-языкового взаимодействия ограниченной предметной области, отличающиеся от существующих наличием обоснованных методических рекомендаций и учетом модальности интерфейсов.

Теоретическая и практическая значимость. Результаты диссертации могут быть использованы для развития математического моделирования и обработки информации речевого взаимодействия и для совершенствования математического и программного обеспечения прикладных информационных систем.

Практическая значимость результатов работы определяется возможностями их использования для повышения точности и сокращения времени ввода и контроля данных при создании речевых интерфейсов. Разработанные алгоритмы, программный комплекс и базы данных используются в ООО «Биллинговый центр», ООО «НПФ «АИСТ». Результаты работы используются в учебном процессе в Алтайском государственном университете и Томском государственном университете систем управления и радиоэлектроники.

Основные положения, выносимые на защиту.

1. Теоретико-множественная модель процессов человеко-машинного взаимодействия позволяет описать взаимодействие с учетом предметной области, ограничений, протоколов, сценариев поведения, типа, характеристик и целей пользователя.

2. Численный алгоритм поиска слова, эквивалентного эталонному, использующий словарь синонимов, и численный алгоритм схожести слов, учитывающий ограничения предметной области и сценарии взаимодействия.

3. Алгоритмическое и программное обеспечение персонифицированного естественно-языкового взаимодействия, сокращающее время, затрачиваемое на операцию, и применяющее методические рекомендации по построению многомодальных интерфейсов.

Апробация работы. Основные результаты работы докладывались и обсуждались на российских и международных научно-практических конференциях: региональных конференциях по математике «МАК-2012», «МАК-2013» (Барнаул, 2012, 2013 гг.); Всероссийской научно-практической конференции «Многоядерные процессоры, параллельное программирование, ПЛИС, системы обработки сигналов», посвященной 40-летию АлтГУ (Барнаул, 2013); II Всероссийской научно-технической конференции молодых ученых, аспирантов и студентов с международным участием «Высокие технологии в современной науке и технике» (Томск, 2013); Краевом семинаре по геометрии и математическому моделированию (Барнаул, 2013); X Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Наука и молодежь - 2013» (Барнаул, 2013); Всероссийской молодежной школе-семинаре «Анализ, геометрия и топология» (Барнаул, 2013), Международной молодежной школе-семинаре «Ломоносовские чтения на Алтае-2013» (Барнаул, 2013); Научно-практической конференции «Виртуальные и интеллектуальные системы» (Барнаул, 2013).

Публикации. По теме диссертации автором опубликовано 12 печатных работ, в том числе 4 статьи в ведущих реферируемых научных журналах, рекомендуемых ВАК Минобрнауки РФ для публикаций результатов диссертационных работ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 102 источников, содержит 17 таблиц и 31 рисунок. Общий объем работы составляет 128 страниц.

В первой главе проводится обзор современного состояния проблемы взаимодействия человека и компьютера в автоматизированных системах.

Во второй главе описывается модель человеко-машинного взаимодействия для многомодальных интерфейсов. Происходит выделение областей применения данной модели на примере биллинговой системы. Рассматривается механизм настройки и выбор режимов работы для диалоговых систем. Приводятся критерии для их проверки.

Третья глава содержит описание настроек системы для выбранной предметной области и приемы, используемые при подготовке к проведению испытаний. Приведены алгоритмы поиска синонимов и слов, определены способы адаптации, описано поведение системы для различных сценариев работы и варианты проверки системы и оценки ее по различным параметрам.

В четвертой главе приведено описание структуры модулей, использованных для реализации системы диалогового взаимодействия: структура базы данных, алгоритмы преобразования фраз, алгоритмы настройки, режимы взаимодействия. Приведены требования к программному и аппаратному обеспечению. Подробно описан словарь для предметной области биллинговых систем. Приведены примеры выходных форм и этапы их получения.

В заключении сформулированы основные результаты проделанной работы.

1 Проблема диалогового человеко-машинного взаимодействия

1.1 Человеко-машинные интерфейсы диалогового взаимодействия

Появление персонального компьютера в жизни человека и распространение его в различные сферы общественной жизни определяет постоянно растущие требования к интерфейсу взаимодействия с ним. Под интерфейсом понимается совокупность средств и методов, при помощи которых пользователи взаимодействуют со сложными устройствами. Роль интерфейсов в современном мире велика - насколько ни была бы сл