автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Модели и программные средства интерактивного взаимодействия с подвижным информационно-навигационным комплексом самообслуживания

На правах рукописи

ПРИЩЕПА Мария Викторовна

МОДЕЛИ И ПРОГРАММНЫЕ СРЕДСТВА ИНТЕРАКТИВНОГО ВЗАИМОДЕЙСТВИЯ С ПОДВИЖНЫМ ИНФОРМАЦИОННО-НАВИГАЦИОННЫМ КОМПЛЕКСОМ САМООБСЛУЖИВАНИЯ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

3 !;::н 2013

Санкт-Петербург 2013

005061424

Работа выполнена в Федеральном государственном бюджетном учреждении науки Санкт-Петербургском институте информатики и автоматизации Российской академии наук (СПИИРАН).

Научный руководитель: доктор технических наук,

доцент Ронжин Андрей Леонидович

Официальные оппоненты: доктор технических наук, профессор,

заведующий лабораторией информационных технологий в управлении

и робототехнике СПИИРАН Тимофеев Адиль Васильевич

кандидат технических наук, доцент профессор кафедры системного анализа и управления федерального государственного бюджетного образовательного учреждения высшего профессионального образования Санкт-Петербургского государственного

политехнического университета Станкевич Лев Александрович

Ведущая организация:

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики"

Защита состоится «25» _июня_ 2013 г. в 12.30 часов на заседании диссертационного совета Д.002.199.01 при Федеральном государственном бюджетном учреждении науки Санкт-Петербургском институте информатики и автоматизации Российской академии наук по адресу: 199178, Санкт-Петербург, В.О., 14 линия, 39.

С диссертацией можно ознакомиться в библиотеке Федерального государственного бюджетного учреждения науки Санкт-Петербургского института информатики и автоматизации Российской академии наук

Автореферат разослан «24» мая 2013 г.

Ученый секретарь

диссертационного совета Д.002.199.01

к.т.н.

Нестерук Филипп Геннадьевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Стационарные системы самообслуживания и оказания услуг информационно-справочного характера населению, в том числе банкоматы, терминалы оплаты услуг, информационные киоски, оснащенные средствами обработки и вывода аудиовизуальной информации, широко распространены в торгово-развлекательных комплексах, банках, транспортных узлах и других местах одновременного нахождения большого количества людей. Основным требованием, предъявляемым к пользовательскому интерфейсу таких систем, является доступность для людей с различными навыками и возможностями. То есть интерфейс человеко-машинного взаимодействия должен быть простым и удобным настолько, чтобы пользователь смог управлять устройством интуитивно, без предварительной подготовки и обучения.

В то же время на основе активно развивающейся в последнее время концепции окружающего интеллектуального пространства, анализирующего поведение пользователя на основе бесконтактных сенсоров, разрабатываются информационно-справочные сервисы, предоставляемые повсеместно. Однако пока существуют лишь отдельные прототипы подобных интеллектуальных пространств: зал совещаний, лекционная аудитория, больничная палата, комната отдыха.

Другим вариантом информационно-справочных систем самообслуживания является применение мобильных персональных устройств. В частности, широкое распространение получили персональные мобильные гиды в музеях, предоставляющие пользователю контекстно-зависимую информацию на основе технологий радиочастотной идентификации. Такие решения достаточно просты в реализации и не требуют больших экономических затрат. Тем не менее оптимальный выбор размера экрана, веса и других эргономических характеристик играют важную роль при разработке мобильных персональных систем.

Одним из перспективных направлений развития информационно-справочных систем самообслуживания в настоящее время является разработка подвижных комплексов, предоставляющих услуги справочного характера пользователям в заданной зоне обслуживания. За счет своей мобильности такие системы способны обслуживать большее количество пользователей, чем стационарные системы. Кроме того, подвижные комплексы не настолько ограничены в размерах как персональные мобильные гиды, поэтому ресурсы, необходимые для оснащения пользовательского интерфейса, могут быть увеличены. Тем не менее при создании подвижных комплексов самообслуживания возникает ряд новых неизученных аспектов человеко-машинного взаимодействия, связанных с безопасностью движения, выбором положения комплекса по отношению к пользователю в ходе предоставления услуг и реализацией пользовательского интерфейса, учитывающего как мобильность пользователя, так и самой системы.

Цель работы и задачи исследования. Основной целью диссертационной работы является разработка модельно-алгоритмического обеспечения автономных подвижных комплексов, обеспечивающих предоставление пользователям информационно-навигационных услуг на обслуживаемой ими территории. Для достижения поставленной цели в работе решены следующие задачи:

1. Анализ современных методов проектирования речевых и многомодальных пользовательских интерфейсов и существующих исследовательских подвижных систем самообслуживания.

2. Разработка структурной модели подвижного комплекса, предоставляющего пользователям информационно-навигационные услуги по объектам на заданной территории.

3. Разработка диалоговой модели подвижного комплекса, применяющейся при определении пользователя и взаимодействии с ним в стационарном положении и в ходе сопровождения до интересуемого объекта.

4. Программная реализация предложенных моделей в прототипе многомодального подвижного комплекса информационно-навигационного самообслуживания.

Методы исследования. Для решения поставленных задач в работе используются методы цифровой обработки сигналов, теории множеств, распознавания образов, проектирования диалоговых моделей. Компьютерная реализация разработанных алгоритмов производилась на основе объектно-ориентированного подхода.

Положения, выносимые на защиту:

1. Структурная модель подвижного информационно-навигационного комплекса, построенная на основе совместной работы систем, отвечающих за перемещение и реализацию многомодального интерфейса, обеспечивает естественный диалог и вывод мультимедиа данных об интересующих пользователя объектах в процессе самообслуживания.

2. Логическая модель выбора режима функционирования комплекса, учитывающая положение пользователей и состояние бортовых устройств на основе показаний бесконтактных датчиков и систем анализа поведения пользователя, настраивает параметры функционирования подвижной и информационной части комплекса.

3. Диалоговая модель интерактивного взаимодействия с подвижным информационно-навигационным комплексом, использующая систему распознавания ключевых элементов и смешанную стратегию диалога, обеспечивает информирование и сопровождение пользователей до интересующего объекта.

4. Комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, отличающийся возможностью настройки пользовательского интерфейса с учетом параметров объектов заданной территории обслуживания, ориентирован для предоставления справочных и навигационных услуг.

Научная новизна работы состоит в следующем:

1. Разработана структурная модель подвижного информационно-навигационного комплекса, построенная на основе совместной работы двух систем: 1) подвижной платформы, выполняющей слежение за появлением препятствий на маршруте комплекса, его перемещение; 2) информационной стойки, отвечающей за реализацию многомодального интерфейса; отличающаяся тем, что обеспечивает в статическом и динамическом режимах обслуживание пользователей с применением многомодального интерфейса.

2. Предложена логическая модель выбора режима функционирования информационно-навигационного комплекса, отличающаяся анализом параметров бортовых устройств подвижной платформы, расположения и времени нахождения пользователя в зоне взаимодействия, а также поступающих сообщений от системы, отвечающей за реализацию многомодального интерфейса, позволяющая генерировать команды к исполнительным устройствам комплекса для реализации информационного обслуживания пользователей.

3. Разработана диалоговая модель интерактивного взаимодействия с подвижным информационно-навигационным комплексом в режимах информирования и сопровождения пользователя, отличающаяся применением системы распознавания ключевых элементов с заданными специализированными словарями для каждого режима функционирования и смешанной стратегией диалога.

4. Разработан комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, отличающийся применением комбинации модулей бесконтактного анализа поведения пользователей и определения препятствий при движении комплекса, обеспечивающий предоставление справочных услуг и сопровождение пользователей на заданной территории обслуживания.

Обоснованность и достоверность научных положений, основных выводов и результатов диссертации обеспечивается за счет анализа состояния исследований в данной области, согласованности теоретических выводов с результатами экспериментальной проверки моделей, а также апробацией основных теоретических положений диссертации в печатных трудах и докладах на международных научных конференциях.

Практическая ценность работы. Предложенные модели взаимодействия пользователей с подвижными информационными комплексами и их программная реализация в многомодальном подвижном автомате информационного самообслуживания являются прототипом широкого спектра информационно-справочных систем самообслуживания, функционирующих в бизнес-центрах, отелях, аэропортах, выставочных комплексах, ВУЗах, медицинских центрах, торговых центрах, музеях, спортивных клубах и других общественно-транспортных центрах. Разработка средств проектирования человеко-машинного диалога на основе естественно-языковых запросов и автоматического предоставления справочной информации позволяет уменьшить объем работ обслуживающего персонала.

Реализация результатов работы. Исследования, отраженные в диссертации, проведены в рамках научно-исследовательских работ: Министерства образования и науки РФ «Разработка математического и программного обеспечения ассистивного многомодального интеллектуального пространства», ГК № 11.519.11.4025, 2011-2013 гг. в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы»; «Разработка принципов и инновационных информационных технологий для взаимодействия пользователей с интеллектуальным пространством», ГК №14.740.11.0357, 2010-2012 гг.; «Разработка методов человеко-машинного взаимодействия и многомодальных пользовательских интерфейсов для интеллектуальных информационных систем», ГК№ П2360, 2011-2013 гг. «Разработка

моделей, методов и инструментальных средств интеллектуального управления мобильным информационно-справочным роботом», ГК №П876, 2010-2012 в рамках федеральной целевой программы «Научные и научно-педагогические кадры инновационной России на 2009-2013 гг.»; грант РФФИ № 12-07-31201-МО Л_а «Разработка методов и программных средств адаптивного диалогового интерфейса мобильного информационного робота», 2012-2013. Разработанные модели, алгоритмы, программное обеспечение, а также технические решения были использованы также в рамках учебных курсов на кафедрах Санкт-Петербургского государственного университета аэрокосмического приборостроения, Санкт-Петербургского государственного электротехнического университета.

Апробация результатов работы. Результаты диссертационного исследования представлялись на 8 международной конференции по интеллектуальным пространствам 1Е'12, Гуанохуато, Мексика, 20 - 28 июня 2012, международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем» OSTIS (Минск, 2011), международной конференции «FRUCT» (Лаппеенранта, Финляндия, 2010), международной конференции по интеллектуальным пространствам «ruSMART» (Санкт-Петербург, 2010), международном семинаре по многомодальным интерфейсам «eNTERFACE» (Амстердам, Нидерланды, 2010; Пльзень, Чехия, 2011), 13 международной конференции «Текст, Речь и Диалог» TSD'll (Пльзень, Чехия, 2011), международной конференции «Региональная информатика» (Санкт-Петербург, 2010, 2011, 2012).

Публикации. По материалам диссертации опубликовано 20 печатных работ, включая 5 публикаций в научных журналах, рекомендованных ВАК: «Информационно-управляющие системы», «Известия вузов. Приборостроение», «Труды СПИИРАН», «Automation and Remote Control», «Pattern Recognition and Image Analysis» и 1 учебное пособие; получен 1 патент на полезную модель в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам.

Структура и объем работы. Диссертация объемом 148 машинописных страниц содержит введение, четыре главы и заключение, список литературы (122 наименования), 12 таблиц, 29 рисунков, одно приложение с копиями актов внедрения. СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована важность и актуальность темы диссертации, сформулированы цели диссертационной работы и решаемые задачи, определена научная новизна работы и ее практическая значимость, кратко описаны разработанные методы и алгоритмы.

В первой главе диссертации рассматривается круг проблем, связанных с разработкой систем интерактивного взаимодействия с подвижными сервисными комплексами, а также проанализированы современные методы и программно-аппаратное обеспечение интеллектуальных информационных систем.

Несмотря на то что концепция социальных подвижных роботов, применяющихся для различного рода помощи людям, сформировалась уже несколько десятилетий назад, широкого распространения на рынке обслуживающие роботы пока не получили. Основными сдерживающими причинами являются высокая стоимость, сложность интеграции, минимизации и совмещения всех компонентов в одном мобильном комплексе. Существуют проблемы в организации самостоятельной работы

таких систем и в увеличении срока их работоспособности в автономном режиме. Также имеется ряд проблем в реализации естественного взаимодействия между человеком и подвижным комплексом. При разработке пользовательских интерфейсов к социальным сервисным системам особое внимание уделяется психологическим аспектам человеко-машинного взаимодействия. Установление эмоционального контакта между человеком и роботом за счет дизайна головы, лица и мимики робота является одной из основных задач при разработке стратегий поведения социальных роботов. Кроме того, многими разработчиками поднимается проблема выбора оптимального положения робота относительно человека для более эффективного взаимодействия.

Учитывая возможности современных технических и программных средств, реализующих ввод, вывод и обработку информационных каналов, доступных пользователю, интерфейсы можно разделить на два основных типа: стандартный графический и многомодальный.

Во многих работах было отмечено, что стиль общения пользователя следует изменять по мере знакомства с роботом, его функциями и степенью полезности предоставляемых сервисов. Для персонифицированной настройки стиля общения робота с пользователем следует производить начальное обучение и накапливать информацию о поведении пользователя во время взаимодействия, анализировать и учитывать его предпочтения при дальнейшей разработке интерфейса человеко-машинного взаимодействия. Анализ существующих информационно-навигационных систем показал, что для их классификации можно применить такие критерии как: 1) способ реализации; 2) функциональное назначение; 3) внешний вид. На рисунке 1 приведены примеры различных типов информационных систем из предложенной классификации.

Рис. 1. Классификация информационно-навигационных комплексов.

Анализ методов и программно-аппаратного обеспечения, применяемых в существующих исследовательских моделях информационно-навигационных комплексов, показал, что наиболее активно изучаются вопросы анализа поведения и предпочтений пользователей, разработки сценариев поведения автоматических комплексов, а также безопасности и естественности интерактивного взаимодействия.

Вторая глава посвящена разработке модельно-алгоритмического обеспечения функционирования подвижных информационно-навигационных комплексов. В начале главы приведена формальная постановка задачи информационного обслуживания

подвижными комплексами. Пусть и=(и[, и2.....и„...,и[) - множество пользователей,

О.....г].....— множество подвижных комплексов на заданной территории

обслуживания, 2 база данных обслуживаемой территории со множеством объектов

0=(оI, о 2..... ок..., Оц), информация о которых предоставляется в ходе

функционирования комплексов. Тогда задачу обслуживания можно сформулировать следующим образом. Учитывая особенности расположения объектов и допустимые маршруты по территории, необходимо на безопасном и комфортном для взаимодействия расстоянии обеспечить диалог пользователя щ с комплексом гр а также его сопровождение до интересуемого объекта о„. На рисунке 2 показана структурная модель подвижного комплекса, включающая основные блоки, реализующие взаимодействие с пользователем и передвижение по обслуживаемой территории.

База данных обслуживаемой территории

-г-*]

Ьлок захвата аудиовизуальных сигналов Блок анализа и синтеза естественных модальностей Блок расчета маршрута движения комплекса Ьлок коммуникации с внешними системами

Информационная стойка

Блок определения препятствий Блок управления приводами Блок управления питанием

Подвижная платформа

Подвижный комплекс

Рис. 2. Структурная модель подвижного информационно-навигационного

комплекса.

Описание обслуживаемой территории содержит следующий набор основных компонент, необходимых для расчета маршрутов передвижения информационных комплексов: 2=<М, К, Н> , где М-топологическая карта территории с отмеченными статическими и динамическими препятствиями. К- координаты мест входа в объекты из множества О, Н- данные о совершенных маршрутах, диалогах и пользователях.

В данной задаче сложность построения диалога связана с подвижностью обоих участников: пользователя и информационного комплекса. Причем данные о некотором пользователе и, определяются комплексом г], в зоне наблюдения которого был обнаружен этот пользователь. Поэтому информационная модель пользователя характеризуется следующими параметрами: ич=<Хч,Сч, Н0, В,>, где Х0- - зона нахождения пользователя, Сч - координаты пользователя, - скорость пользователя, Ну — координаты центра лица пользователя, В, - биометрические характеристики пользователя, накапливаемые в ходе взаимодействия с подвижными комплексами.

Для формирования базы справочных данных об объектах их модели должны содержать следующие параметры: о„=<К„, Рп, Ап, Е„, С„>, где К„ - координаты места входа в объект о„, Р„ - описание услуг, предоставляемых данным объектом,

необходимых для обучения акустико-лексических, языковых и диалоговых моделей речевого/многомодального пользовательского интерфейса, А„ - мультимедиа представление объекта, использующееся комплексом в режиме рекламирования, G„ -дополнительные данные об объекте (часы работы, телефоны обслуживающего персонала), необходимые для функционирования подвижного комплекса.

Техническое оснащение комплекса можно разделить на две основные группы: 1) подвижная платформа, реализующая слежение за появлением препятствий на маршруте комплекса и его перемещение; 2) информационная стойка, на которой выводятся мультимедиа данные об интересующих посетителей объектах и на основе многомодального интерфейса реализуется естественный диалог с пользователем. Поэтому модель подвижного информационного комплекса содержит параметры, значения которых формируются посредством датчиков, расположенных на подвижной платформе, средств захвата аудиовизуальных сигналов, встроенных в информационную стойку, а также параметры, вычисляемые в ходе диалога с пользователем: г,=<Ср 5Р/Р V,, Uj Dj, W>, где С, - координаты комплекса, Sj - скорость комплекса, fj - режим функционирования, Vj - показания датчиков препятствий, Ц -множество пользователей, находящихся в зоне наблюдения комплекса, Dj — дополнительные параметры (состояние заряда аккумуляторов и других встроенных технических средств), необходимых для функционирования подвижного комплекса, W

- данные о расположении и режиме функционирования всех обслуживающих комплексов на данной территории.

В предложенной модели режим функционирования выбирается из следующего множества f=ffb, fh /л. /р.), где fn ~ диалог с посетителем; fE - сопровождение посетителя; fA — движение с выводом рекламы; fP — движение на техническую остановку. Результатом взаимодействия комплекса rs с пользователем и, является предоставление услуги Q, состоящей из выдачи информации об объекте о„ и/или сопровождения до этого объекта, расположенного на территории обслуживания Z: Q(uJ=f(r], Z, о J. Вопросы навигации, связанные с вычислением оптимального маршрута, в данной работе не рассматривались. В режиме сопровождении основное внимание было уделено проблеме интерактивного взаимодействия с комплексом.

Выделяются три зоны положения пользователя относительно комплекса: xsearch

- зона наблюдения, xescort - зона сопровождения, xdialog - зона взаимодействия. Наличие пользователя в одной из зон определяется на основе следующих логических правил:

(^searcht d¡j ^.ver,rc:h_jnax ^ Яsearchjnaxt

Xescort' d *C descort jnax A OCij < &escort_max' Xdialogt d < dihalmj 7ГШХ A CCij < &dialog_max.

где Xjj - зона нахождения пользователя, dij - расстояние между пользователем и комплексом, ai;- - угол отклонения пользователя от центра комплекса, Еп - сообщения от системы распознавания речи, dsearch max — максимальное расстояние поиска пользователей, ddiatog тах - максимально расстояние, на котором возможен диалог с пользователем, descort тах - максимально допустимое расстояние при сопровождении пользователя, asearcflmax - максимальный угол, на котором ведется поиск пользователя, adialog тах - максимально допустимый угол отклонения пользователя

от центра комплекса в ходе диалога, aescort тах - максимальный допустимый угол отклонения пользователя от центра комплекса при сопровождении. Если указанные правила не выполняются, то считается, что анализируемый объект не является пользователем. На рисунке 3 пунктирной линией обозначена зона взаимодействия комплекса. Радиус взаимодействия не должен превышать ddialogmax, а угол отклонения пользователя от центра платформы должен быть меньше cCdiaiog_max■ В режиме информирования пользователя подвижный комплекс поддерживает расстояние и угол отклонения в заданных пределах.

ч

•* / Vrk

Vй ' ' ' ' \ d

Qtf/'afog max ***/

/

' я — ddielogjim4

в) г)

Рис 3. Схемы движения пользователя и комплекса на основных этапах взаимодействия: а) пользователь входит в зону взаимодействия комплекса, движущегося в режиме рекламирования по заданному маршруту; б) информирование пользователя с подстройкой положения комплекса в сторону

пользователя; в) сопровождение пользователя до интересующего объекта по заданному маршруту; г) пользователь покидает зону взаимодействия комплекса.

Взаимодействие информационного комплекса с пользователями можно разделить на несколько этапов. Комплекс, перемещаясь по заданному маршруту в режиме рекламирования, производит опрос сенсоров на наличие пользователей на расстоянии dsearch_max от комплекса (рис За). В случае обнаружения пользователя в зоне поиска информационный комплекс корректирует свое положение относительно пользователя таким образом, чтобы расстояние до него не превышало ddialog тах, а угол отклонения

относительно центра не превышал угол adialog тах. После чего комплекс переходит в режим информирования посетителя (рис 36). При поступлении запроса о сопровождении пользователя в указанное место комплекс переходит в режим сопровождения (рис Зв). В этом режиме пользователь должен находиться в зоне сопровождения xescort. Это условие поддерживается посредством корректировки скорости и направления движения комплекса. В случае если пользователь отдалился от комплекса на расстояние, превышающее dsearch max (рис Зг), считается, что он покинул зону взаимодействия и комплекс переходит в режим рекламирования. На рисунке 4 приведена логическая модель выбора режима функционирования информационного комплекса. В начале работы производится проверка технического состояния комплекса Dj, при этом в случае наличия сообщений Dalarm = 1, комплекс переходит в режим движения на техническое обслуживание.

Etwip==1

ЗёГ~

Esilent 1

Рис 4. Логическая модель выбора режима функционирования комплекса.

В режим рекламирования комплекс переходит, если выполняется одно из следующих условий: 1) отсутствие пользователей (\Uj\ = 0); 2) пользователь находится в зоне поиска хsearch* но время его присутствие в ней тattract превысило максимальный промежуток времени xattract тах, 3) пользователь находится в зоне взаимодействия xdialog, но система распознавания речи не фиксирует запросов пользователя (Е3цепС = 1); 4) поступление сообщения Ecancel = 1 - распознана голосовая команда отказа в обслуживании. Переход в режим информирования происходит, если пользователь находится в зоне взаимодействия ^dialog и подает голосовой запрос на предоставление информационных услуг (Ehelp = 1). Если пользователь подает запрос на сопровождение (Eescort = 1), комплекс переходит в режим сопровождения.

Третья глава посвящена описанию разработанного модельно-алгоритмического обеспечения проектирования моделей взаимодействия пользователя с подвижным

информационно-навигационным комплексом. На рисунке 5 представлена схема настройки систем многомодального взаимодействия с учетом подвижности информационного комплекса. При появлении пользователя в зоне взаимодействия происходит определение его положения относительно комплекса. При этом проверяется значение с1<ца1ОВЛпах и осй1а1ов_тах, и в зависимости от режима работы происходит корректировка положения комплекса относительно пользователя. Если подвижный комплекс находится в режиме информирования, а угол относительно пользователя превышает значение угла ос^а^ьдаах. то происходит разворот комплекса в сторону пользователя таким образом, чтобы он оказался в зоне аудиолокализадии речевого запроса. После того как голосовой запрос пользователя прошел обработку, происходит формирование и вывод мультимедийных данных для ответа, при этом выбор способа вывода данных происходит с учетом уровня внешних шумов. Если комплекс находится в зашумленном пространстве, ответ системы на запрос пользователя будет выводиться посредством нескольких интерфейсов — озвучивание информации с одновременным выводом ее на экран комплекса.

Рис. 5. Схема настройки систем многомодального взаимодействия с учетом подвижности информационного комплекса.

В режиме сопровождения основное внимание уделяется движению по заданному маршруту и поддержанию положения пользователя в зоне хе5СоП. В случае подачи пользователем речевого запроса аудио локализация производится в зоне его положения относительно комплекса, после чего формируется мультимедийный ответ системы. При выводе мультимедийных данных в этом режиме функционирования комплекса учитывается положение пользователя и зашумленность окружающей среды.

При разработке диалоговой модели информационного комплекса учитывалась возможность модификации и пополнения модели без изменения ее структуры. Данная возможность обеспечивается тем, что диалоговая модель состоит из набора самостоятельных поддиалогов, структура которых представлена на рисунке 6. Подобное деление дает несколько преимуществ: во-первых, повышается быстродействие системы за счет того, что для каждого поддиалога существует собственный словарь, по которому

осуществляется поиск; во-вторых, упрощается процедура добавления новых поддиалогов и редактирования отдельных поддиалогов.

subdialog_we!come

►

Вступительная фраза Предложение воспользоваться другими услугами

Краткая информация о возможностях системы

J subdialog_escorting Уточнение об окончании диалога

Предложение воспользоваться услугами системы

Информация о маршруте Заключительная фраза

Информация об объекте

1Г Справочная информация

subdialog help <4 8иЬЬМаод_оЬ]ес(

Подробное руководство по использованию комплекса объектах и услугах

Рекламная информация

Вызов обслуживающего персонала Справочная информация

Рис. 6. Структура диалоговой модели комплекса.

В начале взаимодействия с пользователем используется поддиалог приветствия (subdialog_welcome). Этот поддиалог содержит следующие элементы: вступительную фразу, краткую информацию о функциях системы, а также запросы системы на предоставление информационных услуг пользователю. Из этого поддиалога в зависимости от запросов пользователя возможен переход в следующие поддиалоги: сопровождение (subdialogescorting), помощь (subdialog_help), информация об объектах и услугах (subdialog_object) или в поддиалог завершения взаимодействия (subdialog end). Поддиалог помощи (subdialog_help) вызывается из любого другого поддиалога на любой стадии взаимодействия, исключение составляет лишь модуль завершения взаимодействия subdialog_end. Поддиалог сопровождения вызывается при поступлении запроса от пользователя на сопровождение из модулей subdialog_weIcome, subdialog_object и subdialoghelp. Из модуля сопровождения возможен переход в модуль subdialoghelp и subdialog_end. Завершение взаимодействия доступно из любого модуля кроме модуля subdialog_help. Каждый поддиалог помимо доступа к общим словарям, использующимся в остальных поддиалогах, имеет также собственный словарь ключевых слов и шаблонов фраз.

В разработанной модели диалога с посетителем основной целью является определение наименования POI (point of interest - точка интереса, какой-либо объект или место, интересующее пользователя) или названия услуги, поэтому структура речевого запроса была составлена в виде грамматики, представленной на рисунке 7. Фраза может содержать только название POI (например, элементы множеств Sobjectnamelist, $service_name_list), название определенной услуги (например, элементы множества $goods_name_list) или название с дополнительными словами, а также вступительными глаголами (например, элементы множеств $where_buy, Swherefind).

О

$where_buy

ГДЕ КУПИТЬ

ГДЕ ПОЛУЧИТЬ

ГДЕ ПРИОБРЕСТИ

$where_f¡nd

ГДЕ НАИТИ

МНЕ НУЖНО

ГДЕ НАХОДИТСЯ

$goods_nameJ¡st

goods_name_1

goods_name_2

goods_name_3

гг

$service_name_list

service name 1

service name 2

sen/ice name 3

$object_nameJist

О

Рис. 7. Пример модели шаблона речевого запроса пользователя.

Если пользователь во фразе указал название POI, то производится определение его местоположения, расчет маршрута и последующее движение комплекса к месту входа в интересующую POI. Если пользователь указал некоторый товар/услугу, то происходит поиск объектов, в которых предоставляется данная услуга, после чего список всех удовлетворяющих поиску объектов выводится на экран, где посетителю предлагается выбрать один.

Четвертая глава посвящена описанию комплекса программных средств управления многомодальным подвижным комплексом информационного самообслуживания, в котором были реализованы предложенные модели и алгоритмы. Структура основных классов, отвечающих за движение комплекса и взаимодействие с пользователем, приведена на рисунке 8.

-map : PointType{][]

+LoadMap(fileName : char) : int +FindPath(newPosrtion : Position) : Path +SetObstacles(obstacles : Position^) ; int _+SaveMap(fileName : char) : Int

•speed

•acceleration : int

+SetSpeed{speed : int) : int +SetAcceleration(acceleretaion : int) : int

♦Moveflength : int) : Int_к,

♦Rotate(angte : int) : int ^ __»Stopp : int

ObstacleDetection

•sensorStates : Position []

♦StartDetection!) : int +StopDetection{) : int +GetSensorState() : SensorStatesQ ♦CheckObstaclesQ : Position[]

-shopList : ShopsList -goodsList : GoodsList

+FindShop(shopName : char) : PosrtionQ +FindShopWithGoods(goodName : char) : ShopsList +AddShop(shopName : char) : int +AddGoods(goods : GoodsData) : int +Add G oodsToS hop (goods : GoodsList. shopName : char) : int +SaveData(shopName : char) : int _+LoadData(8hopName : char) : int

RobotController

-position : Position •currentSpeed : int •currentSubdialogState : SubdialogType -currentOpefattonMode : OperationType

+CheckSubdialogState() : SubdialogType +ChangeSubdialogMode(type : SubdialogType) : int +MoveToPos it ¡opposition : Position) : int ♦MoveToBase(basePosrtion : Position) ; int +MaintainingPosition() : int +AddObstacle{obstaclePosition : Position^)

+UpdateCurrentPosition() : int

+UpdatePath() : int +Ched<OperationMode() : OperationType +ChangeOperationMode(type : OperationType) : int +StartDialog() : int ♦StopDialogO : int +AskQuestion() : int _»WaitingAnswerQ : int

-camerasNo : int[]

+GetU8erCount() : int +GetUserRelativePosition() : Positionf) +StartCaptjre() : int +StopCapture() : int tSetCameras(cameras : intQ) : int

TouchCapture

+GetClickPostion() : int +StartCapture() : int ♦StopCaptureQ : int

•microphonesNo : int[] -currentsubdialogType : SubdialogType

+GetSoundRelativePosition{): Position +GetNoiseLevel(): int +StartRecognizing(): int +StopRecognizingO: int -•■ParseRequestO: int +GetRequestType(): RequestType +GetRequestData(): RequestData +SetMicrophones(microphones : intQ): int ♦SetSubdialog(type : SubdialogType): int

SpeechOutput

+StartSynth{) : int +StopSynth{) : int ♦SetSo und Leve l() : Int

+GenerateAnswer(requestType : RequestType. requestData : RequestData, SubdialogType : SubdialogType) : int

IL

+ShowShopData(shopName : char) : +ShowShop(shopName : char) : +ShowPath(path : Path) : +ShowMap() : _»ClearMapQ : in

Рис. 8. Структура классов комплекса программных средств.

Класс DriveControl отвечает за реализацию доступа к драйверам двигателей ведущих колес комплекса и управление ими. Класс ObstacleDetection выполняет опрос бесконтактных датчиков, определение наличия препятствий и расстояния до них. Класс Map используется для работы с двухмерной картой зоны обслуживания, ее загрузку, сохранение, обновление данных о препятствиях, составление маршрутов. Класс ShopData отвечает за хранение, редактирование и поиск информации об объектах на карте. Класс VideoCapture реализует захват изображения с камер, поиск и слежение за положением пользователей и их лицами. Класс AudioCapture отвечает за захват аудиосигнала с микрофонов, локализацию источника звука, обработку речевых запросов, измерение уровня шума. Класс TouchCapture используется для работы с графическим интерфейсом сенсорного экрана. Класс SpeechOutput служит для формирования и синтеза ответов пользователю. Класс VisualOutput выполняет отображение на экране карты с расположением объектов, информации о них, а также индикации маршрута до выбранного объекта. Класс RobotControIler является основным и отвечает за реализацию взаимодействия между классами, выбор режима функционирования, режима поддиалога, поддержки расстояния и угла до пользователя, перемещения к выбранному объекту.

Для экспериментальной проверки комплекса была разработана база данных абстрактного торгового центра с 83 объектами, расположенными на обслуживаемой территории. На ее карте были отмечены границы объектов, выходы и проходы между ними. В ходе взаимодействия с пользователем на карте указывалось его местонахождение и выбранного объекта. Поиск маршрута до объекта производился с использованием алгоритма типа А*. При настройке системы распознавания речи был построен шаблон речевого запроса пользователя, состоящий из 76 элементов множества Sobject name list, 7 элементов множества $service_name_list, 230 элементов множества $goods_name_list, 10 элементов множества $where_buy и 9 элементов множества $where_find. В ходе экспериментов выяснилось, что большинство пользователей (порядка 60%) предпочитают называть не определенное название объекта, а категорию товара или услуги, и только после вывода на экран списка всех удовлетворяющих условию объектов, выбирать какой-либо один. Около 40% пользователей подавали запрос без вступительных слов (например, «где находится», «как пройти»), а одним словом или названием (например, «Обувь», «Кафе», «Детская одежда»). Процент неправильно обработанных запросов пользователей составил порядка 15%. Также при тестировании был проведен опрос пользователей с целью выявления дополнительных требований по эргономике и функционалу информационно-навигационных комплексов. Большинство опрошенных мужчин (56%) предпочитают более высокие информационные комплексы в отличие от женщин, которые отдали свое предпочтение средней высоте (150 см). Синтезируемый «механический» голос системы выбрали 47% женщин, тогда как мужчины (70%) предпочитают женский голос. Расстояние взаимодействия с комплексом как в режиме информирования, так и в режиме сопровождения не рекомендуется делать меньше 50 см. Наиболее удобным средством ввода было выбрано сенсорное меню (41% женщин и 70% мужчин), а средствами вывода информации - аватар в виде говорящей головы вместе с выводом графической информации на монитор. Полученные данные будут использованы при разработке опытного образца многомодального информационно-навигационного комплекса.

ЗАКЛЮЧЕНИЕ

Совокупность предложенных моделей, алгоритмов и их программная реализация в экспериментальном образце подвижного информационно-навигационного комплекса с многомодальным интерфейсом представляют собой решение актуальной научно-технической задачи создания подвижных сервисных средств самообслуживания, внедрение которых вносит значительный вклад в развитие страны. В ходе решения данной задачи были получены следующие научные результаты:

1. Структурная модель подвижного информационно-навигационного комплекса, построенная на основе совместной работы двух систем, отвечающих за движение комплекса с анализом появления препятствий на маршруте, а также за реализацию многомодального интерфейса, обеспечивающего естественный диалог с пользователем и вывод мультимедиа данных об интересующих его объектах.

2. Логическая модель выбора режима функционирования комплекса, учитывающая расположение пользователей и состояние бортовых модулей и реализующая несколько вариантов предоставления пользовательских сервисов, включающих выдачу информации об объекте, расположенного на территории обслуживания, и/или сопровождение до этого объекта.

3. Диалоговая модель взаимодействия подвижного информационно-навигационного комплекса с посетителями, включающая режимы речевого диалога с целью информирования об определенном объекте и сопровождения до интересующего объекта, использующая систему распознавания ключевых элементов для определения цели голосового запроса и отличающаяся применением смешанной стратегии диалога и структуры поддиалогов для каждого режима функционирования.

4. Комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, позволяющий изменять режим функционирования на основе анализа ситуации и отличающийся возможностью настройки пользовательского интерфейса с учетом параметров объектов заданной территории обслуживания.

Основные результаты исследования соответствуют п.7 «Человеко-машинные интерфейсы, модели, методы, алгоритмы и программные средства машинной графики, визуализации, обработки изображений, систем виртуальной реальности, мультимедийного общения», п.8 «Модели и методы создания программ и программных средств для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования» паспорта специальности 05.13.11 - «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей».

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

В рецензируемых журналах из списка ВАК:

1. Прищепа, М.В. Разработка профиля пользователя с учетом психологических аспектов взаимодействия человека с информационным мобильным роботом // Труды СПИИРАН. Вып. 21. 2012. С. 56-70.

2. Прищепа, М.В. Особенности разработки пользовательского интерфейса мобильного информационного робота / М.В.Прищепа, К. Ю.Баранов // Известия вузов. Приборостроение, СПб.: ИТМО, Т. 55, № 11, 2012. С. 46-51.

3. Prischepa, М. Dialog Model Development of a Mobile Information and Reference Robot/ V. Budkov, M. Prischepa, A. Ronzhin // Pattern Recognition and Image Analysis, Pleiades Publishing, Vol. 21, No. 3, 2011. pp. 458-461.

4. Prischepa, M.V. Models and Hardware-Software Solutions for Automatic Control of Intelligent Hall / R.M. Yusupov, An.L. Ronzhin, M.V. Prischepa, Al.L. Ronzhin // Automation and Remote Control, Vol. 72, No. 7, 2011. pp. 1389-1397.

5. Прищепа, M.B. Система интеллектуального управления мобильным информационно-справочным роботом / М.В. Прищепа, В.Ю. Будков, A.JI. Ронжин //Информационно-управляющие системы, № 6, 2010. С 2-6.

В других изданиях:

6. Prischepa, M.V. Hierarchical Dialogue System for Guide Robot in Shopping Mall Environments. / M.V. Prischepa, V.Yu. Budkov // Springer-Verlag Berlin Heidelberg, I. Habernal and V. Matousek (Eds.): TSD 2011, LNAI 6836, 2011. pp. 163-170.

7. Прищепа, M.B. Структура диалоговой модели мобильного информационного робота для торговых центров./ М.В. Прищепа, К.Ю. Баранов // Труды 4 всероссийской мультиконференции по проблемам управления (МКПУ 2011), Таганрог: ТТИ ЮФУ, 2011. С. 184-186.

8. Прищепа, М.В. Адаптивное управление движением информационного робота при объезде динамических препятствий. / К.Ю. Баранов, М.В. Прищепа // Сборник докладов круглого стола «Инновационные технологии в электромеханике, энергетике и системах управления» XII Международного форума «Формирование современного информационного общества - проблемы, перспективы, инновационные подходы», Санкт-Петербург, Россия. СПб.: ГУАП, 2011. С. 72-79.

9. Прищепа, М.В. Алгоритм адаптивного управления подвижной платформой на основе бесконтактного определения препятствий. / К.Ю. Баранов, М.В. Прищепа // Завалишинские чтения: Сборник докладов / ГУАП, СПб, 2011. С. 65-71.

10. Прищепа, М.В. Онтологическая модель взаимодействия пользователей с мобильным информационным роботом. / М.В. Прищепа, В.Ю. Будков, А. Л.Ронжин // Материалы Международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем» (OSTIS-2011), Минск, Беларусь, 2011. С. 305-310.

11. Прищепа, М.В. Разработка системы интерактивного телевидения с многомодальным доступом / М.В. Прищепа, В.Ю. Будков, Ал.Л. Ронжин // Труды СПИИРАН. Вып. 12, 2010, С. 50-62.

12. Прищепа, М.В. Диалоговая модель управления мобильным информационным роботом/ В.Ю. Будков, М.В. Прищепа // Искусственный интеллект, Донецк: ГУИИИ, № 4, 2010. С. 78-81.

13. Prischepa, M.V. Web-system for mobile participant support/ Al.L. Ronzhin, M.V. Prischepa, V.Yu. Budkov // In Proceedings of the 8th Conference of Open Innovations Framework Program FRUCT - Finland, Lappeenranta, 2010. pp. 154-159.

14. Прищепа, М.В. Разработка интерактивной модели речевого взаимодействия мобильного информационного робота с посетителями торговых центров. / М.В. Прищепа, В.Ю. Будков // Труды четвертого междисциплинарного семинара «Анализ разговорной русской речи» (АРЗ - 2010) - СПб.: ГУАП, 2010. С. 46-50.

15. Prischepa, M.V. A Video Monitoring Model with a Distributed Camera System for the Smart Space / Al.L. Ronzhin, M.V. Prischepa, A.A. Karpov // NEW2AN/ruSMART 2010, LNCS 6294, 2010. pp. 102-110.

16. Prischepa, M. Multimodal Human-Robot Interaction/ V. Budkov, M. Prischepa,

A. Ronzhin, A. Karpov // In Proc. 2nd International Conference ICUMT-2010, Moscow, Russia, IEEE Xplore 2010. pp. 485-488.

17. Прищепа, М.В. Анализ способов взаимодействия с мобильным информационным роботом. / В.Ю. Будков, М.В. Прищепа, A.JI. Ронжин // Завалишинские Чтения: Сборник Докладов/СПб.: ГУАП, 2009. С. 12-19.

Свидетельства о регистрации ПрЭВМ и патенты:

18. Патент на полезную модель № 124017 от 10 января 2013 г.: Ан.Л. Ронжин, Ал.Л. Ронжин, В.Ю. Будков, М.В.Прищепа. Интеллектуальное пространство с многомодальным интерфейсом.

19. Патент на полезную модель № 108172 от 10 сентября 2011 г.: А.Л.Ронжин,

B.Ю. Будков, М.В. Прищепа, А.А. Карпов. Многомодальный подвижный автомат информационного самообслуживания.

Учебные пособия:

20. Прищепа, М.В. Методы и средства интеллектуального управления мобильным информационным роботом / А.Л. Ронжин, М.В. Прищепа, В.Ю. Будков // Учеб. пособие / СПб.: ГУАП. СПб., 2012. 64 с.

Автореферат диссертации

Прищепа Мария Викторовна

МОДЕЛИ И ПРОГРАММНЫЕ СРЕДСТВА ИНТЕРАКТИВНОГО ВЗАИМОДЕЙСТВИЯ С ПОДВИЖНЫМ ИНФОРМАЦИОННО-НАВИГАЦИОННЫМ КОМПЛЕКСОМ САМООБСЛУЖИВАНИЯ

Текст автореферата размещен на сайтах: Высшей аттестационной комиссии Министерства образования и науки Российской Федерации http://vak2.ed.gov.ru/catalogue Федерального государственного бюджетного учреждения науки Санкт-Петербургского института информатики и автоматизации Российской академии

наук (СПРИИРАН) http://www.spiiras.nw.ru/DissSovet/Templates/PhDSchedule.htm

Подписано в печать 21.05.2013 Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 1,0. Тираж 100 экз. Заказ №3102

Отпечатано в ООО «Издательство "ЛЕМА"» 199004, Россия, Санкт-Петербург, В.О., Средний пр., д. 24 тел.: 323-30-50, тел./факс: 323-67-74 e-mail: izd_lema@mail.ru http://www.lemaprint.ru

Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук

МОДЕЛИ И ПРОГРАММНЫЕ СРЕДСТВА ИНТЕРАКТИВНОГО ВЗАИМОДЕЙСТВИЯ С ПОДВИЖНЫМ ИНФОРМАЦИОННО-НАВИГАЦИОННЫМ КОМПЛЕКСОМ САМООБСЛУЖИВАНИЯ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Диссертация на соискание ученой степени кандидата технических наук

04201358134

На правах рукописи

ПРИЩЕПА Мария Викторовна

Научный руководитель: д.т.н., доцент Ронжин А.Л.

Санкт-Петербург -2013

Содержание

Введение.............................................................................................................................................3

Положения, выносимые на защиту................................................................................................10

Глава 1. Анализ проблем разработки многомодальных подвижных комплексов самообслуживания и подходов к их решению.............................................................................11

1.1 Анализ основных проблем построения пользовательских интерфейсов к подвижным комплексам самообслуживания.................................................................................................11

1.2 Обзор современных методов проектирования речевых и многомодальных пользовательских интерфейсов..................................................................................................19

1.3 Обзор существующих исследовательских подвижных комплексов самообслуживанияЗ 1

1.4 Методики тестирования информационных подвижных комплексов...............................42

1.5 Выводы по главе 1.................................................................................................................46

Глава 2. Модельно-алгоритмическое обеспечение функционирования подвижных информационно-навигационных комплексов..............................................................................48

2.1 Структурная модель подвижного информационно-навигационного комплекса............48

2.2 Сценарии поведения комплекса в различных режимах функционирования...................56

2.3 Логическая модель выбора режимов работы информационно-навигационного комплекса.....................................................................................................................................63

2.4 Модели персонифицированного интерактивного взаимодействия с подвижным комплексом...................................................................................................................................66

2.5 Выводы по главе 2.................................................................................................................71

Глава 3. Модельно-алгоритмическое обеспечение интерактивного взаимодействия с подвижным информационно-навигационным комплексом........................................................73

3.1 Особенности проектирования диалоговых моделей..........................................................73

3.2 Диалоговая модель информационно-навигационного обслуживания пользователя......77

3.3 Пример диалоговой модели и схема обработки речевых запросов пользователя..........83

3.4 Выводы по главе 3.................................................................................................................89

Глава 4. Комплекс программных средств управления многомодальным подвижным автоматом информационно-навигационного самообслуживания..............................................90

4.1 Структура классов комплекса программных средств управления многомодальным подвижным автоматом................................................................................................................90

4.2. Экспериментальный образец подвижного информационно-навигационного комплекса с многомодальным интерфейсом...............................................................................................99

4.3 Рекомендации по внедрению предложенного модельно-алгоритмического обеспечения .....................................................................................................................................................119

4.4 Выводы по главе 4...............................................................................................................126

Заключение.....................................................................................................................................128

Литература.....................................................................................................................................130

Приложение А. Копии актов внедрения результатов диссертационной работы....................144

Введение

Актуальность темы диссертации. Стационарные системы самообслуживания и оказания услуг информационно-справочного характера населению, в том числе банкоматы, терминалы оплаты услуг, информационные киоски, оснащенные средствами обработки и вывода аудиовизуальной информации, широко распространены в торгово-развлекательных комплексах, банках, транспортных узлах и других местах одновременного нахождения большого количества людей. Основным требованием, предъявляемым к пользовательскому интерфейсу таких систем, является доступность для людей с различными навыками и возможностями. То есть интерфейс человеко-машинного взаимодействия должен быть простым и удобным настолько, чтобы пользователь смог управлять устройством интуитивно без предварительной подготовки и обучения.

В то же время на основе активно развивающейся в последнее время концепции окружающего интеллектуального пространства, анализирующего поведение пользователя на основе бесконтактных сенсоров, разрабатываются информационно-справочные сервисы, предоставляемые повсеместно. Однако пока существуют лишь отдельные прототипы подобных интеллектуальных пространств: зал совещаний, лекционная аудитория, больничная палата, комната отдыха.

Другим вариантом информационно-справочных систем самообслуживания является применение мобильных персональных устройств. В частности, широкое распространение получили персональные мобильные гиды в музеях, предоставляющие пользователю контекстно-зависимую информацию на основе технологий радиочастотной идентификации. Такие решения достаточно просты в реализации и не требуют больших экономических затрат. Тем не менее оптимальный выбор размера экрана, веса и других эргономических характеристик играют важную роль при разработке мобильных персональных систем.

Одним из перспективных направлений развития информационно-справочных систем самообслуживания в настоящее время является разработка подвижных комплексов, предоставляющих услуги справочного характера пользователям в заданной зоне обслуживания. За счет своей мобильности такие системы способны обслуживать большее количество пользователей, чем стационарные системы. Кроме того, подвижные комплексы не настолько ограничены в размерах как персональные мобильные гиды, поэтому ресурсы, необходимые для оснащения пользовательского интерфейса, могут быть увеличены. Вместе с тем, при создании подвижных комплексов самообслуживания возникает ряд новых неизученных аспектов человеко-машинного взаимодействия, связанных с безопасностью движения, выбором положения комплекса по отношению к пользователю в ходе предоставления услуг и реализацией пользовательского интерфейса, учитывающего как мобильность пользователя, так и самой системы.

Цель работы и задачи исследования. Основной целью диссертационной работы является разработка модельно-алгоритмического обеспечения автономных подвижных комплексов, обеспечивающих предоставление пользователям информационно-навигационных услуг на обслуживаемой ими территории. Для достижения поставленной цели в работе решены следующие задачи:

1. Анализ современных методов проектирования речевых и многомодальных пользовательских интерфейсов и существующих исследовательских подвижных систем самообслуживания.

2. Разработка структурной модели подвижного комплекса, предоставляющего пользователям информационно-навигационные услуги по объектам на заданной территории.

3. Разработка диалоговой модели подвижного комплекса, применяющейся при определении пользователя и взаимодействии с ним в стационарном положении и в ходе сопровождения до интересуемого объекта.

4. Программная реализация предложенных моделей в прототипе многомодального подвижного комплекса ииформационно-навигационного самообслуживания.

Методы исследования. Для решения поставленных задач в работе используются методы цифровой обработки сигналов, теории множеств, распознавания образов, проектирования диалоговых моделей. Компьютерная реализация разработанных алгоритмов производилась на основе объектно-ориентированного подхода.

Научная новизна работы состоит в следующем:

1. Разработана структурная модель подвижного информационно-навигационного комплекса, построенная на основе совместной работы двух систем: 1) подвижной платформы, выполняющей слежение за появлением препятствий на маршруте комплекса, его перемещение; 2) информационной стойки, отвечающей за реализацию многомодального интерфейса; отличающаяся тем, что обеспечивает в статическом и динамическом режимах обслуживание пользователей с применением многомодального интерфейса.

2. Предложена логическая модель выбора режима функционирования информационно-навигационного комплекса, отличающаяся анализом параметров бортовых устройств подвижной платформы, расположения и времени нахождения пользователя в зоне взаимодействия, а также поступающих сообщений от системы, отвечающей за реализацию многомодального интерфейса, позволяющая генерировать команды к исполнительным устройствам комплекса для реализации информационного обслуживания пользователей.

3. Разработана диалоговая модель интерактивного взаимодействия с подвижным информационно-навигационным комплексом в режимах информирования и сопровождения пользователя, отличающаяся применением системы распознавания ключевых элементов с заданными специализированными словарями для каждого режима функционирования и смешанной стратегией диалога.

4. Разработан комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, отличающийся применением комбинации модулей бесконтактного анализа поведения пользователей и определения препятствий при движении комплекса, обеспечивающий предоставление справочных услуг и сопровождение пользователей на заданной территории обслуживания.

Обоснованность и достоверность научных положений, основных выводов и результатов диссертации обеспечивается за счет анализа состояния исследований в данной области, согласованности теоретических выводов с результатами экспериментальной проверки моделей, а также апробацией основных теоретических положений диссертации в печатных трудах и докладах на международных научных конференциях.

Практическая ценность работы. Предложенные модели взаимодействия пользователей с подвижными информационными комплексами и их программная реализация в многомодальном подвижном автомате информационного самообслуживания являются прототипом широкого спектра информационно-справочных систем самообслуживания, функционирующих в бизнес-центрах, отелях, аэропортах, выставочных комплексах, ВУЗах, медицинских центрах, торговых центрах, музеях, спортивных клубах и других общественно-транспортных центрах. Разработка средств проектирования человеко-машинного диалога на основе естественно-языковых запросов и автоматического предоставления справочной информации позволяет уменьшить объем работ обслуживающего персонала.

Реализация результатов работы. Исследования, отраженные в диссертации, проведены в рамках научно-исследовательских работ: Министерства образования и науки РФ «Разработка математического и программного обеспечения ассистивного многомодального интеллектуального пространства», ГК № 11.519.11.4025, 2011-2013 гг. в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-

2013 годы»; «Разработка принципов и инновационных информационных технологий для взаимодействия пользователей с интеллектуальным пространством», ГК №14.740.11.0357, 2010-2012 гг.; «Разработка методов человеко-машинного взаимодействия и многомодальных пользовательских интерфейсов для интеллектуальных информационных систем», ГК№ П2360, 2011-2013 гг. «Разработка моделей, методов и инструментальных средств интеллектуального управления мобильным информационно-справочным роботом», ГК №П876, 2010-2012 в рамках федеральной целевой программы «Научные и научно-педагогические кадры инновационной России на 2009-2013 гг.»; грант РФФИ № 12-07-31201-МОЛ а «Разработка методов и программных средств адаптивного диалогового интерфейса мобильного информационного робота», 2012-2013. Разработанные модели, алгоритмы, программное обеспечение, а также технические решения были использованы также в рамках учебных курсов на кафедрах Санкт-Петербургского государственного университета аэрокосмического приборостроения, Санкт-Петербургского государственного электротехнического университета.

Апробация результатов работы. Результаты диссертационного исследования представлялись на 8 международной конференции по интеллектуальным пространствам 1Е'12, Гуанохуато, Мексика, 20 - 28 июня 2012, международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем» 08Т18 (Минск, 2011), международной конференции «Р1ШСТ» (Лаппеенранта, Финляндия, 2010), международной конференции по интеллектуальным пространствам «ги8МА11Т» (Санкт-Петербург, 2010), международном семинаре по многомодальным интерфейсам «еМТЕЯЕАСЕ» (Амстердам, Нидерланды, 2010; Пльзень, Чехия, 2011), 13 международной конференции «Текст, Речь и Диалог» ТБЭ'Н (Пльзень, Чехия, 2011), международной конференции «Региональная информатика» (Санкт-Петербург, 2010, 2011, 2012).

Публикации. По материалам диссертации опубликовано 20 печатных работ, включая 5 публикаций в научных журналах, рекомендованных ВАК:

«Информационно-управляющие системы», «Известия вузов.

Приборостроение», «Труды СПИИРАН», «Automation and Remote Control», «Pattern Recognition and Image Analysis» и 1 учебное пособие; получен 1 патент на полезную модель в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам.

Структура и объем работы. Диссертация объемом 148 машинописных страниц содержит введение, четыре главы и заключение, список литературы (122 наименования), 12 таблиц, 29 рисунков, одно приложение с копиями актов внедрения.

Основное содержание работы

Первая глава посвящена анализу проблем проектирования средств интерактивного взаимодействия информационных подвижных комплексов, проанализированы современные методы и программно-аппаратное обеспечение интеллектуальных информационных систем, применяемых в сфере образования, медицины и развлечений.

Во второй главе описывается предложенная структурная модель подвижного информационно-навигационного комплекса, включающая модули, отвечающие за передвижение комплекса и реализацию пользовательского интерфейса. Рассматривается ряд факторов, влияющих на функционирование информационно-навигационного комплекса. Выделяются четыре режима работы комплекса, отличающиеся сценариями взаимодействия с пользователями.

В третьей главе приводится описание разработанного моделыю-алгоритмического обеспечения проектирования моделей взаимодействия пользователя с подвижным информационно-навигационным комплексом. Рассмотрена диалоговая модель, реализованная в виде графа поддиалогов, упрощающих ее редактирование и настройку под новую предметную область. При обработке речевых запросов пользователя была использована система распознавания речи с заданным набором шаблонов ключевых элементов. Предложена оригинальная структура шаблона речевых запросов пользователя,

использующаяся комплексом в режиме информирования. Приведены примеры баз данных системы распознавания речи, необходимых для построения диалоговой модели интерактивного взаимодействия с подвижным информационно-навигационным комплексом.

Четвертая глава описывает комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, в котором были апробированы предложенные модели и алгоритмы. Разработанный комплекс выполняет выбор режима функционирования информационно-навигационного автомата и реализует интерактивное взаимодействие с пользователем. Приведены результаты экспериментальной проверки и опроса потенциальных пользователей многомодального подвижного автомата информационного самообслуживания.

Положения, выносимые на защиту

1. Структурная модель подвижного информационно-навигационного комплекса, построенная на основе совместной работы систем, отвечающих за перемещение и реализацию многомодального интерфейса, обеспечивает естественный диалог и вывод мультимедиа данных об интересующих пользователя объектах в процессе самообслуживания.

2. Логическая модель выбора режима функционирования комплекса, учитывающая положение пользователей и состояние бортовых устройств на основе показаний бесконтактных датчиков и систем анализа поведения пользователя, настраивает параметры функционирования подвижной и информационной части комплекса.

3. Диалоговая модель интерактивног