автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Модели и программные средства росчеркового ввода информации для устройств с сенсорным экраном

На правах рукописи ООбОаою"

Манахов Павел Алексеевич

МОДЕЛИ И ПРОГРАММНЫЕ СРЕДСТВА РОСЧЕРКОВОГО ВВОДА ИНФОРМАЦИИ ДЛЯ УСТРОЙСТВ С СЕНСОРНЫМ

ЭКРАНОМ

05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата наук

2 9 НОЯ 2012

Москва-2012

005056180

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный университет «СТАНКИН» на кафедре «Управление и информатика в технических системах»

Научный руководитель: Ковшов Евгений Евгеньевич, доктор

технических наук, профессор

Официальные оппоненты: Анохин Алексей Никитич, доктор технических

наук, профессор, заведующий кафедрой автоматизированных систем управления ИАТЭ НИЯУ МИФИ

Майков Константин Анатольевич, доктор технических наук, профессор кафедры «Программное обеспечение ЭВМ и информационные технологии» МГТУ имени Н.Э. Баумана

Ведущая организация: ФГБОУ ВПО «Рязанский государственный

радиотехнический университет»

Защита состоится «13» декабря 2012 г. в 13ш часов на заседании диссертационного совета Д 212.147.03 при Московском государственном университете печати имени Ивана Федорова (127550, г. Москва, ул. Приянишникова, 2А).

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Московский государственный университет печати имени Ивана Федорова».

Автореферат разослан «12» ноября 2012 г.

Ученый секретарь

диссертационного совета Д 212.147.03 д.т.н., профессор

в н Агеев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Сегодня проблема коммуникации людей с ограниченными возможностями зрения посредством персональных компьютеров и мобильных устройств без сенсорного экрана имеет несколько эффективных способов решения. В их основе лежит принцип набора текста на аппаратной клавиатуре, которая за счет кинестетических и тактильных ощущений может использоваться вслепую. Однако некоторое время назад наметился устойчивый тренд перехода производителей к разработке моделей устройств без аппаратных клавиш управления, что грозит обернуться серьезными проблемами для слепых и слабовидящих людей.

Наиболее популярными операционными системами мобильных устройств с сенсорным экраном класса смартфонов, коммуникаторов и планшетов являются Android и iOS. Обе системы имеют встроенную поддержку универсального доступа — набора функций, который позволяет людям с различными нарушениями здоровья пользоваться устройством. Одной из слабых сторон обеих операционных систем является наличие неэффективного способа набора текста для незрячих пользователей. Таким образом, актуальной проблемой является создание нового способа ввода текста для людей с ограниченными возможностями зрения.

Процесс разработки нового и доработки существующего способа ввода алфавитно-цифровой информации завершается длительным и дорогостоящим юзабилити-тестированием. Выявление недоработок на данном этапе влечет за собой значительные финансовые и временные затраты, поскольку весь процесс приходится повторять заново. Для того чтобы этого избежать, необходимо уже на этапе проектирования иметь под рукой инструмент, который позволит оценить эффективность тех или иных изменений. Применение квалитативных методов, равно как и привлечение экспертов, не позволяет достичь желаемого, поскольку на скорость набора влияет слишком большое количество параметров.

Степень разработанности проблемы. Исследования в области теоретической оценки эффективности человеко-компьютерного взаимодействия в задаче ввода текста уже проводились ранее. Наиболее известными являются работы таких зарубежных ученых как С.И. Маккензи, Ш. Жай, Д.А. Норман, С.К. Кард, Т.П. Моран, А. Ньювел, С.П. Левин, П. Исокоски. Стоит отметить работы наших бывших соотечественников - Т.Г. Еврейновой и Г.Е. Еврейнова - посвященные разработке способов ввода текста

для людей с сенсорными отклонениями. Отечественные работы касаются вопроса проектирования новых способов ввода текста (изобретения A.B. Афанасьева, А.Г. Прохорова, Д.Л. Ракова), однако работ, посвященных моделированию процесса набора текста, в российской научной литературе не представлено. Наиболее совершенные модели, предложенные Р.В. Сукореффом, С.И. Маккензи, Х.Х. Коэстер, С. П. Левиным, А. Павловичем, В. Стюэрзлингером, М.Д. Данлопом и А. Кроссаном, обладают рядом существенных недостатков, одним из которых является узкая направленность. Существующие методы моделирования не учитывают ряд важнейших особенностей человеко-компьютерного взаимодействия, например, вероятность ошибок ввода, различия в словарном запасе пользователей, а так же их ограниченные возможности, вызванные болезнью или условиями взаимодействия.

Можно заключить, что а1сгуальной задачей является разработка методики построения моделей процесса ввода алфавитно-цифровой информации в технические устройства и его использование для создания эффективного способа набора текста для людей с ограниченными возможностями зрения.

Объектом исследования диссертационной работы являются способы ввода алфавитно-цифровой информации в технические устройства с сенсорным экраном.

Предметом исследования являются алгоритмы, методы и программные средства моделирования человеко-компьютерного взаимодействия в задаче ввода текста в портативные ЭВМ.

Область исследования. Диссертационная работа выполнена в соответствии с п. 6. «Разработка методов, языков и моделей человеко-машинного общения; разработка методов и моделей распознавания, понимания и синтеза речи, принципов и методов извлечения данных из текстов на естественном языке», п. 8. «Исследование и когнитивное моделирование интеллекта, включая моделирование поведения, моделирование рассуждений различных типов, моделирование образного мышления» и п. 14. «Разработка теоретических основ создания программных систем для новых информационных технологий» Паспорта специальностей ВАК РФ (технические науки) по специальности 05.13.17 - «Теоретические основы информатики».

Целью работы является исследование процессов человеко-компьютерного взаимодействия, разработка моделей способов ввода алфавитно-цифровой информации и создание на их основе программных средств для устройств с сенсорным экраном.

В работе поставлены и решены следующие научные задачи диссертационного исследования:

1. Определить критерий эффективности взаимодействия системы «человек-компьютер» в задаче ввода алфавитно-цифровой информации.

2. Разработать методику моделирования для оценки эффективности набора текста посредством различных способов сенсорного ввода с учетом возможности их использования людьми с нарушением зрения.

3. Осуществить верификацию предложенной методики моделирования.

4. Провести оценку временной и пространственной сложности алгоритмов на основе разработанных моделей.

5. Разработать программно реализуемый способ ввода текста в мобильные устройства с сенсорным экраном для людей с ограниченными возможностями зрения.

Методы исследования. При решении задач были использованы основные положения теории множеств, теории вероятностей и теории автоматов, а так же методы компьютерной лингвистики, системного анализа, имитационного моделирования, эргономики и инженерной психологии; при разработке программной реализации - методы объектно-ориентированного моделирования и программирования.

Научная новизна диссертационной работы заключается в следующих положениях:

1. Разработана методика моделирования процесса ввода текста в технические устройства здоровыми людьми, а так же людьми с ограниченными возможностями зрения.

2. Разработан метод повышения точности оценки продолжительности цикла ввода при использовании вспомогательных систем на основе применения двух лингвистических корпусов.

3. Разработан метод оценки эффективности взаимодействия в задаче ввода текстовой информации на основе вероятностного подхода.

Практическая значимость. Предложенная методика моделирования может быть использована на самых ранних этапах проектирования способа ввода, за счет чего возможно существенное сокращение финансовых и временных затрат на его разработку. Кроме того, предложенная методика может использоваться в качестве инструмента для проведения различного рода теоретических исследований человеко-компьютерного взаимодействия. Диссертационная работа обладает важным социальным результатом, поскольку разработанный способ набора текста является эффективным способом ввода

для людей с ограниченными возможностями зрения, что было доказано в ходе серии экспериментов.

Основные положения, выносимые на защиту:

1. Методика моделирования процесса ввода текста в технические устройства здоровыми людьми, а так же людьми с ограниченными возможностями зрения.

2. Метод повышения точности оценки продолжительности цикла ввода при использовании вспомогательных систем на основе применения двух лингвистических корпусов.

3. Метод оценки эффективности взаимодействия в задаче ввода текстовой информации на основе вероятностного подхода.

Достоверность и обоснованность научных положений и выводов обеспечивается корректным использованием базовых методов исследования и математического аппарата. Достоверность результатов работы подтверждается сериями натурных экспериментов и сравнением данных, полученных в ходе экспериментов, с данными, полученными ранее по рассматриваемой тематике.

Реализация результатов работы. Результаты диссертационной работы внедрены в учебный процесс ФГБОУ ВПО МГТУ «СТАНКИН» и в настоящее время используются при подготовке магистрантов по магистерским программам: 220200.68-20 «Человеко-машинные системы управления» и 230100.68-01 «Теоретическая информатика». Материалы диссертационной работы использованы в качестве методологической основы при разработке общеуниверситетских курсов лекций и практических занятий по дисциплинам «Информатика», «Программирование и основы алгоритмизации» и специальной дисциплине «Интеллектуальные системы обработки информации».

Определена целесообразность применения разработанной методики при создании прикладного программного обеспечения информационных систем в научно-практических разработках малого инновационного предприятия ООО «Компьютерные системы и технологии» (г. Москва).

Результаты работы подтверждены актами внедрения, имеющимися в приложении к диссертации.

Апробация работы. Основные научные и практические результаты работы докладывались на следующих конференциях и семинарах: XI международной конференции «ПРОТЭК'08» (г. Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2008); II всероссийской студенческой научно-технической конференции «Прикладная информатика и математическое моделирование» (г. Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2008); Объединенной

международной конференции User Experience Russia — UPA Europe 2009 (г. Москва, Международный Выставочный центр «Инфопространство», 2009); 5-ом международном форуме «.MedSoft-2009» (г. Москва, Центральный дом предпринимателя, 2009); III всероссийской студенческой научно-технической конференции «Прикладная информатика и математическое моделирование» (г. Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2009); Межвузовской научной конференции молодых ученых и студентов «Инновации в экономике» (г. Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2010); Общероссийской конференции «РИФ+КИБ 2010» (Московская область, пансионат «Лесные дали», 2010); IV всероссийской студенческой научно-технической конференции «Прикладная информатика и математическое моделирование» (г. Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2010).

В 2011 году работа «Разработка слепого метода ввода текста для мобильных устройств с сенсорным экраном» была признана победителем Всероссийского конкурса научно-исследовательских работ студентов и аспирантов в области технических наук в рамках Всероссийского фестиваля науки, проходившего в ФГБОУ ВПО «МГУДТ».

Публикации по теме работы. По теме диссертации опубликовано 9 научных работ, в том числе 4 статьи в журналах, входящих в перечень ВАК РФ. Подана заявка на изобретение № 2011132616/08 (048102) «Способ ввода данных с использованием сенсорной поверхности, например, сенсорной панели или сенсорного экрана» (дата приоритета от 04.08.2011) и получено решение о выдаче патента на изобретение от 30.08.2012.

Структура и объем диссертации. Диссертационная работа изложена на 153 страницах машинописного текста и состоит из введения, четырех глав, списка литературы и трех приложений. Список литературы включает 156 источников.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность исследования, проведенного в рамках диссертационной работы, указана степень разработанности проблемы, сформулирована научно-техническая задача исследования, приведены цель работы, объект и предмет исследования, перечислены основные задачи исследования. Обоснована научная новизна, приведена практическая ценность работы, сведения о реализации ее результатов.

В первой главе кратко рассмотрено текущее состояние исследований в области проектирования и оценки человеко-компьютерного взаимодействия,

отмечены особенности процесса проектирования интерфейса пользователя для мобильных устройств, а так же для людей с ограниченными возможностями зрения.

Проведен анализ компонентов различных способов ввода, в результате которого сформировано структурное теоретико-множественное описание. Кратко рассмотрен вопрос выбора пространства признаков классификатора (системы распознавания росчерков) и его влияние на процесс ввода текста. Проведен обзор вспомогательных систем, среди которых выделены системы расшифровки аббревиатур, системы коррекции ошибок и предикативные системы. Детально рассмотрены различные типы предикативных систем.

В работе введена классификация существующих сенсорных способов ввода, которая выделяет следующие классы: клавиатуры; системы рукописного ввода текста; системы ввода, основанные на пересечении графических элементов управления; системы ввода, основанные на определении направления относительно первой точки касания сенсорной поверхности (радиальные меню). На основе приведенной классификации кратко рассмотрены существующие способы ввода, для каждого класса приведены способы ввода для людей с ограниченными возможностями здоровья.

В диссертации приведены характеристики способа ввода, не учитывающие параметры пользователя: «количество нажатий клавиш на символ» (С.И. Маккензи), «сокращение количества нажатий на клавиши» (Х.Х. Коэстер, С.П. Левин) и «количество коллизий» предикативной системы со словарем (И.Дж. Дэзотелс, С.Б. Соффер). Сделан вывод об ограниченной области применения перечисленных характеристик.

Приведены характеристики системы «человек-компьютер» в задаче ввода текстовой информации, к которым относятся возможность слепого ввода, скорость обучения, когнитивная рабочая нагрузка, количество ошибок и скорость набора. Подробно описаны экспериментальные способы их измерения.

Когнитивная рабочая нагрузка влияет на время подготовки действия. Пользователь-новичок при наборе текста на виртуальной клавиатуре большую часть времени тратит на визуальный поиск символов. Очевидно, что чем больше время подготовки действия в процессе ввода, тем ниже максимально достижимая скорость набора текста. В то же время, чем менее аккуратно пользователь вводит текст (выше количество опечаток), тем выше скорость его набора. Проводимые ранее исследования (Р.В. Бейли) показали, что после незначительных колебаний первых опытов, величина процента опечаток устанавливается на фиксированном уровне. Зависимость перечисленных

характеристик играет ключевую роль в формировании модели способа ввода текста. В качестве критерия эффективности была принята скорость набора текста с учетом времени, необходимого для коррекции опечаток, которые пользователь заметил. Производительность системы «человек-компьютер» при наборе текста не учитывает вероятность возникновения опечаток и выражает максимально достижимую скорость набора для конкретной группы пользователей при условии безошибочного ввода.

В диссертационной работе проведен обзор существующих методов теоретической оценки производительности. Рассмотрены метод моделирования виртуальных клавиатур (Р.В. Сукорефф, С.И. Маккензи), модель виртуальных клавиатур с полной раскладкой и функцией завершения слов (Х.Х. Коэстер, С.П. Левин), модель стандартной 12-кнопочной клавиатуры при ее использовании новичками (А. Павлович, В. Стюэрзлингер) и метод моделирования стандартной клавиатуры телефона при использовании нескольких предикативных систем (М.Д. Данлоп, А. Кроссан). Приведены их недостатки, среди которых выделены:

• узкая направленность;

• отсутствие возможности моделирования взаимодействия для людей с ограниченными возможностями зрения;

• отсутствие возможности оценки эффективности взаимодействия.

В завершении главы выполнена постановка цели и задач исследования.

Во второй главе приведено детальное описание предложенной методики моделирования. В ее основу положена модель пооперационного структурирования деятельности пользователя - КЬМ-СОМБ (С.К. Кард, Т.П. Моран, А. Ньювел). Оригинальная модель предназначена для оценки времени выполнения иерархически структурированных задач пользователем-экспертом.

Одной из отличительных черт процесса набора текста является его цикличность, поэтому моделирование процесса ввода можно свести к расчету времени выполнения его итераций. Размер итерации соответствует уровню модели и может включать время ввода символа, слова или целого предложения. Предложена обобщенная модель процесса ввода текста, где время одной итерации рассчитывается согласно формуле:

Твводл = Тн. + Тд д + ТУЕД , (1)

где:

7я - время набора символа, слова или фразы;

Тдд - время выполнения дополнительных действий, например, выбора слова из списка «предлагаемых» предикативной системой;

ТРЩ — время коррекции ошибок.

Каждый из операндов формулы 1 включает время подготовки, непосредственного взаимодействия и контроля, которые в свою очередь состоят из следующих операций: визуальный поиск символа или слова (Н); ментальная подготовка перед выполнением действия (М); непосредственное взаимодействие с сенсорной поверхностью (5); визуальный контроль процесса, либо результата ввода (У). Кроме того, используется еще одна операция -ожидание ответа от системы (Я), например, прослушивание сообщения, сгенерированного синтезатором речи, - которая является характеристикой способа ввода.

Рассмотрены методы расчета времени перечисленных операций. Приведено описание эксперимента по оценке мультипликативного коэффициента формулы закона Хика, который позволяет рассчитать максимальное значение времени визуального поиска. Рассмотрен эмпирический метод парных действий (Д. Хьюджес, Дж. Уорен, О. Буюккоктен), который в предложенной методике моделирования используется для расчета времени взаимодействия. Выбор данного метода обусловлен его универсальностью (возможностью использования для оценки времени взаимодействия всех перечисленных ранее классов способов ввода, включая способы ввода с аппаратными элементами управления), учетом анатомических особенностей строения кисти руки, а так же возможностью моделирования различных условий взаимодействия, в частотности ввода посредством стилуса, указательного пальца или больших пальцев обеих рук. Отмечена возможность сокращения числа опытов, проводимых по методу парных действий, для способов ввода, использующих квазирежимы.

В работе рассмотрен способ ввода, для которого расчет времени взаимодействия невозможен по методу парных действий. Для его замены предложено использовать метод декомпозиции росчерков (X. Као, Ш. Жай). Приведены значения времени операции К для различных условий контроля.

В диссертации отражены методы, повышающие точность оценки скорости набора текста. Приведены используемые ранее модели языка, отмечены их недостатки, среди которых выделено отсутствие возможности моделирования различий в словарном запасе пользователей. Для решения указанной проблемы предложено использование двух различных лингвистических корпусов для создания моделей языка пользователя и вспомогательной системы. В качестве иллюстрации предложенного метода рассмотрена модель стандартной 12-кнопочной клавиатуры с префиксной предикативной системой, которая имеет следующий принцип работы. Когда пользователь нажимает клавишу с изображением нескольких символов,

предикативная система «предлагает» наиболее вероятный из них. Если предложенный символ не является тем, который задумал пользователь, он нажимает клавишу «следующий символ» до тех пор, пока предложенный символ не совпадает с желаемым. Время ввода пользователем-новичком символа а после префикса 9 рассчитывается по следующей формуле:

ТсшГЧЗ, а) = Тн+1{П(9), а)+Т¥+{П{&, а)-\)-(Та,л +Гу), (2)

где:

Тн — время визуального поиска символа;

/(а,, ) := - время перемещения пальца от клавиши с символом а, до

клавиши с символом /?у, рассчитанное по методу парных действий, |пробел, |>9| = О

Ту— время визуального контроля символа, которое включает время перемещения взгляда;

п(тд, а) - это позиция символа а в списке символов р, «предлагаемых» предикативной системой, причем п(9, а) = г е> рщг (р) = а;

Тслед. — время нажатия клавиши «следующий символ», рассчитанное по методу парных действий;

Т'у— время визуального контроля символа сразу после нажатия клавиши «следующий символ», которое не включает время перемещения взгляда.

Префиксная предикативная система использует частотный словарь IV/, созданный на основе части Национального корпуса русского языка, включающей 180 тыс. словоупотреблений. Второй частотный словарь - \У2 — применяется для моделирования словарного запаса пользователя и используется для расчета времени ввода слова согласно формуле:

и1- ( Ы ^

7-НОВИЧОК V „ V1 тНОВИЧОК/а__„;/-,,-Л , т /">\

'СЛОВА =Ъ РГ^Тсит. ,(<У,Х) +ТВП, (3)

а, ^

гле р, — вероятность ввода слова а>: с (Г,; 9 — префикс слова ш, длиной (/ — 1) символов; Тцп - время ввода символа «пробел». Скорость набора текста рассчитывается с учетом средней длины слов второго частотного словаря:

/А 1 УУ,

ТЕК = 1 = ^рН (4)

1 СЛОВА щ

При проведении сравнения результатов моделирования с данными, полученными эмпирическим путем, словарь создается на основе корпуса, состоящего из тестовых фраз эксперимента.

Рассмотрена задача моделирования способов ввода, которые допускают несколько вариантов их использования. Одним их возможных вариантов ее решения является применение стратегий ввода (Х.Х. Коэстер, С.П. Левин). В предложенной методике моделирования введено понятие параметризованной стратегии ввода, которая для виртуальной клавиатуры с функцией завершения слов, записывается в виде следующего аналитического выражения: Нг„ |й>| <к

ш > к, Цсо) < к

(5)

кТх +ГН +(/(<в)-к)(Т5+Г„) + Т„С, ® 1(а>) > к, /(да) < Ы К '

кТ, + (|<ы| - к)(Т$ + Г„ ) \со\>к, 1(со)> Щ

где:

й) — слово, время ввода которого необходимо рассчитать (его длина

обозначена как |<у|); к— количество введенных символов, после которых пользователь начинает поиск слова в списке «предлагаемых» предикативной системой;

— среднее время нажатия на виртуальную клавишу, рассчитанное по методу парных действий; Т'н- время визуального поиска желаемого слова в списке

«предложенных»; Тв.с. ~ время выбора слова посредством касания сенсорного экрана; 1(ы) - количество символов, которые необходимо набрать, чтобы слово

появилось в списке предлагаемых предикативной системой. Моделирование нескольких вариантов использования возможно за счет применения вероятностного подхода. В случае, когда пользователь-эксперт с определенной вероятностью начинает поиск слова после ввода 2-х символов и с некоторой другой вероятностью - с 3-х символов, его поведение может быть смоделировано на основе следующей формулы:

Т££Г =П* = 2).|>7™(«,, 2) + Р(к = Ъ).±р1Тс^Г(со1, 3) + Гг+Гял., (6)

(О, (О,

где Твп. — время ввода символа «пробел». Таким образом, предложенная методика моделирования может использоваться не только для оценки эффективности изменений в дизайне способа ввода, но и для выработки рекомендаций по его применению.

Подробно рассмотрен процесс ввода текста в реальных условиях, отмечено наличие фактора случайности. Предложен метод оценки эффективности взаимодействия в задаче ввода текстовой информации на основе вероятностного подхода. Принимая допущение независимости

появления опечаток (ошибок в символах), вероятность ошибки в слове рассчитывается по следующей формуле:

вГ(®) = 1-0-Ра)Н, (7)

где ро. - вероятность опечатки, значение которой может быть взято на ранней стадии проектирования из научной литературы по рассматриваемой тематике (в том числе в виде интервала), а на более поздних стадиях — получено в ходе проведения натурного эксперимента с прототипом разрабатываемого способа ввода.

Рассмотрена модель виртуальной клавиатуры с полной раскладкой, которая учитывает время коррекции опечаток:

= Гслом (со) + Ту + Р~(ю) • {Тус + ГС10М («)), (8)

где Гу.с. - время удаления слова целиком, а время ввода конкретного слова рассчитывается по формуле:

Ы / \ \пробел, / = 1

т слом М = 0, РЩ,(а))1 Г](Ы. ()= (9)

ы [рщ^а)), 1> 1

В завершении главы приведена область применения разработанной методики моделирования.

В третьей главе приведено описание серии экспериментов по верификации предложенной методики моделирования. Рассмотрены модели системы рукописного ввода (Мй1Т1М) и способа сенсорного ввода текста с префиксной предикативной системой (81гоке/М). Оценка проведена для двух групп пользователей - абсолютных новичков и экспертов, - поскольку найти достаточное количество людей с одинаковым уровнем владения моделируемыми способами ввода не представляется возможным.

При проведении экспериментов по измерению производительности обозначенных способов ввода участников просили не исправлять внесенные опечатки и, в то же время, стараться не допускать большого их количества. Результаты моделирования в сравнении с данными, полученными эмпирическим путем сведены в табл. 1 и табл. 2.

Таблица 1

Оценка точности моделей МЭ1Т1М

Группа пользователей Средняя измеренная скорость набора, симв./мин Оценка скорости набора, симв./мин Ошибка оценки, %

Новички 14,0 (о =1,5) 14,8 5,7

Эксперты 81,3 (о = 2,2) 85,7 5,4

Таблица 2

Оценка точности моделей Б^океПМ

Группа пользователей Средняя измеренная скорость набора, симв./мин 1 частотный словарь 2 частотных словаря

Оценка скорости набора, симв./мин Ошибка оценки, % Оценка скорости набора, симв./мин Ошибка оценки, %

Новички 18,0(0 = 3,1) 20,3 12,8 19,4 7,8

Эксперты 88,2 (а = 8,4) 101,7 15,3 82,2 6,8

В табл. 2 приведены данные оценки производительности взаимодействия со Б^океШ при использовании классического подхода и предложенного метода с двумя частотными словарями, созданными на основе различных лингвистических корпусов.

Для оценки эффективности набора с использованием вероятностного подхода, проведен эксперимент по измерению скорости набора текста с учетом времени исправления опечаток на виртуальных клавиатурах Дворака и ЙЦУКЕН. Испытуемым разрешалось использовать специальный жест для удаления слова целиком. Результаты моделирования эффективности взаимодействия с указанными клавиатурами приведены в табл. 3.

Таблица 3

Оценка точности моделей виртуальных клавиатур

Наименование способа (группа пользователей) Средняя измеренная скорость набора, симв./мин Кол-во ошибок при наборе, % Оценка скорости набора, симв./мин Ошибка оценки, %

Клавиатура Дворака (новички) 26,9 (о = 6,6) 3,3 26,0 3,3

Клавиатура ИЦУКЕН (эксперты) 181,0 (а = 37,3) 1,5 179,9 0,6

Проведено сравнение разработанной методики моделирования с методом оценки производительности виртуальных клавиатур, предложенного Р.В. Сукореффом и С.И. Маккензи. Перечислены преимущества метода парных действий перед расчетом времени взаимодействия по закону Фиттса. Проведен численный эксперимент, демонстрирующий большую точность предложенной методики.

На основании полученных данных сделан вывод о корректности, а также высокой точности оценки скорости набора текста с помощью моделей, полученных с использованием предложенной методики моделирования.

Рассмотрена задача ввода алфавитно-цифровой информации незрячими пользователями в мобильные устройства с сенсорным экраном. Приведены экспериментальные данные о скорости набора текста посредством существующих способов ввода. Обоснована необходимость увеличения скорости слепого набора для следующих прикладных программ: специализированных навигационных систем для незрячих пользователей, приложений для передачи коротких текстовых сообщений, браузеров со встроенной поддержкой синтеза речи, мобильных почтовых клиентов, игровых приложений.

В диссертации рассмотрен способ слепого сенсорного ввода текста, разработанный Г. Яфантидис и Г.Е. Еврейновым, который лег в основу предложенного способа ввода. Его моделирование посредством разработанной методики позволило выявить «узкие места» процесса ввода и сформировать ряд рекомендаций по их модификации. Предложен способ ввода текста в мобильные устройства с сенсорным экраном для людей с ограниченными возможностями зрения. При его использовании взаимодействие с сенсорной поверхностью напоминает принцип работы радиального меню (рис. 1), однако одновременно с выбором секторов возможно вычерчивание росчерков.

абвг

Рис. 1. Схема соответствия росчерков предложенного способа ввода символам

алфавита русского языка

В работе рассмотрены следующие возможности предложенного способа ввода: переключение раскладок посредством одновременного касания экрана пальцем второй руки, возможность исследования раскладки с помощью

обратной связи на основе синтеза речи. Для увеличения скорости набора способ ввода дополнен предикативной системой со словарем и коррекцией ошибок. Отмечено наличие автоматически запускаемой обучающей программы для новичков и функций для экспертов. Рассмотрены вопросы интеграции предложенного способа ввода в существующие интерфейсы мобильных устройств с сенсорным экраном для людей с нарушениями зрения (рис. 2).

Рис. 2. Интерфейс программной реализации предложенного способа ввода для мобильной операционной системы Android

Приведены результаты оценки скорости набора текста посредством разработанной методики для промежуточных и финальных стадий проектирования. Для повышения эффективности взаимодействия при использовании чтецов экрана, люди с ограниченными возможностями зрения увеличивают скорость воспроизведения синтезированной речи. Скорость набора текста была рассчитана для трех значений времени контроля ввода (табл. 4).

Таблица 4

Оценка скорости набора текста пользователем-экспертом посредством предложенного способа ввода

Скорость воспроизведения 1х 2х 4х

Скорость набора, слов/мин Посимвольный ввод 10,6 12,8 14,4

Предикативный ввод 25,8 30,0 32,7

Отмечена возможность одновременного использования посимвольной и предикативной схем ввода (без необходимости переключения режимов). Приведенные результаты, подкреплены данными, полученными эмпирическим путем.

С целью создания эффективной программной реализации предложенных в работе моделей рассмотрены алгоритмы, используемые в различных предикативных системах. Основной проблемой, с точки зрения вычислительной сложности, является реализация алгоритма поиска по шаблону (поиск всех слов словаря, удовлетворяющих заданному паттерну), используемого при моделировании способов ввода с предикативной системой со словарем, либо функцией завершения слов. Выделены наиболее подходящие для решения данной задачи структуры данных. По результатам их анализа выбрано префиксное дерево. Проведен численный эксперимент для измерения объема памяти, занимаемой двумя реализациями префиксного дерева в зависимости от количества хранимых слов (в одной из них ссылки на дочерние узлы хранятся в виде статического массива, во второй - в виде хеш-таблицы). Результаты эксперимента продемонстрировали линейную зависимость для обоих вариантов, на основе чего сделан вывод о возможности использования обеих реализаций.

В диссертационной работе приведен алгоритм поиска по шаблону, использующий префиксное дерево. На его основе проведен численный эксперимент для измерения вычислительной сложности, результаты которого изображены на рис. 3.

120 100 80 60 40 20

Производительность, тыс. оп./е

х - префиксное дерево (массив) о - префиксное дерево (хеш-таблица)

Тыс. слов

0 50 100 150 200 250 300 350

Рис. 3. Зависимость производительности алгоритма поиска по шаблону от количества слов словаря

Как видно из рис. 3, алгоритм демонстрирует устойчивое время работы при росте количества слов, хранимых в префиксном дереве. Проведен анализ зависимости вычислительной сложности алгоритма от содержимого словаря, а также используемой раскладки. Приведен алгоритм поиска следующего символа по заданному префиксу, используемый в реализации префиксной предикативной системы. Рассмотрена его вычислительная сложность, которая в худшем случае равна 0(к), где к - длина префикса.

В четвертой главе рассмотрена программная реализация предложенных в диссертационной работе моделей и алгоритмов. Обосновано решение их реализации в виде программной библиотеки на языке программирования Java.

Рассмотрен процесс проектирования способа ввода и место в нем предложенной методики моделирования.

Подробно рассмотрена структура программной библиотеки (рис. 4), описаны наиболее значимые классы и способы работы с ними.

Рис. 4. UML диаграмма некоторых классов разработанной программной

библиотеки

Приведен пример кода, реализующего модель стандартной 12-кнопочной клавиатуры, использующей префиксную предикативную систему. Показана простота создания и модификации подобных моделей.

В приложении к диссертации приведены акты о внедрении, программный код классов, реализующих функциональность предикативных систем и результаты экспериментов по замеру времени парных действий.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

В результате проведенных исследований получены следующие научные и практические результаты:

1. Решена актуальная научная задача, имеющая существенное значение в совершенствовании программных средств человеко-компьютерного взаимодействия и заключающаяся в создании модели процесса ввода текста с целью повышения его эффективности.

2. Разработан критерий эффективности взаимодействия системы «человек-компьютер» в задаче ввода алфавитно-цифровой информации, учитывающий процесс редактирования текста.

3. Разработана методика моделирования процесса ввода текста в технические устройства с учетом возможности их использования людьми с ограниченными возможностями зрения.

4. С целью оценки точности моделей, созданных посредством предложенной методики, проведена их верификация на основе данных, полученных эмпирическим путем.

5. С целью оценки вычислительной сложности алгоритмов, используемых в программной реализации моделей различных способов ввода, проведены численные эксперименты, подтвердившие их эффективность

6. Разработан эффективный способ ввода текста в мобильные устройства с сенсорным экраном для людей с нарушением зрения.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

В изданиях, рекомендованных ВАК РФ:

1. Манахов П.А., Ковшов Е.Е. Совершенствование метода сенсорного ввода текста для людей с ограниченными возможностями зрения // Прикладная информатика. №1. 2012. С. 75-84.

2. Манахов П.А., Ковшов Е.Е. Метод росчерков в человеко-машинном взаимодействии для повышения безопасности автоматизированного промышленного производства // Безопасность жизнедеятельности №2, 2012. С. 22-27.

3. Манахов П.А., Ковшов Е.Е. Применение инновационных решений для слепого ввода информации посредством сенсорной поверхности // Современные проблемы науки и образования. - 2012. - №2. [Электронный ресурс]. - Режим доступа: http://www.science-education.ru/102-5847 (дата обращения: 03.10.2012).

4. Манахов П.А., Ковшов Е.Е. Модели и методы интерактивного взаимодействия с вычислительными устройствами нового поколения // Прикладная информатика. №3.2012. С. 71-81.

В других изданиях:

5. Манахов П.А. Разграничение доступа к защищенным объектам при использовании концепции росчеркоориентированного управления // Производство. Технология. Экология. Научные труды. Сборник монографий №11 в 2-х тт. Том 2: Москва/ Под ред. член-корр. РАН Ю.М. Соломенцева и проф. Л.Э. Шварцбурга. - М.: «Янус-К», 2008. -С. 115-117.

6. Манахов П.А. Росчеркоориентированное управление в мобильных операционных системах // Задачи системного анализа, управления и обработки информации: Межвузовский сборник научных трудов. Вып. 2,- М.: МГУП, 2008. - С. 86-94.

7. Манахов П.А., Ковшов Е.Е. Инновационный подход для управления информацией при работе с мобильными электронными историями болезни // Материалы V-ro Международного форума «MedSoft-2009» М.: 2009.-С. 65-66.

8. Манахов П.А. Инновационный подход при построении интерфейса пользователя в мобильных бизнес-приложениях // Инновации в экономике - 2010. Материалы научной конференции молодых ученых и студентов. - М: ИЦ МГТУ «Станкин», 2010. - С. 90-93.

9. Манахов П.А. Разработка слепого метода ввода текста для мобильных устройств с сенсорным экраном // Всероссийский конкурс научно-исследовательских работ студентов и аспирантов в области технических наук в рамках Всероссийского фестиваля науки: Сборник аннотаций научно-исследовательских работ победителей и призеров всероссийского конкурса. М.: РИО МГУДТ, 2011. - С. 91-99.

Подписано в печать 08.11.2012 Заказ № 13962 Тираж 120 экз. Объем 1 п. л. Отпечатано: ООО «ВП24» г. Москва, ул. Трубная, д. 21 Телефон 651-64-48 www.vp24.ru

Список сокращений.

Введение.

Глава 1. Обзор существующих способов ввода текста и методов их оценки.

1.1. Анализ способов ввода алфавитно-цифровой информации.

1.2. Обзор существующих способов ввода.

1.3. Определение критерия эффективности процесса ввода текста.

1.4. Обзор существующих методов оценки производительности способов ввода.

Цель и научные задачи исследования.

Глава 2. Методика моделирования способов ввода текста.

2.1. Общая характеристика методики.

2.2. Методы расчета времени операций.

2.3. Методы повышения точности оценки.

2.4. Область применения предложенной методики.

Выводы по главе 2.

Глава 3. Проверка методики моделирования способов ввода.

3.1. Верификация методики моделирования способов ввода.

3.2. Сравнение точности оценок существующих и предложенных моделей способов ввода текста.

3.3. Проектирование способа ввода текста для людей с ограниченными возможностями зрения.

3.4. Алгоритмы предикативных систем.

Выводы по главе 3.

Глава 4. Программная реализация разработанных моделей.

4.1. Причины создания программной библиотеки.

4.2. Технологии разработки и архитектура программной библиотеки

4.3. Формат входных данных.

4.4. Пример использования программной библиотеки.

Выводы по главе 4.

Актуальность работы. Сегодня проблема коммуникации людей с ограниченными возможностями зрения посредством персональных компьютеров и мобильных устройств без сенсорного экрана имеет несколько эффективных способов решения. В их основе лежит принцип набора текста на аппаратной клавиатуре, которая за счет кинестетических и тактильных ощущений может использоваться вслепую. Однако некоторое время назад наметился устойчивый тренд перехода производителей к разработке моделей устройств без аппаратных клавиш управления, что грозит обернуться серьезными проблемами для слепых и слабовидящих людей.

Наиболее популярными операционными системами мобильных устройств с сенсорным экраном класса смартфонов, коммуникаторов и планшетов являются Android и iOS. Обе системы имеют встроенную поддержку универсального доступа - набора функций, который позволяет людям с различными нарушениями здоровья пользоваться устройством. Одной из слабых сторон обеих операционных систем является наличие неэффективного способа набора текста для незрячих пользователей. Таким образом, актуальной проблемой является создание нового способа ввода текста для людей с ограниченными возможностями зрения.

Процесс разработки нового и доработки существующего способа ввода алфавитно-цифровой информации завершается длительным и дорогостоящим юзабилити-тестированием. Выявление недоработок на данном этапе влечет за собой значительные финансовые и временные затраты, поскольку весь процесс приходится повторять заново. Для того чтобы этого избежать, необходимо уже на этапе проектирования иметь под рукой инструмент, который позволит оценить эффективность тех или иных изменений. Применение квалитативных методов, равно как и привлечение экспертов, не позволяет достичь желаемого, поскольку на скорость набора влияет слишком большое количество параметров.

Степень разработанности проблемы. Исследования в области теоретической оценки эффективности человеко-компьютерного взаимодействия в задаче ввода текста уже проводились ранее. Наиболее известными являются работы таких зарубежных ученых как С.И. Маккензи, Ш. Жай, Д.А. Норман, С.К. Кард, Т.П. Моран, А. Ньювел, С.П. Левин, П. Исокоски. Стоит отметить работы наших бывших соотечественников - Т.Г. Еврейновой и Г.Е. Еврейнова — посвященные разработке способов ввода текста для людей с сенсорными отклонениями. Отечественные работы касаются вопроса проектирования новых способов ввода текста (изобретения A.B. Афанасьева, А.Г. Прохорова, Д.Л. Ракова), однако работ, посвященных моделированию процесса набора текста, в российской научной литературе не представлено. Наиболее совершенные модели, предложенные Р.В. Сукореффом, С.И. Маккензи, Х.Х. Коэстер, С.П. Левиным, А. Павловичем, В. Стюэрзлингером, М.Д. Данлопом и А. Кроссаном, обладают рядом существенных недостатков, одним из которых является узкая направленность. Существующие методы моделирования не учитывают ряд важнейших особенностей человеко-компьютерного взаимодействия, например, вероятность ошибок ввода, различия в словарном запасе пользователей, а так же их ограниченные возможности, вызванные болезнью или условиями взаимодействия.

Можно заключить, что актуальной задачей является разработка методики построения моделей процесса ввода алфавитно-цифровой информации в технические устройства и его использование для создания эффективного способа набора текста для людей с ограниченными возможностями зрения.

Объектом исследования диссертационной работы являются способы ввода алфавитно-цифровой информации в технические устройства с сенсорным экраном.

Предметом исследования являются алгоритмы, методы и программные средства моделирования человеко-компьютерного взаимодействия в задаче ввода текста в портативные ЭВМ.

Область исследования. Диссертационная работа выполнена в соответствии с п. 6. «Разработка методов, языков и моделей человеко-машинного общения; разработка методов и моделей распознавания, понимания и синтеза речи, принципов и методов извлечения данных из текстов на естественном языке», п. 8. «Исследование и когнитивное моделирование интеллекта, включая моделирование поведения, моделирование рассуждений различных типов, моделирование образного мышления» и п. 14. «Разработка теоретических основ создания программных систем для новых информационных технологий» Паспорта специальностей ВАК РФ (технические науки) по специальности 05.13.17 - «Теоретические основы информатики».

Целью работы является исследование процессов человеко-компьютерного взаимодействия, разработка моделей способов ввода алфавитно-цифровой информации и создание на их основе программных средств для устройств с сенсорным экраном.

В работе поставлены и решены следующие научные задачи диссертационного исследования:

1. Определить критерий эффективности взаимодействия системы «человек-компьютер» в задаче ввода алфавитно-цифровой информации.

2. Разработать методику моделирования для оценки эффективности набора текста посредством различных способов сенсорного ввода с учетом возможности их использования людьми с нарушением зрения.

3. Осуществить верификацию предложенной методики моделирования.

4. Провести оценку временной и пространственной сложности алгоритмов на основе разработанных моделей.

5. Разработать программно реализуемый способ ввода текста в мобильные устройства с сенсорным экраном для людей с ограниченными возможностями зрения.

Методы исследования. При решении задач были использованы основные положения теории множеств, теории вероятностей и теории автоматов, а так же методы компьютерной лингвистики, системного анализа, имитационного моделирования, эргономики и инженерной психологии; при разработке программной реализации - методы объектно-ориентированного моделирования и программирования.

Научная новизна диссертационной работы заключается в следующих положениях:

1. Разработана методика моделирования процесса ввода текста в технические устройства здоровыми людьми, а так же людьми с ограниченными возможностями зрения.

2. Разработан метод повышения точности оценки продолжительности цикла ввода при использовании вспомогательных систем на основе применения двух лингвистических корпусов.

3. Разработан метод оценки эффективности взаимодействия в задаче ввода текстовой информации на основе вероятностного подхода.

Практическая значимость. Предложенная методика моделирования может быть использована на самых ранних этапах проектирования способа ввода, за счет чего возможно существенное сокращение финансовых и временных затрат на его разработку. Кроме того, предложенная методика может использоваться в качестве инструмента для проведения различного рода теоретических исследований человеко-компьютерного взаимодействия. Диссертационная работа обладает важным социальным результатом, поскольку разработанный способ набора текста является эффективным способом ввода для людей с ограниченными возможностями зрения, что было доказано в ходе серии экспериментов.

Основные положения, выносимые на защиту:

1. Методика моделирования процесса ввода текста в технические устройства здоровыми людьми, а так же людьми с ограниченными возможностями зрения.

2. Метод повышения точности оценки продолжительности цикла ввода при использовании вспомогательных систем на основе применения двух лингвистических корпусов.

3. Метод оценки эффективности взаимодействия в задаче ввода текстовой информации на основе вероятностного подхода.

Достоверность и обоснованность научных положений и выводов обеспечивается корректным использованием базовых методов исследования и математического аппарата. Достоверность результатов работы подтверждается сериями натурных экспериментов и сравнением данных, полученных в ходе экспериментов, с данными, полученными ранее по рассматриваемой тематике.

Реализация результатов работы. Результаты диссертационной работы внедрены в учебный процесс ФГБОУ ВПО МГТУ «СТАНКИН» и в настоящее время используются при подготовке магистрантов по магистерским программам: 220200.68-20 «Человеко-машинные системы управления» и 230100.68-01 «Теоретическая информатика». Материалы диссертационной работы использованы в качестве методологической основы при разработке общеуниверситетских курсов лекций и практических занятий по дисциплинам «Информатика», «Программирование и основы алгоритмизации» и специальной дисциплине «Интеллектуальные системы обработки информации».

Определена целесообразность применения разработанной методики при создании прикладного программного обеспечения информационных систем в научно-практических разработках малого инновационного предприятия ООО «Компьютерные системы и технологии» (г. Москва).

Результаты работы подтверждены актами внедрения, имеющимися в приложении к диссертации.

Апробация работы. Основные научные и практические результаты работы докладывались на следующих конференциях и семинарах:

• XI международной конференции «ПРОТЭК'08» (г. Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2008);

• II всероссийской студенческой научно-технической конференции «Прикладная информатика и математическое моделирование» (г. Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2008);

• Объединенной международной конференции User Experience Russia — UPA Europe 2009 (г. Москва, Международный Выставочный центр «Инфопространство», 2009);

• 5-ом международном форуме «MedSoft-2009» (г. Москва, Центральный дом предпринимателя, 2009);

• III всероссийской студенческой научно-технической конференции «Прикладная информатика и математическое моделирование» (г. Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2009);

• Межвузовской научной конференции молодых ученых и студентов «Инновации в экономике» (г. Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2010);

• Общероссийской конференции «РИФ+КИБ 2010» (Московская область, пансионат «Лесные дали», 2010);

• IV всероссийской студенческой научно-технической конференции «Прикладная информатика и математическое моделирование» (г. Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2010).

В 2011 году работа «Разработка слепого метода ввода текста для мобильных устройств с сенсорным экраном» была признана победителем Всероссийского конкурса научно-исследовательских работ студентов и аспирантов в области технических наук в рамках Всероссийского фестиваля науки, проходившего в ФГБОУ ВПО «МГУДТ».

Публикации по теме работы. По теме диссертации опубликовано 9 научных работ, в том числе 4 статьи в журналах, входящих в перечень ВАК РФ.

Подана заявка на изобретение № 2011132616/08 (048102) «Способ ввода данных с использованием сенсорной поверхности, например, сенсорной панели или сенсорного экрана» (дата приоритета от 04.08.2011) и получено решение о выдаче патента на изобретение от 30.08.2012.

Структура и объем диссертации. Диссертационная работа изложена на 153 страницах машинописного текста и состоит из введения, четырех глав, списка литературы и трех приложений. Список литературы включает 156 источников.

Основные выводы и результаты

В результате проведенных исследований получены следующие научные и практические результаты:

1. Решена актуальная научная задача, имеющая существенное значение в совершенствовании программных средств человеко-компьютерного взаимодействия и заключающаяся в создании модели процесса ввода текста с целью повышения его эффективности.

2. Разработан критерий эффективности взаимодействия системы «человек-компьютер» в задаче ввода алфавитно-цифровой информации, учитывающий процесс редактирования текста.

3. Разработана методика моделирования процесса ввода текста в технические устройства с учетом возможности их использования людьми с ограниченными возможностями зрения.

4. С целью оценки точности моделей, созданных посредством предложенной методики, проведена их верификация на основе данных, полученных эмпирическим путем.

5. С целью оценки вычислительной сложности алгоритмов, используемых в программной реализации моделей различных способов ввода, проведены численные эксперименты, подтвердившие их эффективность

6. Разработан эффективный способ ввода текста в мобильные устройства с сенсорным экраном для людей с нарушением зрения.

1. Афанасьев A.B. Устройство для ввода данных электронного аппарата для хранения и/или передачи данных // Патент России № 2285284. 2001.

2. Гиппенрейтер Ю.Б. Введение в общую психологию. Курс лекций. — М.: «ЧеРо», при участии издательства «Юрайт», 2002. 336 с.

3. Дмитриева Н.Ю. Общая психология. Конспект лекций. — Эксмо-Пресс, 2008. — 128 с.

4. Использование корпуса. Национальный корпус русского языка Электронный ресурс. Режим доступа: http://www.шscoфora.ru/coфora-usage.html (дата обращения: 16.06.2012).

5. Константайн JL, Локвуд JI. Разработка программного обеспечения // Пер. с англ. СПб.: Питер, 2004. - 592 е.: ил.

6. Костин А.Н., Голиков Ю.Я., Бедзюк C.B. Способ оценки деятельности и функционального состояния человека // Патент России № 2414845. 2011.

7. Купер А. Алан Купер об интерфейсе. Основы проектирования взаимодействия / Купер А., Рейман Р., Кронин Д. // Пер. с англ. -СПб.: Символ-Плюс, 2010. 688 е.: ил.

8. Левенштейн В.И. Двоичные коды с исправлением выпадений, вставок и замещений символов // Докл. АН СССР, 163, №4, 1965. С. 845-848.

9. Манахов П.А. Инновационный подход при построении интерфейса пользователя в мобильных бизнес-приложениях // Инновации в экономике 2010. Материалы научной конференции молодых ученых и студентов. - М: ИЦ МГТУ «Станкин», 2010. - С. 90-93.

10. Манахов П.А. Росчеркоориентированное управление в мобильных операционных системах // Задачи системного анализа, управления и обработки информации: Межвузовский сборник научных трудов. Вып. 2,- М.: МГУП, 2008. С. 86-94.

11. Манахов П.А. Совершенствование интерактивных человеко-машинных интерфейсов мобильных устройств с сенсорным экраном: диссертация на соискание степени магистра техники и технологии. -М.: 2010.-74 с.

12. Манахов П.А., Ковшов Е.Е. Инновационный подход для управления информацией при работе с мобильными электронными историями болезни // Материалы У-го Международного форума «Меё8ой-2009» М.: 2009.-С. 65-66.

13. Манахов П.А., Ковшов Е.Е. Модели и методы интерактивного взаимодействия с вычислительными устройствами нового поколения //Прикладная информатика. №3. 2012. С. 71-81.

14. Манахов П.А., Ковшов Е.Е. Совершенствование метода сенсорного ввода текста для людей с ограниченными возможностями зрения // Прикладная информатика. №1. 2012. С. 75-84.

15. Манахов П.А., Ковшов Е.Е., Метод росчерков в человеко-машинном взаимодействии для повышения безопасности автоматизированного промышленного производства // Безопасность жизнедеятельности №2, 2012. С. 22-27.

16. Национальный корпус русского языка Электронный ресурс. Режим доступа: http://www.ruscorpora.ru (дата обращения: 16.06.2012).

17. Норман Д. Дизайн привычных вещей.: Пер. с англ.-М.: Издательский дом «Вильяме», 2006. 384 е.: ил.

18. Прохоров А.Г. Клавиатура для компьютера (GLEAM клавиатура А. Прохорова) // Патент РФ № 2309449. 2006.

19. Раков Д.Л. Способ ввода информации и устройство для его осуществления // Патент РФ № 2141685. 1998.

20. Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем. -М.: Символ-Плюс, 2005. 161 е.: ил.

21. Тидвелл Дж. Разработка пользовательских интерфейсов. 2-е изд. -СПб.: Питер, 2011.-480 е.: ил.

22. Шаров С.А. Частотный словарь Электронный ресурс. Режим доступа: http://www.artint.ru/projects/frqlist.php (дата обращения: 22.08.2012).27. 8реп Электронный ресурс. Режим доступа: http://www.8pen.com (дата обращения: 16.06.2012).

23. Accot J., Zhai S. More than dotting the i's foundations for crossing-based interfaces // In Proc. of СНГ2002: ACM Conference on Human Factors in Computing Systems, Minneapolis, Minnesota, 2002. P. 73-80.

24. Adaptxt Home Электронный ресурс. Режим доступа: http://adaptxt.com/adaptxtlive/ (дата обращения: 16.06.2012).

25. Akamastu М. A comparison of tactile, auditory, and visual feedback in a pointing task using a mouse-type device / M. Akamastu, I.S. MacKenzie, T. Hasbrouq // Ergonomics, 38, 1995. P. 816-827.

26. American national corpus Электронный ресурс. Режим доступа: http://americannationalcorpus.org (дата обращения: 16.06.2012).

27. Android Design Электронный ресурс. Режим доступа: http://developer.android.com/design/index.html (дата обращения: 15.06.2012).

28. Android Patterns Электронный ресурс. Режим доступа: http://www.androidpatterns.com (дата обращения: 15.06.2012).

29. Apple Accessibility - iPhone Электронный ресурс. - Режим доступа: http://www.apple.com/accessibility/iphone/vision.html (дата обращения: 16.06.2012).

30. Baecker R.M. Readings in human-computer interaction: toward the year 2000. Second edition / Baecker R.M., Buxton W.A.S., Grudin J., Greenberg S. San Francisco, CA: Morgan-Kaufman, 1995. - 950 p.

31. Bellman Т., MacKenzie I.S. A probabilistic character layout strategy for mobile text entry // In Proc. Graphics Interface '98, 1998. P. 168-176.

32. Bonner M. No-Look Notes: Accessible eyes-free multi-touch text entry / M. Bonner, J. Brudvik, G. Abowd, W.K. Edwards // Proc. Pervasive '10, Springer, 2010. P. 409-427.

33. British national corpus (BYU-BNC) Электронный ресурс. Режим доступа: http://corpus.byu.edu/bnc/ (дата обращения: 16.06.2012).

34. Cao X., Zhai S. Modeling human performance of pen stroke gestures // In CHI '07: Proc. ACM Conference on Human Factors in Computing Systems. 2007. P. 1495-1504.

35. Card S.K., Moran T.P., Newell A. The Psychology of Human Computer Interaction Hillsdale, NJ: Lawrence Erlbaum Associate, 1983. - 472 p.

36. Castellicci S.J. Mobile text entry using ambiguous keypads: New metrics in a new toolkit MSc thesis, Toronto, Ontario. 2007. - 88 p.

37. Castellucci S.J., MacKenzie I.S. Graffiti vs. Unistrokes: An empirical comparison // Proceedings of the ACM Conference on Human Factors in Computing Systems СШ 2008. New York: ACM, 2008 P. 305-308.

38. Cooper A. Inmates are running the asylum: why high-tech products drive us crazy and how to restore the sanity Indianapolis, IN: Sams Publishing, 2004.-288 p.

39. Damerau F.J. A technique for computer detection and correction of spelling errors // Communication of the ACM, 7(3), 1964. P. 171-176.

40. Dealey W.L. Typewriter keyboard // US Patent № 2040248. 1936.

41. Demasco P., McCoy K.F. Generating text from compressed input: an intelligent interface for people with severe motor impairments // Communications of the ACM, 35, 1998. P. 68-79.

42. Desautels E.J., Soffer S.B. Touch-tone input techniques: Data entry using a constrained keyboard // Proceedings of the 1974 Annual Conference. New York: ACM Press, 1974. P. 245-253.

43. Dix A. Human-Computer Interaction. Third edition / A. Dix, J. Finlay, G.D. Abowd, R. Beale England, Harlow, Pearson Education Limited, 2004. - 834 p.

44. Dunlop M.D., Crossan A. Predictive text entry method for mobile phones // Personal Technologies, 4(2-3). 2000. P. 1-10.

45. Eatoni Ergonomics, Inc. WordWise Электронный ресурс. Режим доступа: http://www.eatoni.com/wiki/index.php/WordWise (дата обращения: 16.06.2012).

46. EQx Eatoni Электронный ресурс. - Режим доступа: http://www.eatoni.com/wiki/index.php/EQx (дата обращения: 16.06.2012).

47. Eyes-free project Электронный ресурс. Режим доступа: http://code.google.eom/p/eyes-free/ (дата обращения: 16.06.2012).

48. Fitts P.M. The information capacity of the human motor system in controlling the amplitude of movement // Journal of Experimental Psychology, 47:6. June 1954. P. 381-391.

49. Fredkin E. Trie Memory // Communications of the ACM 3(9). 1960. P. 490^499.

50. Gentner D.R. Keystroke timing in transcription typing // In Cooper W. E. (Ed.) Cognitive aspects of skilled typing, Springer-Verlag, 1983. P. 95-120.

51. GKOS Global keyboard / Open standard Электронный ресурс. Режим доступа: http://gkos.com/gkos/index-gkos-com.html (дата обращения: 16.06.2012).

52. Glover D.L., King М.Т., Kushler С.А. Reduced keyboard disambiguating computer // US Patent № 5818437. 1998.

53. Goldberg D. Unistrokes for computerized interpretation of handwriting // US Patent № 5596656. 1997.

54. Gong J., Tarasewich P. Alphabetically constrained keypad designs for text entry on mobile phones // Proceedings of the ACM Conference on Human Factors in Computing Systems CHI 2005. New York: ACM. 2005. P. 211-220.

55. Gotowitz H. Method and apparatus for improved multi-tap text input // US Patent № 6219731. 2001.

56. Gregg J.R. Gregg shorthand dictionary / J.R. Gregg, L.A. Laslie, C.E. Zoubek McGraw-Hill, New York. 1972. - 272 p.

57. Guerreiro T. Mobile text-entry models for people with disabilities / T. Guerreiro, P. Lagoa, H. Nicolau, P. Santana, J. Jorge // European conference on Cognitive ergonomics 2008, Madeira, Portugal.

58. Hart S., Staveland, L. Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research // In P. Hancock & N. Meshkati (Eds.), Human mental workload. Amsterdam: North Holland. 1988. P. 139-183.

59. Hick W.E. On the rate of gain of information // Quarterly Journal of Experimental Psychology, 4:1, 1952. P. 11-26.

60. Hughes D. Empirical Bi-Action Tables: A Tool for the Evaluation and Optimization of Text-Input Systems. Application I: Stylus Keyboards / D. Hughes, J. Warren, O. Buyukkokten // Human-Computer Interaction. Vol. 17. 2002. P. 131-169.

61. Isokoski P., Raisamo R. Device independent text input: A rationale and an example // In Proc. AVI 2000. ACM, New York, 2000. P. 76-83.

62. James C.L., Reischel K.M. Text input for mobile devices: comparing model prediction to actual performance // Proc. SIGCHI 2001, 2001. P. 365-371.

63. Kilgariff A. Unlemmatised lists from BNC Электронный ресурс. -Режим доступа: http://www.kilgarriff.co.Uk/bnc-readme.html#raw (дата обращения: 16.06.2012).

64. Kobigraphs: Co-Braille Writing Электронный ресурс. Режим доступа: http://www.dotlessbraille.org/kobographs.htm (дата обращения: 25.08.2012).

65. Koester Н.Н., Levine S.P. Keystroke-level models for user performance with word prediction // Augmentative and Alternative Communication, 13,1997. P. 239-257.

66. Koester H.H., Levine S.P. Model Simulations of User Performance with Word Prediction // Augmentative and Alternative Communication, 14:1,1998. P. 25-35.

67. Koester H.H., Levine S.P. Modeling the speed of text entry with word prediction interface // IEEE Transactions on Rehabilitation Engineering, 2, 1994. P. 177-187.

68. Kowaltowski Т., Lucchesi C.L. Applications of Finite Automata Representing Large Vocabularies TR DCC-01/92, University of Campinas, Brazil. 1992. - 26 p.

69. Kushler C.A., Marsden R.J. System and method for continuous stroke word-based text input // US Patent № 7098896. 2006.

70. Lesher G.W. Limits of human word prediction performance / G.W. Lesher, B.J. Moulton, D.J. Higginbotham, B. Alsofrom // Proceedings of CSUN 2002, California State University, Northridge, 2002. 4 p.

71. MacKenzie I.S., Ashtiani B. BlinkWrite: Efficient text entry using eye blinks // Universal Access in the Information Society, 10, 2011. P. 69-80.

72. MacKenzie I.S., Ware C. Lag as a determinant of human performance in interactive systems // Proceedings of the ACM Conference on Human Factors in Computing Systems INTERCHI '93. New York: ACM, 1993. P. 488-493.

73. MacKenzie I.S. A comparison of input devices in elemental pointing and dragging tasks / I.S. MacKenzie, A. Sellen, W. Buxton // Proceedings of the CHI '91 Conference on Human Factors in Computing Systems, 1991. P. 161-166.

74. MacKenzie I.S. A note on the information-theoretic basis for Fitts' law // Journal of Motor Behavior, 21. 1989. P. 323-330.

75. MacKenzie I.S. Alphanumeric entry on pen-based computers / I.S. MacKenzie, B. Nonnecke, S. Riddersma, C. McQueen, M. Meltz // International Journal of Human-Computer Studies, 41, 1994. P. 775-792.

76. MacKenzie I.S. KSPC (keystrokes per character) as a characteristic of text entry techniques // Proceedings of the Fourth International Symposium on Human Computer Interaction with Mobile Devices, Heidelberg, Germany: Springer-Verlag, 2002. P. 195-210.

77. MacKenzie I.S. The one-key challenge: Searching for a fast one-key text entry method // Proceedings of the ACM Conference on Computers and Accessibility ASSETS 2009, New York: ACM. 2009. P. 91-98.

78. MacKenzie I.S. Unipad: Single-stroke text entry with language-based acceleration / I.S. MacKenzie, J. Chen, A. Oniszczak // Proceedings of the Fourth Nordic Conference on Human-Computer Interaction NordiCHI 2006. New York: ACM, 2006. P. 78-85.

79. MacKenzie I.S., Soukoreff R.W. A model of two-thumb text entry // Proceedings of Graphics Interface 2002, Toronto: Canadian Information Processing Society, 2002. P. 117-124.

80. MacKenzie I.S., Soukoreff R.W. Phrase sets for evaluating text entry techniques // Extended Abstracts of the ACM Conference on Human Factors in Computing Systems CHI 2003. New York: ACM, 2003. P. 754-755.

81. MacKenzie I.S., Soukoreff R.W. Text Entry for Mobile Computing: Models and Methods, Theory and Practice // Human-Computer interaction 17(2), 2002. P. 147-198.

82. MacKenzie I.S., Tanaka-Ishii K. Text entry systems: mobility, accessibility, universality. San Francisco, CA: Morgan Kaufmann, 2007. -332 p.

83. Mankoff J., Abowd G.D. Cirrin: a word-level unistroke keyboard for pen input // In Proceedings of the 11th annual ACM symposium on User interface software and technology, ACM, 1998. P. 213 214.

84. Masui T. POBox: An efficient text input method for handheld and ubiquitous computers // In Proceedings of the International Symposium on Handheld and Ubiquitous Computing (HUC 99), 1999. P. 289-300.

85. Mayhew D.J. Principles and guidelines in software user interface design. -Prentice Hall: Englewood Cliffs, NJ, 1992. 619 p.

86. McCoy K.F. Compansion: From research prototype to practical integration / K.F. McCoy, C.A. Pennington, A.L. Badman // Natural Language Engineering, 4, 1998. P. 73-95.

87. Microth Keywheel Электронный ресурс. Режим доступа: http://www.microth.com/circumscript/default.asp (дата обращения: 16.06.2012).

88. Miller S.V., Nisbet P.D. Accelerated writing for people with disabilities // Edinburgh: CALL Centre and Scottish Office Education Department, 1993.-196 p.

89. Mobile UI Patterns Электронный ресурс. Режим доступа: http://mobile-patterns.com (дата обращения: 15.06.2012).

90. Montgomery Е. В. Data input system // US Patent № 4211497. 1980.

91. Morrison D.R. PATRICIA Practical Algorithm to Retrieve Information Coded in Alphanumeric // Journal of the ACM, 15(4). 1968. P. 514-534.

92. Moulton B. J. A system for automatic abbreviation expansion / B.J. Moulton, G.W. Lesher, D.J. Higginbotham // Proceedings of the RESNA Annual Conference. Washington, DC: Resna Press, 1999. P. 55-57.

93. Nesbat S.B. A system for fast, full-text entry for small electronic devices // In Proceeding of the 5th International Conference on Multimodal Interfaces, ICMI 2003, Vancouver, 2003. P. 4-11.

94. Nielsen J. Heuristic evaluation. In Nielsen, J., and Mack, R.L. (Eds.), Usability Inspection Methods. NY: John Wiley & Sons. 1994. - P. 25-62.

95. Nowlan S., Ebrahimi A., Whaley D.R., Demartines P., Balakrishnan S., Rawlins S. Data entry apparatus having a limited number of character keys and method // US Patent № 6204848. 2001.

96. Nuance XT9 Электронный ресурс. - Режим доступа: http://www.nuance.com/for-business/by-product/xt9/index.htm (дата обращения: 16.06.2012).

97. Oniszczak A., MacKenzie I. S. A comparison of two input methods for keypads on mobile devices // Proceedings of the 3rd Nordic Conference on

98. Human-Computer Interaction NordiCHI 2004. New York: ACM, 2004. P. 101-104.

99. Open ANC Электронный ресурс. Режим доступа: http://americannationalcorpus.org/OANC/index.html (дата обращения: 16.06.2012).

100. Open Software Foundation. OSF/Motif Style Guide: revision 1.1. -Prentice Hall, Hemel Hempstead, 1991. 336 p.

101. OS X Human Interface Guidelines Электронный ресурс. Режим доступа:https://developer.apple.eom/library/mac/#documentation/userexperience/C onceptual/AppleHIGuidelines/Intro/Intro.html (дата обращения: 15.06.2012).

102. Pavlovych A., Stuerzlinger W. Less-Tap: A fast and easy-to-learn text input technique for phones // In Proc. of Graphics interfaces, 2003. P. 319326.

103. Pavlovych A., Stuerzlinger W. Model for non-expert text entry speed on 12-button phone keypads // SIGCHI Conference on Human Factors in Computing Systems, Australia, 2004. P. 351-358.

104. Perlin K. Quikwriting: continuous stylus-based text entry // Proceedings of the ACM Symposium on User Interface and Software Technology, UIST '98. ACM, New York, 1998. P. 215-216.

105. Quikwriting Электронный ресурс. Режим доступа: http://mrl.nyu.edu/projects/quikwriting/ (дата обращения: 22.08.2012).

106. Rumelhart, D.E., Norman, D.A. Simulating a skilled typist: a study of skilled cognitive-motor performance // Cognitive Science, 6, 1982. P. 1-36.

107. Saffer D. Designing gestural interfaces: touchscreens and interactive devices Sebastopol, CA: O'Reilly Media, 2008. - 250 p.

108. Sanchez J., Aguayou F. Mobile Messenger for the Blind // Universal Access in Ambient Intelligence Environments, Lecture Notes in Computer Science, vol. 4397/2007, 2007. P. 369-385.

109. Sandnes F.E. Evaluating mobile text entry strategies with finite state automata // Proceedings of the 7th international conference on Human computer interaction with mobile devices & services, Salzburg, Austria: ACM Press, 2005. P. 115-121.

110. Sandnes F.E., Jian H.-L. Pair-Wise Variability Index: Evaluating the Cognitive Difficulty of Using ofMobile Text Entry Systems // In Proc. presented at Mobie HCI, Glasgow, Scotland, 2004. P. 347-350.

111. Sears A. Investigation touchscreen typing: the effect of keyboard size on typing speed / A. Sears, D. Revis, J. Swatski, R. Crittenden, B. Shneiderman // Behavior & Information Technology, 12, 1993. P. 17-22.

112. Sellen A. The prevention of mode errors through sensory feedback / A. Sellen, G. Kurtenbach, W. Buxton // Human Computer Interaction, 7:2, 1992. P. 141-164.

113. Shannon C.E. A Mathematical theory of communication // Bell System Technical Journal, v. 27, 1948. PP. 379-423, 625-656.

114. Shannon C.E. Prediction and entropy of printed English // Bell System Technical Journal, 30, 1951. P. 51-64.

115. Shieber S., Baker E. Abbreviated text input // International Conference on Intelligent User Interfaces. New York: ACM Press, 2003. P. 293-296.

116. Shneiderman B. Designing the user interface: strategies for effective human-computer-interaction, 3rd edition // Reading, MA: Addison-Wesley, 1998.-639 p.

117. SilfVerberg M. Predicting text entry speed on mobile phones / M. SilfVerberg, I.S. MacKenzie, P. Korhonen // Proceedings of the ACM Conference on Human Factors in Computing Systems CHI 2000, New York: ACM. 2000. P. 9-16.

118. Smith S.L., Goodwin N.C. Alphabetic data entry via the touch-tone pad: a comment//Human Factors, 13(2), 1971. P. 189-190.

119. Soderberg J.H. The touch-tone transmission of digital information / J.H. Soderberg, R.R. Campbell, F.E. Bates // Proceedings of International convention of IEEE, NY, 1967. P. 245-253.

120. Soukoreff R.W., MacKenzie I. S. Theoretical upper and lower bounds on typing speed using a stylus and soft keyboard // Behaviour & Information Technology, 14, 1995. P. 370-379.

121. Soukoreff R.W., MacKenzie I.S. Input-based language modeling in the design of high performance input systems // Proceedings of Graphics Interface 2003, Toronto: Canadian Information Processing Society. 2003. P. 89-96.

122. Soukoreff R.W., MacKenzie I.S. Metrics for text entry research: An evaluation of MSD and KSPC, and a new unified error metric // Proceedings of the ACM Conference on Human Factors in Computing System СШ 2003. New York: ACM. 2003. P. 113-120.

123. Spolsky J. Affordances and metaphors Электронный ресурс. Режим доступа:http://www.joelonsoftware.corn/uibook/chapters/fog0000000060.html (дата обращения: 15.06.2012).

124. Stroke Dialer as QWERTY alternative Электронный ресурс. Режим доступа: http://rn.mediaaccess.org.au/digital-technology/operating-systems/android/qwerty-alt (дата обращения: 16.06.2012).

125. Sun Microsystems, Inc. OpenLook Graphical User Interface Application Style Guidelines NY: Addison-Wesley, 1990. - 388 p.

126. Sure Type keyboard Электронный ресурс. Режим доступа: http://docs.blackberry.eom/en/developers/deliverables/l 1844/SureTypeke yboard23825698l 1 .jsp (дата обращения: 22.08.2012).

127. SwifitKey Home Электронный ресурс. - Режим доступа: http://www.swiftkey.net (дата обращения: 16.06.2012).

128. Swype user sets Guinness World Record for texting speed Электронный ресурс. Режим доступа:http://techcmnch.com/2010/03/22/swype-user-sets-guinness-\vorld-record-for-texting-speed/ (дата обращения: 16.06.2012).

129. Symbian Design Guidelines Электронный ресурс. Режим доступа: http://www.developer.nokia.com/Resources/Library/SymbianDesignGui delines/ (дата обращения: 15.06.2012).

130. The Moon Alphabet Электронный ресурс. Режим доступа: http://www.deafblind.com/moon.html (дата обращения: 16.06.2012).

131. Thumbscript Univeral text input for small devices Электронный ресурс. - Режим доступа: http://www.thumbscript.com (дата обращения: 16.06.2012).

132. Tinwala Н., MacKenzie I.S. Eyes-free text entry on a touchscreen phone // Proceedings of the IEEE Toronto International Conference Science and Technology for Humanity - TIC-STH 2009. IEEE, New York, 2009. P. 8389.

133. TouchText Keyboard Электронный ресурс. Режим доступа: http://alphatouchllc.com/description.html (дата обращения: 16.06.2012).

134. Vanderheiden G. A high-efficiency flexible keyboard input acceleration technique: Speedkey // Proceedings of the 2nd International Conference on Rehabilitation Engineering. Washington, DC: Resna Press, 1984. P. 353354.

135. Vanderheiden G.C. Use of audio-haptic interface techniques to allow nonvisual access to touchscreen appliances // Proceedings of the Human Factors and Ergonomics Society Annual Meeting, vol. 40, no. 24. 1996. P. 1266.

136. Venolia D., Neiberg F. T-Cube: A fast, self-disclosing pen-based alphabet // In Conference proceedings on Human factors in computing systems, ACM, 1994. P. 263-270.

137. Ward D.J. Dasher: A data entry interface using continuous gestures and language model / D.J. Ward, A.F. Blackwell, D.J.C. MacKay //

138. Proceedings of the UIST 2000 Symposium on User Interface and Software Technology, СШ Letters 2(2). New York: ACM. 2000. P. 129-137.

139. Welford A.T. Fundamentals of skill. London: Methuen. 1968. - 431 p.

140. Wigdor D., Balakrishnan R. TiltText: Using tilt for text input to mobiletViphones // In Proceedings of the 16 annual ACM symposium on User interface software and technology. ACM, Vancouver, 2003. P. 81-90.

141. Windows User Experience Interaction Guidelines Электронный ресурс. Режим доступа: http://msdn.microsoft.com/en-us/library/windows/desktop/aa511258.aspx (дата обращения: 15.06.2012).

142. Wobbrock J.О. Edge Write: A stylus-based text entry method designed for high accuracy and stability of motion / J.O. Wobbrock, B.A. Myers, J.A. Kembel // Proc. UIST '03. ACM Press, 2003. P. 61-70.

143. Wobbrock J.O., Myers B.A. Trackball text entry for people with motor impairments // Proc. СШ 2006. New York: ACM Press, 2006. P. 479-488.

144. Yfantidis G., Evreinov G. Adaptive Blind Interaction Technique for Touchscreens // Universal Access in the Information Society, 4(4), 2006. P. 328-337.

145. Zhai S., Kristensson P.O. Shorthand writing on stylus keyboard // In Proceedings of the 21st ACM Conference on Human Factor in Computing Systems. ACM Press. 2003. P. 97-104.

146. Zijlstra F.R.H., Doom L. van. The construction of a scale to measure subjective effort // Technical Report, Delft University of Technology, Department of Philosophy and Social Sciences. 1985.