автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка графического интерфейса с использованием альтернативных средств ввода-вывода

На правах рукописи УДК 612.85

Евреинов Григорий Евгеньевич

ИССЛЕДОВАНИЕ И РАЗРАБОТКА ГРАФИЧЕСКОГО ИНТЕРФЕЙСА С ИСПОЛЬЗОВАНИЕМ АЛЬТЕРНАТИВНЫХ СРЕДСТВ ВВОДА-ВЫВОДА

Специальности: 05.13.11 - Математическое и программное обеспечение

вычислительных машин, комплексов, систем и сетей 05.13.13 - Вычислительные машины, комплексы, системы и сети

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Ростов-на-Дону 1998 г.

Работа выполнена в Ростовском государственном университете.

Научный руководитель - кандидат технических наук,

старший научный сотрудник Аграновский A.B.

Официальные оппоненты - доктор технических наук,

профессор Макаревич О.Б.

Ведущая организация - Институт информатизации образования

(Минобразования РФ), г. Москва

диссертационного совета К063.52.12 по физико-математическим и техническим наукам в Ростовском государственном университете по адресу: 344090, г. Ростов-на-Дону, пр. Стачки, 200/1, к. 2, Вычислительный центр РГУ.

С диссертацией можно ознакомиться в научной библиотеке РГУ по адресу: ул. Пушкинская, 148.

кандидат технических наук, доцент Букатов A.A.

Защита состоится

1998 г. в

1lffl

часов на заседании

Автореферат разослан "

1998 г.

У ченый секретарь

диссертационного совета К063.52.12, кандидат физико-математических наук, старший научный сотрудник

Муратова Г.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

Преимущественное развитие визуальной культуры привело к ведущей роли зрительного анализатора в любой сфере деятельности человека: от бытовой до ориентирования и манипулирования виртуальными объектами программной среды. Вероятность утраты одной или нескольких физиологических модальностей рассматривается как реальная угроза жизнедеятельности только в специальном разделе авиационной медицины, связанном с влиянием гравитационной перегрузки на зрительную и слуховую системы пилота. Слепоту очень легко моделировать, для этого пользователю компьютера достаточно закрыть глаза и попробовать продолжить выполнение операций, например, с помощью мыши или джойстика. Имеется много задач, включающих текущий контроль или управление физической средой, которые требуют, чтобы зрительное внимание оператора постоянно переключалось или было сфокусировано на другом объекте, чем дисплей компьютера. Чем шире область распространения графического интерфейса, тем больше проблем возникает при его эксплуатации не только в случае индивидуальных физиологических ограничений у определенного контингента пользователей. Перегрузка зрительного поля при отображении динамически изменяющихся многомерных массивов данных в реальном масштабе времени может вызвать информационно-психологическое блокирование, что существенно ограничивает возможности визуализации и оперативного контроля. Не обсуждая надежность оптических средств отображения, становится ясно, что тенденция развития мультимодального интерфейса - проблема более чем актуальная во многих аспектах ее приложения.

Мультимодальность становится основным . критерием доступности информации при проектировании средств и систем отображения, а использование альтернативных средств ввода - непременным атрибутом графического интерфейса систем виртуальной реальности, носимых компьютеров и мобильных средств связи.

Опыт пользователей и усилия экспертов уже привели ко многим усовершенствованиям в разработке элементов невизуального интерфейса, акустических и тактильных устройств ввода-вывода. Однако, проектирование такого типа специализированных интерфейсов должно учитывать не только общие тенденции развития человеко-машинного взаимодействия, но и концептуальные особенности интеграции естественных механизмов сенсорных процессов в случае замещения отсутствующей модальности.

К сожалению, разрабатываемые в последнее время средства и системы преобразования многопараметрических данных в параметры звуковых сигналов недостаточно используют пространственные характеристики слухового

пространства. Исследование восприятия динамических акустических источников, в том числе виртуальных и в ближнем поле, показало незначительное преимущество стерео систем, имеющих встроенную HRTF-фильтрацию сигналов. Эти системы получили распространение в непрофессиональном музыкальном синтезе, но для научной визуализации (озвучивания данных) оказались малоэффективными.

С появлением DS-процессоров появились системы пространственного озвучивания, обслуживающие сотни акустических излучателей. Компания NXT (UK) выпускает матричные пьезоакустические панели. Таким образом, проблема изоморфного пространственного озвучивания и отображения виртуальных объектов с помощью аудио дисплея имеет реальные перспективы развития.

Проблеме восприятия человеком сложных акустических сигналов в нашей стране посвящена большая литература: разбираются вопросы моно- и бинауральных признаков, формирующих те или иные слуховые образы, роль интенсивности и спектральных характеристик, влияние речевого опыта на слуховую оценку сигнала. Но вопрос о возможности использования акустического канала для синтеза виртуальных акустических объектов и, тем более, реализации таких объектов в структуре графического интерфейса до сих пор не обсуждался.

Цель и задачи работы. Основной целью диссертационной работы является разработка комплексного решения проблемы организации невизуального интерфейса поддержки мультимодального человеко-машинного взаимодействия с применением альтернативных устройств ввода-вывода. Достижение этой цели дает возможность повысить надежность человеко-машинного взаимодействия в экстремальных ситуациях и биотехнических систем в целом, обеспечить широкий доступ к источникам информации в электронной форме для пользователей компьютеров с ограниченными физиологическими возможностями.

В соответствии с поставленной целью решаются следующие задачи:

- теоретически и экспериментально обосновать возможность реализации эффективной обратной связи в отсутствие визуальной системы отображения графической информации;

- разработать эффективную методику формирования виртуальных акустических объектов;

- разработать алгоритмы озвучивания графической информации;

- разработать эффективные средства и методы манипуляции виртуальными объектами в отсутствие визуальной обратной связи;

исследование некоторых проблем, связанных с инвариантностью интермодальных преобразований информационных сообщений (изоморфное преобразование графических объектов и некоторых абстрактно-логических представлений);

- исследование эффективности применения разработанных аппаратно-

программных средств для решения задачи реабилитации операторов с ограниченными сенсорными возможностями.

Методы исследования. Для решения поставленных задач используются методы прикладного и объектно-ориентированного программирования, акустического синтеза сложных сигналов и конструирования радиоэлектронной аппаратуры.

Основные положения, выносимые на защиту. На защиту выносятся следующие положения и результаты:

- функциональная схема реализации невизуального интерфейса;

- структура и программная реализация интерфейса системы озвучивания графических изображений;

- алгоритмы управления пространственно-временными параметрами виртуальных звуковых источников в условиях свободного звукового поля;

- методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций.

Научная новизна работы состоит в разработке комплекса алгоритмов, методов и структурных решений, использованных при проектировании альтернативных средств отображения и ввода графической информации на основе естественных механизмов сенсорного замещения и межсенсорной интеграции.

Основные научные результаты:

- предложена функциональная схема реализации невизуального интерфейса;

- разработана структура и осуществлена программная реализация интерфейса системы озвучивания графических изображений;

- созданы базовые алгоритмы управления пространственно-временными параметрами виртуальных звуковых источников в условиях свободного

звукового поля;

- предложены общие методы преобразования графической информации в звуковые параметры акустических субъективных образов;

- обоснована возможность и разработана методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций.

Практическую значимость работы представляют: базовые алгоритмы управления пространственно-временными параметрами виртуальных акустических источников в условиях свободного звукового поля;

методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций;

- структурные и технологические решения аппаратных средств альтернативного ввода-вывода графической информации: виртуальный аудио монитор, и манипуляторы, обеспечивающие обратную связь в отсутствие зрительной информации;

система меню PadGraph и графического редактора для инвалидов, имеющих ограниченные сенсорные возможности (слепые пользователи компьютеров) и проблемы при эксплуатации стандартных манипуляторов (отсутствие рук).

Предложенные методы и структурные решения представляет определенный интерес при проектировании перспективных систем отображения информации и оптимизации структуры управления информационным потоком в биотехнических системах.

Использование результатов работы. Материалы диссертационной работы использованы при проведении следующих научно-исследовательских и опытно-конструкторских работ:

- Федеральная целевая научно-техническая программа на 1996-2000 годы «Исследования и разработки по приоритетным направлениям развития науки и техники гражданского назначения» приоритетное направление «Информационные технологии и электроника» подпрограмма «Информатизация России»,

проект - «Пакет прикладных программ преобразования графического изображения в структурированное звуковое поле для слепых пользователей ПЭВМ» № гос. регистрации 02.9.80004520;

проект - "Разработка программного обеспечения для преобразования визуальных текстурных изображений в виртуальные звуковые объекты" № гос. регистрации 01.9.80004534;

- Научно-техническая программа «Конверсия и высокие технологии 19972000 годы", проект - «Исследование и разработка графического интерфейса пользователя виртуального аудио дисплея в отсутствие зрительного контроля» № гос. регистрации 02.9.80002264.

Использование результатов диссертационной работы подтверждено актами внедрения, которые приводятся в приложениях.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на:

XI Международной научной конференции по нейрокибернетике 20-23 сент. 1995 г.. Ростов-на-Дону; 5th Int. Conf. ICCHP'96 Interdisciplinary Aspects in Computers Helping People with Special Needs. Linz, Austria, July 1996; Int. Conf. "New technologies in the education of the visually handicaped", Paris 10-11 Juin 1996; Fouth Int. Congress on Sound and Vibration, St. Petersburg 24-27 June 1996; ICDED'96 The Second International Conference on Distance Education in Russia Moscow 2-5 July, 1996; New Media for Education and Training in Computer Science. 2. Russian-German Symposium Moscow, Russian Federation, November, 23rd-28th 1996; Всероссийской конференции: Состояние и перспективы развития медицинского приборостроения. 26-28 Ноября, Махачкала, 1997; Рабочем заседании группы "Проектирования инструментальных средств

озвучивания" NSF Workshop on Sonification, Demo and Poster session of ICAD'97; Международной научно-технической конференции "Интеллектуальная робототехника - 98" 14-16 апреля 1998 г., Санкт-Петербург; III Всероссийской научно-практической конференции с международным участием «Новое в экологии и безопасности жизнедеятельности», 16-18 июня 1998 г. Санкт-Петербург; XV IFIP World Computer Congress Vienna/Austria and Budapest/Hungary, 31 August - 4 September 1998. Computers and Assistive Technology ICCHP'98; Всероссийской научно-технической конференции Медицинские информационные системы, МИС-98, Таганрог, 15-17 сентября 1998 г; World Conference on Higher Education: Higher Education in the Twenty-first Century UNESCO, Paris 5-9 Oct. 1998.

По материалам диссертации опубликовано 16 печатных работ. Значительная часть практических результатов изложена в отчетах о выполнении НИР.

Структура работы. Диссертационная работа состоит из введения, четырех разделов и заключения, изложенных на 122 страницах, содержит 48 рисунков, 3 таблицы, 110 наименований библиографии и 4 приложения (44 страницы), всего 166 страниц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цель и задачи исследований.

В первом разделе рассмотрены некоторые проблемы графического интерфейса пользователя и в качестве ключевой предлагается рассмотреть возможность преобразования графических интерфейсов в мультимодальные.

Семантическая, синтаксическая и физическая согласованность графического интерфейса разработаны для вполне определенной физической среды, обратная связь в которой полагается исключительно на зрительную модальность. В качестве ведущего направления проектирования альтернативных средств отображения информации в течение ряда лет за рубежом обсуждаются проблемы использования аудио-тактильных интерфейсов. В этом случае слуховые и/или тактильные сигналы должны не только поддерживать их более традиционную роль обратной связи относительно действий пользователя и событий приложения, но передавать содержание интерфейса. В основанной на объектах модели интерфейса, прежде всего необходима информация относительно индивидуальных атрибутов объектов. В частности, для этой цели уже используются слуховые иконки. И все-таки, при выборе слуховых иконок, остаются нерешенными два вопроса: критерий распознаваемости слуховых сигналов и оценка возможных концептуальных способов отображения между сигналами и семантическими понятиями.

Существует также проблема соответствия структуры психической и виртуальной модели взаимодействия объектов в слуховом или тактильном пространстве (М. Kurtz, 1996).

Поэтому методы проектирования структуры управления должны быть основаны на общей модели прикладного интерфейса и одновременно приспособлены к особенностям сенсорного восприятия (Ё. МугиЛ, 1992). Важно учитывать особенности построения мультимодального графического интерфейса широкого назначения и расширенного невизуального интерфейса, ориентированного на экстремальные условия эксплуатации или пользователей имеющих специфические сенсорные ограничения. Обсуждаются возможные функциональные компоненты, обеспечивающие обратную связь невизуального человеко-машинного взаимодействия (Рис. 1).

Рис. 1

С другой стороны, существуют проблемы, связанные с инвариантностью и адекватной интерпретацией оператором интермодальных преобразований информационных сообщений. В частности, это касается графических объектов и некоторых абстрактно-логических представлений.

Для пользователей с отсутствием зрения, имеющих нормальный слух, существует возможность преобразования графической информации в параметры звуковых сигналов. Основанием предпочтения акустического канала для визуализации являются прежде всего значительный динамический диапазон слухового анализатора и широкий набор управляемых акустических параметров. За рубежом проблема освоения слухового пространства обретает все новые прикладные аспекты. Это касается прежде всего проектирования систем виртуальной реальности различного назначения, научной визуализации, носимых компьютеров и мобильных средств связи. Однако, вопрос о возможности использования акустического канала для синтеза виртуальных акустических объектов, изоморфных визуальным, и тем более, реализации таких объектов в структуре графического интерфейса до сих пор не обсуждался.

В этом контексте дан обзор существующим методам альтернативного звукового отображения информации, инструментальных средств и систем озвучивания. В результате проведенного анализа определена цель интермодального преобразования графического интерфейса, которая состоит в том, что он должен сохранить концептуальную модель прикладного интерфейса пользователя при выполнении трансформации представляемой информации (или структуры самого интерфейса) в специфическую модальность.

Одним из этапов процесса моделирования интерфейса является выбор соответствующего уровня абстракции графической среды. Хотя большинство приложений, использующих для отображения так называемые screen-readers сосредоточились на лексическом уровне, существует мнение (Е. Mynat, 1992), что преобразование интерфейса на семантическом уровне лучше "схватывает" основные концепции модели интерфейса пользователя. Помимо этого, модель должна обладать характерным синтаксическим языком, чтобы названия компонентов уровня пользователя были одни и те же, например, в графическом и слуховом интерфейсах.

Другая проблема - отсутствие легко доступных и недорогих аппаратных средств, обеспечивающих эффективный аудио синтез и пространственную локализацию источников звука в реальном времени.

Разработанные системы звукового отображения не имели широкого распространения по ряду причин. Система, разработанная P. Astheimer - в силу того, что визуализация должна выполняться в той же системе арЕ (Astheimer, 1993). EXVIS - не достаточно гибкая система в отношении разного типа данных и была ограничена двумерным иконографическим визуальным дисплеем (Grinstein и Pickett, 1989). Система Minghim и Forrest для визуализации данных объема и свойств поверхностей выполнена исключительно для Macintosh Quadra (Minghim

и Forrest, 1995). Система Kyma (Scaletti, 1994) требует экзотических аппаратных средств (Capybara). Наконец, проект Listen, как и предыдущие, - выполняет абстрактно символическое озвучивание данных, используя стандартные библиотеки и "музыкальный" звуковой синтез. Он все еще не был предназначен для решения задач проектирования виртуальных звуковых объектов изоморфных визуальным или манипуляции такими объектами в пределах звуковой сцены. Выполнение озвучивания с помощью систем подобного типа предполагает знания и опыт работы с алгоритмами и устройствами звукового синтеза. Поэтому, несмотря на то, что имеется ряд доступных систем визуализации, типа AVS, IBM Data Explorer, SGI Explorer, многие исследователи предпочитают создавать свои собственные системы, адаптированные под конкретную задачу отображения данных или изучения особенностей интермодальных преобразований в процессе восприятия информации.

Во втором разделе описаны этапы проектирования виртуального аудио монитора и экспериментального графического интерфейса, необходимых для исследования особенностей пространственного восприятия и формирования виртуальных акустических объектов. В основу проекта был положен векторный способ представления графической информации (простых контурных фигур) посредством возбуждения слуховой иллюзии перемещения источника звука по виртуальной траектории, описывающей заданную фигуру. В ходе разработки и проведения тестовых испытаний аудио монитора проводились психоакустические эксперименты, по результатам которых было установлено, что важным аспектом стимульной информации при восприятии контурных виртуальных объектов является локализация их границ, точность определения которых зависит от наличия критических точек. Это могут быть начальные, конечные, и промежуточные точки, в которых нарушается непрерывность траектории движения звукового курсора или точки одновременного присутствия нескольких виртуальных источников (пересечение траекторий).

Следует заметить, что под термином "виртуальный акустический источник" подразумевается локальный интерференционный максимум, сформированный пространственно локализованными акустическими излучателями, имеющими ограниченную диаграмму направленности.

Были исследованы простейшие способы фиксации ("маркировки") критических точек в воображении испытуемого посредством изменения частоты сигнала и длительности пребывания виртуального источника в критических точках. Таким образом, разделение функций переключения и фиксации внимания позволило существенно сократить длительность звучания критических точек и стабилизировать восприятие границ виртуальных объектов. При "маркировке" таких точек был использован специальный алгоритм:

• виртуальная плоскость делится на два сегмента в точках с ординатой К (К =

170/256);

• если значение ординаты экстремальной точки меньше или равно К, "девиация" повышает частоту текущего значения точки на величину Н (+ 40 отн. ед.);

• если значение ординаты экстремальной точки больше К, "девиация" понижает частоту текущего значения точки на величину L ( - 40 отн. ед.).

В процессе проектирования было разработано три варианта виртуального аудио монитора. Последний прототип - виртуальный аудио монитор ВАМ-3.8 был использован в экспериментальных исследованиях, описанных в разделе 3 и в качестве альтернативного устройства вывода в интерфейсе PadGraph (раздел 4).

Устройство предназначено для пространственной локализации и манипуляции в реальном масштабе времени восемью независимыми акустических источниками, проектирования и озвучивания данных, представленных в виде графических объектов. ВАМ-3.8 состоит из одноместного звукового модуля ггространственнализатора (Рис. 2), обслуживающего четыре акустических излучателя и управляемого с помощью специального программного интерфейса. Электродинамические акустические преобразователи устанавливаются в углах квадрата со стороной 0.5 м (и более) и на расстоянии около 0,6 м от слуховых каналов оператора (Рис. 3).

Виртуальные акустические источники (звуковые курсоры) формируются путем управления пространственным положением интерференционного максимума звуковых сигналов четырех акустических излучателей по закону:

Speaker A: VA = (М - X) х ((М - Y) / М) Speaker В: VB = (М - X) х (Y / М)

Speaker С: Vc = X х (Y / М) Speaker D: VD = X х ((М - Y) / М)

причем

VA + VB + Vc + VD = L = Const

где VA ...VD - амплитуды сигналов излучателей, X, Y - текущие координаты озвучиваемой точки, а левая верхняя точка плоскости изображения принята за начало координат, L - субъективный уровень громкости звукового курсора. М - максимальная величина параметра или количество точек плоскости изображения (например, 256).

Программное обеспечение с помощью графического манипулятора позволяет рисовать объекты на экране монитора, которые затем, или непосредственно при проектировании, озвучиваются движением одного или нескольких звуковых курсоров с управляемыми пространственно-временными параметрами.

Рис. 2 Модуль пространственнализатора ВАМ-3.8

Speaker В/*- Dev V(z) Speaker С

Рис. 3 Формирование слухового пространства отображения ВАМ-3.8 DevF(x), Dev F(y) - частотная девиация вдоль осей Ох, Оу соответственно; Dev V(z) - девиация амплитуды вдоль оси Oz;

m, n - траектории виртуальных звуковых источников при Dev V(z) = 0%

Блок-схема пространственнализатора (звуковой карты) ВАМ-3.8 представлена на рисунке 4. Схема электрическая принципиальная приведена в Приложении 2. В Приложении 3 указаны используемые адреса порта и коды адресов обращения к соответствующим функциональным единицам устройства.

| Анал. вход

! -

| Шум

Г

РАС

Коммута- грош -

кость

тор 4-п курсор а

РМ Генератор

Курсор

УНЧ аналог.

входа^

Дешифратор Аб-А9

Дешифратор А2- А5

Генератор шума

Рис. 4. Блок схема пространственнализатора ВАМ-3.8

Для установки значений переменных параметров (тип сигнала курсора, его громкость, перераспределение составляющих звукового сигнала на четыре

акустических преобразователя, согласно координатам локализации виртуального источника) использована ISA-шина IBM PC. Данные и их адреса поступают на соответствующие дешифраторы и шинные формирователи.

Полное разделение функций позволяет существенно повысить гибкость управления значениями переменных. В схеме использованы счетверенные 8-ми разрядные цифро-аналоговые преобразователи (МАХ505), счетверенные операционные усилители (сумматоры и 4M- генераторы - TL074) и сдвоенные широкополосные усилители низкой частоты (TDA1517).

Программный интерфейс ВАМ-3.8 является Windows - приложением. Функционально проект состоит из 9 программных модулей, реализованных в среде Windows '95 на языке Visual Basic 3.0, (VB), в более поздней версии транслированных на Visual Basic 5.0.

Имеется 7 модулей форм (файлы с расширением *.FRM) и два стандартных модуля (файлы с расширением *.BAS).

Формы в программе служат для отображения элементов интерфейса пользователя и графики. Файл формы содержит описание формы и программный код, связанный с формой и элементами управления, расположенными на ней.

Программный код формы представлен, в основном, событийными процедурами, которые реагируют на ограниченный набор событий формы или элементов управления и служат для реализации ответной реакции программы на действия пользователя или приход системных событий. Кроме того, программный код формы может содержать подпрограммы (Sub) и функции (Function), используемые только в пределах данной формы.

Стандартный модуль GENPROC.BAS содержит алгоритмическую часть проекта в виде процедур и функций, доступных из любой части проекта (формы или процедуры). Модуль VIDSOUND.BAS содержит декларации (объявления) глобальных переменных, массивов и констант, которые могут использоваться в любой части проекта. Форма VIDEO.FRM представляет собой специальный графический редактор, позволяющий получать изображения, сегментированные с помощью восьми курсоров в графическом окне формы, модифицировать их и, затем, озвучивать.

Графическое окно выполнено на встроенном стандартном элементе VB -PictureBox, который позволяет использовать графические операторы языка VB и представляет собой рабочее поле с фиксированным числом точек 256 х 256. В некотором смысле, оно аналогично матрице виртуальных звуковых источников A. Hollander (1994), но имеет в 16 раз более высокое разрешение и обеспечивает необходимую непрерывность озвучивания без применения специальных методов интерполяции звукового сигнала между точками.

Панель инструментов предназначена для формирования стандартных графических объектов: прямая линия (отрезок, ломаная), дуга, окружность,

эллипс, прямоугольник, произвольная кривая линия, и возможности их копирования или произвольного перемещения в пределах рабочего поля. Панель инструментов выполнена на 10 элементах PictureBox. Рисование объектов осуществляется с помощью мыши.

В правом верхнем углу формы находится набор командных кнопок (CommandButton) - также стандартных элементов VB.

Имеется дополнительная панель поточечного редактирования фрагментов изображения непосредственно связана с маркировкой критических точек (крайних или промежуточных), необходимых для управления процессом восприятия, и установкой произвольного числа незвучащих точек, зон молчания в последовательности заданного массива точек. Элементы для установки дополнительных точек вдоль траектории курсора заключены в рамку "Add Point". Это - командные кнопки "add", "set", "esc", стандартный элемент VB -горизонтальная полоса прокрутки (HScrollBar), а также индикатор "del".

Панель управления позволяет:

• редактировать графические образы относительно их звуковых атрибутов;

• осуществлять запуск подпрограмм преобразования массива данных фрагмента изображения (поворот фигуры);

• производить обновление фрагмента или обновление изображения;

• стартовать воспроизведение озвучивания графического объекта;

• осуществлять переход на панель редактирования звуковых параметров.

Выбор активного курсора, с которым производятся текущие операции, выполняется при помощи группы стандартных переключателей (OptionButton) "Cursorl" - "Cursor8". Режим озвучивания фрагментов изображения (способ воспроизведения звуковых курсоров) выбирается переключателями "Sequen" и "Simultan" и индикаторами (CheckBox) "Cyclic" и "CyclRev" (реверсирование последовательности воспроизведения точек массива).

Панель индикации предназначена для отображения текущего количества точек фрагмента изображения при формировании его с помощью каждого курсора. Индикаторы длины курсоров расположены в нижней части формы в рамке "Cursor's Sizes". Они выполнены на базе стандартных элементов TextBox.

На форме находятся также элементы, задающие длительность озвучивания точек каждого из восьми курсоров - таймеры. Так как стандартный элемент Visual Basic - Timer не обеспечивает необходимых интервалов времени, при выполнении программы используется высокоскоростной таймер (HiTime) фирмы Mabry Software, Inc.

В левом верхнем углу формы расположено меню "File". В раскрытом виде оно показано на рисунке 5. Элементы меню выполняют операции с файлами'. ввод изображения из файла; запоминание (сохранение) графического окна; создание новой директории; удаление файла изображения;

te Sound control

T3

s p

ON

o

o "a S w C/5

O

O •ti

• r - -r ; 1 • - 3 a> Crt O, Frequency Y-Frequen. Amplitude Amplitude Duration Delay' •i r- m AddPoin^ï : ^Rie.'V.K î

ICS ô 0 £ z s ; <r ' y. ] deviation i * % deviation.' % duration]. , '"r'M.; Point * '.'•■''ïf ' '■ ■ H

60 H 40 00 ■w

60 ■10 A. 75

60 H 10 A. 00 "T1

Mffl 10 300 V

60 N 40 ▲ - 00

; * S ' * - ! -

6011 40 Jk. 75 ▲

i-ij

60 w 10 ^ ; 00 -A.

60 W 10 Jk. "V 300 2

r+

r-

t

17+

i

r +

î

r-

P? + :

î

r+ r-

4 #

1

-

.fi iv'f

n h<

5

ij riy-ïj

EH EUS EMljS^ -

¡î. EUS EUS [EST EZJS-1^'

• .....

r+

r.

*

: ieh ni ES ES^1

H

pi

-"—- Mod^ " -O sequential ® simultaneous

P cyclic h r cycIRevers

I ]x ^-Frequency deviation

10

a

вывод файла изображения на принтер; выход из программы.

Форма SOUND 1.FRM представляет собой панель управления звуковыми параметрами каждого из восьми курсоров. Панель дает возможность пользователю выбрать курсоры и произвести их озвучивание с помощью встроенных управляемых генераторов частоты ("FM"), шума ("Noise") или внешнего аналогового сигнала ("Analog"), а также устанавливать следующие параметры курсоров: частоту звукового курсора ("Frequency"); девиацию частоты по оси -Y ("Y-Frequency Deviation"); уровень звука ("Amplitude"); девиацию амплитуды и ее направление ("Amplitude Deviation"); длительность озвучивания точки траектории курсора ("Duration"); задержку воспроизведения озвучиваемого курсора ("Dely"); временные параметры дополнительных точек ("Add Point Duration"); временные параметры экстремальных точек ("Pic Point"). Кроме того, имеется возможность включать и устанавливать девиацию частоты по оси X ("X-Frequency Deviation"). Изменение основной частоты сигналов встроенных генераторов модуля ВАМ-3.8 регулируется в пределах 170 - 5000 Гц. Частота, как и другие параметры, устанавливается в относительных единицах с переменным шагом "Д" и округлением величины до целого значения. Относительно широкая полоса звукового сигнала обеспечивается его формой, близкой к прямоугольной. Регулировка девиации частоты осуществляется в зависимости от значения координаты точки изображения (X, Y), для каждого курсора независимо по оси Оу (DevF(y)) и для всех курсоров одновременно по оси Ox (DevF(x)) в относительных единицах при заданной частоте (F, отн.ед.), таким образом, что:

F(x, у) = F х (1 - ((M - Y) / M) x DevF(y) / 100) + (X x DevF(x) / 100)

где, M - максимальная величина параметра или количество точек плоскости изображения; X, Y - координаты виртуального звукового источника.

В интерфейсе предусмотрена возможность установки параметров длительности звучания и девиации частоты критических точек для каждого фрагмента звукового объекта (крайних или промежуточных). Девиация частоты критической точки может быть выбрана положительной или отрицательной по отношению к соседней точке. Предусмотрена также регулировка амплитуды (громкости) каждого курсора и ее девиации. Девиация амплитуды звукового курсора может быть выбрана положительной или отрицательной по отношению к общей длине массива точек данного фрагмента изображения.

Временные параметры устанавливаются раздельно по каждому курсору с дискретностью 1 мс. Следует различать параметр, обозначенный как "Duration" ("длительность"), соответствующий скорости изменения значений текущих координат по заданному курсору (что эквивалентно длительности звучания текущей точки массива); и параметр, обозначенный как "Delay" ("задержка"),

соответствующий разным временным параметрам в зависимости от режима воспроизведения звукового объекта. При последовательном воспроизведении звуковых курсоров "задержка" осуществляет отсроченное воспроизведение первой точки следующего фрагмента относительно последней точки предыдущего. При одновременном воспроизведении звуковых курсоров "задержка" отодвигает момент воспроизведения первой точки предъявляемого фрагмента от момента нажатия на кнопку "Sound" ("звук"), причем включение воспроизведения звукового объекта может быть отставлено на постоянную величину. Длительность звучания критических точек определяется как число, кратное длительности звучания текущей точки плюс 4 мс.

Озвучивание фрагментов изображения, сформированных соответствующими звуковыми курсорами, может осуществляться в последовательном или одновременном режиме, с синхронизацией по моменту запуска или асинхронно по каждому курсору, однократно, с возможностью реверсирования или циклически. Элементы, заключенные в рамку "Mode", позволяют устанавливать режимы звучания курсоров, приведенные выше при описании формы VIDEO.FRM.

Две командные кнопки с изображениями (иконками) внизу формы осуществляют переключение программы в графический режим или инициализацию режима озвучивания графики (курсоров).

Горизонтальные заголовки параметров выполнены на основе элементов из базового набора VB - метка ("Label"). Для вертикального расположения шрифта в заголовках используются элементы "RoText", позволяющие получить текст с любым углом поворота. Это элемент поставляется фирмой Mabry Software, Inc. Установка или изменение параметров осуществляется элементом VB "SpinBunonControl" который позволяет инкрементировать и декрементировать числа, в зависимости от того, производится ли щелчок мыши по верхней или нижней области (стрелке) элемента. Значение параметра отображается на объединенном с элементом текстовом поле (элемент "TextBox"). Элементы "ChecBox" отмечают выбранные курсоры ("Cursor"). Элементы "OptionButton" выбирают один из каналов источника звука для каждого курсора ("Off', "FM", "Noise", "Analog").

Программный интерфейс обеспечивает стандартный сервисный набор подпрограмм работы с созданными файлами графических объектов и параметров их озвучивания: сохранение изображения в файл, загрузку из файла, создание рабочей директории, удаление файла, вывод изображения на принтер. Формы SAVE.FRM, LOAD.FRM, CREATE.FRM, DELETE.FRM, OUTIMAGE.FRM связаны с файловыми операциями, по внешнему виду и функциям схожи со стандартными диалоговыми окнами Windows того же назначения.

Листинг программной реализации некоторых основных функций проекта

ВАМ-3.8 {файл GENPR.OC.BAS) приведен в Приложении 4.

В третьем разделе работы описаны результаты проведенных психоакустических исследований, в результате которых было продемонстрировано, что существует реальная возможность озвучивания не только контурных, но и плоских объектов, что подтверждает предположение о возможности изоморфного преобразования визуальных объектов в звуковые. В случае одновременного воспроизведения нескольких пространственно локализованных виртуальных звуковых источников восприятие объектно-относительного движения начинает конкурировать со взаимодействием звуковых потоков. Были обнаружены области, в пределах которых, вероятно, происходит достаточно быстрый предварительный сенсорный анализ фрагмента звуковой модели и формируется психологическая установка для последующей перцепции (выбор системы отсчета, особенности перераспределения внимания).

В результате анализа некоторых изобразительных признаков, проведено моделирование реальных пространственных объектов и предложен способ их озвучивания. Способ состоит из последовательности операций:

• графического представления объекта в изометрической проекции;

• фрагментации изображения, принимая во внимание однородность фрагментов по форме, плоскости отображения или иных свойств, требующих изменения ограниченного числа визуальных признаков;

• установления соответствия визуальных параметров звуковым;

• установления параметров воспроизведения последовательности озвучиваемых графических фрагментов, с учетом особенностей индивидуального слухового восприятия и предполагаемого "естественного" визуального сканирования изображения.

Способ проектирования звуковых объектов предполагалось использовать для альтернативного отображения элементов графического интерфейса. Например, звуковые окна, помимо формальных признаков (границы, активные области, и т.п.), могли бы содержать псевдографические объекты и текстовые сообщения, выполняющие любую из диалоговых функций: отображение позиции акустического курсора, выходные данные в виде озвученных диаграмм, вспомогательные сообщения об ошибках или о текущем состоянии системы. Оказалось, что проектирование графического интерфейса в форме виртуальной звуковой сцены, при сохранении действующей структуры оконного интерфейса может привести лишь к перегрузке слухового анализатора. Это вряд ли улучшит его доступность и другие пользовательские качества. Способ преобразования графической информации в звуковую пока не позволяет реализовать условия полностью эквивалентные процессу зрительного восприятия, как при наблюдении статических или динамических визуальных объектов, основанному на эксплуатации произвольного внимания.

Тем не менее, разработанный способ изоморфного озвучивания

графических объектов вполне приемлем не только для исследования в области психоакустики (например, проблемы соответствия акустической модели психической форме ее представления) или научной визуализации данных, но может быть использован в учебных целях для широкого круга пользователей графических программных средств.

Установлено также, что индивидуальные особенности селективного внимания и кратковременной памяти пространственной локализации субъективных акустических образов требуют специфической временной структуры при формировании объектов звуковых сцен. Своеобразные цезуры и знаки альтерации необходимы для точной репрезентации экстремальных точек, переключения и фиксации внимания, разделения фрагментов изображения или, наоборот, слияния звуковых потоков. Поэтому, в дальнейшем, предполагается специально анализировать градиент временных интервалов и особенности его пространственной модуляции.

В четвертом разделе работы приведено описание прототипов и принципов проектирования альтернативных устройств ввода - графических манипуляторов, в конструкции которых воплощена концепция использования внутренней системы отсчета (психических представлений человека проекций участков поверхности собственного тела) и полярных координат. В частности, описаны особенности конструкции концептуального потенциометрического джойстика и джойстиков с тактильным дисплеем на основе распределенных маркеров. Метод позволяет осуществить "физическую привязку" размещения условных проекций виртуальных объектов и облегчение ориентации в пространстве позиционирования.

Для инвалидов, имеющих ограниченные возможности манипуляции с помощью обычных устройств позиционирования (джойстик, мышь, клавиатура), а также слепых пользователей персональных компьютеров был разработан манипулятор РасЮгарИ и специальная система меню. Команды меню объединены в группы в зависимости от их функционального назначения и частоты обращения. РаёСгарЬ - джойстик, интерфейс которого обеспечивает возможность взаимодействия с виртуальными графическими объектами даже в отсутствие визуальной обратной связи. Эксплуатация устройства включает озвучивание столкновений курсора с границами окна или пунктами меню и использование системы распознавания речи для активации управляющих команд голосом. Для эффективного использования динамического диапазона устройства, в режиме проектирования графических объектов и в режиме навигации в структуре меню использованы раздельные контейнеры данных позиции джойстика. Описаны: программный интерфейс РасЮгарЬ, система команд и возможности проектирования графических объектов.

В заключении сформулированы основные выводы и результаты диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В диссертационной работе рассмотрен комплекс теоретических и практических вопросов, связанных с проектированием мультимодального графического интерфейса, поддерживающего эффективное человеко-машинное взаимодействие в отсутствие визуальной обратной связи. В качестве основного средства отображения графической информации разработан виртуальный аудио монитор, а в качестве ввода - предложены варианты альтернативных позиционирующих устройств.

В работе получены следующие основные результаты:

1. Разработана функциональная схема реализации невизуального интерфейса.

2. Разработаны аппаратные средства альтернативного ввода-вывода графической информации: виртуальный аудио монитор, и манипуляторы, обеспечивающие обратную связь в отсутствие зрительной информации, в конструкции которых воплощена концепция "схемы тела" и психических представлений пространственных отношений внутреннего и экстракорпорального пространства.

3. Осуществлена программная реализация интерфейса и системы озвучивания графических изображений.

4. Разработана аппаратно-программная версия специального графического редактора и система меню РасЮгарЬ для инвалидов, имеющих ограниченные сенсорные возможности (слепые пользователи компьютеров) и/или проблемы использования стандартных манипуляторов (отсутствие рук).

5. На основании проведенного анализа результатов исследований и методов преобразования графической информации в параметры виртуальных звуковых источников, обоснована возможность и разработана методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций.

6. Установлено, что индивидуальные особенности селективного внимания и кратковременной памяти пространственной локализации субъективных акустических образов требуют специфической временной структуры при формировании объектов звуковых сцен; предложен алгоритм для точной репрезентации экстремальных точек, необходимых для переключения и фиксации внимания, разделения фрагментов изображения или, наоборот, слияния звуковых потоков.

7. При проведении тестовых экспериментов обнаружено, что помимо критических точек, важных для локализации линейных фрагментов изображения, существуют области, в пределах которых происходит предварительный анализ пространственно-временных параметров звуковой модели и, вероятно, формируется психологическая установка на процесс, выполнения последующей перцепции (выбор системы отсчета, особенности распределения внимания). Причем, обнаружив "общий вектор", перцептивная система "должна" сначала

формализовать условия наблюдения, и только затем возникает группировка (например, совместное движение пограничных областей нескольких озвученных траекторий), а "остаточное" движение фрагментов изображения будет восприниматься по отношению к этой движущейся структуре как системе отсчета.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Евреинов Г.Е., Куркин С. А., Евреинова Т.В. Применение компьютерной технологии при разработке системы звуковой передачи графической информации. В сб.: Проблемы нейрокибернетики. XI Международная научная конференция по нейрокибернетике 20-23 сент. 1995 г., Ростов-на-Дону: Изд. "Пентагон". 1995, с. 98-99.

2. Айдаркин Е.К., Аверин А.И., Евреинов Г.Е. Кузнецов А.В., Щепкин А.Б. Автоматизированная система контроля оператора. В сб.: Проблемы нейрокибернетики. XI Международная научная конференция по нейрокибернетике 20-23 сент. 1995 г.. Ростов-на-Дону: Изд. "Пентагон". 1995. с. 26-27.

3. Agranovski A.V., Evreinov G.E.. Yashkin A.S. Graphic Audio Display for the Blind //Interdisciplinary Aspects in Computers Helping People with Special Needs. 5th Int. Conf. ICCHP'96 Linz, Austria, July 1996. pp. 539-542.

4. Agranovski A.V., Evreinov G.E. Converting of visual graphic information into sound images. //Int. Conf. "New technologies in the education of the visually handicaped". Paris 10-1 1 Juin 1996. V 2, pp. 28-30.

5. Agranovski A.V., Evreinov G.E. Translating of visual graphic information into sound // Fouth Int. Congress on sound and vibration, St. Petersburg 24-27 June 1996, V 1, pp. 301-304.

6. Agranovski A.V., Evreinov G.E. The design of the tool methods in the distance learning for visually impaired. H ICDED'96 The Second International Conference on Distance Education in Russia. Proceedings Moscow 2-5 July, 1996. V.2. Open and Distance Learning as a Development Strategy, pp. 268-270.

7. Евреинов Г.Е.. Куркин С.А. Перспективы введения зрительной информации путем адекватной стимуляции слухового анализатора // Акустический журнал. 1996. Т. 42. N 5. С. 629-634.

8. Аграновский А.В., Евреинов Г.Е. Стереосистема // МКИ6, Н 04 R 5/00, Патент RU №2098924 / Положит, реш. Приоритет от 11.06.96г. на выдачу патента Российской Федерации по заявке N 96111730/ 28 от 17.01.97г.

9. Евреинов Г.Е., Берг О.Ю. Регистрация биомеханических параметров

поведенческих реакций в диагностике функционального состояния человека-оператора. //Тезисы докладов Всероссийской конференции: Состояние и перспективы развития медицинского приборостроения. 26-28 Ноября, Махачкала. Изд-во Махачкала: ИПЦ ДГТУ, 1997. С.76-77.

10. Аграновский А.В., Берг О.Ю., Евреинов Г.Е. Стабиллоплатформа для измерения параметров микродвижений биологической ткани объекта и способ ее изготовления // решение о выдаче патента на изобретение Российской Федерации от 27.08.97 г. по заявке N 96109893/14 (015589) от 15.05.96 г.

11. Аграновский А.В., Евреинов Г.Е. Способ формирования акустического образа // положительное решение о выдаче патента на изобретение Российской Федерации от 01.12.97 г. по заявке N 96105192/14 (008800) от 19.03.96 г, МКИ6 А 61 Е 9/08, G 09 В 21/00, RU.

12. Аграновский А.В., Евреинов Г.Е. Функциональное проектирование невизуального интерфейса. Информационные Технологии, 1998, №3, С. 13-20.

13. Аграновский А.В., Евреинов Г.Е. Ситуационная осведомленность и межанализаторное взаимодействие как основы проектирования средств отображения информации повышенной безопасности // Доклады III Всероссийской научно-практической конференции с международным участием «Новое в экологии и безопасности жизнедеятельности», 16-18 июня 1998 г. Санкт-Петербург. Т. 2. С. 247-250.

14. Agranovski A.V., Evreinova T.G., Evreinov G.E. Alternative pointing devices: some emphasises at designing of visual-independent HC-interface // Computers and Assistive Technology ICCHP'98. Proceedings of XV. IFIP World Computer Congress Vienna/Austria and Budapest/Hungary, 31 August - 4 September 1998, Posters, pp. 517-518.

15. Аграновский A.B., Евреинов Г.Е. Интеллектуальный мультипроцессор в системе человеко-машинного интерфейса. // Международная научно-техническая конференция "Интеллектуальная робототехника - 98" 14-16 апреля 1998 г. Изд-во ЦНИИ Робототехники и технической кибернетики. Санкт-Петербург, 1998. С. 76-77.

16. Евреинов Г.Е. Аудио дисплей как средство профилактики и коррекции психоэмоционального напряжения оператора //Всероссийская научно-техническая конференция Медицинские информационные системы, МИС-98, Таганрог, 15-17 сентября 1998 г. С. 113 - 117.

Тип. ООО « ФЕНИКС » Заказ № 407. Тир. 100 экз. 1998 г.

ü q - h / w и— { j

J J ^ / о '< ^

РОСТОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

На правах рукописи

Евреинов Григорий Евгеньевич

ИССЛЕДОВАНИЕ И РАЗРАБОТКА ГРАФИЧЕСКОГО

ИНТЕРФЕЙСА С ИСПОЛЬЗОВАНИЕМ АЛЬТЕРНАТИВНЫХ СРЕДСТВ

ВВОДА-ВЫВОДА

Специальности: 05.13.11 - Математическое и программное обеспечение

вычислительных машин, комплексов, систем и сетей 05.13.13 - Вычислительные машины, комплексы, системы и сети

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: кандидат технических наук старший научный сотрудник A.B. Аграновский

Ростов-на-Дону 1998 г.

СОДЕРЖАНИЕ

ВВЕДЕНИЕ...................................................................................4

1. ИССЛЕДОВАНИЕ ПРОБЛЕМ ГРАФИЧЕСКОГО ИНТЕРФЕЙСА ПОЛЬЗОВАТЕЛЯ И ПРОЕКТИРОВАНИЯ АЛЬТЕРНАТИВНЫХ СРЕДСТВ ОТОБРАЖЕНИЯ ИНФОРМАЦИИ............................................................10

1.1 Преобразование графических интерфейсов в мультимодальные.......... 10

1.2 Обзор экспериментальных методов альтернативного

звукового отображения информации.............................................15

1.2.1 Некоторые проблемы восприятия зрительной информации..............15

1.2.2 Аудиторная экстернализация....................................................18

1.2.3 Альтернативные методы звукового отображения...........................19

1.2.3.1 Векторные аудио дисплеи......................................................19

1.2.3.2 Виртуальный аудио растр......................................................22

1.2.3.3 Спектральный мэппинг..........................................................22

1.2.3.4 Виртуальный звуковой векторный дисплей................................24

1.2.4 Освоение атрибутов слухового пространства,

практическое применение озвучивания.......................................27

1.2.5 Обзор инструментальных средств и систем озвучивания

общего назначения.................................................................34

1.2.5.1 Система визуализации данных EXVIS.......................................34

1.2.5.2 Инструментальные средства озвучивания:

язык Куша и система Capybara.................................................35

1.2.5.3 Система визуализации арЕ.....................................................37

1.2.5.4 Система озвучивания Porsonify и проект Pablo............................39

1.2.5.5. Инструментальные средства озвучивания данных LISTEN............42

1.3 Выводы.................................................................................46

2. ПРОЕКТИРОВАНИЕ АППАРАТНО-ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

2.1 Виртуальный акустический монитор ВАМ-1...................................48

2.2 Виртуальный акустический монитор В AM-1.1................................52

2.3 Озвучивание графических символов (ВAM-1.1)..............................57

2.4 Виртуальный акустический монитор ВАМ-2.3................................59

2.4.1. Графический интерфейс..........................................................62

2.4.2 Звуковой интерфейс ВАМ-2.3...................................................64

2.5 Виртуальный аудио монитор ВАМ-3.8..........................................68

2.5.1 Аппаратное обеспечение.........................................................68

2.5.2 Программное обеспечение ВАМ-3.8..........................................72

2.5.2.1 Программирование графических объектов. Форма УГОЕО.БКМ......73

2.5.2.2 Управления звуковыми параметрами. Форма ЗОЦЖН.ИШ..........77

2.5.2.3 Файловые операции.............................................................80

3. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ.................................83

3.1. Объектно-относительное смещение, восприятие движения

и отображение плоских виртуальных объектов................................83

3.2 Взаимодействие звуковых потоков...............................................87

3.3 Изоморфное озвучивание пространственных отношений...................93

3.2.1 Пространственнализация изображения.......................................95

3.2.2 Изобразительные признаки удаленности......................................98

3.2.2.1 Линейная перспектива...........................................................98

3.2.2.2 Система координат при воспроизведении нескольких объектов.....101

3.2.2.3 Поворот плоскости..............................................................102

3.2.2.4 Тень................................................................................102

3.2.3 Изоморфное озвучивание реальных объектов.............................104

3.4 Выводы................................................................................106

4. РАЗРАБОТКА И ПРИМЕНЕНИЕ АЛЬТЕРНАТИВНЫХ УСТРОЙСТВ ВВОДА-ВЫВОДА...............................................................................108

4.1 Полярные координаты, метафора циферблата

и концепция "схемы тела".........................................................109

4.2 Графический интерфейс РасЮгарИ...............................................114

4.3 Система команд РасЮгар11.........................................................118

ЗАКЛЮЧЕНИЕ..........................................................................121

СПИСОК ЛИТЕРАТУРЫ..............................................................123

ПРИЛОЖЕНИЕ 1........................................................................133

ПРИЛОЖЕНИЕ 2........................................................................143

ПРИЛОЖЕНИЕ 3........................................................................145

ПРИЛОЖЕНИЕ 4........................................................................146

ВВЕДЕНИЕ

Актуальность темы.

Преимущественное развитие визуальной культуры привело к ведущей роли зрительного анализатора в любой сфере деятельности человека: от бытовой до ориентирования и манипулирования виртуальными объектами программной среды. Вероятность утраты одной или нескольких физиологических модальностей рассматривается как реальная угроза жизнедеятельности только в специальном разделе авиационной медицины, связанном с влиянием гравитационной перегрузки на зрительную и слуховую системы пилота [3, 26]. Слепоту очень легко моделировать, для этого пользователю компьютера достаточно закрыть глаза и попробовать продолжить выполнение операций, например, с помощью мыши или джойстика. Имеется много задач, включающих текущий контроль или управление физической средой, которые требуют, чтобы зрительное внимание оператора постоянно переключалось или было сфокусировано на другом объекте, чем дисплей компьютера [28, 87, 99]. Чем шире область распространения графического интерфейса, тем больше проблем возникает при его эксплуатации не только в случае индивидуальных физиологических ограничений у определенного контингента пользователей. Перегрузка зрительного поля при отображении динамически изменяющихся многомерных массивов данных в реальном масштабе времени может вызвать информационно-психологическое блокирование, что существенно ограничивает возможности визуализации и оперативного контроля. Не обсуждая надежность оптических средств отображения, становится ясно, что тенденция развития мультимодального интерфейса - проблема более чем актуальная во многих аспектах ее приложения [6].

Мультимодальность становится основным критерием доступности информации при проектировании средств и систем отображения, а использование альтернативных средств ввода - непременным атрибутом графического интерфейса систем виртуальной реальности, носимых компьютеров и мобильных средств связи [6,40,51, 106].

Опыт пользователей и усилия экспертов уже привели ко многим усовершенствованиям в разработке элементов невизуального интерфейса, акустических и тактильных устройств ввода-вывода. Однако, проектирование такого типа специализированных интерфейсов должно учитывать не только общие тенденции развития человеко-машинного взаимодействия, но и концептуальные особенности интеграции естественных механизмов сенсорных процессов в случае замещения отсутствующей модальности.

К сожалению, разрабатываемые в последнее время средства и системы преобразования многопараметрических данных в параметры звуковых сигналов недостаточно используют пространственные характеристики слухового пространства. Исследование восприятия динамических акустических источников, в том числе виртуальных и в ближнем поле, показало незначительное преимущество стерео систем, имеющих встроенную HRTF-фильтрацию сигналов. Эти системы получили распространение в непрофессиональном музыкальном синтезе, но для научной визуализации (озвучивания данных) оказались малоэффективными [97].

С появлением DS-процессоров появились системы пространственного озвучивания, обслуживающие сотни акустических излучателей. Компания NXT (UK) выпускает матричные пьезоакустические панели. Таким образом, проблема изоморфного пространственного озвучивания и отображения виртуальных объектов с помощью аудио дисплея имеет реальные перспективы развития.

Проблеме восприятия человеком сложных акустических сигналов в нашей стране посвящена большая литература: разбираются вопросы моно- и бинауральных признаков, формирующих те или иные слуховые образы, роль интенсивности и спектральных характеристик [19], влияние речевого опыта на слуховую оценку сигнала. Но вопрос о возможности использования акустического канала для синтеза виртуальных акустических объектов и, тем более, реализации таких объектов в структуре графического интерфейса до сих пор не обсуждался.

Цель и задачи работы.

Основной целью диссертационной работы является разработка комплексного решения проблемы организации невизуального интерфейса поддержки мультимодального человеко-машинного взаимодействия с применением

альтернативных устройств ввода-вывода. Достижение этой цели дает возможность повысить надежность человеко-машинного взаимодействия в экстремальных ситуациях и биотехнических систем в целом, обеспечить широкий доступ к источникам информации в электронной форме для пользователей компьютеров с ограниченными физиологическими возможностями.

В соответствии с поставленной целью решаются следующие задачи:

- теоретически и экспериментально обосновать возможность реализации эффективной обратной связи в отсутствие визуальной системы отображения графической информации;

разработать эффективную методику формирования виртуальных акустических объектов;

- разработать алгоритмы озвучивания графической информации;

- разработать эффективные средства и методы манипуляции виртуальными объектами в отсутствие визуальной обратной связи;

- исследование некоторых проблем, связанных с инвариантностью интермодальных преобразований информационных сообщений (изоморфное преобразование графических объектов и некоторых абстрактно-логических

представлений);

- исследование эффективности применения разработанных аппаратно-

программных средств для решения задачи реабилитации операторов с

ограниченными сенсорными возможностями.

Методы исследования.

Для решения поставленных задач используются методы прикладного и объектно-ориентированного программирования, акустического синтеза сложных сигналов и конструирования радиоэлектронной аппаратуры.

Основные положения, выносимые на защиту.

На защиту выносятся следующие положения и результаты:

- функциональная схема реализации невизуального интерфейса;

- структура и программная реализация интерфейса системы озвучивания графических изображений;

- алгоритмы управления пространственно-временными параметрами виртуальных звуковых источников в условиях свободного звукового поля;

- методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций.

Научная новизна работы состоит в разработке комплекса алгоритмов, методов и структурных решений, использованных при проектировании альтернативных средств отображения и ввода графической информации на основе естественных механизмов сенсорного замещения и межсенсорной интеграции.

Основные научные результаты:

- предложена функциональная схема реализации невизуального интерфейса;

- разработана структура и осуществлена программная реализация интерфейса системы озвучивания графических изображений;

- созданы базовые алгоритмы управления пространственно-временными параметрами виртуальных звуковых источников в условиях свободного звукового поля;

- предложены общие методы преобразования графической информации в звуковые параметры акустических субъективных образов;

- обоснована возможность и разработана методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций.

Практическую значимость работы представляют:

- базовые алгоритмы управления пространственно-временными параметрами виртуальных акустических источников в условиях свободного звукового поля;

- методика изоморфного озвучивания двумерных графических объектов, проектируемых согласно правилам построения стереометрических проекций;

структурные и технологические решения аппаратных средств альтернативного ввода-вывода графической информации: виртуальный аудио монитор, и манипуляторы, обеспечивающие обратную связь в отсутствие зрительной информации;

- система меню РасЮгарИ и графического редактора для инвалидов, имеющих ограниченные сенсорные возможности (слепые пользователи компьютеров)

и проблемы при эксплуатации стандартных манипуляторов (отсутствие рук).

Предложенные методы и структурные решения представляет определенный интерес при проектировании перспективных систем отображения информации и оптимизации структуры управления информационным потоком в биотехнических системах.

Использование результатов работы.

Материалы диссертационной работы использованы при проведении следующих научно-исследовательских и опытно-конструкторских работ:

- Федеральная целевая научно-техническая программа на 1996-2000 годы «Исследования и разработки по приоритетным направлениям развития науки и техники гражданского назначения» приоритетное направление «Информационные технологии и электроника» подпрограмма «Информатизация России»,

проект - «Пакет прикладных программ преобразования графического изображения в структурированное звуковое поле для слепых пользователей ПЭВМ» № гос. регистрации 02.9.80004520;

проект - "Разработка программного обеспечения для преобразования визуальных текстурных изображений в виртуальные звуковые объекты" № гос. регистрации 01.9.80004534;

- Научно-техническая программа «Конверсия и высокие технологии 1997— 2000 годы", проект - «Исследование и разработка графического интерфейса пользователя виртуального аудио дисплея в отсутствие зрительного контроля» № гос. регистрации 02.9.80002264.

Использование результатов диссертационной работы подтверждено актами внедрения, которые приводятся в приложениях.

Апробация работы.

Основные результаты диссертационной работы докладывались и обсуждались на:

XI Международной научной конференции по нейрокибернетике 20-23 сент. 1995 г., Ростов-на-Дону;

5th Int. Conf. ICCHP'96 Interdisciplinary Aspects in Computers Helping People with Special Needs. Linz, Austria, July 1996; Int. Conf. "New technologies in the education of the visually handicaped", Paris 10-11 Juin 1996;

Fouth Int. Congress on Sound and Vibration, St.-Petersburg 24-27 June 1996;

ICDED'96 The Second International Conference on Distance Education in Russia Moscow 2-5 July, 1996; New Media for Education and Training in Computer Science. 2. Russian-German Symposium Moscow, Russian Federation, November, 23rd-28th 1996;

Всероссийской конференции: Состояние и перспективы развития медицинского приборостроения. 26-28 Ноября, Махачкала, 1997;

Рабочем заседании группы "Проектирования инструментальных средств озвучивания" - NSF Workshop on Sonification, Demo and Poster session of ICAD'97;

Международной научно-технической конференции "Интеллектуальная робототехника - 98" 14-16 апреля 1998 г., Санкт-Петербург;

III Всероссийской научно-практической конференции с международным участием «Новое в экологии и безопасности жизнедеятельности», 16-18 июня 1998 г. Санкт-Петербург;

XV IFIP World Computer Congress Vienna/Austria and Budapest/Hungary, 31 August - 4 September 1998. Computers and Assistive Technology ICCHP'98;

Всероссийской научно-технической конференции Медицинские информационные системы, МИС-98, Таганрог, 15-17 сентября 1998 г;

World Conference on Higher Education: Higher Education in the Twenty-first Century UNESCO, Paris 5-9 Oct. 1998.

По материалам диссертации опубликовано 16 печатных работ. Значительная часть практических результатов изложена в отчетах о выполнении НИР.

1. ИССЛЕДОВАНИЕ ПРОБЛЕМ ГРАФИЧЕСКОГО ИНТЕРФЕЙСА ПОЛЬЗОВАТЕЛЯ И ПРОЕКТИРОВАНИЯ АЛЬТЕРНАТИВНЫХ СРЕДСТВ ОТОБРАЖЕНИЯ ИНФОРМАЦИИ

1.1 Преобразование графических интерфейсов в мультимодальные

Графический интерфейс пользователя в настоящее время является наиболее общим средством поддержки человеко-машинного взаимодействия. Однако, семантическая, синтаксическая и физическая согласованность интерфейса разработаны для вполне определенной физической среды, обратная связь в которой полагается исключительно на зрительную модальность. Чем шире область распространения графического интерфейса, тем больше проблем возникает при его использовании не только в случае индивидуальных физиологических ограничений у определенного контингента пользователей [43, 59, 61, 62, 65, 66, 92, 102], но при отображении динамически изменяющихся многомерных массивов данных в реальном масштабе времени [37, 71, 79, 81, 97], и в случае возникновения экстремальных ситуаций (физиологическое или информационно-психологическое блокирование зрительной системы) [3, 26, 28, 99]. С другой стороны, имеется много задач, включающих текущий контроль или управление физической средой, которые требуют, чтобы зрительное внимание оператора постоянно переключалось или было сфокусировано на другом объекте, чем дисплей компьютера.

Таким образом, основным критерием доступности информации при проектировании средств и систем отображения становится мультимодальность графических интерфейсов и использование альте�