автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Инструментальные средства создания элементов пользовательского интерфейса на основе семантического описания компьютерных пиктограмм

На правах рукописи

ГРАНИН МИХАИЛ НИКОЛАЕВИЧ

Инструментальные средства создания элементов пользовательского интерфейса на основе семантического описания компьютерных пиктограмм

05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Иркутск-2008

003457403

Работа выполнена в Институте динамики систем и теории управления Сибирского отделения Российской академии наук (ИДСТУ СО РАН).

Научный руководитель:

член-корреспондент РАН, доктор технических наук Бычков Игорь Вячеславович

Официальные оппоненты:

член-корреспондент РАН, доктор физико-математических наук Федотов Анатолий Михайлович;

кандидат физико-математических наук Малых Антон Александрович

Ведущая организация:

Иркутский государственный технический университет

Защита состоится 25 декабря 2008 г. в 16 час. 00 мин. на заседании диссертационного совета Д 003.021.01 в ИДСТУ СО РАН по адресу 664033, г. Иркутск, ул. Лермонтова, 134.

С диссертацией можно ознакомиться в библиотеке ИДСТУ СО РАН. Автореферат разослан 24 ноября 2008 г.

Ученый секретарь диссертационного совета д.ф.-м.н.

А.А. Щеглова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Графический интерфейс пользователя (далее -интерфейс) предполагает представление всех доступных пользователю системных объектов и функций в форме графических элементов, обеспечивающих функции управления. В таком интерфейсе содержатся так называемые компьютерные пиктограммы, т.е. стилизованные графические изображения, упрощенные с целью облегчения их запоминания. Актуальность темы исследования обусловлена тем, что операционные системы, установленные на большинстве персональных компьютеров, используют интерфейс типа «Окно, пиктограмма, мышь, курсор» (WIMP GUI), применение которого в значительной степени связано с использованием пиктограмм. WIMP GUI постоянно и справедливо критикуют, однако до тех пор, пока не будут внедрены его альтернативы, без пиктограмм трудно обойтись. Со временем пиктограммы становятся все более сложными с точки зрения дизайна, поэтому необходимы специальные знания, связанные с их созданием. До настоящего времени специализированных форматов описания семантики пиктограмм не существовало. Разработка способов формализованного представления пиктограмм - одна из актуальных задач, направленных на разработку современного графического пользовательского интерфейса. В данной работе в качестве примеров используются пиктограммы, опубликованные с использованием свободной лицензией с указанием авторства (лицензия cc-by-sa). Эта лицензия позволяет перерабатывать, исправлять и развивать пиктограммы, в том числе в коммерческих целях до тех пор, пока указывается авторство и производные работы лицензируются на аналогичных условиях. Эту лицензию часто сравнивают с лицензиями на программное обеспечение с открытым программным кодом.

Существенный вклад в решение проблемы описания семантики и аннотирования мультимедиа в семантической сети внесен Консорциумом Мировой сети (Word Wide Web Consortium) - организацией, разрабатывающей и внедряющей технологические стандарты для Всемирной паутины (T. Berners-Lee, 2001). В этой области работают многие видные исследователи, как в России, так и за рубежом: А.В. Манцивода, D. Taniar, S. Staab и др. Развитие направления автоматического создания аннотаций при распознавании изображений связано с именами Е.Г. Соколовой и М.В. Болдасова. Зарубежные авторы широко освещают тематику графических интерфейсов (А. Соорег, 1995; W. Horton, 1994; D.Norman, 1990; J. Raskin, 2000). Среди российских исследований особый интерес представляют публикации, показывающие возможности автоматизации проек-

тирования интерфейса с применением онтологического подхода (В.В. Грибова, 2007). Существенно более широкий спектр работ, касающихся графической визуализации, посвящен визуальному программированию. Диапазон применения пиктограмм в этих средствах достаточно узок, однако, публикации в этой области, в частности, работы таких авторов, как Г.Е. Хлебцевич, C.B. Цыганкова, В.И. Курганский, В.Г. Богданова, Г.А. Опарин, В.В. Прохоров, вызывают несомненный интерес.

Пиктограммы представляют собой набор визуальных средств, которые (наряду с вербальными языковыми средствами) образуют основную систему средств интерфейса. Другими словами, они являются промежуточным средством коммуникации взаимодействия "человек - интерфейс -управляемая система". Эргономичный, эффективный в использовании интерфейс может быть построен лишь при условии применения как вербальных, так и визуальных средств.

Объект исследования — множество средств семантического описания компьютерных пиктограмм.

Цель диссертационной работы заключается в том, чтобы разработать и внедрить в процесс конструирования программного обеспечения инструментарий для семантического описания компьютерных пиктограмм, дающий возможность формализованным образом (с учетом семантического содержания) синтезировать, аннотировать и подбирать пиктограммы. Для достижения этой цели были поставлены и решены следующие задачи:

1. Получить системные знания о графических интерфейсах и возможных формах семантического описания компьютерных пиктограмм путем систематизации имеющихся в данной области сведений.

2. Разработать онтологию пиктограмм, описывающую информацию, необходимую для их создания и применения в интерфейсе (информацию об объектах, изображаемых на пиктограммах, их значениях и визуальных характеристиках).

3. Разработать язык семантического описания пиктограмм на основе предложенной онтологии.

4. Разработать средства семантической разметки пиктограмм в веб-документах.

5. Разработать программный комплекс, предназначенный для построения, синтеза, описания и подбора согласованных наборов пиктограмм, базирующийся на разработанных средствах семантического описания пиктограмм.

Научная новизна результатов исследования обусловлена тем, что:

1. Создана информационная модель пиктограмм, в которой пиктограммы впервые рассматриваются в качестве знаковой системы, что позволило представить информацию о них с максимальной детализацией.

2. Составлена онтология компьютерных пиктограмм, впервые позволившая строить средства их автоматической обработки с учетом семантики.

3. Создан не имеющий аналогов XML-язык IcoML, предоставляющий средства формализованного структурного и семантического описания пиктограмм.

4. Создан первый микроформат описания графических объектов hlcon, позволивший внедрять информацию о пиктограммах в веб-документы, представленные в форматах (X)HTML, Atom, RSS, а также в XML.

5. Инструментальные средства семантизированного построения, синтеза, описания и подбора согласованных наборов пиктограмм предложены впервые.

Практическая ценность результатов работы. На основе созданной технологии разработан программный комплекс IconExpert, позволяющий быстро синтезировать, аннотировать и подбирать пиктограммы, для чего создана формально описанная библиотека пиктограмм. Предложенная технология сокращает затраты на дизайн интерфейса за счет повторного использования элементов ранее созданных пиктограмм и автоматической генерации пиктограмм из составляющих элементов. Технология может способствовать повышению эффективности разработки интерфейса и позволяет улучшить его эргономичность. Для построения языка пиктограмм, соответствующего требованиям проекта Tango Desktop, была применена система IconExpert, что позволило сократить временные затраты на 60% по сравнению с традиционным подходом. Разработанная технология и предложенный программный комплекс создания пиктограмм внедрены компанией «Софтшейп», они применяются при разработке программного обеспечения.

В качестве методов исследования были использованы известные методы, связанные с разработкой интерфейсов, использующих пиктограммы. В частности, применен метод конструирования языков пиктограмм (W. Horton, 1994); использованы основы семиотики как совокупности общих знаний о знаковых системах (Р.Г. Пиотровский, A.A. Пиотровская, 1977); методы дискретной математики, теории программирования, теории информации и информационных процессов, методы объектно-ориентированного и сборочного программирования, теории построения баз данных, создания языков и онтологии.

На защиту выносятся следующие результаты:

1. Онтология пиктограмм, созданная на основе концептуально- информационной модели, рассматривающей пиктограммы как знаковую систему.

2. XML-язык семантического описания компьютерных пиктограмм IcoML, который позволяет автоматизировано создавать и обрабатывать пиктограммы, а также микроформат hlcon, реализующий механизмы разметки семантики пиктограмм в веб-документах.

3. Программный комплекс IconExpert, позволяющий производить синтез новых, поиск и организацию существующих пиктограмм и примитивов для использования в интерфейсе приложения.

4. Библиотека пиктограмм для проекта Tango Desktop, в которой продемонстрированы возможности синтеза, описания и подбора пиктограмм с использованием предложенной технологии.

В работе содержится решение задачи, имеющей существенное значение для отрасли знаний математического и программного обеспечения.

Достоверность результатов подтверждается их соответствием технологическим стандартам, а также успешной промышленной эксплуатацией предложенной в диссертации технологии.

Апробация. Результаты диссертационной работы докладывались на Международных конференциях "Форум независимых разработчиков программного обеспечения" (Москва, 2003, 2004, 2005); на V и VIII школах-семинарах "Математическое моделирование и информационные технологии" (Ангасолка, 2004, 2006); на II Всероссийской конференции ИКВТС'06 (Энхалук, 2006), на Всероссийской конференции "Научный сервис в сети Интернет: технологии параллельного программирования" (Новороссийск, 2006), на IV Международной научно-практической конференции "Информационные технологии и математическое моделирование" (Томск, 2007), на научной сессии МИФИ (Москва, 2008), а также на семинарах ИДСТУ СО РАН.

Публикации и личный вклад автора. Результаты диссертационной работы опубликованы в журнале «Вычислительные технологии» и в сборниках трудов Всероссийских научных конференций. Всего по теме диссертации имеется 10 публикаций. Все результаты, представленные в диссертационной работе, а также в публикациях [1 - 8], получены автором лично.

Исследования по данной теме выполнялись в рамках научно-исследовательских работ ИДСТУ СО РАН по базовому проекту 4.5.2.1 "Интеллектные методы и инструментальные средства создания и анализа интегрированных распределенных информационно-аналитических и вы-

числительных систем для междисциплинарных исследований с применением ГИС-, GRID- и веб-технологий". Результаты работы использованы в отчетах в ряде научных проектов, выполняемых в ИДСТУ СО РАН:

1. РФФИ 05-07-97204-р_байкал_в "Методы и средства обеспечения распределенных высокопроизводительных информационно-вычислительных ресурсов в исследованиях озера Байкал", 2005 -2007 гг.

2. РФФИ 05-07-97201-р_байкал_в "Интеллектная программная система для экологического мониторинга территории озера Байкал", 2005 -2007 гг.

3. РФФИ 08-07-00163-а "Технологии интеллектуального анализа данных и высокопроизводительных информационно-вычислительных ресурсов для поддержки междисциплинарных фундаментальных исследований в области геоэкологии и природопользования", 2008 - 2010 гг.

4. Проект №16 СО РАН "Интеллектная распределенная программная среда для автоматизации сбора, анализа и отображения данных в естественно-научных исследованиях", 2006 - 2007 гг.

5. Программа РАН № 16 "Изменение окружающей среды и климата: природные катастрофы", проект СО РАН № 10 "Информационно-аналитическое обеспечение задач региональной геохимии окружающей среды", 2005-2008 гг.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 101 наименование, и приложений. Объем составляет 133 страницы, включая 99 страниц основного текста, 41 рисунок, 3 таблицы и список литературы.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования, его цель и задачи. Сформулированы защищаемые положения, показана научная новизна и практическая ценность полученных результатов, изложена структура работы.

В первой главе описана роль пиктограмм в человеко-машинных интерфейсах. В частности, рассмотрены процессы, связанные с разработкой графических интерфейсов пользователя в современном программном обеспечении. Анализируются процессы проектирования пиктограмм как элементов интерфейсов, приведен обзор литературы, рассмотрено применение формальных визуальных языков в моделировании и проектирова-

нии программного обеспечения, проанализированы проблемы использования в нем пиктограмм. Сформулированы основные определения.

Примитив пиктограммы (примитив) - это элементарное (атомарное) изображение, которое имеет некоторое семантическое значение, а также определенный субъективный целостный образ изображенного объекта. При декомпозиции этого изображения теряется его семантическое значение. Примером примитива со значением «файл» выступает изображение пустого листа бумаги.

Элемент пиктограммы (элемент) - это или примитив пиктограммы, или композиция других элементов пиктограммы. Примером элемента пиктограммы со значением «текстовый файл» может служить композиция, изображающая лист бумаги с текстом.

Пиктограммой называется композиция элементов, обладающая конкретной семантикой в контексте пользовательского интерфейса. Примером пиктограммы выступает композиция из двух элементов - папки и стрелки в квадрате (рис. 1). Стрелка в квадрате в этой пиктограмме является элементом, но не является самостоятельной пиктограммой.

Примитивы пиктограмм, элементы и пиктограммы будем называть графическими объектами.

Язык компьютерных пиктограмм - это совокупность всех пиктограмм, а также элементов, содержащихся в этих пиктограммах. Корректно построенный язык пиктограмм для каждого элемента определяет единственную семантику.

Одна из задач диссертации - разработка инструментария для создания согласованных наборов пиктограмм. Их создание опирается на метод конструирования языков пиктограмм (W. Horton, 1994). Анализ этого метода показал, что язык компьютерных пиктограмм является знаковой системой, в которой знаками служат элементы пиктограмм. Следовательно, к исследованию таких языков применимы методы науки семиотики1. В частности, для описания информации, содержащейся в пиктограмме, авто-

Рис. 1. Пример пиктограммы, состоящей из элементов

1 Семиотика - наука о знаковых системах (Пиотровский Р.Г., Бектаев К.Б., Пиотровская A.A. Математическая лингвистика. М.: Высшая школа, 1977).

ром предложено использовать стандартную для семиотики трехуровневую модель знака в знаковой системе. При этом предложенная информационно-концептуальная модель пиктограммы состоит из следующих трех уровней: семантика в интерфейсе пользователя (десигнат), изображаемый объект (денотат) и визуально-стилевые характеристики изображения Оконнотат), свойственные темам пиктограмм".

С точки зрения теории множеств язык пиктограмм L - это множество М значений элементов пиктограмм в интерфейсе и множество О элементов пиктограмм. В соответствии с методом конструирования языков пиктограмм множество значений элементов М включает множество обозначаемых объектов Ml, множество обозначаемых действий М2 и множество обстоятельств МЗ.

На рис. 2 показан пример одного из простейших языков пиктограмм. Для него М={А, R, Е, U, D, С}. Для определения языка пиктограмм разделим множество М на множество обозначаемых объектов Ml = {A, R, Е) и обозначаемых действий М2 = (U, D, С). Множество пиктограмм, состоящих из двух элементов, можно определить как прямое произведение Ml х М2. Для корректного использовавния языка пиктограмм необходима информация о семантическом значении каждого примитива и пиктограммы, а также о возможностях их комбинирования и декомпозиции на примитивы.

User Data Computer 8 U S D SC

Add + A S- AU AD Ц. AC Re move П R & RU ^ RD RC

Edit e eu ^ ed - ч ec

Рис. 2. Пример простейшего языка пиктограмм

Тема пиктограмм (icon theme) - тематический набор пиктограмм, выполненных в едином стиле.

Вторая глава диссертации посвящена разработке языка семантической разметки пиктограмм IcoML (Icon Markup Language) и микроформата3 hlcon. Язык и микроформат базируются на разработанной автором специализированной онтологии пиктограмм, которая строится на основе перечисленных выше терминов.

Онтология пиктограмм. Экземплярами в онтологии являются примитивы и пиктограммы, понятиями - классы ниже описанных таксоно-мий. В качестве формального языка кодирования онтологии при ее разработке использовали язык OWL - ontology web language, являющийся стандартом консорциума Мировой сети, языком для семантических утверждений, разработанным как расширение RDF и RDFS.

В соответствии с предложенными уровнями информационно-концептуальной модели онтология содержит следующие классификации (таксономии) на трех уровнях:

1. Изображаемые объекты. Эта классификация выделяет среди классов объектов природные, техногенные, абстрактные, анатомические и т.д.

2. Значение в интерфейсе пользователя представлено в виде двух классификаций: а) классификация изображаемых объектов по значению (обозначаемые объекты, действия, обстоятельства действий), используемая для примитивов пиктограмм; б) классификация значений пиктограммы в интерфейсе, построенная на основе перечня контекстов использования пиктограмм и классификации типов программного обеспечения из «Спецификации именования пиктограмм» (R. Dawes, 2006).

3. Визуально-стилевые характеристики пиктограммы. Эта классификация содержит задаваемые экспертом субъективные данные, к которым относятся требования руководств по визуальному стилю (например, Windows ХР Viusal Guidelines) и техника исполнения (векторная или растровая).

На уровне значений в интерфейсе пользователя в таксономии присутствуют следующие классы: cowl-.Class rdf: 10="Действие"/> cowl-.Class rdf: Ю="Объект" /> Cowl-.Class rdf: Ю="Обстоятельство"/>

Подклассы заданы следующим образом: cowl-.Class rdf: Ю="ФорматированиеТекста"> crdfs:subClassOf rdf:гезоигсе="#Действие" />

3 Микроформаты (\xF или uF) - расширение языков разметки HTML (XHTML), а также XML, которое позволяет задавать семантику различных данных, содержащихся в веб-страницах.

</owl:Class>

Имена основных классов и подклассов заданы на русском и английском языках:

<rdfs:label xml:lang="en"> TextFormatting</rdfs:label>

<rdfs:label xml:lang="ru"> ФорматированиеТекста </rdfs:label>

Значение пиктограммы задано следующим образом: <owl:Class rdf:ID="Курсив"> <rdfs:subClassOf

rdf:гезоигсе="#ФорматированиеТекста"/> </owl:Class>

В дополнение к классам описывают также их экземпляры - пиктограммы. Для определения экземпляра достаточно объявить его членом одного из классов:

«¡Открыть rdf : ID= "ОткрытьФайл " />

Для построения онтологии проведены сбор и анализ существующих наборов пиктограмм. Эта работа состояла из трех этапов: а) подбор пиктограмм (собраны пиктограммы из 40 источников и примерно из 100 контекстов); б) создание единой базы пиктограмм (в базу внесено более 5000 пиктограмм для дальнейшего анализа); в) проведение выборочного статистического исследования для определения категорий значений пиктограмм. Построенная онтология задает структуру и возможные значения элементов предложенных автором языка IcoML и микроформата hlcon.

Язык семантической разметки пиктограмм IcoML. Язык IcoML -это XML-язык, использующий в качестве контейнера XML-язык SVG. Язык IcoML предусматривает описание компьютерных пиктограмм как разметку представления (Presentation Markup) и разметку содержания (Content Markup).

Язык IcoML позволяет описывать семантическую информацию о пиктограммах, он совместим с существующими стандартами семантической паутины. IcoML допускает возможность интеграции с другими XML-языками, в частности, с языками описания интерфейсов, например, BXML, UIML, XUL, XAML, AUIML. Язык IcoML обеспечивает интеграцию компьютерных пиктограмм в пользовательские интерфейсы на уровне семантики. Кроме того, IcoML является открытым форматом и может использоваться для обмена пиктограммами, например, на интернет-сайтах, распространяющих коллекции пиктограмм.

Семантическая разметка изображения пиктограммы, представленной в SVG-формате, состоит из следующих разделов таксономии:

1. Общие метаданные, которые описываются при помощи стандарта Дублинское ядро (DCMI - Dublin Core Metadata Initiative).

2. Метаданные пиктограммы, которые являются специфическими для пиктограмм. Они подразделяются на три уровня, которые соответствуют уровням информационно-концептуальной модели пиктограммы: а) разметка графических метаданных (элементы этого уровня характеризуют примитивы пиктограмм, а также их взаимное расположение и параметры); б) семантическое значение пиктограммы в интерфейсе пользователя; в) визуально-стилевые характеристики пиктограммы, которые содержат задаваемые экспертом субъективные данные из онтологии, а также объективные визуальные характеристики, полученные методами автоматического аннотирования графических изображений.

Микроформат hlcon. При помощи микроформата hlcon решается ряд задач, среди которых: описание семантической информации о пиктограммах в веб-документах; поиск пиктограмм в специализированных поисковых системах, производящих автоматическую индексацию пиктограмм; рекомендация пиктограмм с других сайтов, схожих по ряду параметров; альтернативное представление вне графических браузеров и автоматический перевод значения пиктограммы в интерфейсе.

Разработка hlcon проведена в соответствии с рекомендациями, предложенными сообществом Microforrnats.org, на основе «Спецификации именования пиктограмм» (R. Dawes, 2006). Микроформат задается набором правил разметки различных видов данных. Отдельный вид данных называется полем микроформата. Чтобы выделить поля микроформата, используют частотный анализ применения однотипных структур в веб-документах. В процессе анализа выделяют однотипную информацию, для разметки которой будет применяться микроформат. Информация о пиктограммах, как правило, включает определенный набор общих свойств, публикуемых на сайте. Свойства, специфичные лишь для определенного типа пиктограмм, не включены в hlcon. В результате частотного анализа однотипных структур в веб-документах, содержащих пиктограммы, сформирована спецификация микроформата hlcon. Микроформат hlcon состоит из следующих полей:

• Fn (отформатированное имя) - название отдельной пиктограммы, являющееся коротким текстовым описанием для идентификации работы среди заинтересованных сторон.

• Album (набор пиктограмм) - название набора пиктограмм, представленного пиктограммами, созданными в едином визуальном стиле.

• Item (элемент) - контейнер для другого элемента hlcon, который должен рассматриваться как часть родительского hlcon. Примером такого элемента может быть пиктограмма в наборе, пиктограмма в интерфейсе, пиктограмма в коллекции.

• Contributor (автор) - лицо, которое участвовало в создании и публикации пиктограммы.

• Published (дата публикации) - дата, когда пиктограмма стала доступной публике.

• Sample (образец) - единообразный идентификатор ресурса (Uniform Resource Identifier, далее URI), указывает, где может быть запрошено изображение для предварительного просмотра пиктограмм.

• Full Download (Enclosure) (загрузка полной версии) - URI указывает, где находится полная версия пиктограммы (коллекции пиктограмм); указывает на прямую связь с процессом запроса файла (FTP, HTTP и т.п.).

• Purchase/Payment (покупка) - URI покупки, указывает, где следует приобретать полную версию пиктограммы (коллекции пиктограмм).

• Photo (изображение) — указывает изображение, используемое для просмотра пиктограммы в контексте данной страницы.

• Category (категория) - указывает, для чего пиктограмма используется; должна соответствовать "имени" из раздела «Спецификации именования пиктограмм» (R. Dawes, 2006).

• Price (цена) - указывает сумму, необходимую для приобретения полного варианта пиктограммы или набора пиктограмм.

• Description (описание) - дает развернутое описание пиктограммы или коллекции пиктограмм.

Разработанная автором спецификация hlcon включает рекомендации, касающиеся построения синтаксических анализаторов разметки микроформата, а также поддержки различных естественных языков (интернационализация). Спецификация представлена в формате профиля метаданных в XHTML (XMDP - XHTML Meta Data Profile).

Простейший пример разметки пиктограммы на рис. 3 выглядит так: <img class="hicon fn photo" src="img/mail-message-new.gif" alt="HanncaTb письмо"/>

Для наглядности в XHTML коде все имена полей микроформата hlcon выделены жирным шрифтом.

5ч:

Написать

Рис. 3. Пример пиктограммы создания сообщения

Обработка микроформатов в браузерах реализуется при помощи: 1) специализированных каскадных таблиц стилей (CSS), выделяющих микроформаты на странице; 2) динамических закладок (bookmarklet), использующих JavaScript для экспорта данных из микроформата в другие приложения; 3) сервисов, позволяющих обрабатывать микроформаты по запросу интернет-приложений (например, трансформер для микроформатов Optimus); 4) включения поддержки микроформата hlcon в расширения браузера.

Разработанный микроформат hlcon и средства его обработки позволяют публиковать пиктограммы и работать с опубликованными пиктограммами с помощью браузера. На этой базе возможно внедрение микроформата в существующие сайты и инструменты работы с пиктограммами, а также построение новых сервисов для решения задач, связанных с пиктограммами.

В третьей главе описаны инструментальные средства, базирующиеся на языке IcoML и спецификации hlcon: программный комплекс IconExpert, сервис рекомендации пиктограмм, дополнительный модуль для расширения Operator браузера Firefox для импорта и обработки мета-информации о пиктограммах, размеченных при помощи hlcon.

Основная цель программного комплекса IconExpert - синтез новых пиктограмм, организация и поиск существующих пиктограмм и примитивов для использования в интерфейсе приложения. Комплекс решает следующие задачи, сформулированные в результате опроса разработчиков программного обеспечения, дизайнеров интерфейсов, специалистов по эргономике пользовательского интерфейса:

• управление базой данных пиктограмм, поиск пиктограмм и навигация среди них по изображенным объектам, значению в интерфейсе, визуальным (стилевым) признакам (далее информационным слоям);

• создание пиктограмм из имеющихся элементов, а также добавление новых элементов пиктограмм;

• автоматизация создания серий пиктограмм, отличающихся лишь цветовой палитрой, а также изменение палитры набора пиктограмм в соответствии с палитрой интерфейса, в котором они будут использованы;

автоматическая генерация набора пиктограмм, имеющих одинаковую композицию;

экспорт пиктограммы и наборов пиктограмм для использования в средствах разработки в общепринятых форматах или в виде HTML кода для использования в веб-среде или в формате, содержащем метаданные, накопленные в процессе работы над пиктограммой; подбор пиктограмм для определенной функции интерфейса на основе статистических данных о частоте использования различных пиктограмм для обозначения этой функции;

предоставление доступа к открытым накопленным экспертным данным (языкам пиктограмм), созданным другими пользователями; организация данных в проекты по работе над пиктограммами для различных программных продуктов.

Программный комплекс состоит из следующих модулей: Модуль публикации элементов. Позволяет добавлять новые элементы пиктограмм, загружая их в систему в виде IcoML файлов либо в виде SVG файлов с последующим добавлением мета-информации. База элементов. Предназначена для поиска элементов при создании пиктограмм. Навигация по базе возможна: а) на основе классификации объектов, изображенных на пиктограмме и описанных онтологией; б) средствами полнотекстового, атрибутивного или семантического поиска и путем фильтрации пиктограмм.

Модуль создания пиктограмм. Предназначен для комбинирования элементов пиктограмм с учетом ограничения возможных пространственных расположений элемента в пиктограмме.

Модуль автоматической генерации пиктограмм. Позволяет на основе пиктограммы, полученной с помощью модуля создания пиктограмм, строить шаблон генерации пиктограмм. При этом для элемента в исходной пиктограмме задается набор элементов, которые будут подставлены на его место в каждой из сгенерированных пиктограмм. База пиктограмм. Содержит созданные пиктограммы как описание комбинаций, а также накапливает информацию о значениях пиктограмм, собранную пользователями системы в процессе работы с модулем подбора пиктограмм.

База языков пиктограмм. Содержит классификатор языков пиктограмм по категориям программного обеспечения, использующий систему меток. База позволяет осуществлять доступ к собственным закрытым языкам пиктограмм через страницу "личный кабинет", поиск и навигацию среди опубликованных языков пиктограмм через классификатор языков

пиктограмм, редактирование языков пиктограмм, а именно: дополнение с помощью модуля подбора пиктограмм, удаление пиктограмм, описание языка пиктограмм, включая внесение в классификатор языков пиктограмм.

• Модуль подбора пиктограмм. Позволяет осуществлять ввод значений требующихся пиктограмм, выбор пиктограмм на основе совпадения требующегося значения с ранее сохраненным значением, конструирование недостающих пиктограмм с помощью модуля создания пиктограмм, сохранение информации о значении пиктограммы в базе пиктограмм, сохранение подобранного языка пиктограмм в виде набора пиктограмм для повторного использования, дополнения и редактирования в профиле пользователя и в общей базе.

• Модуль экспорта пиктограмм. Позволяет осуществлять экспорт из системы отдельных пиктограмм, а также их наборов в форматах векторной и растровой графики.

Комплекс реализован при помощи набора серверного программного обеспечения LAMP (операционная система Linux, веб-сервер Apache, СУБД MySQL, язык программирования PHP), интегрированной среды CakePHP, PHP XML Library, а также подхода к построению интерактивных интерфейсов веб-приложений AJAX (Asynchronous Javascript and XML — «асинхронный JavaScript и XML»). Для управления содержанием серверного программного обеспечения (как интернет-сайта) применена система управления содержанием Drupal 6.

В IconExpert разработанные автором языки и стандарты использованы следующим образом: 1) структура данных комплекса построена на основе предложенной онтологии; 2) для импорта, обработки и экспорта пиктограмм использован язык IcoML; 3) в веб-интерфейсе системы, а также при экспорте для применения в веб-документах использован микроформат hlcon.

Рассмотрим работу модуля создания пиктограмм. Схема алгоритма, объединяющего несколько примитивов в одну пиктограмму, включает подготовительные операции; проверку, верификацию данных; синтаксический анализ IcoML файла пиктограммы.

Уровень графических данных. Из элемента композиции извлекают все элементы трансформации. В соответствии с указанными параметрами последовательно производят масштабирование и сдвиг для каждого элемента. Элементы композиции объединяют последовательно.

В результирующем SVG-файле каждое из накладываемых изображений является отдельным слоем. Создается SVG-файл с композитным изображением. В результирующем IcoML-файле внутри элемента icon созда-

ется элемент combined, в атрибуте source которого указывается ссылка на

SVG-файл с композитным изображением

<icon>

«combined

source="http://icoml.org/primitive.svg"> </icon>

На рис. 4 показано, какие преобразования совершает алгоритм на каждом из уровней.

SVG1

Объект: глобус

Web

Значение: Интернет ^^ Стшь^Тапдо

комбинируется <g>SVG1</g> <g>SVG2</g>

SVG2

Объект: лист

i объединяется: глобус, лист

Ts

Document

Значение: Документ

рекадктируется автором: HTML Документ

наследуется: Tango

J

HTML Документ

Рис. 4. Схема преобразования семантических описаний, которые осуществляются алгоритмом синтеза пиктограммы

Уровень изображаемых объектов. В создаваемое IcoML описание включаются все элементы <object> каждого из примитивов в порядке их указания в composition, а внутри примитива - в порядке их указания внутри примитива.

Уровень значения в интерфейсе. В общем случае значение в интерфейсе новой пиктограммы корректно задается только экспертом, однако алгоритмом предлагается вариант нового значения в интерфейсе в форме объединения строк с именами значений исходных элементов.

Уровень визуально-стилевых характеристик. На этом уровне значения пиктограммы наследуются от исходных элементов. Все исходные примитивы, используемые в композиции, должны иметь единый стиль. В случае несоответствия исходных примитивов этому требованию эксперту предлагается ввести стиль вручную либо выбрать его из стилей исходных примитивов.

В комплексе 1сопЕхрег1 реализован интерактивный синтез пиктограмм под управлением семантического описания исходных элементов. Роль 1сопЕхреЛ в предлагаемом технологическом процессе создания пиктограмм показана на рис. 5.

Рис. 5. Схема процесса работы с комплексом IconExpert

Программный комплекс позволяет помимо поиска элементов и пиктограмм создавать также новые пиктограммы из уже имеющихся пиктограмм и дополнять ими базу пиктограмм.

Обработка hlcon браузером Firefox. Клиентское приложение обработки семантической разметки пиктограмм базируется на разработанном автором дополнительном модуле для расширения Operator браузера Firefox (рис. 6). Основная задача модуля - импорт и обработка метаин-формации о пиктограммах, размеченных при помощи hlcon. Список всех пиктограмм, размеченных hlcon, встречающихся на странице, выводится модулем на панель инструментов в виде выпадающего меню. Модуль выделяет на странице каждую размеченную пиктограмму при наведении на нее курсора, а также при выборе пиктограммы из меню.

« "i е

Икон М [traf or mat exipmlej

v-

©http I/wwwkoml,org,'hKOn/hiton-examples.v-

§ hicon £3 J

T л, ': ]. t

Preview I Q Рпш ЕЭ Email Print

Email £ G + ©

Preview ►

fHIwi .1 а.гдб: rum

Рис. 6. Модуль обработки hlcon выделяет рамкой блок, соответствующий выбранной в списке пиктограмме

Сервис рекомендации пиктограмм. В качестве примера, демонстрирующего возможности микроформата hkon. рассмотрена возможность его применения для разработки веб-сервиса агрегирования и рекомендации пиктограмм. Пиктограммы требуются разработчику для обозначения действий и объектов а интерфейсе создаваемого приложения. Задача подбора необходимых пиктограмм нетривиальна. При ее решении требуется найти пиктограмму, для которой выполняется ряд условий: а) она должна очевидным для пользователя образом обозначать действие или объект: б) стиль пиктограммы должен соответствовать стилю остальных пиктограмм и т.п. Часто вне текущего контекста разработчик не может найти все требуемые ему пиктограммы и вынужден искать их в других источниках. Метаданные могут содержать ссылки на сайты авторов, где коллекции пиктограмм можно получить или приобрести. Ассоциация дополнительных метаданных с пиктограммами позволяет при помощи веб-браузера выделять пиктограммы, использованные на веб-странице, а также подбирать пиктограммы из различных источников и выдавать рекомендации по выбору в соответствии с такими требованиями, как визуальный стиль и размер, формат файла и т.п.

В главе 3 также описаны архитектура и принципиальная схема работы сервиса рекомендации пиктограмм, использующего hlcon. Пользователь посылает (посредством POST) XML-документ, содержащий описание пиктограммы или коллекции пиктограмм, на сервис рекомендации. Результатом. возвращаемым от сервиса, будет другой XML-документ, содержащий элементы hlcon. визуальный стиль которых похож на тот. что был отправлен на URL. сервиса рекомендации.

Четвертая глава посвяшена описанию применения созданной технологии и разработанных инструментальных средств. Одним из первых решений, осуществленных с помощью полученных программных систем и сервисов, было построение языка пиктограмм для проекта свободно рас-

19

пространяемого графического интерфейса Tango Desktop. Пиктограммы этого проекта используют в различных приложениях операционных систем KDE, GNOME, MS Windows и Mac OS X. Несмотря на то, что проект Tango Desktop содержит 213 пиктограмм, при построении различных приложений разработчикам требуется большее разнообразие. Для решения этой задачи в системе IconExpert был создан язык пиктограмм, который позволяет разработчикам самостоятельно расширять проект Tango Desktop собственными пиктограммами путем повторного использования элементов имеющихся пиктограмм. Автором проанализированы пиктограммы проекта Tango Desktop с целью построения на их основе языка пиктограмм. Произведена декомпозиция 122 из этих пиктограмм на примитивы, из которых затем построен язык пиктограмм, содержащий выбранные из набора "Tango Icon Theme" 122 исходные пиктограммы, 89 составляющих их элементов и 50 примитивов. На их основе, используя систему IconExpert, для ряда приложений построен набор пиктограмм, названный "IconExpert Tango Add-on". При этом 60 пиктограмм были созданы без участия дизайнеров, и это потребовало 2 человеко/часа работы квалифицированного архитектора программного проекта и 20 челове-ко/часов работы программиста-стажера, не имеющего опыта программирования и создания пиктограмм. Для сравнения был проанализирован аналогичный по масштабу проект, выполненный компанией Softidentity в 2006 году при работе над программным продуктом LiveLink компании OpenText. Этот проект строился на существенно большей базе элементов (более 800 пиктограмм) и, как показал анализ, более 80% использованных примитивов пиктограмм были применены повторно. Целью проекта являлось создание 55 пиктограмм, на что потребовалось 160 часов работы квалифицированного дизайнера, менеджера проекта и разработчика, курировавшего проект со стороны заказчика. Весь проект был выполнен за три недели. Исходя из временных затрат на создание набора IconExpert Tango Add-on, можно сделать вывод, что в случае комплексного применения представленного в работе инструментария, подобный проект мог быть выполнен за неделю. Таким образом, использование в аналогичном проекте системы IconExpert могло бы сократить временные затраты на 60% по сравнению с традиционным подходом.

В заключении перечислены основные результаты, полученные в ходе выполнения диссертационной работы, рассмотрены возможные направления дальнейших исследований.

В приложении приведены спецификации созданных микроформата и XML-языка, а также акт внедрения, подтверждающий практическое применение полученных результатов.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ

1. Предложена новая технология создания и обработки пиктограмм, состоящая из набора стандартов и языков для формализованного семантического описания компьютерных пиктограмм, программного комплекса синтеза и обработки согласованных наборов пиктограмм, библиотеки пиктограмм. Данная технология интегрируется в современный процесс разработки программного обеспечения на его основных этапах.

2. Решена важная научно-практическая задача разметки семантики пиктограмм в HTML, что позволяет идентифицировать пиктограммы среди других изображений в веб-документе и определять их значение в интерфейсе.

3. Созданы онтология пиктограмм и программный комплекс IconExpert, которые позволили впервые распределенно осуществлять систематизацию и унификацию пиктограмм в программном обеспечении.

Полученные результаты согласуются с современным состоянием технологии разработки программного обеспечения. Построение средств формализованного семантического описания в сфере разработки пользовательского интерфейса только начинается, и данная работа является одним из первых шагов в этом направлении.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Гранин М.Н. Построение автоматической классификации интернет-ресурсов на основе открытых экспертных данных и с использованием алгоритмов кластеризации / М.Н. Гранин // Математическое моделирование и информационные технологии: V школа-семинар молодых ученых. - Иркутск-Ангасолка: ИДСТУ СО РАН, 2004. - С. 11.

2. Гранин М.Н. Язык описания компьютерных пиктограмм IcoML для представления информации в семантической сети / М.Н. Гранин // Математическое моделирование и информационные технологии: VIII школа-семинар молодых ученых. - Иркутск: ИДСТУ СО РАН, 2006. - С. 53-57.

3. Гранин М.Н. Выделение навигационной метаинформации в семантической сети на примере языка описания компьютерных пиктограмм / М.Н. Гранин, И.В. Бычков // Инфокоммуникационные и вычислительные технологии и системы: Материалы II Всеросс. конф. с междунар. участием (ИКВТС-06). - Улан-Удэ: Изд-во БГУ, 2006. - Т.1, - С. 105.

4. Гранин М.Н. Язык семантического описания компьютерных пиктограмм IcoML / М.Н. Гранин, И.В. Бычков // Научный сервис в сети Интернет: технологии параллельного программирования: Материалы Всеросс. науч. конф. - Новороссийск: Изд-во МГУ, 2006. - С. 282-287.

5. Гранин М.Н. Язык пиктограмм как знаковая система / М.Н. Гранин // Информационные технологии и математическое моделирование (ИТММ-2007): Материалы IV Междунар. науч.-практ. конф., Томск, 9-10 ноября 2007 г. - Томск: Изд-во Томского ун-та, 2007. - С. 3639.

6. Гранин М.Н. Создание микроформата разметки пиктограмм / М.Н. Гранин, И.В. Бычков // Сб. науч. тр. научной сессии МИФИ-2008. - М.: МИФИ, 2007. - С. 174-175.

7. Гранин М.Н. Язык разметки компьютерных пиктограмм IcoML как инструмент описания информации в семантической сети / М.Н. Гранин, И.В. Бычков // Вычислительные технологии. - 2007. -№ 1.-С. 13-21.

8. Гранин М.Н. Разработка микроформата hlcon как инструмента публикации семантической информации о пиктограммах / М.Н. Гранин, И.В. Бычков // Вычислительные технологии. - 2008. -№2.-С. 27-35.

9. Черкашин Е.А. Инструментальные средства для программных систем поддержки исследований в естественных науках / Е.А. Черкашин, Т.Ю. Черкашина, Е.В. Худоногова, В.В. Парамонов, М.Н. Гранин, A.B. Давыдов, С.А. Ипатов II Математика и информатика, механика и энергетика, химические науки: Материалы V Конф. молодых ученых СО РАН, посвященной М.А.Лаврентьеву. Новосибирск, 20-22 ноября 2007г. 4.1. -Новосибирск: Новосибирский гос. ун.-т, 2007. - С. 44-48.

10. Cherkashin Е. Intelligent computational infrastructure for XRF-based investigations / E. Cherkashin, M. Granin, T. Cherkashina // European Conf. on X-Ray Spectrometry: Book of Abstracts. 16-20 June, 2008, Cavtat, Dubrovnik (Croatia). - Dubrovnik, 2008. - P. 142.

Подписано к печати 21.11.2008 г. Формат 60x84/16, объем 1,0 п.л. Тираж 100 экз. Заказ № 426 Издательство Института географии им. В.Б. Сочавы СО РАН 664033, Иркутск, ул. Улан-Баторская, 1

ВВЕДЕНИЕ.

ГЛАВА 1. ПРОБЛЕМЫ ИСПОЛЬЗОВАНИЯ ПИКТОГРАММ В ПРОГРАММНОМ ОБЕСПЕЧЕНИИ.

1.1. Обзор предметной области.

1.2. Применение формальных визуальных языков в проектировании программного обеспечения.

1.3. Семантическая паутина и аннотирование пиктограмм.

1.4. Характеристики пиктограмм.

1.5. Концептуально-информационная модель пиктограмм.

ГЛАВА 2. ТЕХНОЛОГИЧЕСКИЕ СРЕДСТВА СЕМАНТИЧЕСКОГО ОПИСАНИЯ ПИКТОГРАММ И АЛГОРИТМЫ ОБРАБОТКИ ПИКТОГРАММ

2.1. Выбор подхода к решению задачи.

2.2. Построение онтологии пиктограмм.

2.3. Язык семантического описания пиктограмм IcoML.

2.4. Микроформат hIcon.

ГЛАВА 3. РАЗРАБОТКА ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ СЕМАНТИЧЕСКОЙ ОБРАБОТКИ ПИКТОГРАММ.

3.1. Программный комплекс IconExpert.

3.2. Сервис рекомендации пиктограмм.

3.3. Модуль импорта и обработки метаинформации о пиктограммах в браузере flrefox.

ГЛАВА 4. ПРИМЕНЕНИЕ СОЗДАННОЙ ТЕХНОЛОГИИ.

4.1. Применение созданной технологии для наполнения онтологии.

4.2. Применение технологии для расширения проекта Tango Desktop

4.3. Оценка эффективности IconExpert в сравнении с традиционным подходом.

Актуальность темы. Графический интерфейс пользователя (далее -интерфейс) предполагает представление всех доступных пользователю системных объектов и функций в форме графических элементов, обеспечивающих функции управления. В таком интерфейсе содержатся так называемые компьютерные пиктограммы, т.е. стилизованные графические изображения, упрощенные с целыо облегчения их запоминания. Актуальность темы исследования обусловлена тем, что операционные системы, установленные на большинстве персональных компьютеров, используют интерфейс типа «Окно, пиктограмма, мышь, курсор» (WIMP GUI), применение которого в значительной степени связано с использованием пиктограмм. WIMP GUI постоянно и справедливо критикуют, однако до тех пор, пока не будут внедрены его альтернативы, без пиктограмм трудно обойтись. Со временем пиктограммы становятся достаточно сложными и все более качественными с точки зрения дизайна [1], поэтому необходимы систематические специальные знания в области создания пиктограмм. До настоящего времени специализированных форматов описания семантики пиктограмм не существовало. Разработка способов формализованного представления пиктограмм - одна из актуальных задач, направленных на разработку современного графического пользовательского интерфейса. Создание понятных пиктограмм требует немалых затрат, а законы об авторских правах и товарных знаках не обеспечивают должной охраны прав их разработчиков [2]. В последнее время для пиктограмм все чаще применяются некоммерческие лицензии. В данной работе в качестве примеров приведены пиктограммы, опубликованные с использованием свободной лицензии с указанием авторства (лицензия cc-by-sa) [3]. Эта лицензия позволяет перерабатывать, исправлять и развивать пиктограммы, в том числе в коммерческих целях до тех пор, пока указывается авторство, и производные работы лицензируются на аналогичных условиях. Эту лицензию часто сравнивают с лицензиями на программное обеспечение с открытым программным кодом.

Существенный вклад в решение проблемы описания семантики и аннотирования мультимедиа в семантической сети внесен Консорциумом Мировой сети [4] - организацией, разрабатывающей и внедряющей технологические стандарты для Всемирной паутины [5]. В этой области работают многие видные исследователи, как в России, так и за рубежом [6-9]. Развитие направления автоматического создания аннотаций при распознавании изображений связано с именами Соколовой Е.Г. и Болдасова М.В. [7]. Зарубежные авторы широко освещают тематику графических интерфейсов [10-12]. Среди российских исследований особый интерес представляют публикации, показывающие возможности автоматизации проектирования интерфейса с применением онтологического подхода [13].

Существенно более широкий спектр работ, касающихся графической визуализации, посвящен визуальному программированию. Диапазон применения пиктограмм в этих средствах достаточно узок, однако,/ публикации в этой области, в частности, работы таких авторов, как Г.Е. Хлебцевич, С.В. Цыганкова, В.И. Курганский, В.Г. Богданова, Г.А. Опарин, В.В. Прохоров, [14-16], вызывают несомненный интерес.

Пиктограммы представляют собой набор визуальных средств, которые (наряду с вербальными языковыми средствами) образуют основную систему средств интерфейса. Другими словами, они являются промежуточным средством коммуникации взаимодействия «человек - интерфейс -управляемая система». Эргономичный, эффективный в использовании интерфейс может быть построен лишь при условии применения как вербальных, так и визуальных средств.

Объект исследования - множество средств семантического описания компьютерных пиктограмм.

Цель диссертационной работы заключается в том, чтобы разработать и внедрить в процесс конструирования программного обеспечения инструментарий для семантического описания компьютерных пиктограмм, дающий возможность формализованным образом (с учетом семантического содержания) синтезировать, аннотировать и подбирать пиктограммы. Для достижения этой цели были поставлены и решены следующие задачи:

1. Получить системные знания о графических интерфейсах и возможных формах семантического описания компьютерных пиктограмм путем систематизации имеющихся в данной области сведений.

2. Разработать онтологию пиктограмм, описывающую информацию, необходимую для их создания и применения в интерфейсе (информацию об объектах, изображаемых на пиктограммах, их значениях и визуальных характеристиках).

3. Разработать язык семантического описания пиктограмм на основе предложенной онтологии.

4. Разработать средства семантической разметки пиктограмм в веб-документах.

5. Разработать программный комплекс, предназначенный для построения, синтеза, описания и подбора согласованных наборов пиктограмм, базирующийся на разработанных средствах семантического описания пиктограмм.

Научная новизна результатов исследования обусловлена тем, что:

1. Создана информационная модель пиктограмм, в которой пиктограммы впервые рассматриваются в качестве знаковой системы, что позволило представить информацию о них с максимальной детализацией.

2. Составлена онтология компьютерных пиктограмм, впервые позволившая строить средства их автоматической обработки с учетом семантики.

3. Создан не имеющий аналогов XML-язык IcoML, предоставляющий средства формализованного структурного и семантического описания пиктограмм.

4. Создан первый микроформат описания графических объектов hIcon, позволивший внедрять информацию о пиктограммах в веб-документы, представленные в форматах (X)HTML, Atom, RSS, а также в XML.

5. Инструментальные средства семантизированного построения, синтеза, описания и подбора согласованных наборов пиктограмм предложены впервые.

Практическая ценность результатов работы. На основе созданной технологии разработан программный комплекс IconExpert, позволяющий быстро синтезировать, аннотировать и подбирать пиктограммы, для чего создана формально описанная библиотека пиктограмм. Предложенная технология сокращает затраты на дизайн интерфейса за счет повторного использования элементов ранее созданных пиктограмм и автоматической генерации пиктограмм из составляющих элементов. Технология может способствовать повышению эффективности разработки интерфейса и позволяет улучшить его эргономичность. Для построения языка пиктограмм, соответствующего требованиям проекта Tango Desktop, была применена система IconExpert, что позволило сократить временные затраты на 60% по сравнению с традиционным подходом. Разработанная технология и предложенный программный комплекс создания пиктограмм внедрены компанией «Софтшейп», они применяются при разработке программного обеспечения.

В качестве методов исследования были использованы известные методы, связанные с разработкой интерфейсов, использующих пиктограммы. В частности, применен метод конструирования языков пиктограмм [11]; использованы основы семиотики как совокупности общих знаний о знаковых системах [75]; методы дискретной математики, теории программирования, теории информации и информационных процессов, методы объектно-ориентированного и сборочного программирования, теории построения баз данных, создания языков и онтологий.

На защиту выносятся следующие результаты:

1. Онтология пиктограмм, созданная на основе концептуально-информационной модели, рассматривающей пиктограммы как знаковую систему.

2. XML-язык семантического описания компьютерных пиктограмм IcoML, который позволяет автоматизировано создавать и обрабатывать пиктограммы, а также микроформат hlcon, реализующий механизмы разметки семантики пиктограмм в веб-докумеитах.

3. Программный комплекс IconExpert, позволяющий производить синтез новых, поиск и организацию существующих пиктограмм и примитивов для использования в интерфейсе приложения.

4. Библиотека пиктограмм для проекта Tango Desktop, в которой продемонстрированы возможности синтеза, описания и подбора пиктограмм с использованием предложенной технологии.

В работе содержится решение задачи, имеющей существенное значение для отрасли знаний математического и программного обеспечения.

Достоверность результатов подтверждается их соответствием технологическим стандартам, а также успешной промышленной эксплуатацией предложенной в диссертации технологии.

Апробация. Результаты диссертационной работы доложены на международных конференциях «Форум независимых разработчиков программного обеспечения» (Москва, 2003, 2004, 2005); на V и VIII школах-семинарах «Математическое моделирование и информационные технологии» (Ангасолка, 2004, 2006) [17, 18]; на II Всероссийской конференции ИКВТС'Об (Энхалук, 2006) [19], на Всероссийской конференции «Научный сервис в сети Интернет: технологии параллельного программирования» (Новороссийск,

2006) [20], на IV Международной научно-практической конференции «Информационные технологии и математическое моделирование» (Томск,

2007) [21], на научной сессии МИФИ (Москва, 2008) [22], а также на семинарах ИДСТУ СО РАН.

Публикации и личный вклад автора. Описание разработанного языка IcoML и другие результаты диссертационной работы опубликованы в журнале «Вычислительные технологии» [23, 24], в сборниках трудов Всероссийских и Международных научных конференций [19-22]. Все результаты, представленные в диссертационной работе, а также в перечисленных публикациях, получены автором лично. Всего по теме диссертации имеется 10 публикаций [17-26].

Исследования по теме выполнялись в рамках научно-исследовательских работ ИДСТУ СО РАН по базовому проекту 4.5.2.1 «Интеллектные методы и инструментальные средства создания и анализа интегрированных распределенных информационно-аналитических и вычислительных систем для междисциплинарных исследований с применением ГИС-, GRID- и веб-технологий». Результаты работы использованы в отчетах в ряде научных проектов, выполняемых в ИДСТУ СО РАН:

1. РФФИ 05-07-97204-рбайкалв «Методы и средства обеспечения распределенных высокопроизводительных информационно-вычислительных ресурсов в исследованиях озера Байкал», 2005 - 2007 гг.

2. РФФИ 05-07-97201-рбайкалв «Интеллектная программная система для экологического мониторинга территории озера Байкал», 2005 - 2007 гг.

3. РФФИ 08-07-00163-а «Технологии интеллектуального анализа данных и высокопроизводительных информационно-вычислительных ресурсов для поддержки междисциплинарных фундаментальных исследований в области геоэкологии и природопользования», 2008 - 2010 гг.

4. Проект №16 СО РАН «Интеллектная распределенная программная среда для автоматизации сбора, анализа и отображения данных в естественнонаучных исследованиях», 2006 - 2007 гг.

5. Программа РАН № 16 «Изменение окружающей среды и климата: природные катастрофы», проект СО РАН № 10 «Информационно-аналитическое обеспечение задач региональной геохимии окружающей среды», 2005 - 2008 гг.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 101 наименование, и приложений. Объем составляет 133 страницы, включая 99 страниц основного текста, 41 рисунок, 3 таблицы и список литературы.

Результаты работы используются рядом организаций. Ее практическая значимость заключается в повышении эффективности процессов обработки метаданных компьютерных изображений на вычислительных машинах. Разработан синтаксис и семантика языков описания пиктограмм, организована база данных пиктограмм и примитивов пиктограмм. В компании «Софтшейп Лимитед» внедрены следующие результаты диссертационной работы:

1. программный комплекс IconExpert использован при разработке технических заданий на дизайн пользовательского интерфейса;

2. созданная на основе проекта Tango база пиктограмм применяется для подбора и создания пиктограмм (акт о внедрении представлен в приложении).

Важным критерием при создании языка IcoML была минимизация реализуемых средств с целью облегчения освоения этого языка его потенциальными пользователями. При этом существует обширный круг задач, возможность решения которых может быть легко включена в новые версии языка IcoML. Например, SVG вряд ли сможет заменить растровые форматы, так как максимальной эргономики пиктограмм малых размеров нельзя достигнуть без растровых изображений, выверенных профессиональным дизайнером по пиксельной сетке. Эту работу невозможно переложить на компьютер, однако можно создать стандарт, который объединил бы в себе преимущества SVG и растровых изображений. Для дисплеев различного разрешения можно получить хороший результат, снабдив язык SVG дополнительной информацией о каждом узле дерева векторных объектов, указывающей, при каких разрешениях экрана и линейных размерах всего графического элемента требуется отображать данный объект в дереве. С другой стороны, можно включить в состав элемента, кроме его векторной версии, еще и растровые версии малых размеров, так, как это, например, традиционно делается в форматах пиктограмм операционных систем. Таким образом, на примере решения этой частной задачи показано наличие широкого круга направлений, в которых данная работа может быть продолжена.

Заключение

В рамках диссертационной работы проведено теоретическое исследование процесса проектирования и анализа пиктограмм как элемента человеко-машинных интерфейсов, программных средств визуализации, мультимедийного общения. Создана новая технология конструирования пиктограмм, стандартизован формат семантического описания пиктограмм в веб-документах.

Основные полученные в работе результаты заключаются в следующем:

1. Предложена новая технология создания и обработки пиктограмм, состоящая из набора стандартов и языков для формализованного семантического описания компьютерных пиктограмм, программного комплекса синтеза и обработки согласованных наборов пиктограмм, библиотеки пиктограмм. Данная технология интегрируется в современный процесс разработки программного обеспечения на его основных этапах.

2. Решена важная научно-практическая задача разметки семантики пиктограмм в HTML, что позволяет идентифицировать пиктограммы среди других изображений в веб-документе и определять их значение в интерфейсе.

3. Созданы онтология пиктограмм и программный комплекс IconExpert, которые позволили впервые распределенно осуществлять систематизацию и унификацию пиктограмм в программном обеспечении.

Полученные результаты согласуются с современным состоянием технологии разработки программного обеспечения. Построение средств формализованного семантического описания в сфере разработки пользовательского интерфейса только начинается, и данная работа является одним из первых шагов в этом направлении.

1. Suleiman S. The Evolution of Icons. How computer icons have changed over 40 years / S. Suleiman Oxford: School of Humanities, Oxford Brookes University, 2005. - 31 p.

2. Jacobs I. W3C goals for creating one World Wide Web. Электронный ресурс. / Jacobs I. Электрон, дан. - Б. изд., 2007. - Режим доступа: ttp://www.w3 .org/Consortium/mission, свободный.

3. Berners-Lee Т. The Semantic Web / Т. Berners-Lee, J. Hendler, O. Lassila // Scientific American. 2001,- N 5.- P. 35-43.

4. Staab S. Semantic Web and Peer-to-peer: decentralized management and exchange of knowledge and information / S. Staab, H. Stuckenschmidt. -Berlin; New York: Springer, 2006. 363 p.

5. Соколова Е.Г. Формализованное описание содержания изображения как данные для генерации текста / Е.Г. Соколова, М.В. Болдасов // Диалог 2007: Труды международной конференции. Бекасово, 2007. -С. 508-515.

6. Манцивода А.В. Представление и обработка знаний в интернете / А.В. Манцивода, А.А. Малых // Серия «Информационные системы и логика», вып. 2. Изд-во Иркутского госуниверситета, 2005. - 111 с.

7. Powers S. Practical RDF / S. Powers. Sebastopol: O'Reilly, 2003. - 331 P

8. Chang S.K. A methodology and interactive environment for iconic language design / S.K. Chang, G. Polese, S. Orefice, M. Tucci // International Journal of Human-Computer Studies. 1994. - N 5. - P. 683-716.

9. Horton W.K. The icon book: visual symbols for computer systems and documentation / W.K. Horton. New York: J. Wiley, 1994. - 417 p.

10. Cooper A. About Face. The essentials of user interface design / A. Cooper. Foster: IDG Group Worldwide, 1995. - 579 p.

11. Грибова В.В. Автоматизация проектирования, реализации и сопровождения пользовательского интерфейса на основе онтологического подхода: дис. . д.т.н. : 05.13.11: защищена 2007: / Грибова В.В. — Владивосток., 2007. 308 с.

12. Хлебоцевич Г.Е. Визуальный стиль программирования: понятия и возможности / Г.Е. Хлебоцевич, С.В. Цыганкова // Программирование. 1990. - №4. - С. 68-79.

13. Курганский В.И. Анализ и генерация текстов программ методом функциональных диаграмм / В.И. Курганский В.И. // Пакеты прикладных программ. Итоги и применение. Новосибирск: Наука, 1989.-С. 208.

14. Гранин М.Н. Язык семантического описания компьютерных пиктограмм IcoML / М.Н. Гранин, И.В. Бычков // Научный сервис в сети Интернет: технологии параллельного программирования: Материалы Всеросс. науч. конф. Новороссийск: Изд-во МГУ, 2006. -С. 282-287.

15. Гранин М.Н. Создание микроформата разметки пиктограмм / М.Н. Гранин, И.В. Бычков // Сб. науч. тр. научной сессии МИФИ-2008. М.: МИФИ, 2007. - С. 174-175.

16. Гранин М.Н. Язык разметки компьютерных пиктограмм IcoML как инструмент описания информации в семантической сети / М.Н. Гранин, И.В. Бычков // Вычислительные технологии. 2007. -№ 1.-С. 13-21.

17. Гранин М.Н. Разработка микроформата hlcon как инструмента публикации семантической информации о пиктограммах /

18. М.Н. Гранин, И.В. Бычков // Вычислительные технологии. 2008. -№ 2. - С. 27-35.

19. Chang S.K. Visual languages / S.K. Chang, N. Ichikawa, P.A. Ligomenides. New York: Plenum Press, 1986. - 460 p.

20. Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем / Д. Раскин. С-Пб.: Символ-Плюс, 2003. - 272 с.

21. Норманн Д.А. Дизайн привычных вещей / Д.А. Норманн. М.: Вильяме, 2006. - 374 с.

22. Laurel В. The Art of Human-Computer Interface Design / D. Laurel, S.J. Mountford. Boston: Addison-Wesley Longman Publishing, 1990. - 544 P

23. Hutchins E.L. Direct Manipulation Interfaces / E.L. Hutchins, J.D. Hollan, D.A. Norman // Human-Computer Interaction. 1985. - N 4. - P. 311338.

24. Mayhew D.J. Principles and guidelines in software user interface design / D.J. Mayhew. Englewood Cliffs: Prentice Hall, 1992. - 619 p.

25. Byrne M.D. Using Icons to Find Documents: Simplicity Is Critical / M.D. Byrne // Proceedings of the INTERACT '93 and CHI '93 conference on Human factors in computing systems. Amsterdam: AMC, 1993. - P. 446 - 453.

26. Raskin C. Designing with motion handbook: design, integration, software, tips and techniques / C. Raskin C. Woburn: Butterworth-Heinemann, 1997.-281 p.

27. Петюшкин, А. Разработка пиктограмм для веб-сайтов Электронный ресурс. / А. Петюшкин. Электрон, дан. — Б. изд., 2003. - Режим доступа: http://www.getinfo.ru/article220.html, свободный.

28. Черкашин Е.А. Автоматизация синтеза ядра информационной системы с использованием UML-описания / Е.А.Черкашин, Р.К. Федоров, И.В. Бычков, В.В. Парамонов // Вычислительные технологии. 2005. - Спец. выпуск. - С. 114-121.

29. Буч Г. Язык Uml. Руководство пользователя: Унифицированный язык моделирования / Г. Буч, Д. Рамбо, А. Джекобсон М.: ДМК, 2003. -429 с.

30. Феоктистов А.Г. Графическая инструментальная среда для визуального построения и применения пакетов программ: автореф. дис. канд. техн. наук: 05.13.11: защищена в 2000 г./ А.Г. Феоктистов; Иркутск: ИДСТУ СО РАН, 2000. 17 с.

31. Калужнин JI.A. Об алгоритмизации математических задач / JI.A. Калужнин // Проблемы кибернетики. 1959. - № 2. - С. 51-58.

32. Брызгалов, П.А. Web-ориентированные инструментальные средства для изучения семантически-структурированных предметных областей: автореф. дис. канд. физ-мат. наук: 05.13.11: защищена 01.06.2006 / П.А. Брызгалов; М.ЛПИТ НИВЦ МГУ, 2006. 18 с.

33. Галина И.В. О постановке проблемы семантического поиска научной информации в электронных библиотеках / И.В. Галина, И.М. Зацман // Междисциплинарный семинар ДИАЛОГ: конференция по компьютерной лингвистике в России. Аксаково: РГГУ, 2001. - С. 52-56.

34. Yu L. Introduction to Semantic Web and Semantic Web services / L. Yu. -Boca Raton: CHapman & Hall/CRC, 2007. 341 p.

35. Allemang D. Semantic web for the working ontologist: modeling in RDF, RDFS and OWL / D. Allemang, J.A. Hendler. Amsterdam; Boston: Morgan Kaufmann Publishers/Elsevier, 2008. - 330 p.

36. Colomb R.M. Ontology and the Semantic Web / R.M. Colomb. -Amsterdam; Washington, DC: IOS Press, 2007. 258 p.

37. Connolly D. XML principles, tools, and techniques / D. Connolly. -Sebastopol, CA: O'Reilly & Assoc., 1997. 248 p.

38. Beckett D. RDF/XML Syntax Specification (Revised) Электронный ресурс. / D. Beckett. Электрон, дан. - Б. изд., 2004. - Режим доступа: http://www.w3 .org/TR/rdf-syntax-grammar, свободный.

39. Breitman К.К. United States. National Aeronautics and Space Administration. Semantic Web: concepts, technologies and applications / K.K. Breitman, M.A. Casanova, W. Truszkowski. New York: Springer, 2007.-327 p.

40. Troncy R. Image Annotation on the Semantic Web Электронный ресурс. / R. Troncy. Электрон, дан. - Б. изд., 2007. - Режим доступа: http://www.w3.org/2005/Incubator/mmsem/XGR-image-annotation, свободный.

41. Santini S. Internet imaging VI / S. Santini, R. Schettini, T. Gevers. -Bellingham: SPIE, 2005. 312 p.

42. Padirac B.D. Unesco. Secretariat., Unesco. SPINES thesaurus: a controlled and structured vocabulary for information processing in the field of science and technology for development / B.D. Padirac. Paris: Unesco, 1988. -1122 p.

43. Соколова Е.Г. Принципы построения семантических аннотаций содержания изображений / Е.Г. Соколова, М.В. Болдасов // Компьютерная лингвистика и интеллектуальные технологии: Труды Международной конференции Диалог'2006. — Бекасово, 2006. С. 474-480.

44. Boll S. Multimedia Vocabularies on the Semantic Web Электронный ресурс. / S. Boll. Электрон, дан. - Б. изд., 2007. - Режим доступа: http://www.w3.org/2005/Incubator/mmsem/XGR-image-annotation, свободный.

45. Tzouvaras V. Multimedia Annotation Interoperability Framework Электронный ресурс. / V. Tzouvaras. Электрон, дан - Б. изд., 2007. - Режим доступа: http://www.w3.org/2005/Incubator/mmsem/XGR-interoperability, свободный.

46. Boll S. W3C Incubator Group Report: Multimedia Vocabularies on the Semantic Web Электронный ресурс. / S. Boll. Электрон, дан. - Б. изд., 2007. - Режим доступа: http ://www.w3 .org/2005/Incubator/mmsem/XGR-image-annotation, свободный.

47. Hazal-Massieux D. Mobile Web Initiative Activity Statement Электронный ресурс. / D. Hazal-Massieux. Электрон, дан. - Б. изд., 2007. - Режим доступа: http://www.w3.org/2005/MWI/Activity, свободный.

48. Conti В. Semantic Compaction Systems the home of Minspeak Электронный ресурс. / В. Conti. Электрон, дан. — Б. изд., 1999. -2005. - Режим доступа: http://www.minspeak.com/, свободный.

49. Петюшкин, А. Как картина! / А. Петюшкин // Компьютерра. 2003.-№2.- С. 12.