автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Улучшение эргономических показателей пользовательских интерфейсов WEB-приложений

На правах рукописи

КУЗНЕЦОВ Антон Михайлович

УЛУЧШЕНИЕ ЭРГОНОМИЧЕСКИХ ПОКАЗАТЕЛЕЙ ПОЛЬЗОВАТЕЛЬСКИХ ИНТЕРФЕЙСОВ WEB-ПРИЛОЖЕНИЙ

Специальность 05.13.11 -Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Уфа 2004

Работа выполнена в Уфимском государственном авиационном техническом университете

НАУЧНЫЙ РУКОВОДИТЕЛЬ: доктор технических наук, профессор

Мартынов Виталий Владимирович

ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ:

доктор физико-математических наук, профессор Житников Владимир Павлович;

кандидат технических наук, доцент Набатов Александр Нурович.

ВЕДУЩАЯ ОРГАНИЗАЦИЯ:

Государственный научно-исследовательский институт информационных технологий и телекоммуникаций «Информика» (г. Москва)

Защита состоится «_» йёкскйрЯ 2004 года в_часов

на заседании диссертационного совета К 212.288.01

при Уфимском государственном авиационном техническом университете по адресу: 450000, Уфа-центр, ул. К. Маркса, 12, УГАТУ

С диссертацией можно ознакомиться в библиотеке Уфимского государственного авиационного технического университета.

Автореферат разослан « » года

Ученый секретарь диссертационного совета кандидат физико-математических наук, доцент

Р.А. Гараев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

В условиях постоянного роста количества разрабатываемых программных систем и смены их версий, особенно актуальной является проблема проектирования эффективного пользовательского интерфейса, который позволит снизить затраты и сократить время на обучение пользователей работе с новым программным обеспечением, повысит качество и эффективность работы. Можно выделить пять причин важности удобства пользовательского интерфейса:

1. Повышение конкурентоспособности;

2. Снижение стоимости разработки;

3. Увеличение аудитории продукта;

4. Увеличение удовлетворенности пользователей;

5. Уменьшение затрат на обучение и поддержку пользователей.

Основной вклад в исследовании данной проблемы внесли российские веб-

дизайнеры и разработчики Влад Головач, Николай Покровский, Артемий Лебедев, а также американские ученые Якоб Нильсен, Том Ландауэр, Дональд Норманн.

Анализ литературы и материалов последних конференций, посвященных вопросам эргономики, а также практического состояния вопроса, позволяет сделать следующие выводы:

1) в существующих методах повышения юзабилити имеются определенные недостатки, связанные с их субъективностью, отсутствием формализации, способов количественной оценки качества интерфейса и способов выявления путей улучшения качества интерфейса;

2) в имеющемся на рынке программном обеспечении, реализующем ряд рассмотренных методик, присутствует ряд недостатков, не позволяющих эффективно выполнять требуемые задачи по улучшению качества интерфейса.

Несмотря на имеющиеся результаты по разработке методов для обеспечения удобства интерфейсов веб-приложений и повышения из качества, к настоящему времени все эти методы являются по своей сути субъективными и не опираются на формализованные средства оценки. В них в большей степени используется субъективное мнение пользователей и экспертов по эргономике интерфейсов, чем математически обоснованные методы. Это объясняется довольно высокой сложностью формализации критериев оценки, так как среди них присутствует психологический и художественный аспект. В представленной работе разработана содержательная структура понятия качества интерфейса веб-приложения, отличающаяся от существующих наличием элементов анализа по следующим измерениям: стадиям взаимодействия пользователя с интерфейсом и группам управляющих элементов.

Таким образом, работа научной задачи, имеющей разработке теоретических

1 ¡ЁйУо {

ванной программной системы поддержки процесса улучшения эргономических свойств пользовательского интерфейса веб-приложений.

Цель и задачи исследования

Цель работы Улучшение эргономических показателей пользовательских интерфейсов, повышение эффективности и сокращение сроков создания интерфейсов создаваемых веб-приложений.

Для достижения цели необходимо решить следующие основные задачи:

1) провести теоретическое и экспериментальное исследование понятия «качество интерфейса» и средств повышения качества;

2) разработать содержательную структуру понятия «качество интерфейса»;

3) разработать методы оценки показателей качества пользовательских интерфейсов программных изделий;

4) создать программный продукт для автоматизации тестирования качества интерфейсов на основе разработанных методик и результатов исследований;

5) разработать методику проведения тестирования интерфейса с учетом экономической эффективности.

Методы исследования

Для решения поставленных задач применялись методы системного анализа, методологии SADT и IDEF, методы объектно-ориентированного анализа, математического моделирования, оптимизации, принятия решений, в частности метод анализа иерархий Саати.

Результаты, выносимые на защиту

- содержательная структура понятия качества интерфейса;

- функция качества интерфейса;

- метод оценки показателя качества интерфейса;

- программный продукт для автоматизации тестирования качества интерфейсов, созданный на основе разработанного метода;

- методика проведения итеративного тестирования.

Научная новизна результатов

В результате выполнения данного исследования был разработан метод улучшения эргономических показателей пользовательских интерфейсов веб-приложений, как на стадии проектирования, так и в процессе эксплуатации, позволяющие увеличить эффективность веб-приложений и сократить сроки процесса проектирования и реализации интерфейсов. В процессе исследований были получены следующие результаты, обладающие научной новизной:

1) предложена содержательная структура понятия качества интерфейса, включающая в себя подход к формализации процесса оценки качества интерфейса и отличающаяся от существующих наличием элементов анализа по

стадиям взаимодействия пользователя с интерфейсом и по группам управляющих элементов;

2) впервые предложена функция качества интерфейса, позволяющая количественно оценить эргономические свойства интерфейса и выявить его наиболее слабые стороны. Данная функция легла в основу метода оценки показателя качества интерфейсов. Эффективность метода заключается в объективности проводимой оценки качества.

3) предложена методика итеративного тестирования качества интерфейса с использованием разработанного программного обеспечения, содержащая в себе теоретические и организационные аспекты проведения тестирования и отличающаяся от существующих использованием математического аппарата для определения экономической эффективности проведения процедуры тестирования.

Практическая ценность и внедрение результатов

Практическая ценность выбранного пути решения задачи заключается в том, что выполненные теоретические исследования позволили разработать и внедрить в практику программную систему поддержки исследований эргономических показателей интерфейса для разрабатываемых и сопровождаемых продуктов, что позволило:

- повысить качество интерфейса разрабатываемых веб-приложений: повышение качества интерфейса позволит сократить сроки на обучения персонала использованию программного продукта, снизить затраты на его развитие и поддержку, улучшить морально-психилогическое состояние пользователей программного продукта;

- повысить эффективность и снизить сроки и затраты на проведение тестирования готовых программных продуктов;

- получить средства для сертификации качества интерфейсов программных продуктов.

Результаты, полученные в работе, внедрены в ГосНИИ ИТТ «Информика» при разработке федерального портала «Российское образование» (www.edu.ru), в МОАО «Нефтеавтоматика» при создании корпоративного веб-сайта организации (www.nefteavtomatika.ru), а также в ООО «Рекламное агентство «ЭрЭмСи» (www.r-m-c.ru) при разработке более 30 интернет-проектов.

Основания для выполнения работы

• Работа связана с выполнением научно-исследовательских работ по проектам, реализуемым с 2001 по 2003 год в рамках программ Минобразования России:

-«Разработка программного обеспечения типовой системы проведения

тестирования знаний и обработки результатов тестирования (Интернет-

технология)», 2001-2002 годы, код проекта: 4.1.4.(000) 240.34;

- «Разработка методологии создания системы образовательных порталов», выполнены работы по разделу «Дизайн и юзабилити образовательных порталов», 2002 год;

- «Создание Федерального ресурсного центра методического, кадрового и материально-технического обеспечения развития единой образовательной информационной среды в Приволжском Федеральном округе», в рамках ФЦП «Развитие единой образовательной информационной среды (2001-2005 годы)», 2002 год;

-«Анализ информационных ресурсов и сервисов функционирующих и создаваемых образовательных порталов и выработка рекомендаций по их гармонизации», 2003 год.

Обоснованность и достоверность результатов диссертации

Содержательная структура понятия качества интерфейса основана на методе анализа человеко-машинного взаимодействия, методике анализа прецедентов.

Функция качества интерфейса основана на методе анализа иерархий Саати и корректном применении результатов теории принятия решений. Достоверность подтверждается корреляцией значений функции, полученных экспериментально, с результатами других методик тестирования интерфейсов.

Методика итеративного тестирования качества интерфейса основана на элементах теории функционально-стоимостного анализа и подтверждена экспериментально в процессе тестирования интерфейса разрабатываемых приложений.

Результаты работы опробованы, их эффективность подтверждена в реальных проектах.

Апробация работы и публикации

Основные положения, представленные в диссертации, регулярно докладывались и обсуждались на научных мероприятиях различного уровня. В том числе на следующих научных конференциях:

- Республиканской научно-методической конференции «Новые информационные технологии в образовании», Уфа, 2001;

- Одиннадцатой международной научно-методической конференции «Проблемы качества образования», Уфа, 2001;

- Международной научно-методической конференции «Телематика», Санкт-Петербург, 2001, 2002, 2003;

- Всероссийской конференции «Современная образовательная среда», Москва, 2001;

- Всероссийской научной конференции «Научный сервис в сети Интернет», Новороссийск, 2002, 2003;

- 5-й Международной конференции по проблемам информатики и информационных технологий CSIT2003» Уфа, Россия, 2003.

- 6-й Международной конференции по проблемам информатики и информационных технологий CSIP2004» Будапешт, Венгрия, 2004

Результаты диссертационной работы непосредственно отражены в 13 публикациях, в том числе 3 статьях, 10 трудах конференций.

Структура и объем работы

Диссертация состоит из введения, 4-х глав, выводов, списка литературы и приложений, включающих акты внедрения результатов работы, примеры апробации разработанного метода. Работа изложена на 130 страницах машинописного текста, кроме того, содержит 14 рисунков и 25 таблиц, размещенных на 36 страницах. Библиографический список включает 114 наименования и занимает 10 страниц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, определена ее цель и задачи, сформулированы положения, выносимые на защиту, их научная новизна и практическая ценность. Приведены основания для выполнения работы, ее апробация и структура.

ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ИНТЕРФЕЙСОВ

Первая глава посвящена анализу предметной области обеспечения качества пользовательских интерфейсов или юзабилити, а также анализу рынка имеющихся программных систем поддержки обеспечения качества пользовательских интерфейсов веб-приложений. Раскрываются основные понятия, исследуются наиболее распространенные пути решения проблемы.

На основе анализа статистических данных выявлено, что пользовательский интерфейс (ПИ) часто понимают только как внешний вид программы. Однако на деле пользователь воспринимает через ПИ всю систему в целом, а значит, такое понимание ПИ является слишком узким. В действительности ПИ включает в себя все аспекты дизайна, которые оказывают влияние на взаимодействие пользователя и программной системы

Проанализированы тенденции развития распределенных информационных систем, сети Интернет, и проектирования пользовательских интерфейсов веб-приложений, в частности. Выявлено, что с усложнением разрабатываемых информационных систем растут расходы на обучение пользователей, внедрение и поддержку таких систем. Показано, что в типичном проекте по разработке корпоративного веб-приложения

- ПИ составляет от 47 до 60 % кода всей программы;

- на разработку ПИ уходит как минимум 29 % проектного бюджета и в среднем 40 % всех усилий разработчиков по созданию системы.

Сделан вывод о том, что улучшение процесса проектирования и разработки ПИ позволит достичь существенной экономии не только на стадии

разработки программных систем, но и на стадии их внедрения и последующей технической поддержки.

В результате анализа проблемы обеспечения удобства пользовательского интерфейса, определены основные его составляющие: ментальная модель, метафора, наглядность и стандарт. Показано, что качественный ПИ действительно необходим каждой программной системе, и что для его обеспечения необходимо, прежде всего, исследовать эффективность использования данных составляющих.

Проведен анализ существующих методов обеспечения юзабилити ПИ.

В результате сделан вывод о том, что среди общих недостатков вышеописанных методов можно выделить их субъективность, отсутствие формализации оценки, невозможность оценки готового продукта, отсутствие способов количес гвенной оценки качества интерфейса и выявления путей объективного контроля улучшения качества интерфейса.

Проведен анализ Интернет-рынка программных систем для решения исследуемой проблемы. Было найдено несколько программных продуктов, но ни один и из них не получил должного распространения либо ввиду своей незавершенности, либо слишком ограниченного набора возможностей, либо слишком высокой цены. Автору удалось обнаружить лишь один свободно доступный продукт, реализующий набор методов для оценки юзабилити веб-ресурса, который и был подвергнут анализу. Было показано, что рассмотренный пакет представляет несомненный интерес для специалистов по веб-эргономике. К его основным преимуществам стоит отнести возможность проведения удаленного тестирования пользователей, что позволяет использовать большое количество экспертов при низких материальных и временных затратах и повысить тем самым объективность результатов. Среди недостатков можно выявить слабые возможности для вынесения рекомендаций по оптимизации юзабилити и сложность эксплуатации самого продукта.

Далее, был определен круг научных и практических задач, решение которых обеспечит повышение эргономических показателей пользовательских интерфейсов создаваемых веб-приложений, увеличение эффективности и сокращение сроков процесса проектирования и реализации интерфейсов.

ГЛАВА 2. РАЗРАБОТКА МЕТОТОДОВ УЛУЧШЕНИЯ КАЧЕСТВА ИНТЕРФЕЙСА

Вторая глава посвящена исследованию интерфейса веб-приложения, разработке методов формализации и построению математической модели улучшения его качества.

В начале главы анализируется процесс взаимодействия человека с машиной - основная предпосылка к созданию интерфейса как средства решения проблемы такого взаимодействия. Показано, что для пользователя смысл системы состоит в том, что пользуясь входящей компонентой интерфейса он может подавать системе различные команды в том или ином виде, воздействуя, таким образом, на компонент состояний системы и, оценивая эти состояния и полученный результат при помощи исходящей компоненты, в ито-

ге, приближаться к достижению требуемой цели. Сделан вывод о том, что пользователь манипулирует системой, выполняя варианты ее использования. Каждый раз, при выполнении того или иного варианта использования, происходит взаимодействие пользователя с системой, которое можно разделить на этапы взаимодействия и в дальнейшем проводить улучшение прототипа интерфейса по этим этапам.

На основе модели взаимодействия Нормана, разработана упрощенная модель взаимодействия, состоящая из 4 шагов:

- стадии планирования. На этом этапе пользователь пытается понять, ЧТО ему нужно сделать для достижения цели;

- стадии трансляции, пользователь пытается реализовать спланированные действия, т.е. понять КАК воспользоваться выбранными элементами управления;

- стадии физического действия. Этап осуществления взаимодействия, на котором пользователь физически манипулирует выбранным элементом управления и выбранным способом;

- стадии оценки состояния. Этапы восприятия состояния системы, ее интерпретации и оценки, пользователь, пытается понять, достиг ли он своей цели.

Каждый шаг этой модели подвергнут детальному анализу для возможности проведения оптимизации по этим шагам.

Разработаны параметры оценки отдельных элементов управления ПИ:

- Vis - визуальная составляющая;

- Sem - смысловая составляющая;

- Arr - взаимное расположение;

- Qty - количество;

- Сот - совместимость.

Все элементы управления распределены по группам:

1) Н (header) заголовочный блок;

2) М (material) материальное меню;

3) I (instrumental) инструментальное меню;

4) S (service) сервисные (функциональные) элементы;

5) С (contents) информационное наполнение;

6) D (design) элементы оформления;

7) A (auxiliary) вспомогательные элементы.

Определены параметры, используемые для оценки элементов всех групп. В резульате этого были разработаны выражения функций качества для каждой из групп элементов управления ПИ. В функции качества всех групп присутствует выражение общей визуальной эффективности (Common Visual Efficiency) группы:

где W,- удельный вес г-го элемента интерфейса; X - рассматриваемая группа УЭ.

Далее даны функции качества каждой из групп: Заголовок:

(2)

где, Wlogo - вес логотипа, Wslogan - вес слогана.

Материальное меню:

где Ме\М- элементы меню, находящиеся на экране, Mdrop- элементы «выпадающего меню».

Инструментальное меню:

Содержимое:

Сервисные элементы:

(3)

(4)

(5)

где Sdefaults - значения по умолчанию, Stype- тип управлюящих элементов. Оформление:

Бет(р) Уо = + СкЕ(£>).

Дополнительные элементы: 0,=

+ СЩЛ).

(8)

В основу данных выражений положены общеизвестные правила юзаби-лити, подробно систематизированные в работе. Сумма всех показателей качества групп дает в результате общий показатель качества интерфейса:

бс+ а+ й>+ 04-

(9)

Предел максимального значения функции качества Иш{0) принимается за показатель интерфейса со 100% качеством. Таким образом, имея значение функции качества интерфейса на каждой итерации тестирования, определяется его процентное соотношение с идеальным вариантом.

На основе полученных выражений сделан вывод о том, что существует способ формализации такого понятия как качество пользовательского интерфейса. После определения параметров качества, и разложения ЭУ интерфейса по группам, получены выражения количественного показателя качества для каждой из групп. Сумма показателей всех групп в итоге дает показатель качества всего интерфейса в целом. Однако в приведенных выражениях присутствует понятие веса элемента управления, выражающее его значимость в контексте всего интерфейса. Нахождение этих весов становиться возможным благодаря построению иерархии анализа интерфейса. Используя адаптированный для решаемой задачи метод анализа иерархий, становится возможным найти веса всех элементов управления. Исходные данные для заполнения уровней иерархии, получаются в результате агрегации мнений пользователей-тестеров, собираемых в результате юзабилити-тестирования.

Рис. 1. Иерархия для определения весов УЭ

Таким образом, в разработанном процессе улучшения эргономических показателей, функция качества интерфейса представляет собой модель процесса, а юзабилити-тестирование позволяет реализовать эту модель. Подставив все необходимые параметры, найденные в результате тестирования, становится возможным получить значение функции качества интерфейса, организовав тем самым управление последним.

ГЛАЕА 3. ПРОГРАММНАЯ СИСТЕМА УЛУЧШЕНИЯ ЭРГОНОМИЧЕСКИХ ПОКАЗАТЕЛЕЙ ИНТЕРЕФЕСОВ ВЕБ-ПРИЛОЖЕНИЙ

Данная глава посвящена вопросам практической реализации программной системы для поддержки процесса улучшения качества интерфейса пользователя веб-приложения. В ней формулируются основные требования к программному обеспечению и процессу его разработки, описывается реализация системы и подробно приводиться контрольный пример с расчетами показателей качества реального интерфейса веб-приложения.

Рис. 2 Архитектура программной системы

Среди требований к ПО выделены: - функциональные требования, представляющие собой набор функций которые система должны выполнять;

требования к архитектуре и организации хранилища данных, которые отражают состав компонентов системы, их взаимодействие и структуру данных;

- требования к средствам разработки, в которых определяется используемая программная платформа, средства и среды разработки и используемое серверное ПО;

требования к юзабилити, определяют порядок и легкость использования разрабатываемой программной системы, а также требуемое клиентское ПО.

В приведенной схеме показана архитектура ПО юзабилити-тестирования.

Реализация системы производилась в соответствии с методологией разработки программных систем (Rational Unified Process):

Далее в главе подробно рассмотрен контрольный пример проведения юзабилити-исследования корпоративного веб-сайта МОЛО «Нефтсавтомат и-ка» с использованием разработанного ПО.

ГЛАВА 4. ИССЛЕДОВАНИЕ ЭКОНОМИЧЕСКОЙ ЭФФЕКТИВНОСТИ ПРОЦЕССАТЕСТИРОВАНИЯ

В данной главе исследуется проблема нахождения оптимального количества пользователей для участия в тестировании качества, проводиться загратно-стоимостной анализ тестирования, разрабатывается методика определения оптимального, с точки зрения экономической эффективности, числа итераций тестирования.

Согласно распространенному мнению, эффективность юзабилити тестирования тем выше, чем больше пользователей привлечено к испытаниям. Но при исследовании работ Тома Ландауэра (Tom Landauer) и Якоба Нильсена (Jakob Nielsen) получен вывод, что количество эргономических ошибок, найденных при проведении тестов с п пользователями равно:

Р=1-(1-Д)", (10)

где Р - общее количество обнаруженных проблем с юзабилити,

- процент эргономических ошибок, обнаруженных при проведении тестов с одним единственным пользователем.

На основе экспериментов было выявлено, что в большинстве случаев составляет 31%. Если построить график этой формулы при Л = 31%, то получится следующее:

Рис. 3 Зависимость эффективности юзабилити-теста от количества привлеченных пользователей

Отсюда получен следующий вывод: чем больше пользователей добавляется к тесту, тем меньше новой информации удается извлечь от каждого нового пользователя, увеличивается количество одних и тех же действий и ошибок. После подключения пятого пользователя время и прочие ресурсы необходимые для тестирования начинают расходоваться уже не эффективно, так как повторно будут обнаруживаться одни и те же ошибки, а шансы обнаружить новые проблемы интерфейса будут уменьшаться. Далее, на основе данной зависимости Приводится доказательство целесообразности проведения большего числа итераций тестирования с меньшим число пользователей (<:5), чем проведение одной или двух итерации с большим числом пользователей-тестеров.

Предложена методика нахождения объема инвестиций в исследование эргономики веб-сайта, основывающаяся на том, что затраты на проведение юзабилити-тестов в основном состоят из выплат участникам тестирования, расходов на протоколирование и обработку результатов специалисту по юза-билити.

При инвертировании формулы (10) получено выражение, позволяющее вычислить точное количество требуемых пользователей:

т1п(1.Р)/1П(1-1)

Для вычисления затрат получено следующее выражение:

(12)

где - искомые затраты, п - число пользователей,

затраты на одного пользователя при прохождении одного теста, 5 - затраты на эксперта по юзабилити при анализе одного теста

Таким образом, на выявление Р процентов проблем необходимо потра-

5 =

(13)

1п(1-Д)

где Я - процент эргономических проблем, обнаруженных при проведении тестов с одним единственным пользователем.

Сделан вывод о том, что выявление всех проблем нельзя назвать экономически оправданным решением, следовательно, необходимо определить рациональный процент проблем, которые необходимо выявить. Это реализовано посредством определения экономического эффекта, который достигается при выявлении данного количества юзабилити-ошибок. Повышение рентабельности интерфейса при нахождении и исправлении проблем моделируется благодаря определению времени, затраченного пользователем впустую во время одного сеанса работы с сайтом, содержащим эргономические ошибки. Для этого использована следующая зависимость, полученная Якобом Нильсеном и моделирующая предполагаемое время, сэкономленное пользователем при исправлении Р процентов ошибок в интерфейсе:

Сэкономленное е время на каждый сеанс работы, с

Рис. 4. Время, сэкономленное при исправлении ошибок юзабилити На основе численных методов, определена функция, аппроксимирующая

данную зависимость:

(14)

Таким образом, произведена оценка затрат на юзабилити тестирование и определен эффект от исправления ошибок юзабилити, выраженный в сэкономленном времени пользователя сайта. Сопоставим эти две зависимости и,

приняв, что каждая сэкономленная секунда одного пользователя за сеанс добавляет С единиц прибыли сайту получим:

где V- предполагаемое число сеансов работы с приложением;

Р - процент ошибок, которые необходимо исправить.

Благодаря тому, что единственным неизвестным остается Р, данное выражение позволяет по окончании каждой итерации юзабилити-тестирования определять необходимость последующей итерации, проверяя достигнуто ли уже требуемое значение функции качества, т.е. какой процент ошибок уже исправлен.

РЕЗУЛЬТАТЫ И ВЫВОДЫ

В данной работе решена актуальная, имеющая важное народнохозяйственное и научно-практическое значение задача повышения эргономических показателей пользовательских интерфейсов создаваемых веб-приложений. В частности, проведено исследование понятия «качество интерфейса», разработана математическая модель интерфейса веб-приложения, функция качества интерфейса, метод количественной оценки удобства интерфейсов, на основе разработанных методик и результатов исследований создан программный продукт автоматизации тестирования качества интерфейсов. Наконец, разработан метод проведения итеративного тестирования интерфейса с учетом экономической эффективности.

При решении этой задачи получены следующие научные и практические результаты:

1) Метод количественной оценки удобства пользовательских интерфейсов веб-приложений;

2) Метод проведения итеративного тестирования интерфейса с учетом экономической эффективности;

3) Разработано программное обеспечение автоматизации тестирования качества интерфейсов.

Сделаны следующие выводы:

1) Формализация методов улучшения удобства интерфейсов возможна, более того, возможно решение этой задачи методом количественной оценки эргономических показателей интерфейса и его отдельных элементов;

2) Удобство интерфейса, несмотря на всю субъективность этого понятия, может быть выражено количественно с заданной точностью;

3) Процесс улучшения эргономических показателей разработанного интерфейса веб-приложения носит итеративный характер;

4) Максимальная экономическая эффективность данного процесса достигается за счет определения оптимального процентного соотношения ошибок в существующем интерфейсе которые целесообразно исправить, дальнейшие

работы по выявлению и исправлению ошибок - экономически нецелесообразны.

Эффективность разработанного программного продукта и его отдельных модулей подтверждается успешным внедрением разработанных в диссертации теоретических основ, методов и алгоритмов в процессе разработки образовательных порталов в ГосНИИ ИТТ «Информика», корпоративного вебсайта МОАО «Нефтеавтоматика» и интернет-проектов ООО «Рекламное агентство «ЭрЭмСи».

СПИСОК ОСНОВНЫХ ПУБЛИКАЦИЙ

1. Кузнецов А., Мартынов В.В., Аминев Р.К., Валиуллин A.M., Веденяпин И.Э. Методологические и практические аспекты выполнения проектов по разработке региональных информационных систем. //Труды Всероссийской научно-методической конференции «Телематика-2001» (18-21 июня 2001, С.Петербург). Том 1. С. 257-258 (доклад на англ. языке).

2. Кузнецов А., Мартынов В.В., Валиуллин A.M., EA. Давыдова. Разработка информационной системы поддержки контроля знаний в открытом образовании. Проблемы качества образования: Материалы одиннадцатой международной научно-методической конференции. - Уфа, УГАТУ, 2001. С.41-44.

3. Кузнецов А., Мартынов В.В., Ахметсафина Р.З., Давыдова Е.А., О выполнении проектов по разработке информационных систем в УГАТУ. Современная образовательная среда //Труды Всероссийской конференции (21-24 ноября 2001 г., г. Москва). - М.: Изд-во ЗАО «ОП ВВЦ Наука и образование», 2001.

4. Кузнецов А., Мартынов В.В., Аминев Р.К., Валиуллин A.M., Веденяпин И.Э. Методологические и практические аспекты выполнения проектов по разработке региональных информационных систем //Новые информационные технологии в образовании: Материалы конференции. - Уфа, УГАТУ, 13.04.2001. С-28-31.

5. Мартынов В.В., Кузнецов А. К вопросу о методологии создания системы образовательных порталов //Труды Всероссийской научно-методической конференции «Телематика'2002» (3-6 июня 2002, СПб). С-58-60.

6. Кузнецов A.M., Мартынов В.В. К вопросу о методологии разработки веб-приложений //Научный сервис в сети Интернет: Труды Всероссийской научной конференции (24-28 сентября 2002 г., г. Новороссийск). - М.: Изд-во МГУ, 2002. С. 274-276.

7. Кузнецов А., Мартынов В. Основные подходы к разработке дизайна и обеспечению юзабилити образовательных порталов // «Телематика'2003»: Труды X Всероссийской научно-методической конференции С. 219-220.

8. Кузнецов А., Мартынов В. Требования к графическому дизайну и юзаби-лити образовательных порталов. // Интернет-порталы: содержание и технологии: Сб. науч. ст. Вып.1/Редкол.: А.Н. Тихонов (пред.) и др.; ГНИИ ИТТ "Информика". - М.: Просвещение, 2003. С. 365-420.

9. Кузнецов А. Веб-сайт как инструмент электронной коммерции //Материалы 5-й Международной конференции по проблемам информатики и информационных технологий CSIP2003» Уфа, Россия, 2003. С. 3-6 (доклад на англ. языке).

10.Мартынов В.В., Кузнецов А. Об исследовании качества пользовательских интерфейсов веб-приложений. // Научный сервис в сети Интернет: Труды Всероссийской научной конференции (22-27 сентября 2003 г., г. Новороссийск). - М.: Изд-во МГУ, 2003. С. 177-178.

11.Кузнецов А. Как перепроектировать сайт? // PC WEEK. Русская редакция. №14,2004 г. С. 14.

12.Кузнецов А., Мартынов В. Дизайн и юзабилити образовательных Интернет-ресурсов // Е Learning World. №3. Май-июнь 2004г. С. 30-37.

13.Кузнецов A.M., Мартынов В.В. Разработка методов улучшения качества интерфейса // Материалы 6-й Международной конференции по проблемам информатики и информационных технологий CSIT2004» Будапешт, Венгрия, 2003. - Уфа: УГАТУ, 2003. Том 2. С. 33-36. (доклад на англ. языке).

Диссертант

Кузнецов

КУЗНЕЦОВ Антон Михайлович

УЛУЧШЕНИЕ ЭРГОНОМИЧЕСКИХ ПОКАЗАТЕЛЕЙ ПОЛЬЗОВАТЕЛЬСКИХ ИНТЕРФЕЙСОВ WEB-ПРИЛОЖЕНИЙ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Подписано к печати 10.11.2004. Формат 60x84 1/16 Бумага офсетная. Печать плоская. Гарнитура Таймс Усл. печ. л. 1,0. Усл. кр.-отт. 1,0. Уч -изд. л. 1,0. Тираж 100 экз. Заказ № 617.

Уфимский государственный авиационный технический университет Центр оперативной полиграфии 450000, Уфа-центр, ул. К. Маркса, 12

ВВЕДЕНИЕ.

1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ИНТЕРФЕЙСОВ.

1.1 Введение в проблему эргономики пользовательских интерфейсов: основные понятия и подходы к обеспечению.

1.2 Анализ существующих методов оценки и повышения удобства интерфейсов.

1.3 Анализ пакета утилит для тестирования интерфейса компании WebMetrics.

1.4 Постановка цели и задач исследования.

2. РАЗРАБОТКА МЕТОТОДОВ УЛУЧШЕНИЯ КАЧЕСТВА ИНТЕРФЕЙСА.

2.1 Анализ существующих методик описания требований к интерфейсам.

2.2 Классификация свойств интерфейса.

2.3 Разработка функции качества интерфейса.

2.4 Адаптация метода анализа иерархий для организации итерационного процесса улучшения интерфейса.

2.4.1 Метод сравнений относительно стандартов.

2.4.2 Учет мнений множества экспертов.

2.5 Разработка методики юзабилити-тестования.

2.5.1 Подготовка тестовых заданий.

2.5.2 Подбор испытуемых.

2.5.3 Подготовка участников к тестированию.

2.5.4 Проведение теста и анализ результатов.

2.5.5 Разработка рекомендаций по улучшению удобства интерфейса

3. ПРОГРАММНАЯ СИСТЕМА УЛУЧШЕНИЯ ЭРГОНОМИЧЕСКИХ ПОКАЗАТЕЛЕЙ ИНТЕРЕФЕСОВ ВЕБ-ПРИЛОЖЕНИЙ.

3.1 Требования к программной системе поддержки улучшения пользовательского интерфейса веб-приложений.

3 Л Л Функциональные требования к системе.

ЗЛ.2 Требования к архитектуре и организации хранилища данных

3.1.3 Требования к средствам разработки.

3.1.4 Требования к удобству использования.

3.2 Реализация системы.

3.2.1 Иерархия классов системы.

3.3 КОНТРОЛЬНЫЙ ПРИМЕР.

3.3.1 Формулировка тестовых заданий.

3.3.2 Итерация №1.

3.3.3 Итарация №2.

4. ИССЛЕДОВАНИЕ ЭКОНОМИЧЕСКОЙ ЭФФЕКТИВНОСТИ ПРОЦЕССА ТЕСТИРОВАНИЯ.

4.1 ОПРЕДЕЛЕНИЕ РАЦИОНАЛЬНОГО КОЛИЧЕСТВА ПОЛЬЗОВАТЕЛЕЙ ДЛЯ ПРОВЕДЕНИЯ ТЕСТИРОВАНИЯ.

4.2 ФУНКЦИОНАЛЬНО-СТОИМОСТНОЙ АНАЛИЗ УДОБСТВА ИНТЕРФЕЙСА

Актуальность проблемы

В условиях постоянного роста количества разрабатываемых программ-<; систем и смены их версий, особенно актуальной является проблема про-ирования эффективного пользовательского интерфейса, который позволит зить затраты и сократить время на обучение пользователей работе с нол программным обеспечением, повысит качество и эффективность работы, жно выделить пять причин важности удобства пользовательского интереса:

Товышение конкурентоспособности

Разработка продукта более простого и удобного в использовании позволяет получить значительный перевес в конкурентной борьбе. Существуют примеры [78], когда переработка интерфейса, проведенная с соблюдением требований качественного интерфейса, увеличила доходы производителя на 80%. При этом пользователи всегда оценивают простоту использования продукта как важнейшую его характеристику; Снижение стоимости разработки

Реальная себестоимость программных продуктов, как правило, значительно выше стоимости их разработки. Себестоимость вырастает за счет внедрения и поддержки продукта, причем она может вырастать на 80% от стоимости разработки. Это объясняется, в первую очередь, непониманием программистами целей и ожиданий конечных пользователей продукта, причем это непонимание обнаруживается сразу после сдачи продукта в эксплуатацию. За счет локализации проблем пользовательского интерфейса на ранних этапах разработки почти всегда можно снизить затраты на 60—90% [78]; Увеличение аудитории продукта

Интернет переполнен ресурсами, которые, не учитывая потребностей посетителей, отталкивают потенциальную аудиторию - они сложны в использовании, на них трудно найти нужную информацию, они не доносят до посетителя послание владельца. Используя ориентированный на цели пользователей подход, можно быть уверенным в том, что ресурс будет отвечать нуждам посетителей, а это, в свою очередь, повысит отдачу от ресурса;

4. Увеличение удовлетворенности пользователей

Вовлечение будущих пользователей в процесс разработки ПО и сайтов с применением техник обеспечения качества интерфейса повышает субъективную удовлетворенность пользователя в среднем на 40% [39];

5. Уменьшение затрат на обучение и поддержку пользователей

Использование юзабилити1 методов[42] при проектировании ПО значительно снижает время, необходимое для обучения пользователей, равно как и ресурсы технической поддержки. В среднем использование таких методов при проектировании продукта снижает время обучения на 25%, а количество обращений в службу технической поддержки - на 60% [42].

Основной вклад в исследовании данной проблемы внесли русские веб-дизайнеры и разработчики Влад Головач [7], Николай Покровский [42], Артемий Лебедев [2], а также американские ученые Якоб Нильсен (Jakob Nielsen) [75,76,86,87,88,89,90,91,92,93,94,95], Том Ландауэр (Tom Landauer) [78,93], Дональд Норманн (Donald Norman) [68].

Цель и задачи исследований

Цель работы: улучшение эргономических показателей пользовательских интерфейсов, повышение эффективности и сокращение сроков создания интерфейсов создаваемых веб-приложений. От англ. «Usability» - удобство использования

Для достижения цели необходимо решить следующие основные задачи:

1. Провести теоретическое и экспериментальное исследование понятия «качество интерфейса» и средств повышения качества;

2. Разработать содержательную структуру понятия «качество интерфейса»;

3. Разработать методы оценки показателей качества пользовательских интерфейсов программных изделий;

4. Создать программный продукт для автоматизации тестирования качества интерфейсов на основе методик и результатов исследований;

5. Разработать методику проведения тестирования интерфейса с учетом экономической эффективности.

Методы исследования

Для решения поставленных задач применялись методы системного анализа, методологии SADT и IDEF, методы объектно-ориентированного анализа и проектирования, математического моделирования, оптимизации, принятия решений, в частности метод анализа иерархий Саати, методы проектирования автоматизированных информационных систем.

Результаты, выносимые на защиту

На защиту выносятся:

- содержательная структура понятия качества интерфейса;

- функция качества интерфейса;

- метод оценки показателя качества интерфейса;

- программный продукт для автоматизации тестирования качества интерфейсов, созданный на основе разработанного метода;

- методика проведения итеративного тестирования.

Научная новизна результатов

В результате выполнения данного исследования был разработан метод улучшения эргономических показателей пользовательских интерфейсов веб-приложений, как на стадии проектирования, так и в процессе эксплуатации, позволяющие увеличить эффективность веб-приложений и сократить сроки процесса проектирования и реализации интерфейсов. В процессе исследований были получены следующие результаты, обладающие научной новизной:

1. Предложена содержательная структура понятия качества интерфейса, включающая в себя подход к формализации процесса оценки качества интерфейса и отличающаяся от существующих наличием элементов анализа по стадиям взаимодействия пользователя с интерфейсом и по группам управляющих элементов;

2. Впервые предложена функция качества интерфейса, позволяющая количественно оценить эргономические свойства интерфейса и выявить его наиболее слабые стороны. Данная функция легла в основу метода оценки показателя качества интерфейсов. Эффективность метода заключается в объективности проводимой оценки качества.

3. Предложена методика итеративного тестирования качества интерфейса с использованием разработанного программного обеспечения, содержащая в себе теоретические и организационные аспекты проведения тестирования и отличающаяся от существующих использованием математического аппарата для определения экономической эффективности проведения процедуры тестирования.

Практическая ценность и внедрение результатов

Практическая ценность выбранного пути решения задачи заключается в том, что выполненные теоретические исследования позволили разработать и внедрить в практику программную систему поддержки исследований эргономических показателей интерфейса для продуктов, разрабатываемых и сопровождаемых продуктов, что позволило:

- повысить качество интерфейса разрабатываемых веб-приложений: повышение качества интерфейса позволит сократить сроки на обучения персонала использованию программного продукта, снизить затраты на его развитие и поддержку, улучшить морально-психилогическое состояние пользователей программного продукта;

- повысить эффективность и снизить сроки и затраты на проведение тестирования готовых программных продуктов;

- получить средства для сертификации качества интерфейсов программных продуктов.

Результаты, полученные в работе, внедрены в ГосНИИ ИТТ «Информи-ка» при разработке федерального портала «Российское образование» (www.edu.ru), в МОАО «Нефтеавтоматика» при создании корпоративного веб-сайта организации (www.nefteavtomatika.ru), а также в ООО «Рекламное агентство «ЭрЭмСи» (www.r-m-c.ru) при разработке интернет-проектов.

Основания для выполнения работы

Работа связана с выполнением научно-исследовательских работ (НИР) по проектам, реализуемым с 2001 по 2003 год в рамках программ Минобразования России:

- «Разработка программного обеспечения типовой системы проведения тестирования знаний и обработки результатов тестирования (Интернет-технология)», 2001-2002 годы, код проекта: 4.1.4.(000) 240.34;

- «Разработка методологии создания системы образовательных порталов», выполнены работы по разделу «Дизайн и юзабилити образовательных порталов», 2002 год;

- «Создание Федерального ресурсного центра методического, кадрового и материально-технического обеспечения развития единой образовательной информационной среды в Приволжском Федеральном округе», в рамках ФЦП «Развитие единой образовательной информационной среды (2001-2005 годы)», 2002 год;

- «Анализ информационных ресурсов и сервисов функционирующих и создаваемых образовательных порталов и выработка рекомендаций по их гармонизации», 2003 год.

Апробация работы и публикации

Основные положения, представленные в диссертации, регулярно докладывались и обсуждались на научных мероприятиях различного уровня. В том числе на следующих научных конференциях:

1. Республиканской научно-методической конференции «Новые информационные технологии в образовании», Уфа, 2001;

2. Одиннадцатой международной научно-методической конференции «Проблемы качества образования», Уфа, 2001;

3. Международной научно-методической конференции «Телематика», Санкт-Петербург, 2001, 2002, 2003;

4. Всероссийской конференции «Современная образовательная среда», Москва, 2001;

5. Всероссийской научной конференции «Научный сервис в сети Интернет», Новороссийск, 2002, 2003;

6. 5-й Международной конференции по проблемам информатики и информационных технологий CSIT'2003» Уфа, Россия, 2003.

7. 6-й Международной конференции по проблемам информатики и информационных технологий CSrT'2004» Будапешт, Венгрия, 2004.

Результаты диссертационной работы непосредственно отражены в 13 публикациях, в том числе 3 статьях, 10 трудах конференций.

Обоснованность и достоверность результатов диссертации.

Содержательная структура понятия качества интерфейса основана на методе анализа человеко-машинного взаимодействия, методике анализа прецедентов.

Функция качества интерфейса основана на методе анализа иерархий

Саати и корректном применении результатов теории принятия решений. Достоверность подтверждается корреляцией значений функции, полученных экспериментально, с результатами других методик тестирования интерфейсов.

Методика итеративного тестирования качества интерфейса основана на элементах теории функционально-стоимостного анализа и подтверждена экспериментально в процессе тестирования интерфейса разрабатываемых приложений.

Результаты работы апробированы и их эффективность подтверждена в реальных проектах.

Структура и объем работы

Диссертация состоит из введения, 4-х глав, выводов, списка литературы и приложений. Работа изложена на 130 страницах машинописного текста, кроме того, содержит 14 рисунков и 25 таблиц, размещенных на 36 страницах. Библиографический список включает 120 наименований и занимает 10 страниц.

ВЫВОДЫ ПО ЧЕТВЕРТОЙ ГЛАВЕ

В результате исследований экономической эффективности тестирования, получены следующие выводы:

- оптимальным для типичного проекта является привлечение к тестированию 5 пользователей. После подключения пятого пользователя время и прочие ресурсы необходимые для тестирования начинают расходоваться уже не эффективно, так как повторно будут обнаруживаться одни и те же ошибки, а шансы обнаружить новые проблемы интерфейса будут уменьшаться;

- проведение большего числа итераций тестирования с меньшим числом пользователей, целесообразнее проведения одной или двух итерации с большим числом пользователей;

- получено выражение соотношения затрат и прибыли от проведения тестирования, которое позволяет принять решение о целесообразности каждой последующей итерации.

ЗАКЛЮЧЕНИЕ

В данной работе решена актуальная, имеющая важное народнохозяйственное и научно-практическое значение задача повышения эргономических показателей пользовательских интерфейсов создаваемых веб-приложений. В частности, проведено исследование понятия «качество интерфейса», разработана функция качества интерфейса, метод количественной оценки удобства интерфейсов, на основе разработанных методик и результатов исследований создан программный продукт автоматизации тестирования качества интерфейсов. Наконец, разработан метод проведения итеративного тестирования интерфейса с учетом экономической эффективности.

При решении этой задачи получены следующие научные и практические результаты и сделаны выводы:

1) на основе анализа статистических данных выявлено, что пользовательский интерфейс (ПИ) часто понимают только как внешний вид программы. Однако на деле пользователь воспринимает через ПИ всю систему в целом, а значит, такое понимание ПИ является слишком узким. В действительности ПИ включает в себя все аспекты дизайна, которые оказывают влияние на взаимодействие пользователя и программной системы;

2) проанализированы тенденции развития распределенных информационных систем, сети Интернет, и проектирования пользовательских интерфейсов веб-приложений, в частности. Выявлено, что с усложнением разрабатываемых информационных систем растут расходы на обучение пользователей, внедрение и поддержку таких систем;

3) в результате анализа проблемы обеспечения удобства пользовательского интерфейса, определены основные его составляющие: ментальная модель, метафора, наглядность и стандарт. Показано, что качественный ПИ действительно необходим каждой программной системе, и что для его обеспечения необходимо, прежде всего, исследовать эффективность использования данных составляющих;

4) сделан вывод о том, что среди общих недостатков проанализированных методов улучшения эргономических показателей интерфейсов можно выделить их субъективность, отсутствие формализации оценки, невозможность оценки готового продукта, отсутствие способов количественной оценки качества интерфейса и выявления путей объективного контроля улучшения качества интерфейса;

5) сделан вывод о том, пользователь манипулирует системой, выполняя варианты ее использования. Каждый раз, при выполнении того или иного варианта использования, происходит взаимодействие пользователя с системой, которое можно разделить на этапы взаимодействия и в дальнейшем проводить улучшение прототипа интерфейса по этим этапам;

6) сделан вывод о том, что существует способ формализации такого понятия как качество пользовательского интерфейса. После определения параметров качества, и разложения ЭУ интерфейса по группам, получены выражения количественного показателя качества для каждой из групп. Сумма показателей всех групп в итоге дает показатель качества всего интерфейса в целом. Однако в приведенных выражениях присутствует понятие веса элемента управления, выражающее его значимость в контексте всего интерфейса. Нахождение этих весов становиться возможным благодаря построению иерархии анализа интерфейса. Используя адаптированный для решаемой задачи метод анализа иерархий, становится возможным найти веса всех элементов управления. Исходные данные для заполнения уровней иерархии, получаются в результате агрегации мнений пользователей-тестеров, собираемых в результате юзабилити-тестирования;

6) определено, что в разработанном процессе улучшения эргономических показателей, функция качества интерфейса представляет собой модель процесса, а юзабилити-тестирование позволяет реализовать эту модель. Подставив все необходимые параметры, найденные в результате тестирования, становится возможным получить значение функции качества интерфейса, организовав тем самым управление последним;

7) сделан вывод, что чем больше пользователей добавляется к тесту, тем меньше новой информации удается извлечь от каждого нового пользователя, увеличивается количество одних и тех же действий и ошибок. После подключения пятого пользователя время и прочие ресурсы необходимые для тестирования начинают расходоваться уже не эффективно, так как повторно будут обнаруживаться одни и те же ошибки, а шансы обнаружить новые проблемы интерфейса будут уменьшаться;

8) предложена методика нахождения объема инвестиций для исследования эргономики веб-сайта, основывающаяся на том, что затраты на проведение юзабилити-тестов в основном состоят из выплат участникам тестирования, расходов на протоколирование и обработку результатов специалисту по юзабилити;

9) сделан вывод о том, что выявление всех эргономических проблем нельзя назвать экономически оправданным решением, следовательно, необ

1 ходимо определить рациональный процент проблем, которые необходимо выявить. Это реализовано посредством определения экономического эффекта, который достигается при выявлении данного количества юзабилити-ошибок. Повышение рентабельности интерфейса при нахождении и исправлении проблем моделируется благодаря определению времени, затраченного пользователем впустую во время одного сеанса работы с сайтом, содержащим эргономические ошибки.

Таким образом, при решении данной задачи получены следующие научные и практические результаты:

1) Метод количественной оценки удобства пользовательских интерфейсов веб-приложений;

2) Метод проведения итеративного тестирования интерфейса с учетом экономической эффективности;

3) Разработано программное обеспечение автоматизации тестирования качества интерфейсов.

Эффективность разработанного программного продукта и его отдельных модулей подтверждается успешным внедрением разработанных в диссертации теоретических основ, методов и алгоритмов в процессе разработки образовательных порталов в ГосНИИ ИТТ «Информика», в МОАО «Нефтеавто-матика» при создании корпоративного веб-сайта организации (www.nefteavtomatika.ru), а также в ООО «Рекламное агентство «ЭрЭмСи» (www.r-m-c.ru) при разработке более 30 интернет-проектов.

1. Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике. М.: Финансы и статистика - 1999г., 362с.

2. Артемий Лебедев. Ру/ководство. http://www.tema.ru/kovodstvo

3. Бен-Ари М. Языки программирования. Практический сравнительный анализ. М.: Мир, 2000. - 366 с.

4. Брукс Ф. Мифический человеко-месяц или как создаются программные системы. Пер. с англ. - СПб.: Символ-Плюс, 1999. - 304 с.

5. Велленройтер X. Функционально-стоимостный анализ в рационализации производства: Сокр. пер. с нем. М.: Экономика, 1984. - 112 с.

6. Вирт, Н. Алгоритмы и структуры данных. Пер. с англ. СПб.: Невский Диалект, 2001.-352 с.

7. Влад Головач. Контрольный список Веб-интерфейса. http://ddd.exiTiachina.ru/web/webcheklist/

8. Грамп Е.А. Применение функционально-стоимостного анализа в электротехнической промышленности Англии. ЭП. Серия "Общеотраслевые вопросы", № 357, 1970.

9. Давид Марка, Клемент Марк ГоЭУн. Методология структурного анализа и проектирова-ния: Пер. с англ. М: 1993. - 240 с.

10. Джон Макрегор, Девид Сайке Тестирование объектно-ориентированного программного обеспечения М.: DiaSoft, 2002. - 416 с.

11. Донской М. Пользовательский Интерфейс, PC Magazine Russian Edition, CK Пресс, 10/96.

12. Ивлев В.А., Попова Т.В. Что такое функционально-стоимостной анализ процессов и систем. (В сборнике "TQM-XXI. Проблемы, опыт, перспективы". Вып. 4. / Под ред. В.А. Качалова и В.Л. Рождественского.

13. М: ИздАТ, 2000. С. 169 - 188).

14. Исикава К. Японские методы управления качеством: Сокр. пер. с англ. / Научн. ред. и авт. предисл. А.В. Гличев. М.: Экономика, 1988. - 215 с.

15. Иордон Э. Путь камикадзе. Как разработчику программного обеспечения выжить в безнадежном проекте. Пер. с англ. - М.: ЛОРИ, 2001. -255 с.

16. КаменноваМ., Громов А., Ферапонтов М., Шматалюк А. Моделирование бизнеса. Методология ARJS. М.: Весть-МетаТехнология, 2001. -327 с.

17. Кент Бек. Экстремальное программирование С.-П.: Питер, 2002. - 220 с.

18. Кирилл Вятчин. 10 главных ошибок Flash-роликов. http://www.usethics.ru/lib/flashl

19. Кирсанов Д. Веб-дизайн: книга Дмитрия Кирсанова. СПб: Символ-Плюс, 1999-376с.

20. Кормен Т., Лейзерсон Ч., Ривест Р. Алгоритмы: построение и анализ. М.: МЦНМО, 2000. 960 с.

21. Крег Ларман Применение UML и шаблонов проектирования -М.:Вильямс, 2002.-619 с.

22. Кузнецов A.M. Как перепроектировать сайт? PC WEEK. Русская редакция. М., 23.04.2003. URL: http://pcweek.ru/?ID=300024

23. Кузнецов A.M., Мартынов В.В. Основные подходы к разработке дизайна и обеспечению юзабилити образовательных порталов. Труды X Всероссийской научно-методической конференции «Телематика'2003»

24. Кузнецов A.M., Мартынов В.В. К вопросу о методологии создания системы образовательных порталов // Труды Всероссийской научно-методической конференции «Телематика'2002» С.3-7.

25. Кузнецов A.M., Мартынов В.В. К вопросу о методологии разработки веб-приложений. // Научный сервис в сети Интернет: Труды Всероссийской научной конференции (24-28 сентября 2002 г., г. Новороссийск). М.: Изд-во МГУ, 2002 - С. 274-276.

26. Кузнецов A.M., Мартынов В.В. Об исследовании качества пользовательских интерфейсов веб-приложений // Научный сервис в сети Интернет: Труды Всероссийской научной конференции (22-27 сентября 2003 г., г. Новороссийск). М.: Изд-во МГУ, 2003 - С. 177-178.

27. Кузьмин A.M., Барышников А.А. История возникновения и развития функционально-стоимостного анализа // Машиностроитель, 2001. № 1.-С. 41-46.

28. Кузьмин A.M., Барышников А.А. Формы применения функционально-стоимостного анализа // Машиностроитель. 2001. - № 6. - С. 37-40.

29. Кузьмина Е.А., Кузьмин A.M. Функционально-стоимостный анализ. Концепция и перспективы // Методы менеджмента качества. — 2002. -№ 8.-С. 8-14.

30. Кузьмина Е.А., Кузьмин A.M. Функционально-стоимостный анализ. Экскурс в историю // Методы менеджмента качества. 2002. - № 7.1. С. 14-20.

31. Кутыркин С.Б., Волчков С.А., Балахонова И.В. Повышение качества предприятия с помощью информационных систем класса ERP// Методы менеджмента качества.-2000.-№ 4.

32. Лапидус В.А., Рекшинский А.Н. Диалог консультанта с руководителем компании: Н. Новгород: СМЦ «Приоритет», 2000. -84 с.

33. Липаев, В.В. Документирование и управление конфигурацией программных средств. Методы и стандарты. Серия "Информатизация России на пороге XXI века". М.: СИНТЕГ, 1998. - 220 с.

34. Маклаков С.В. BPWin и ERWin. CASE-средства разработки информационных систем. -М.: Диалог-Мифи, 1999. -256 с.

35. Маклаков С.В. Моделирование бизнес-процессов с BPwin 4.0. М.: Диалог-МИФИ, 2002. - 224 с.

36. Марри Кантор. Управление программными проектами М.:Вильямс, 2002. - 173 с.

37. Материалы исследований «Нильсен Норманн Групп». http://www.nngroup.com

38. Методология функционального моделирования IDEF0. Руководящий документ. М. ГОССТАНДАРТ РОССИИ, 2000. - 62 с.

39. Мымрин Ю.Н. Выбор объектов для проведения ФСА. М.: Информэ-лектро, 1988.-С. 32.

40. Николий Покровский. Usability-методы исследования Web-сайта. http://hci.psvchology.ru/articles/um.htm

41. Нильсен Я. Веб-дизайн: книга Якоба Нильсена. Пер. с англ. - СПб: Символ-Плюс, 2000. - 512с.

42. НИЦ CALS-технологий «Прикладная логистика». Моделирование, анализ и реинжиниринг бизнес-процессов, www.cals.ru.

43. Одинцов И.О. Профессиональное программирование. Системный подход. СПб.: БХВ-Петербург, 2002. 512 с.

44. Проект МС ИСО 9001:2000 «Системы менеджмента качества. Требования». Перевод с англ. Н.Новгород: СМЦ «Приоритет», 2000. - 33 с.

45. Сайт российских информеров. URL: www.informer.ru

46. Скворцов H.H., Омельченко Л.И. Организация функционально-стоимостного анализа на машиностроительных предприятиях. Киев: Техника, 1987. - 112 с.

47. Соболев Ю.М. Конструктор и экономика: ФСА для конструктора. — Пермь: Кн. Изд-во, 1987. 102 с.

48. Справочник по функционально-стоимостному анализу / Под ред. М.Г. Карпунина, Б.И. Майданчика. М.: Финансы и статистика, 1988. - 431 с.

49. Эунди Боггс, Майкл Боггс. UML и Rational Rose. М.: Лори, 2000. - 580 с.

50. Филипп Крачтен. Введение в Rational Unified Process М.: Вильяме, 2002. - 239 с.

51. Хассан Гома. UML Проектирование систем реального времени, распределенных и параллельных приложений. М.:ДМК, 2002. - 698 с.

52. Эрик Дж. Нейбург, Роберт А. Максимчук. Проектирование баз данных с помощью UML- М.:Вильямс, 2002. 281 с.

53. Якобсон А., Буч Г., Рамбо Дж. Унифицированный процесс разработки программного обеспечения. СПб.: Питер, 2002. - 496с.

54. A. Kuznetsov. Website as an E-Commerce Tool. Redesign Strategy. Proceedings of the 5th International Workshop on Computer Science and Information Technologies CSIT'2003. Ufa, Russia, 2003.

55. Abadi M., Cardelli L. A theory of objects. Springer. 1996. - 396 c.

56. Alreck, P. L. and Settle, R. B. The Survey Research Handbook (2nd Edition): Guidelines and Strategies for Conducting a Survey. Irwin Publishing: Chicago, IL, 1995.

57. Apple Computer (1992). Macintosh Human Interface Guidelines. Addison Wesley, Reading, MA.

58. Bias, R. G., and Mayhew, D. J. (eds.). Cost-Justifying Usability. Academic Press, New York, NY, 1994.

59. Bias, Randolph G., "The Pluralistic Usability Walkthrough: Coordinated Emphathies," in Nielsen, Jakob, and Mack, R. eds, New York, NY. ISBN 0471-01877-5

60. Boehm B.W. Software engineering economics. Prentice Hall, NJ. 1981. -767 c.

61. Bray Т., Paoli J., Sperberg-McQueen С. M. and Maler E. Extensible Markup Language (XML) 1.0 (Second Edition). W3C Recommendation, 2000.

62. Card Sorting to Discover the Users' Model of the Information Space. http://www.useit.com/papers/sun/cardsort.html

63. Carolyn Snyder. Using Paper Prototypes to Manage Risk. http://world.std.com/~uieweb/paper.htm

64. Donald A. Norman (1988). Design of Everyday Things. New York: Cur-rency-Doubleday.

65. Fielding R., Gettys J., Mogul J., Nielsen H. F., Masinter L., Leach P. and Berners-Lee T. Hypertext Transfer Protocol HTTP/1.1. URL: http://www.ietf.org/rfc/rfc2616.txt.

66. H. Beyer and K. Holtzblatt. Apprenticing with the Customer: A Collaborative Approach to Requirements Definition. http://www.incent.com/pubs/requirements.html

67. Ian Warnock. Manufacturing and Business Excellence Strategies, Techniques and technology Prentice Hall Europe, 1996. - 534 c.

68. IEEE Press Releases: IEEE Standards Association Approves Recommended Practice for Internet Practices.http ://standards. i eee. org/ami о imcemen ts/2001. h tin 1

69. Improving Web Site Usability and Appeal. MSN Usability research. July, 1997.

70. J Kirakowski, PhD. The Use of Questionnaire Methods for Usability Assessment. http://www.ucc.ie/hfrg/questionnaires/sumi/sumipapp.htm

71. Jacob Nielsen. How to Conduct a Heuristic Evaluation. http://www.useit.com/papers/heuristic/heuristic evaluation.html

72. Jacob Nielsen. The Use and Misuse of Focus Groups. http://www.useit.com/papers/focusgroups.html

73. Jan Alexander and Marsha Tate. Evaluating Web Resources. http://www2. widener.edu/Wolfgram-Memorial-Library/webevaluation/webeval.htm

74. Aaron Marcus. Return on Investment for Usable User-Interface Design: Examples and Statistics. AM+A, NY, 2002.

75. Landauer, Т. K. (1988). Research methods in human-computer interaction. In Helander, M. (Ed.), Handbook of Human-Computer Interaction. North-Holland, Amsterdam, The Netherlands. 543-568.

76. Macromedia Inc. Macromedia Flash MX.

77. URL: http://www.macromedia.com/software/flash

78. March, A. Usability: The new dimension of product design. Harvard Business Review (September 1994), 144-149.

79. Mayhew, D. J., and Mantei, M., A Basic Framework for Cost-justifying Usability Engineering. In Cost-Justifying Usability, Bias, R. G., and Mayhew,

80. D. J. (eds). Academic Press, New York, NY, 1994.

81. Microsoft Corp. Active Server Pages. http://msdn.microsoft.com/library/default.asp7urN/nhp/default.asp7contenti d=28000522.

82. Microsoft Corp. Internet Server API (ISAPI) Extensions. URL: http://msdn.niicrosoft.com/library/default.asp7urN/librarv/en-us/vccore/html/core InternetServer APl.28.ISAPI.29.Extensions.asp

83. Molich, R., and Nielsen, J. (1990). Improving a human-computer dialogue, Communications of the ACM 33,3 (March), 338-348.

84. Nielsen, J. (1989a). Prototyping user interfaces using an object-oriented hypertext programming system, Proc. NordDATA'89 Joint Scandinavian Computer Conference (Copenhagen, Denmark, 19-22 June), 485-490.

85. Nielsen, J. (1992a). The usability engineering life cycle. IEEE Computer 25, 3 (March), 12-22.

86. Nielsen, J. (1992b). Evaluating the thinking aloud technique for use by computer scientists. In Hartson, H. R. and Hix, D. (Eds.), Advances in Human-Computer Interaction Vol. 3, Ablex, Norwood, NJ. 75-88.

87. Nielsen, J. (1992c). Finding usability problems through heuristic evaluation. Proc. ACM CHI'92 (Monterey, С A, 3-7 May), 373-380.

88. Nielsen, J. (1993). Usability Engineering. Academic Press, Boston, MA.

89. Nielsen, J. (1994a). Usability laboratories. Behaviour & Information Technology 13, I.

90. Nielsen, J. (1994b). Heuristic evaluation. In Nielsen, J., and Mack, R.L. (Eds.), Usability Inspection Methods. John Wiley & Sons, New York, NY.

91. Nielsen, J., and Landauer, Т. K. (1993). A mathematical model of the finding of usability problems. Proc. ACM INTERCHI'93 Conf. (Amsterdam, the Netherlands, 24-29 April), 206-213.

92. Nielsen, J., and Molich, R. (1990). Heuristic evaluation of user interfaces, Proc. ACM CHI'90 (Seattle, WA, 1-5 April), 249-256.

93. Nielsen, Jakob, Usability Engineering, 1993, Academic Press/AP Professional, Cambridge, MA1.BN 0-12-518406-9

94. Perlman, G. (1990). Teaching user-interface development, IEEE Software 7, 6 (November), 85-86.

95. Shillito M.L. and D.J. De Marie. Value: Its Measurement, Design, and Management, John Wiley & Sons, Inc., New York, NY, 1992.

96. Shlaer S., Mellor S.J. Object lifecucles: modeling the world in states. Prentice Hall, NJ.- 1992.-251 c.

97. Shlaer S., Mellor S.J. Object lifecucles: modeling the world in states. Prentice Hall, NJ. 1992.-251 c.

98. Turney P.B.B. Activity-Based Costing: A Tool for Manufacturing Excellence // Target, Summer 1989, pp. 13-19.

99. Web Metrics Testbed Website, http://zin g.ncsl ,ni st. go v/WebTools

100. Bevan N (1995) Measuring usability as quality of use. Journal of Software Quality.

101. Bevan N and Macleod M (1994) Usability measurement in context. Behaviour and Information Technology, 13, 132-145.

102. Chin,J.P., Diehl,V.A., and Norman,K.L.(1988). Development of an instrument measuring user satisfaction of the human-computer interface. Proc. ACM CHI'88 Conf. (Washington, DC 15-19 May), 213-218.

103. Dumas S D and Redish J С (1994) A practical guide to usability testing. Ablex Publishing Corporation.

104. ETSI (1991) Guide for usability evaluations. ETSI/TC-HF(91)4.

105. Houwing E.M., Wiethoff M., and Arnold A.G. (1993). Introduction to cognitive workload measurement. Delft University of Technology, Laboratory for Work & Interaction Technology (WIT Lab).

106. ISO/IEC 9001: Quality systems Model for quality assurance in design/development, production, installation and servicing

107. ISO/IEC 9126 Software Product Evaluation Quality Characteristics and Guidelines for the User.

108. Johnson P J (1992) Human Computer Interaction: psychology, task analysis and software engineering. McGraw Hill.

109. Kirakowski J & Corbett M, 1993, SUMI: the software Usability Measurement Inventory, BJEdTech 24.3 210-214

110. Kirakowski J (in press) The software usability measurement inventory: background and usage. In: P Jordan, В Thomas, & В Weerdmeester, Usability Evaluation in Industry. Taylor & Frances, UK.

111. Macleod M, Thomas C, Dillon A, Maissel J, Rengger R., Maguire M, Sweeney M, Corcoran R. and Bevan N. (1993) Usability Context Analysis handbook, Version 3. National Physical Laboratory, Teddington, UK.

112. Nasa-Ames Research Center, Human Performance Group (1986) Collecting NASA Workload Ratings: A Paper-and-Pencil Package. Moffet Field, CA: NASA-Ames Research Center

113. Rengger R, Macleod M, Bowden R, Drynan A and Blaney M. (1993) MUSiC Performance Measurement Handbook. National Physical Laboratory, DITC, Teddington, UK.

114. Shneiderman, В (1992) Designing the User Interface. Strategies for Effective Human-Computer Interaction, Reading, MA: Addison-Wesley

115. Stammers R B, Carey M S, Astley J A (1990) Task Analysis. In: Evaluation of Human Work A practical ergonomics methodology, Wilson J R and Corlette E N, (eds), pps 134-160. Taylor and Francis.

116. Whiteside J, Bennett J, Holzblatt К (1988) Usability engineering: our experience and evolution. In: Handbook of Human-Computer Interaction, He-lander M (ed). Elsevier.

117. Zijlstra, F.R.H. (1993) Efficiency in Work Behaviour: a Design Approach for Modern Tools. Delft: Delft University Press.

118. Nigel Bevan. ISO DIS 9241-11 (Draft). Ergonomic requirements for officework with visual display terminals (VDTs): ity.