автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Моделирование и анализ человеко-компьютерного взаимодействия на основе логирования событий

кандидата технических наук
Мартынов, Пётр Николаевич
город
Москва
год
2013
специальность ВАК РФ
05.13.17
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Моделирование и анализ человеко-компьютерного взаимодействия на основе логирования событий»

Автореферат диссертации по теме "Моделирование и анализ человеко-компьютерного взаимодействия на основе логирования событий"

На правах рукописи

Мартьшов Пётр Николаевич

МОДЕЛИРОВАНИЕ И АНАЛИЗ ЧЕЛОВЕКО-КОМПЬЮТЕРНОГО ВЗАИМОДЕЙСТВИЯ НА ОСНОВЕ ЛОГИРОВАНИЯ СОБЫТИЙ

05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 з 2013

005531623

Москва-2013

005531623

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный технологический университет «СТАНКИН» на кафедре «Управление и информатика в технических системах»

Научный руководитель: Ковшов Евгений Евгеньевич,

доктор технических наук, профессор

Официальные оппоненты: Никульчев Евгений Витальевич,

доктор технических наук, профессор, проректор по научной работе НОУ ВПО Московский технологический институт «ВТУ»

Фролов Евгений Борисович, доктор технических наук, профессор, профессор кафедры «Информационные технологии и вычислительные системы» ФГБОУ ВПО МГТУ «СТАНКИН»

Ведущая организация: ФГБОУ ВПО Рязанский государственный

радиотехнический университет

Защита состоится «26» сентября 2013 г. в 12м часов на заседании диссертационного совета Д 212.147.03 при Московском государственном университете печати имени Ивана Федорова (127550, г. Москва, ул. Прянишникова, 2А).

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Московский государственный университет печати имени Ивана Федорова»

Автореферат разослан «9» июля 2013 г.

Ученый секретарь

Диссертационного совета Д 212.147.03 д.т.н., профессор

В.Н. Агеев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Расширение числа программно-аппаратных платформ и операционных систем приводит к появлению большого разнообразия интерфейсов, ставя, тем самым, перед пользователем проблему выбора и необходимость хранить в памяти большое количество способов человеко-компьютерного взаимодействия. В свою очередь, рост возможностей и расширение функциональности программных приложений, приводит к разнообразию и усложнению интерфейса пользователя человеко-компьютерных систем, перегруженность которого негативно сказывается на эффективности работы человека, поскольку возникает необходимость концентрации внимания не только на рабочих задачах (что нужно сделать), но и на способах их решения (как это сделать). Сложная структура интерфейса порождает значительный информационный поток между человеком и компьютерной системой, и, при таком взаимодействии, пользователь программного обеспечения (ПО) является «узким местом» системы, поскольку его возможности по оперативной обработке данных как физически, так и психологически лимитированы. В связи с этим объективной необходимостью является создание интерфейсов человеко-компьютерного взаимодействия (4KB), ориентированных на возможности и задачи конечного пользователя.

Для оценки 4KB, в структуре модели управления качеством ПО, разработанной Международной организацией по стандартизации, существует дополнительная комплексная характеристика качества - пригодность использования (юзабилити, usability), которая согласно ГОСТ Р ИСО 9241-112010, определяется как «свойство продукции, при наличии которого установленный пользователь может применить продукцию в определенных условиях использования для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью».

В силу широкого распространения, особый интерес представляет класс Ж/МР-интерфейсов (Window, Image, Menu, Pointing device), который характеризуется работой пользователя в «окнах», использованием пиктограмм, графических образов, различных меню и взаимодействием пользователя с ПО посредством указывающих устройств. Для оценки и улучшения юзабилити ^/MP-интерфейса существуют различные методики, при этом для большинства характерны следующие основные недостатки:

- практически все методики имеют ограниченное применение, в связи с чем, возникает необходимость их комбинирования, что существенно увеличивает стоимость исследований;

- преобладают методики исследований, позволяющие качественно, а не количественно оценивать юзабилити, результаты применения которых имеют субъективную интерпретацию;

- уровень автоматизации большинства методик всё ещё достаточно низкий, большая часть рутинной работы выполняется специалистами по исследованию и проектированию интерфейсов пользователя ПО.

При этом во многих практических областях применения ПО (промышленные автоматизированные системы управления, медицинские и образовательные информационные системы), наиболее важными параметрами работы человека являются скорость его реакций и производительность, в то время как существующие методики либо совсем не позволяют количественно оценить эти параметры на статистически значимой выборке пользователей, либо стоимость таких исследований очень высока и не сопоставима со стоимостью разработки ПО.

Степень разработанности проблемы. Основополагающие и наиболее популярные методики исследования и улучшения характеристик ПО с точки зрения пользователя базируются на знаниях, полученных на стыке таких научных областей, как эргономика, человеко-машинное взаимодействие, психология и социология. В течение последних десятилетий свой вклад в их создание и развитие внесли многие зарубежные (Я. Нильсен, С. Кард, Б. Шнейдерман, А. Купер, Д. Норман, Дж. Раскин, Д. Кирас и другие) и ряд отечественных учёных (А.Н. Костин, П.И. Падерно, А.Н. Анохин и другие). Были разработаны методики когнитивного моделирования ЧКВ, различные вариации тестирований с участием пользователей ПО и экспертной оценки, а также адаптированы методики психолого-социологических исследований. В последние годы в работах молодых отечественных учёных предлагается ряд новых подходов к исследованию, проектированию и оценке интерфейса пользователя, большинство из которых имеют либо узкую направленность, либо ограниченное применение. Например, Пономаревым И.А. предложена методика формализованного анализа графического интерфейса статических экранных форм без участия пользователей. Бакаев М.А. в своей диссертационной работе предлагает систему поддержки принятия решений для проектирования интерфейсной части интернет ресурсов. Сухов A.A. в рамках своей научной работы реализует программную систему повышения качества промышленных компьютерных тренажерных систем (интерфейсы на мнемосхемах). Кораблев Д.А. предлагает критерии и методику оценки эффективности интерфейсов пользователя систем электронного документооборота.

Несмотря на большое число теоретических и практических работ и публикаций, в исследуемом научном направлении всё ещё существует ряд нерешённых задач и возможностей для инноваций. В частности, вопросы снижения стоимости исследований с участием большого числа пользователей и получения на их основе количественной оценки реального человеко-компьютерного взаимодействия.

Таким образом, актуальной задачей является разработка новой, менее трудоёмкой методики исследования интерфейса пользователя ПО, позволяющей снизить стоимость и продолжительность различных этапов тестирования с участием большого числа пользователей, с целью обеспечения объективности оценки эргономических характеристик человеко-компьютерного взаимодействия.

Объектом исследования диссертационной работы является WIMP-интерфейс пользователя ПО, предназначенного для работы на персональной ЭВМ под управлением операционной системы (ОС) Microsoft Windows.

Предметом исследования является модель человеко-компьютерного взаимодействия, построенная на основе аккумулирования и анализа данных, собираемых о работе пользователя с ПО или выполнения им тестовых заданий.

Область исследования. Диссертационная работа выполнена в соответствии с п. 5 «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях; ...» и п. 6 «Разработка методов, языков и моделей человеко-машинного общения; ...» Паспорта специальностей ВАК РФ по специальности 05.13.17 - «Теоретические основы информатики» (технические науки).

Целью работы является разработка новой методики исследования интерфейса пользователя, обеспечивающей моделирование и анализ человеко-компьютерного взаимодействия на основе логирования событий, с целью повышения удобства и продуктивности работы с программным обеспечением.

Для достижения поставленной цели в работе были решены следующие научные задачи:

1. Анализ существующих методик исследования и оценки интерфейсов пользователя компьютерных систем, их аппаратно-программного, информационного и нормативного обеспечения.

2. Анализ преимуществ и недостатков существующих методик, формирование концепции исследования интерфейса пользователя, обеспечивающей упрощение его тестирования.

3. Разработка модели количественной оценки человеко-компьютерного взаимодействия на основе работы пользователя с ПО и выполнения им тестовых заданий.

4. Разработка метрик и алгоритмов для автоматизации анализа математической модели человеко-компьютерного взаимодействия.

5. Разработка исследовательского программного комплекса, обеспечивающего фиксацию взаимодействий конечного пользователя с интерфейсом ПО на основе логирования событий с последующей визуализацией и предварительным анализом данных, полученных в ходе исследований.

Методы исследования. Для решения поставленных в работе задач использовались методы системного анализа и проектирования, методы кластерного анализа, эволюционного моделирования и математической статистики, дискретной математики (теории алгоритмов, теории графов), теории реляционных баз данных, теории объектно-ориентированного моделирования и программирования.

Научная новизна диссертационной работы заключается в следующих положениях:

1. Разработана математическая модель человеко-компьютерного взаимодействия, позволяющая формировать количественную оценку основных пользовательских характеристик исследуемого УР1МР-интерфейса программного обеспечения.

2. Разработаны метрики и алгоритмы автоматизированного анализа математической модели, а также генетический алгоритм (ГА) поиска эффективных и неэффективных путей взаимодействия пользователя с программным обеспечением с целью выработки рекомендаций по модификации интерфейса пользователя.

3. Разработана новая методика тестирования юзабилити интерфейса пользователя программного обеспечения, позволяющая снизить трудоёмкость и стоимость исследований путём автоматизации наиболее рутинных этапов сбора экспериментальных данных, их обработки и анализа.

Практическая значимость. Применение разработанной методики позволяет получить статистически значимую оценку количественных характеристик человеко-компьютерного взаимодействия при сопоставимой стоимости исследований в сравнении с существующими методиками юзабилити тестирования. Благодаря автоматизации разработанной методики обеспечивается снижение трудоёмкости исследований эргономических характеристик интерфейса пользователя при проведении тестирования в условиях ограниченных сроков разработки ПО.

Основные положения, выносимые на защиту:

1. Модель человеко-компьютерного взаимодействия, позволяющая формировать количественную оценку основных пользовательских характеристик исследуемого И7А/Р-интерфейса программного обеспечения.

2. Генетический алгоритм поиска эффективных (неэффективных) путей взаимодействия пользователя с программным обеспечением.

3. Методика автоматизированного тестирования юзабилити программного обеспечения с участием пользователей.

Достоверность и обоснованность научных положений и выводов обеспечивается корректным использованием базовых методов исследования и математического аппарата. Достоверность результатов работы подтверждается результатами экспериментальных исследований и сравнением данных, полученных в ходе экспериментов, с данными, полученными ранее по рассматриваемой тематике.

Реализация результатов работы. Результаты диссертационной работы внедрены в учебный процесс ФГБОУ ВПО МГТУ «СТАНКИН» и в настоящее время используются при подготовке бакалавров по направлению 230700.62 «Прикладная информатика» (курс «Информационные системы»). Материалы диссертационной работы использованы в качестве методологической основы при разработке общеуниверситетских курсов лекций и практических занятий по дисциплинам «Информатика», «Программирование и основы алгоритмизации», «Человеко-машинные системы управления».

Предложенная методика и разработанный на её основе программный комплекс внедрены в процесс разработки и сопровождения прикладного ПО информационных систем в научно-практических разработках малого инновационного предприятия ООО «Компьютерные системы и технологии» (г. Москва).

Результаты работы подтверждены актами внедрения, имеющимися в приложении к диссертации.

На программный комплекс «Распределённая система тестирования интерфейса пользователя программных приложений» в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам получено Свидетельство о государственной регистрации программы для ЭВМ №2013613413 от 04.04.2013 г.

Апробация работы. Основные научные и практические результаты работы докладывались и обсуждались на следующих конференциях и семинарах: Межвузовской научной конференции молодых учёных и студентов «Инновации в экономике» (Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2009,

2010, 2011); III Всероссийской студенческой научно-технической конференции «Прикладная информатика и математическое моделирование» (Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2009); Международной научно-практической конференции «Перспективные инновации в науке, образовании, производстве и транспорте '2009» (Одесса, УКРНИИМФ, 2009); Ш научно-образовательной конференции «Машиностроение - традиции и инновации» (Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2010); Всероссийской молодёжной конференции «Инновационные технологии в машиностроении» (Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2011); Научно-технической международной молодёжной конференции «Системы, методы, техника и технология обработки медиаконтента» (Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2011); Международной конференции «New Information Technologies in Image Processing» (Тампере, Технологический университет Тампере, 2011); Международной научно-практической конференции «Инновационные информационные технологии (/27)» (Прага, Российский центр науки и культуры в Праге, 2012).

Публикации по теме работы. По теме диссертации опубликовано 17 научных работ, в том числе 4 статьи в журналах, входящих в перечень ВАК РФ. Получено Свидетельство о государственной регистрации программы для ЭВМ.

Структура и содержание диссертации. Диссертационная работа изложена на 153 страницах машинописного текста и состоит из введения, четырех глав, заключения, списка литературы и четырёх приложений. Список литературы включает 156 источников.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность работы, рассматривается цель, задачи и методы исследования, а также научная новизна, практическая значимость и апробация результатов работы.

В первой главе проводится обзор существующих методик исследования юзабилити интерфейсов пользователя, которые активно применяются на практике для оценки пользовательских характеристик качества ПО с WIMP-интерфейсом. Даётся краткое описание и классификация, в соответствии с которой различают: методики когнитивного моделирования, экспертной оценки, социологических исследований, тестирования и симуляции.

В работе проведён анализ методик на основе опыта их практического применения, мнений учёных и экспертов в области исследования и проектирования интерфейсов пользователя компьютерных информационных систем. Методики рассматриваются с точки зрения их применимости на различных этапах жизненного цикла ПО и степени автоматизации. Оценивается

относительная стоимость и трудоёмкость их применения, а также объём, качество и достоверность получаемых с их помощью результатов.

Рассмотрено нормативное и программное обеспечение существующих методик исследования юзабилити. Выполнен обзор международных стандартов (ISO 9241, ISO/TR 18529, ISO 14915, ISO/TR 16982, ISO/IEC TR 9126), руководств (GNOME Human Interface Guidelines 2.2.3, OS X Human Interface Guidelines, Windows User Experience Interaction Guidelines) и рекомендаций на их основе. Проанализирована применимость и ограничения рассмотренных рекомендаций. Анализируются существующие программные решения и сервисы, применяемые для упрощения исследований юзабилити, предлагается их следующая классификация: системы моделирования человеко-компьютерного взаимодействия, системы стационарного юзабилити тестирования, системы дистанционного юзабилити тестирования и автоматизированные сервисы тестирования. Проводится обзор и сравнение их функциональных возможностей, областей применения, выявляются сильные и слабые стороны, обобщаются преимущества и недостатки различных классов программных решений, формируются основные выводы о существующих направлениях автоматизации исследований интерфейсов пользователя ПО.

На основе проведённого анализа в работе формулируются ключевые преимущества и недостатки рассмотренных методик, кратко описываются алгоритмы проведения исследований и рекомендации по их применению. Резюмируется возможность усовершенствования и ограниченность применения существующих методик исследования интерфейсов пользователя ПО, поскольку они дорогостоящи и трудоёмки, рассматривают не все аспекты 4KB и формируют упрощённые модели активности, или рассматривают интерфейс без участия конечных пользователей.

Во второй главе рассмотрено применение логирования событий в качестве методики исследования интерфейса пользователя ПО. Произведён обзор и сравнение существующих практических реализаций систем логирования 4KB.

На основе данных и рекомендаций, полученных в ходе проведённого в первой главе аналитического обзора, сформулирована концепция разработки новой методики и её программно-алгоритмического инструментария, а также основные принципы её построения, заключающиеся в следующем:

- исследование интерфейса должно происходить с участием потенциальных пользователей;

- минимизация стоимости исследования за счёт проведения дистанционного тестирования, которое обеспечивает сбор информации в обстановке, привычной и удобной пользователю;

- автоматизация этапов проведения исследования, обработки, систематизации полученных данных и их анализа с целью снижения рутинной нагрузки на специалистов по исследованию и проектированию интерфейсов пользователя ПО;

- фиксация объективных количественных характеристик интерфейса пользователя ПО, во избежание субъективной интерпретации данных исследований;

- моделирование человеко-компьютерного взаимодействия на основе количественных характеристик, для автоматизированного выявления ошибок проектирования интерфейса пользователя ПО;

- замена трудоёмкого анализа аудиовизуальной информации анализом математической модели.

Проводится обзор метрик юзабилити, применяемых при количественной оценке ЧКВ, рассматривается их применимость. Описывается разработанная методика исследования интерфейсов пользователя и её составляющие, рассматриваются теоретические основы её реализации, практическое применение, описание хода исследования и получаемых результатов. Ключевой составляющей разработанной методики исследования является математическая модель, основанная на пользовательской активности.

Окно программного приложения, его ШМР- интерфейс - это, фактически, набор нескольких «слоев», которые содержат элементы управления ПО. Предполагаем, что взаимодействие пользователя с ПО сводится к восприятию отображаемой информации, активации необходимых элементов управления посредством устройств ввода и переходам между активируемыми элементами управления. Исходя из этого, модель человеко-компьютерного взаимодействия представляется в виде взвешенного ориентированного графа:

О = (У,А,Щ.УГа), (1)

где V = {У1, У2,..., Ц,} - множество вершин графа (задействованные пользователем в его работе элементы управления), А = {А1,А2, ...,Ат) -множество дуг (переходы пользователя между элементами управления интерфейса), 771, п в N. = (X, У, К) - веса вершин, характеризующееся кортежем из трёх множеств, где X = {Х1,Х2,... ,Хп] и У = {У1, У2,..., Уп] -множества, содержащие соответствующие координаты вершин, К = К2,..., Кп) - множество весов вершин, характеризующее количество зафиксированных взаимодействий пользователя с соответствующим элементом управления. Щ = (Р, 5, Т) - веса дуг орграфа, характеризующиеся кортежем трёх множеств, где Р = {Р1,Р2, - ,Рт} ~ множество, каждый элемент которого

хранит число переходов пользователя по заданной дуге, 5 = {51,52, ...,5т}

множество, каждый элемент которого содержит длину дуги в координатах программы и Т = {Г1(Т2, -,Тт} - множество, каждый элемент которого хранит среднее время перехода пользователя по заданной дуге, определяемое по формуле:

где Тц - время, за которое был осуществлён _/-ый переход пользователя по £-ой дуге, а Р£ - общее число переходов по ¿-ой дуге, £ £ [1, т].

Модель строится на основе количественных данных, зафиксированных в ходе тестирования интерфейса пользователем. В качестве исходной информации для моделирования используются: идентификатор элемента управления, экранные координаты взаимодействия, тип взаимодействия, время взаимодействия, а также общие параметры программно-аппаратной системы, в которой работает пользователь (такие как: разрешение экрана, тип и версия ОС, тип эксперимента и другие). На основе аккумулируемых данных первоначально производится визуализация последовательности действий пользователя. На следующем этапе на основе последовательности действий происходит формирование орграфа.

В диссертационной работе подробно рассматриваются возможности автоматизированного анализа полученной модели, и их практическая реализация. Анализ получаемого взвешенного ориентированного графа выявляет следующие аспекты человеко-компьютерного взаимодействия:

- определение элементов управления, которым пользователь отдаёт предпочтение в работе на основе весов вершин;

- анализ расположения групп элементов управления интерфейса пользователя ПО и связей (переходов пользователя) между этими группами;

- обнаружение типичных для пользователя методов взаимодействия с программой (поиск путей в графе с наибольшим числом переходов);

- обнаружение последовательностей действий, выполнение которых занимает у пользователя продолжительное время в процессе работы;

- поиск последовательностей элементов управления, которые пользователь эффективно применяет в своей работе (характеризуются наибольшей скоростью переходов);

(2)

- анализ основных метрик юзабилити интерфейса пользователя ПО на основе сравнения с эталонной моделью выполнения пользователем тестовых задач.

В качестве одного из направлений автоматизации анализа данных исследования интерфейса пользователя ПО описывается ГА поиска непрерывных путей в орграфе, осуществляющий предварительную подготовку аналитических данных для специалиста по юзабилити. Методы эволюционного моделирования были выбраны для задач анализа орграфа, поскольку они осуществляют субоптимальный поиск решений, а в качестве результата формируют выборку путей, а не единственный путь. В частности, для выявления путей в графе с перечисленными выше характеристиками, были предложены следующие целевые функции:

min/(S,T)=|jHp

Li=i'i

max/(S.n=!lNp (4)

2ii=i'i

max/(P) = Щ(5) к

где к - число дуг в пути, к 6 N, Pj, Sh Ti - веса i-той дуги, входящей в путь. Функция (3) позволяет выявлять пути пользователя, характеризующиеся высокой скоростью работы, а функция (4), соответственно, пути с низкой скоростью. Поиск на основе целевой функции (5) позволяет отбирать пути в графе с наибольшим числом переходов, то есть последовательностей действий, которые пользователь выполнял наиболее часто. Последующий анализ скоростных характеристик таких путей позволяет определить их эффективность и, при необходимости, сформулировать рекомендации по реорганизации блоков интерфейса для повышения удобства и скорости работы пользователя.

Для реализации задачи ГА поиска непрерывных путей переменной длины в ориентированном графе, были предложены следующие решения: методика описания генов, состоящих из двух хромосом, которая позволяет хранить непрерывные пути в графе переменной длины с различным числом вершин, а также модифицированные операторы кроссинговера и мутации (операторы, не нарушающие непрерывность пути).

На рис. 1 приведена блок-схема ГА поиска решений. Эволюция особей продолжается до условия останова, которым может быть либо достижение экстремума целевой функции для одной из особей популяции, либо выполнение

конечного числа итераций развития. Второе условие может быть использовано, когда требуется подготовить аналитическую информацию для специалиста за прогнозируемый временной промежуток, в таком случае число итераций выбирается произвольно специалистом, проводящим исследование.

Рис. 1. Блок-схема работы генетического алгоритма

В качестве дополнительных возможностей анализа в работе предлагается статистическая обработка орграфов, по результатам которой формируется модель с усреднёнными показателями. В такой модели элементами выборки являются множество графов взаимодействий пользователя с исследуемым ПО:

£>5 = {£>1 и иг и ... и от}, (6)

где т - размер выборки, т в Ы, Ог, 02, ... , От - орграфы, входящие в выборку. 05 - среднестатистический ориентированный граф. Множества вершин и дуг, входящие в выборку, являются подмножествами вершин и дуг общего графа, параметры которого определяются как средние арифметические соответствующих параметров орграфов выборки. Полученная среднестатистическая модель ЧКВ, как и орграф активности одного пользователя, подвергается количественному анализу.

В третьей главе рассматривается разработанное ПО, реализующее процедуры тестирования и исследования интерфейса пользователя по созданной в диссертационной работе методике. Архитектура ПО представлена (рис. 2) комбинацией самостоятельных функциональных блоков (программных

агентов), соответствующих этапам сбора, подготовки, хранения информации,

предподготовки данных и предварительного анализа математической модели.

юзабилити специалисты

пользователи

Визуализация графа, предварительный анализ

____________I___

Рис. 2. Архитектура разработанного программного обеспечения

Блок сбора данных функционирует на рабочих местах пользователей исследуемого ПО (рис. 2) и пересылает структурированные отчёты о взаимодействиях на сервер разработчиков интерфейса пользователя. Блок обработки информации и сервер реляционной базы данных функционируют на аппаратном обеспечении разработчика ПО в непрерывном режиме. Блок, осуществляющий визуализацию модели графа и её анализ, функционирует на рабочих («клиентских») местах специалистов по проектированию интерфейсов в виде тонкого weè-клиента и получает параметры моделирования из базы данных, расположенной на сервере разработчика. Согласно используемой программной архитектуре, система реализована в виде трёх автономных блоков, которые, исходя из условий промышленной эксплуатации и функциональных требований, созданы с применением различных программных технологий.

Блок фиксации действий пользователя в WIMP-интерфейсе разработан в системе программирования Borland Delphi 7.0 (диалект Object Pascal) для функционирования в ОС Microsoft Windows и реализован в двух вариантах: в виде динамически подключаемой программной библиотеки (Dynamic-Link Library, DLL), интегрируемой в исследуемое ПО на этапе разработки, и в виде отдельного программного решения, осуществляющего логирование действий пользователя в ОС. В своей реализации модуль использует возможность установки низкоуровневых обработчиков («ловушек») для различных событий операционной системы. В ОС семейства Microsoft Windows каждому окну и его элементам управления соответствует уникальный идентификатор (handle), с помощью которого возможно определить отдельные компоненты интерфейса

пользователя. Именно эти идентификаторы фиксируются в логе активности пользователя. Далее, все события зафиксированной последовательности с одинаковыми значениями идентификатора преобразуются в соответствующие вершины орграфа, переходы между событиями преобразуются в дуги, соединяющие вершины орграфа, и вычисляются весовые параметры модели.

Опыт исследований современных интерфейсов пользователя ПО с применением созданной методики показал, что уникальный идентификатор {handle) зачастую соответствует не отдельному элементу управления, а их группе. В таком случае при формировании орграфа из данных лога исследования, формируемая модель оказывалась неточной. Поэтому для решения обозначенной проблемы было предложено применение кластеризации точек последовательности для получения вершин графа.

В результате анализа существующих алгоритмов был выбран метод графовой кластеризации FOREL (ФОРмальный ЭЛемент) (Загоруйко-Ёлкина, 1967) как наиболее подходящий для данной задачи.

Рис. 3. Алгоритм кластеризации /-го подмножества U

Пусть U - множество точек, формирующих последовательность действий пользователя в исследуемой программе. Тогда U = {U1,U2,-,Ui} -это разбиение на подмножества, которые объединены по принципу равенства идентификатора (handle) элемента управления интерфейса, где I - общее число уникальных значений идентификаторов, I £ N. Для каждого í/¿ выполняется алгоритм, представленный на рис. 3. Параметр R, используемый в алгоритме, характеризует геометрические размеры элемента интерфейса и может настраиваться специалистом, поскольку в зависимости от объёма функций исследуемой программы и компоновки её интерфейса, размер элементов управления может различаться. По результатам работы алгоритма для каждого Ui получаем соответствующие подграфы Dt. Далее на основе информации о переходах (из последовательности действий пользователя) между подмножествами U, объединяем I подграфов в один результирующий, рассчитываем веса для вершин и ребер и получаем орграф 4KB D. Подобная настройка модели производится на основе данных первого исследования интерфейса ПО. Для последующих исследований того же интерфейса математическая модель строится автоматически с учётом разбиения элементов, полученных в первом эксперименте.

Блок обработки и хранения информации реализован на языке программирования PHP и функционирует на weó-сервере Apache. В качестве системы управления базами данных использована свободно распространяемая СУБД MySQL. Выбор технологической платформы обработчика обусловлен применением «open source» решений, низкой стоимостью её эксплуатации и широким распространением программных технологий.

Для создания инструментария юзабилити специалиста, позволяющего просматривать результаты исследований, моделировать интерфейс и осуществлять предварительный анализ использовалась технология weft-сервиса, серверная часть которого также реализована на языке программирования PHP, поскольку в его структуру входит часть классов описания данных из блока обработки. Клиентская часть блока на основе обработанных сервером данных, осуществляет визуализацию моделей и их количественных характеристик. В основе клиентской части лежат современные технологии интернет: HTML 5, CSS 3, JavaScript 1.8.3 и AJAX в исполнении многофункциональных программных библиотек jQuery и jQuery UI, обеспечивающих отображение моделей, интерактивность и асинхронное взаимодействие с серверной частью. Для отображения орграфов использована свободно распространяемая библиотека D3.js.

В главе описаны технологии и методы, использованные при разработке модулей информационной системы, автоматизирующей проведение

тестирования интерфейсов пользователя ПО, рассматриваются модели хранения и представления больших объёмов данных. Приводятся описания ключевых этапов разработки, структуры решений и основной функциональности ПО.

В четвертой главе выполняется сравнение разработанной методики исследования интерфейса пользователя ПО и дистанционного юзабилити тестирования с фиксацией количественных показателей ЧКВ. Описан процесс разработки и проведения натурного эксперимента, результаты которого подтвердили гипотезу о том, что для задач фиксации количественных характеристик человеко-компьютерного взаимодействия разработанная методика может успешно заменить существующую методику дистанционного или лабораторного тестирования.

Проанализированы основные факторы, формирующие стоимость исследований интерфейса пользователя с применением существующих методик тестирования человеко-компьютерного взаимодействия. Произведена сравнительная оценка временных затрат при проведении исследований интерфейса пользователя программного обеспечения по предложенной в диссертационной работе методике и на основе существующих.

Предложена формула, позволяющая рассчитать, насколько применение разработанной методики эффективнее для специалиста с точки зрения временных затрат по сравнению с применением существующих методик юзабилити тестирования.

Определены границы области эффективного применения разработанной методики. Приведены примеры рекомендаций и возможных вариантов модификации интерфейса пользователя исследуемого ПО, формируемые специалистом по результатам исследования и анализа данных с применением разработанной методики.

На основе данных выполненного эксперимента установлено, что проведение серий тестирований интерфейса пользователя по новой методике обеспечивает снижение временных затрат в среднем порядка 20% при участии небольшого числа респондентов и более 50% при исследовании больших выборок пользователей по сравнению с временными затратами специалиста по классической схеме управляемого дистанционного юзабилити тестирования с фиксацией количественных характеристик человеко-компьютерного взаимодействия.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

В результате проведенных исследований получены следующие научные

и практические результаты:

1. Решена актуальная научная задача, заключающаяся в разработке методики моделирования и анализа человеко-компьютерного взаимодействия на основе логирования событий и имеющая существенное значение для снижения стоимости и трудоёмкости исследования интерфейсов пользователя ПО.

2. Проведён анализ существующих методик исследования и оценки интерфейсов пользователя ПО, их программно-аппаратного, информационного и нормативного обеспечения, на основе которого сформирована концепция новой методики.

3. Разработана количественная модель человеко-компьютерного взаимодействия на основе работы пользователя с ПО и выполнения им тестовых заданий, позволяющая проводить, в том числе, статистический анализ.

4. Разработаны метрики и алгоритмы анализа математической модели человеко-компьютерного взаимодействия, позволяющие перейти к автоматизированному анализу интерфейса пользователя ПО.

5. Разработан исследовательский программный комплекс, осуществляющий фиксацию взаимодействий конечного пользователя с интерфейсом ПО для платформы Microsoft Windows на основе механизма логирования событий с последующей визуализацией и предварительным анализом данных, полученных в ходе исследований.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

В изданиях, рекомендованных ВАК РФ:

1. Мартынов П.Н. Автоматизация оценки эффективности взаимодействия конечного пользователя с обучающей информационной системой на основе математических моделей / Е.Е. Ковшов, П.Н. Мартынов, Нгуен Нгок Хуэ, Фам Чунг Киен // Научно-практический журнал «Открытое образование», № 1. - М.: Издательство МЭСИ, 2010. - с. 37-43.

2. Мартынов П.Н. Применение генетического алгоритма при анализе модели взаимодействия пользователя с интерактивным программным обеспечением / Е.В. Борисенко, П.Н. Мартынов // Известия высших учебных заведений. Научно-технический журнал «Проблемы

полиграфии и издательского дела», № 5. - М.: РИЦ МГУП, 2010. - с. 91-97.

3. Мартынов П.Н. Разработка средств автоматизации тестирования интерфейсов пользователя в человеко-машинных системах управления / П.Н. Мартынов, Е.Е. Ковшов // Теоретический и прикладной научно-технический журнал «Информационные технологии», № 7. - М.: Издательство «Новые технологии», 2012. - с. 42-46.

4. Мартынов П.Н. Разработка информационной системы для управления инновациями на основе «облачных» программных технологий / Е.Е. Ковшов, П.Н. Мартынов // Научно-методический журнал «Межотраслевая информационная служба», № 4. - М.: ФГУП «ВИМИ», 2012. - с. 37-42.

В других изданиях:

5. Мартынов П.Н. Инновационный подход к оценке эффективности взаимодействия конечного пользователя с интерактивной компьютерной системой // Инновации в экономике - 2009: материалы научной конференции молодых учёных и студентов. - М.: ГОУ ВПО МГТУ «Станкин», 2009. -с. 91-93.

6. Мартынов П.Н. Оценка удобства работы в системе «человек-ЭВМ» на основе статистических моделей // Прикладная информатика и математическое моделирование: Межвузовский сборник научных трудов. - М.: МГУП, 2009. - с. 164-168: ил.

7. Мартынов П.Н. Оценка эффективности интерактивного взаимодействия пользователя с компьютерной системой / Е.В. Борисенко, Е.Е. Ковшов, П.Н. Мартынов // Сборник научных трудов по материалам международной научно-практической конференции «Перспективные инновации в науке, образовании, производстве и транспорте '2009». Том 2. Технические науки. - Одесса: Черноморье, 2009. - с. 47-50.

8. Мартынов П.Н. Универсальный программный подход при тестировании интерфейса пользователя с применением искусственной нейронной сети // Инновации в экономике - 2010. Материалы научной конференции молодых учёных и студентов. - М.: ИЦ МГТУ «Станкин», 2010. - с. 93-96.

9. Мартынов П.Н. Хранение и обработка /og-данных для моделирования человеко-машинного взаимодействия // Задачи системного анализа, управления и обработки информации: межвузовский сборник

научных трудов. Вып. 3 / под общ. ред. Е.В. Никульчева. - М.: МГУП, 2010. - с. 80-83.

Ю.Мартынов П.Н. Исследование эргономики интерактивного взаимодействия пользователя с программным обеспечением на основе экспериментальных данных / П.Н. Мартынов, Е.В. Борисенко // Управление качеством машиностроительных технологических процессов формообразования: труды международной конференции. -М.: ИЦ МГТУ «Станкин», 2010. - с. 13-15.

П.Мартынов П.Н. Моделирование и оптимизация пользовательского интерфейса прикладного программного обеспечения промышленной АСУ // Материалы Ш научно-образовательной конференции «Машиностроение - традиции и инновации» (МТИ-2010). Секция «Автоматизация и информационные технологии». Сборник докладов. -М.: МГТУ «Станкин», 2010.-е. 123-127.

12.Мартынов П.Н. Сокращение цикла разработки программного обеспечения путем автоматизации анализа моделей интерактивного взаимодействия // Инновации в экономике - 2011. Материалы научной конференции молодых ученых и студентов. - М: ИЦ МГТУ «Станкин», 2011. - с. 79-81.

1 З.Мартынов П.Н. Исследование интерфейсов человеко-машинных систем управления на платформе Wintel // Материалы всероссийской молодёжной конференции «Инновационные технологии в машиностроении (ИТМ-2011)». Сборник докладов. - М.: МГТУ «СТАНКИН», 2011. - с. 225-227.

14.Мартынов П.Н. Interface research automation in man-machine control systems // Научно-техническая международная молодёжная конференция «Системы, методы, техника и технология обработки медиаконтента»: Сборник тезисов. - М: РИЦ МГУП, 2011. - с. 4.

15.Мартынов П.Н. Метод интерактивного исследования интерфейса пользователя обучающих информационных систем // Инновационные информационные технологии: Материалы международной научно-практической конференции. / Под ред., С.У. Увайсова; Отв. за вып. И.А. Иванов, Л.М. Агеева, Д.А. Дубоделова, В.Е. Еремина. - М.: МИЭМ, 2012.-е. 99-101.

16.Мартынов П.Н. Моделирование человеко-компьютерных взаимодействий как метод оценки интерфейса медицинских систем [Электронный ресурс]: Сборник тезисов научно-практической конференции «MedSoft-HayKa-2012». - Электронные данные. - [М.].:

АРМИТ, сор. 2012. - Режим доступа:

http://www.armit.ru/medsoft/science/data/

Патенты, свидетельства на программы для ЭВМ 17.Мартынов П.Н., Ковшов Е.Е. «Распределённая система тестирования интерфейса пользователя программных приложений»: Свидетельство о государственной регистрации программы для ЭВМ № 2013613413 // Федеральная служба по интеллектуальной собственности. -04.04.2013.

Текст работы Мартынов, Пётр Николаевич, диссертация по теме Теоретические основы информатики

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский государственный технологический университет

«СТАНКИН»

04201361016

Мартынов Пётр Николаевич

Моделирование и анализ человеко-компьютерного взаимодействия на основе логирования событий

05.13.17 - Теоретические основы информатики

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель доктор технических наук, профессор

ОГЛАВЛЕНИЕ

список сокращений...............................................................................................4

введение.........................................................................................................................5

глава 1. существующие методики исследования интерфейса пользователя............................................................................................................13

1.1. Обзор существующих методик..........................................................................13

1.2. Сравнительный анализ рассмотренных методик............................................32

1.3. Нормативное обеспечение методик исследования интерфейсов пользователя...............................................................................................................39

1.4. Программное обеспечение для тестирования интерфейсов пользователя . 43 Постановка задачи исследовательской работы....................................................52

глава 2. разработка методики моделирования и анализа

человеко-компьютерного взаимодействия.......................................55

2.1 логирование действий пользователя................................................................55

2.2. Концепция разработки новой методики...........................................................64

2.3. Автоматизированный анализ математической модели................................72

2.4. Генетический алгоритм поиска эффективных и неэффективных шаблонов

взаимодействий пользователя с ПО........................................................................82

Выводы по главе 2......................................................................................................88

глава 3. проектирование системы логирования событий и программная реализация.................................................................................89

3.1. Проектирование системы логирования событий............................................89

3.2. Реализация блока сбора данных исследования..............................................97

3.3. Блок обработки и хранения экспериментальной информации....................101

3.4. Реализация блока моделирования и анализа интерфейса пользователя ..105 Выводы по главе 3....................................................................................................107

глава 4. верификация методики. анализ экономической эффективности и области применения...............................................108

4.1. Сравнение разработанной методики с существующими.............................108

4.2. Оценка экономической эффективности применения методики.................119

4.3. Область применения разработанной методики и варианты модификации интерфейса пользователя........................................................................................129

4.4. Перспективы развития методики.....................................................................131

Выводы по главе 4....................................................................................................132

основные выводы и результаты................................................................133

список использованной литературы....................................................134

приложение а. акты внедрения..................................................................154

приложение б. свидетельство о регистрации по для эвм........156

приложение в. программный код классов обработки данных

исследования.........................................................................................................157

приложение г. список обнаруженных ошибок юзабилити интерфейса пользователя по \vpchanger...........................................166

СПИСОК СОКРАЩЕНИЙ

ГА - генетический алгоритм;

ОС - операционная система;

ПО - программное обеспечение;

СУБД - система управления базами данных;

ЦФ - целевая функция;

4KB - человеко-компьютерное взаимодействие;

ЭВМ - электронная вычислительная машина;

LSA - статистический последовательный анализ {Lag Sequential Analysis);

MRP - паттерн, повторяющийся наибольшее число раз в исходной

последовательности {Maximal Repeating Pattern).

ВВЕДЕНИЕ

Актуальность работы. Расширение числа программно-аппаратных платформ и операционных систем приводит к появлению большого разнообразия интерфейсов, ставя, тем самым, перед пользователем проблему выбора и необходимость хранить в памяти большое количество способов человеко-компьютерного взаимодействия. В свою очередь, рост возможностей и расширение функциональности программных приложений, приводит к разнообразию и усложнению интерфейса пользователя человеко-компьютерных систем, перегруженность которого негативно сказывается на эффективности работы человека, поскольку возникает необходимость концентрации внимания не только на рабочих задачах (что нужно сделать), но и на способах их решения (как это сделать). Сложная структура интерфейса порождает значительный информационный поток между человеком и компьютерной системой, и, при таком взаимодействии, пользователь программного обеспечения (ПО) является «узким местом» системы, поскольку его возможности по оперативной обработке данных как физически, так и психологически лимитированы. В связи с этим объективной необходимостью является создание интерфейсов человеко-компьютерного взаимодействия (4KB), ориентированных на возможности и задачи конечного пользователя.

Для оценки 4KB, в структуре модели управления качеством ПО, разработанной Международной организацией по стандартизации, существует дополнительная комплексная характеристика качества - пригодность использования (юзабилити, usability), которая согласно ГОСТ Р ИСО 9241-112010, определяется как «свойство продукции, при наличии которого установленный пользователь может применить продукцию в определенных условиях использования для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью».

В силу широкого распространения, особый интерес представляет класс Ж/МР-интерфейсов (Window, Image, Menu, Pointing device), который

характеризуется работой пользователя в «окнах», использованием пиктограмм, графических образов, различных меню и взаимодействием пользователя с ПО посредством указывающих устройств. Для оценки и улучшения юзабилити Ж/МР-интерфейса существуют различные методики, при этом для большинства характерны следующие основные недостатки:

- практически все методики имеют ограниченное применение, в связи с чем, возникает необходимость их комбинирования, что существенно увеличивает стоимость исследований;

- преобладают методики исследований, позволяющие качественно, а не количественно оценивать юзабилити, результаты применения которых имеют субъективную интерпретацию;

- уровень автоматизации большинства методик всё ещё достаточно низкий, большая часть рутинной работы выполняется специалистами по исследованию и проектированию интерфейсов пользователя ПО.

При этом во многих практических областях применения ПО (промышленные автоматизированные системы управления, медицинские и образовательные информационные системы), наиболее важными параметрами работы человека являются скорость его реакций и производительность, в то время как существующие методики либо совсем не позволяют количественно оценить эти параметры на статистически значимой выборке пользователей, либо стоимость таких исследований очень высока и не сопоставима со стоимостью разработки ПО.

Степень разработанности проблемы. Основополагающие и наиболее популярные методики исследования и улучшения характеристик ПО с точки зрения пользователя базируются на знаниях, полученных на стыке таких научных областей, как эргономика, человеко-машинное взаимодействие, психология и социология. В течение последних десятилетий свой вклад в их создание и развитие внесли многие зарубежные (Я. Нильсен, С. Кард, Б. Шнейдерман, А. Купер, Д. Норман, Дж. Раскин, Д. Кирас и другие) и ряд

отечественных учёных (А.Н. Костин, П.И. Падерно, А.Н. Анохин и другие). Были разработаны методики когнитивного моделирования ЧКВ, различные вариации тестирований с участием пользователей ПО и экспертной оценки, а также адаптированы методики психолого-социологических исследований. В последние годы в работах молодых отечественных учёных предлагается ряд новых подходов к исследованию, проектированию и оценке интерфейса пользователя, большинство из которых имеют либо узкую направленность, либо ограниченное применение. Например, Пономаревым И.А. предложена методика формализованного анализа графического интерфейса статических экранных форм без участия пользователей. Бакаев М.А. в своей диссертационной работе предлагает систему поддержки принятия решений для проектирования интерфейсной части интернет ресурсов. Сухов A.A. в рамках своей научной работы реализует программную систему повышения качества промышленных компьютерных тренажерных систем (интерфейсы на мнемосхемах). Кораблев Д.А. предлагает критерии и методику оценки эффективности интерфейсов пользователя систем электронного документооборота.

Несмотря на большое число теоретических и практических работ и публикаций, в исследуемом научном направлении всё ещё существует ряд нерешённых задач и возможностей для инноваций. В частности, вопросы снижения стоимости исследований с участием большого числа пользователей и получения на их основе количественной оценки реального человеко-компьютерного взаимодействия.

Таким образом, актуальной задачей является разработка новой, менее трудоёмкой методики исследования интерфейса пользователя ПО, позволяющей снизить стоимость и продолжительность различных этапов тестирования с участием большого числа пользователей, с целью обеспечения объективности оценки эргономических характеристик человеко-компьютерного взаимодействия.

Объектом исследования диссертационной работы является WIMP-интерфейс пользователя ПО, предназначенного для работы на персональной ЭВМ под управлением операционной системы (ОС) Microsoft Windows (далее Windows).

Предметом исследования является модель человеко-компьютерного взаимодействия, построенная на основе аккумулирования и анализа данных, собираемых о работе пользователя с ПО или выполнения им тестовых заданий.

Область исследования. Диссертационная работа выполнена в соответствии с п. 5 «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях; ...» и п. 6 «Разработка методов, языков и моделей человеко-машинного общения; ...» Паспорта специальностей ВАК РФ по специальности 05.13.17 - «Теоретические основы информатики» (технические науки).

Целью работы является разработка новой методики исследования интерфейса пользователя, обеспечивающей моделирование и анализ человеко-компьютерного взаимодействия на основе логирования событий, с целью повышения удобства и продуктивности работы с программным обеспечением.

Для достижения поставленной цели в работе были решены следующие научные задачи:

1. Анализ существующих методик исследования и оценки интерфейсов пользователя компьютерных систем, их аппаратно-программного, информационного и нормативного обеспечения.

2. Анализ преимуществ и недостатков существующих методик, формирование концепции исследования интерфейса пользователя, обеспечивающей упрощение его тестирования.

3. Разработка модели количественной оценки человеко-компьютерного взаимодействия на основе работы пользователя с ПО и выполнения им тестовых заданий.

4. Разработка метрик и алгоритмов для автоматизации анализа математической модели человеко-компьютерного взаимодействия.

5. Разработка исследовательского программного комплекса, обеспечивающего фиксацию взаимодействий конечного пользователя с интерфейсом ПО на основе логирования событий с последующей визуализацией и предварительным анализом данных, полученных в ходе исследований.

Методы исследования. Для решения поставленных в работе задач использовались методы системного анализа и проектирования, методы кластерного анализа, эволюционного моделирования и математической статистики, дискретной математики (теории алгоритмов, теории графов), теории реляционных баз данных, теории объектно-ориентированного моделирования и программирования.

Научная новизна диссертационной работы заключается в следующих положениях:

1. Разработана математическая модель человеко-компьютерного взаимодействия, позволяющая формировать количественную оценку основных пользовательских характеристик исследуемого Ж1МР-интерфейса программного обеспечения.

2. Разработаны метрики и алгоритмы автоматизированного анализа математической модели, а также генетический алгоритм (ГА) поиска эффективных и неэффективных путей взаимодействия пользователя с программным обеспечением с целью выработки рекомендаций по модификации интерфейса пользователя.

3. Разработана новая методика тестирования юзабилити интерфейса пользователя программного обеспечения, позволяющая снизить трудоёмкость и стоимость исследований путём автоматизации наиболее рутинных этапов сбора экспериментальных данных, их обработки и анализа.

Практическая значимость. Применение разработанной методики позволяет получить статистически значимую оценку количественных характеристик человеко-компьютерного взаимодействия при сопоставимой стоимости исследований в сравнении с существующими методиками юзабилити тестирования. Благодаря автоматизации разработанной методики обеспечивается снижение трудоёмкости исследований эргономических характеристик интерфейса пользователя при проведении тестирования в условиях ограниченных сроков разработки ПО.

Основные положения, выносимые на защиту:

1. Модель человеко-компьютерного взаимодействия, позволяющая формировать количественную оценку основных пользовательских характеристик исследуемого ЖШР-интерфейса программного обеспечения.

2. Генетический алгоритм поиска эффективных (неэффективных) путей взаимодействия пользователя с программным обеспечением.

3. Методика автоматизированного тестирования юзабилити программного обеспечения с участием пользователей.

Достоверность и обоснованность научных положений и выводов обеспечивается корректным использованием базовых методов исследования и математического аппарата. Достоверность результатов работы подтверждается результатами экспериментальных исследований и сравнением данных, полученных в ходе экспериментов, с данными, полученными ранее по рассматриваемой тематике.

Реализация результатов работы. Результаты диссертационной работы внедрены в учебный процесс ФГБОУ ВПО МГТУ «СТАНКИН» и в настоящее время используются при подготовке бакалавров по направлению 230700.62 «Прикладная информатика» (курс «Информационные системы»). Материалы диссертационной работы использованы в качестве методологической основы при разработке общеуниверситетских курсов лекций и практических занятий по

дисциплинам «Информатика», «Программирование и основы алгоритмизации», «Человеко-машинные системы управления».

Предложенная методика и разработанный на её основе программный комплекс внедрены в процесс разработки и сопровождения прикладного ПО информационных систем в научно-практических разработках малого инновационного предприятия ООО «Компьютерные системы и технологии» (г. Москва).

Результаты работы подтверждены актами внедрения, имеющимися в приложении к диссертации.

На программный комплекс «Распределённая система тестирования интерфейса пользователя программных приложений» в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам получено Свидетельство о государственной регистрации программы для ЭВМ №2013613413 от 04.04.2013 г.

Апробация работы. Основные научные и практические результаты работы докладывались и обсуждались на следующих конференциях и семинарах: Межвузовской научной конференции молодых учёных и студентов «Инновации в экономике» (Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2009, 2010, 2011); III Всероссийской студенческой научно-технической конференции «Прикладная информатика и математическое моделирование» (Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2009); Международной научно-практической конференции «Перспективные инновации в науке, образовании, производстве и транспорте '2009» (Одесса, УКРНИИМФ, 2009); III научно-образовательной конференции «Машиностроение - традиции и инновации» (Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2010); Всероссийской молодёжной конференции «Инновационные технологии в машиностроении» (Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2011); Научно-технической международной молодёжной конференции «Системы, методы, техника и технология обработки медиаконтента» (Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2011);

Международной конференции «New Information Technologies in Image Processing» (Тампере, Технологический университет Тампере, 2011); Международной научно-практической конференции «Инновационные информационные технологии (/27)» (Прага, Российски�