автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели и методы определения эмоционального состояния человека на основе автоматизированной обработки и анализа видеоинформации

На правах рукописи

БОБКОВ Артем Сергеевич

МОДЕЛИ И МЕТОДЫ ОПРЕДЕЛЕНИЯ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА НА ОСНОВЕ АВТОМАТИЗИРОВАННОЙ ОБРАБОТКИ И АНАЛИЗА ВИДЕОИНФОРМАЦИИ

Специальность 05.13.01. Системный анализ, управление и обработка информации (информационно-вычислительное обеспечение)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва - 2013

005541413

Работа выполнена в Волгоградском государственном техническом университете на кафедре «Системы автоматизированного проектирования и поискового конструирования».

Научный руководитель: доктор технических наук, профессор

Заболеева-Зотова Алла Викторовна, профессор кафедры систем автоматизированного проектирования и поискового конструирования ГОУВПО Волгоградский государственный технический университет

Официальные доктор технических наук, профессор

оппоненты: Еремеев Александр Павлович,

заведующий кафедрой прикладной математики ГОУВПО Московский энергетический институт (технический университет)

кандидат технических наук, доцент Тарасов Валерий Борисович, доцент кафедры компьютерных систем автоматизации производства ГОУВПО Московский государственный технический университет имени Н.Э. Баумана

Ведущая организация: Федеральное государственное бюджетное

образовательное учреждение высшего профессионального образования Ульяновский государственный технический университет

Защита состоится 19 декабря 2013 года в 14:00 на заседании диссертационного совета Д-002.086.02 при Федеральном государственном бюджетном учреждении науки Институт системного анализа Российской академии наук (ИСА РАН) по адресу: 117312, Москва, проспект 60-летия Октября, 9.

С диссертацией можно ознакомиться в библиотеке Федерального государственного бюджетного учреждения науки Институт системного анализа Российской академии наук.

Автореферат разослан ноября 2013 года.

Ученый секретарь

диссертационного совета Д.002.086.02 доктор технических наук, профессор

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

Эмоции играют важную роль в человеческой жизни. Анализ эмоционального состояния человека даёт возможность отслеживать изменение поведения людей, их отношение к происходящим событиям. Эмоции влияют на когнитивные процессы и принятие решений. Поэтому потребность в определении эмоциональных реакций приобретает все большее значение. Основной вклад в развитие теории эмоций внесли: З.Фрейд, Ч.Дарвин, Г.Спенсер, Т.Рибо, У.Джеймс, К.Ланге, У.Кэннон, Ф.Бард, Л.Фестингер, К.Изард, Р.Лазарус, А.Н.Леонтьев, П.В.Симонов, Е.П.Ильин и др. Проявление эмоций через телодвижения также остаётся всё ещё слабо изученной областью психологии, которая активно развивается в настоящее время.

Недостаточно разработаны и методы формального описания эмоций. Обычно в психологии эмоциональные реакции описываются текстом на естественном языке. В работах М.Коулсона и Дж.Ван дер Стока показано, что можно эффективно определять эмоции по движениям и позам человека, как и по другим показателям, в частности, по мимике. Данная задача тесно связана с анализом динамической нечеткой и неполной информации, полученной при помощи видеокамер. Поэтому для моделирования и формализации описания эмоциональных реакций по движениям и позам целесообразно использовать методы нечеткой математики. Нечеткие системы и вычисления, в частности, методы анализа нечетких временных рядов и нечетких темпоральных высказываний, грануляции информации были рассмотрены в работах Л.Заде, Д.А.Поспелова, В.Педрича, А.П.Еремеева, А.В.Заболеевой-Зотовой, Н.Г.Ярушкиной, С.М. Ковалева, В.Б.Тарасова и др.

Отсутствие моделей и методов, обеспечивающих идентификацию эмоциональных реакций по телодвижениям, не позволяет пока эффективно автоматизировать этот процесс. Вместе с тем автоматизированная обработка информации об эмоциональном состоянии даст возможность решения производственных, экономических, социальных и бытовых проблем. Программные комплексы, осуществляющие интеллектуальную обработку потока видеоданных, могут оказаться полезными везде, где требуется анализ поведения человека, в том числе и его эмоциональной составляющей - в организациях, на транспортных узлах, в крупных магазинах и других местах скопления людей. Таким образом, ограниченные возможности существующих средств распознавания эмоций по видеоинформации и практическая потребность в автоматизированной идентификации эмоциональной реакции по движениям и позам человека определяют актуальность диссертационного исследования.

Цель и задачи работы

Разработка моделей, методов и средств автоматизированной обработки и анализа видеоинформации, позволяющих определить эмоциональное состояние человека по характерным телодвижениям и позам.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

проанализированы модели, методы и системы автоматизированной обработки информации об эмоциональных реакциях человека; технологии

и системы распознавания движений человека по видеоинформации; методы моделирования динамической информации на основе временных рядов;

разработана методика автоматизированного определения эмоционального реагирования человека на основе анализа характерных телодвижений и поз;

разработан метод выделения на видеоряде диапазонов поз и телодвижений по анализу двигательной активности, позволяющий учитывать индивидуальные особенности субъекта;

разработан метод определения базовых эмоциональных состояний человека по телодвижениям и позам;

разработана и исследована модель идентификации движений, соответствующих базовым эмоциональным реакциям человека;

разработана гранулярная структуризация описания характерных поз человека;

разработанные модели, методы и алгоритмы реализованы в виде программного комплекса, автоматизирующего определение эмоционального состояния человека по видеоинформации.

Объектом исследования являются телодвижения и позы человека при различных эмоциональных реакциях.

Предмет исследования - методы и средства автоматизированной идентификации эмоциональной реакции человека по видеоинформации.

Методы исследования. Методы системного анализа, теории нечетких множеств и грануляции информации, нейронных сетей, моделирования динамической информации на основе нечетких временных рядов.

Положения, выносимые на защиту

1. Методика автоматизированного определения эмоций человека по его телодвижениям и позам.

2. Метод выделения на видеоизображении отдельных поз и телодвижений по двигательной активности человека.

3. Метод определения базовых эмоциональных состояний человека по телодвижениям и позам.

4. Модель движений тела человека на основе нечетких темпоральных высказываний.

5. Модель идентификации характерных телодвижений человека.

6. Модель идентификации позы человека и эмоциональной реакции на основе гранулярной структуризации.

7. Алгоритмы, реализующие модели и методы определения эмоциональной реакции по телодвижениям и позам.

8. Программный комплекс, автоматизирующий определение эмоционального состояния человека по видеоинформации.

Научная новизна

1. Разработан и обоснован новый подход к автоматизированному определению эмоциональных реакций человека по видеоряду, основанный на моделировании телодвижений нечеткими временными рядами.

2. Разработан новый метод выделения поз, микро и макродвижений, включающий векторную модель тела человека, КС грамматику для её построения и модель двигательной активности человека.

3. Разработан новый метод определения базовых эмоциональных состояний человека по телодвижениям и позам, включающий модель телодвижений, модели идентификации эмоциональных реакций по характерным движениям и позам.

4. Разработана модель телодвижений человека на основе нечетких темпоральных высказываний, описывающих движения на ограниченном естественном языке.

5. Разработана модель идентификации эмоциональной реакции человека по критерию сходства исходного движения с эталонным описанием.

6. Разработана нейросетевая модель для оценки вероятности отнесения анализируемой позы человека к гранулам характерных поз и соответствующим им базовым эмоциональным реакциям.

Практическая значимость работы

Разработанный программный комплекс определения эмоциональных реакций человека на основе анализа характерных движений и поз внедрен и успешно применяется для конкурсного отбора соискателей и заключения сделок в отделах по работе с персоналом и клиентами в крупнейшей в Волгоградской области франчайзинговой компании ООО «ВЦ Айлант», распространяющей программный продукт «1С».

Создана база данных эмоциональных телодвижений и поз, подсистема их просмотра, которые могут использоваться в качестве учебного пособия в образовательном процессе по направлениям подготовки специалистов по обеспечению безопасности, 3-е! моделированию и анимации.

Подсистема идентификации характерных движений и поз на видеоизображении может быть использована для классификации больших объёмов видеоданных, поиска определенных телодвижений, автоматического проставления меток на видеоизображениях с целью ускорения дальнейшей обработки данных.

Разработанный программный комплекс может найти применение в крупных организациях, торговле, робототехнике, сфере обеспечения безопасности.

Достоверность выводов и рекомендаций подтверждается теоретическим обоснованием разработанных подходов, отсутствием противоречий с известными теоретическими положениями, согласованностью разработанных моделей, методов, алгоритмов и результатов, полученных при их апробации и практической реализации.

Область исследования. Содержание диссертации соответствует паспорту специальности 05.13.01 «Системный анализ, управление и обработка информации» по следующим областям исследований:

5. Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации;

12. Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации;

13. Методы получения, анализа и обработки экспертной информации.

Связь с научными и инновационными программами

Результаты диссертационного исследования использованы при выполнении проектов РФФИ: 10-01-00165-а «Анализ и синтез интеллектуальных систем на основе логико-лингвистических моделей принятия решений», 10-01-90012-Бел_а «Исследование фундаментальных проблем формализации подмножества естественного языка для информационно-справочных систем с естественным языковым интерфейсом», 11-01-97023-р_поволжье «Разработка методов генерации новых идей в проектировании, бизнесе и рекламе на основе математического моделирования лингвистических феноменов естественного языка», 12-07-00270-а «Разработка методов идентификации модели эмоционального поведения человека», 13-07-97042-р_поволжье «Разработка методов анализа и синтеза знаний при проектировании новых технических и программных систем».

Исследование поддержано программой «Участник молодежного научно-инновационного конкурса» (УМНИК), г. Волгоград, 2011 г.; отмечено дипломом победителя смотра-конкурса научных, конструкторских и технологических работ студентов Волгоградского государственного технического университета в 2010 году; благодарственным письмом ВолгГТУ «Гордость Политеха XXI века».

Апробация работы

Основные результаты исследования доложены на Всероссийской конференции с элементами научной школы для молодёжи «Проведение научных исследований в области обработки, хранения, передачи и защиты информации» (Ульяновск, 2009г.), Всероссийской научной конференции «Нечёткие системы и мягкие вычисления» (Волгоград, 2009 г.), Конгрессе по интеллектуальным системам и информационным технологиям (Дивноморское, 2010, 2011, 2012 гг.), Всероссийской научно-практической конференции с международным участием «Информационные технологии в профессиональной деятельности и научной работе» (Йошкар-Ола, 2010 г.), Международной научной конференции «Инновационные технологии в управлении, образовании, промышленности» (Астрахань, 2010 г.), XXXVII Международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе» (Ялта-Гурзуф, Украина, 2010 г.), Международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем» (Минск, Белоруссия, 2011, 2012, 2013 гг.), VI международной научно-практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» (Коломна, 2011, 2013 гг.), Конгрессе по интеллектуальным системам и информационным технологиям (Москва, 2011, 2012 гг.), X международной конференции «Operations Research» (Гавана, Куба, 2012 г.), Международном семинаре «Operations Research and Data Mining» (Канкун, Мексика, 2012 г.), XXV международной научной конференции «Математические методы в технике и технологиях» (Волгоград, 2012 г.), V международной конференции по когнитивной науке (Калининград, 2012 г.), XXIV международной конференции по системному анализу, информатике и кибернетики «Advances in Decision Technology and Intelligent Information Systems» (Баден-Баден, Германия, 2012 г.), II международной конференции по нечетким вычислениям (Баку, Азербайджан, 2012 г.), Международной конференции «Interfaces and Human Computer Interaction and Game and Entertainment Technologiess» (Прага, Чехия, 2013 г.), I конгрессе стран БРИКС и

XI Бразильской конференции по вычислительному интеллекту «1st BRICS Countries Congress and 11th Brazilian Congress on Computational Intelligence» (Порто де Галиньяс, Бразилия, 2013 г.), а также на научных семинарах центра «Разработка интеллектуальных систем и психолингвистического моделирования» Волгоградского государственного технического университета (2008-2013 гг.).

Публикации. По теме диссертационной работы опубликовано 33 печатные работы, в том числе 7 статей в изданиях, входящих в перечень ведущих рецензируемых научных журналов и изданий ВАК РФ, из них 1 работа в журнале, индексируемом в базе Scopus, 1 работа в журнале, индексируемом в Web of Science.

Личный вклад соискателя. Все изложенные в диссертации результаты исследования получены либо соискателем лично, либо при его непосредственном участии. Личный вклад состоял в разработке и апробации новой методики автоматизированного определения эмоционального реагирования на основе анализа телодвижений человека, метода определения интенсивности двигательной активности для выделения участков поз и телодвижений, метода определения базовых эмоциональных состояний по телодвижениям, модели идентификации телодвижений человека по описаниям на ограниченном естественном языке, модели идентификации позы человека и эмоциональной реакции, гранулярной структуризации описания характерных поз человека, программного комплекса, реализующего разработанные модели, методы и алгоритмы.

Структура и объем диссертационной работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Диссертация содержит 156 страниц основного текста, 31 рисунок, 30 таблиц. Библиографический список включает 163 наименования. Общий объем работы 170 страниц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель, основные положения, выносимые на защиту, научная новизна, практическая ценность работы.

В первой главе рассмотрены и проанализированы проблемы, возникающие при обработке информации в человеко-компьютерном взаимодействии. Показано, что определение и прогнозирование эмоционального состояния человека служит одним из средств повышения эффективности анализа информации и обоснованности выбора решения. Рассмотрены методы определения эмоционального состояния и реакции пользователя по анализу телодвижений человека. Сделан вывод о возможности автоматизации данного процесса. Проанализированы модели, методы и системы автоматизированной обработки информации об эмоциональном реагировании человека. Определены недостатки существующих систем и выработаны требования к разрабатываемому программному комплексу.

Для отображения информации о телодвижениях человека в программном комплексе, был проведен анализ технологий захвата движений, в результате которого были выбраны безмаркерные технологии, так как они не сковывают

движения человека и, как следствие, не ограничивают его эмоциональное реагирование. При безмаркерном распознавании людей на видеоизображении выбрана система Brekel Kinect, работающая с сенсором от компании Microsoft, и Ipi studio. Исходя из выявленных недостатков и преимуществ различных форматов анимации и учитывая возможности систем, в частности, Brekel Kinect и IpiStudo, захватывать движения и экспортировать анимацию, для использования был выбран формат представления видеоинформации Biovision Hierarchy (bvh).

Проведен анализ различных подходов к моделированию динамической информации, описывающей движения на основе временных рядов: стохастический, нейросетевой, нечёткий, нечётко-стохастический, нечётко-нейронный, интеллектуальный анализ баз данных временных рядов. Показано, что наиболее подходящим для анализа эмоциональных реакций и телодвижений человека является нечеткий подход, который позволяет строить и анализировать нечёткие тенденции, лингвистические интерпретации значений временного ряда, нечёткий временной ряд с использованием нечётких лингвистических оценок эксперта. Отсутствие средств формального описания проявлений эмоций через телодвижения обусловливает необходимость использования вербальной информации. Описана модель для работы с естественно-языковыми конструкциями, описывающими динамическую информацию с помощью нечетко-темпоральных высказываний.

Рассмотрены различные методы грануляции информации, в частности, нечеткое информационное гранулирование. Методы применяются для сжатия данных в условиях неточности, неполноты и частичной истинности данных, характерных для представления знаний на естественном языке. Гранула есть совокупность неразличимых объектов, определяемая только их типом и количеством. Обосновано использование гранул как классов эквивалентности для представления поз, характерных для базовых эмоциональных реакций. Рассмотрены достоинства и недостатки методов классификации характерных поз: деревья решений, метод опорных векторов, метод ближайшего соседа, байесовская классификация, дискриминантный анализ, нейронные сети. Наилучшим методом классификации для определения соответствия между входным образом позы и одной из гранул эмоциональных телодвижений являются нейронные сети.

Во второй главе предложена методика автоматизированной идентификации эмоционального реагирования на основе анализа характерных поз и телодвижений.

Первый этап - построение векторной модели тела человека для описания телодвижений. Вначале осуществляется транслирование данных, полученных видеосенсорами, в цифровой вид. Затем цифровой ряд структурируется посредством контекстно-свободной формальной грамматики для последующего анализа.

Второй этап - разделение непрерывной последовательности движений на участки, где наблюдаются телодвижения и позы, при помощи анализа двигательной активности. Телодвижения носят динамический характер, поэтому для их моделирования и анализа использованы методы нечетких временных рядов (BP). Поза представляет собой описание статического объекта, параметры которого либо не изменяются, либо изменяются незначительно. Для их моделирования разработаны гранулярные модели, которые позволили классифицировать позы.

Третий этап - обработка найденных телодвижений и поз. Используется разработанная модель анализа телодвижений, представленных в виде нечетких

темпоральных высказываний, которые позволяют оперировать знаниями экспертов, описывающих телодвижения на ограниченном естественном языке. Для обработки данных о телодвижениях используется гранулярное представление информации о характерных позах.

Четвертый этап - получение обобщенного вывода об эмоциональном состоянии человека на основе интеграции информации о найденных позах и телодвижениях, соответствующих эмоциональному реагированию.

Вид модели тела человека, используемой в разработанной методике автоматизированного определения эмоционального состояния, определяется форматом файла, который будет её описывать. Векторная модель тела (рисунок 1) состоит из трех частей: первая часть - иерархическое описание строения скелета (22 узла - точки сгиба) и элементов тела (19 элементов - части тела); вторая часть -описание положений узлов (углы поворота вектора относительно осей X, У, третья часть - грамматика входных распознанных видеоданных. Продолжительность движения анатомического узла в векторной модели тела измеряется в кадрах.

Рисунок 1 - Векторная модель человека

Модель тела человека используется в разработанном методе выделения поз и движений человека по видеоряду, который позволяет учитывать индивидуальные особенности анализируемого субъекта. С этой целью предложено понятие двигательной активности А человека за промежуток времени Дг, которая определяется как:

т к ( \2 А(Дг)= X —*(Г (Д*)1 , (1)

п=I 2

где Т„(Ы) - изменение значений п-ой переменной, описывающей положение узла векторной модели человека с помощью временного ряда, за промежуток времени А?; т - общее число углов поворота вокруг осей X, У, Ъ для узлов векторной модели; кп - коэффициент чувствительности для п-го угла. Коэффициент чувствительности

для л-ого угла характеризует общую долю масс дочерних элементов модели (частей тела), относящихся к узлу:

■¡п

*я= (2) /=0

где / - номер элемента (части тела) векторной модели; у'„ - число элементов векторной модели для и-го угла, описывающего вращение вокруг соответствующего узла; т, - доля массы /-ой части тела; р, - масштабирующий коэффициент, зависящий от пропорций частей тела.

При помощи построенного графика двигательной активности человека можно разделить видеоряд на участки отдельных поз и телодвижений, используя параметры длительности движения и уровня активности для поз и движений. Пример графика двигательной активности, на котором показаны найденные движения и позы, представлен на рисунке 2.

300 ^250

120 Кадры, шт.

Рисунок 2 - График активности движений человека

Для формализованного описания длительности движения на ограниченном естественном языке введена нечеткая темпоральная переменная £>.«Продолжительность», которая определена на следующем модельном множестве термов: /)() «Нулевая», Г>\ «Очень короткая», О? «Короткая», Оз «Умеренная», £>4 «Длительная», /)5 «Очень длительная» (рисунок 3). Функции принадлежности термов представлены функцией Гаусса.

Рисунок 3 - Функции принадлежности термов нечеткой темпоральной переменной О. «Продолжительность» Формализация движений анатомических узлов осуществляется с помощью группы лингвистических переменных (ЛП) В. «Скорость изменения угла».

Модельное множество термов ЛП «Скорость изменения угла» состоит из следующих элементов: В.5 «Очень быстрое уменьшение», В.4 «Быстрое уменьшение», В.3 «Среднее уменьшение», В_2 «Медленное уменьшение», В ] «Очень медленное уменьшение», В0 «Нулевая», В/ «Очень медленное увеличение», Вг «Медленное увеличение», Вз «Среднее увеличение», В4 «Быстрое увеличение», В.5 «Очень быстрое увеличение». Графики функций принадлежности термов переменной В.«Скорость изменения угла» представлены на рисунке 4:

нечеткой переменной В. «Скорость изменения угла»

Каждая лингвистическая переменная характеризует движение определённого сустава (точки сгиба) в модели тела человека. В предложенной модели точки сгиба сгруппированы в зависимости от значений максимальной подвижности суставов. Число лингвистических значений (ЛЗ) в лингвистических переменных постоянное, но сами значения могут различаться. Это зависит от максимальной подвижности и типа сустава (с тремя, с двумя, с одной осью вращения) или другой части тела, в которой происходит изменение угла поворота.

Для определения ЛП, описывающих 22 точки векторной модели тела, найдено соответствие между узлами и анатомическими местами изменения углов при движении человека. Затем был проведен анализ нормальной подвижности суставов, которая не считается отклонением у спортсменов (пловцов, гимнастов, легкоатлетов) и людей, не занимающихся спортом, и найдены ограничения на значения.

Каждая группа узлов со схожими величинами максимальной подвижности описывается при помощи ЛП, максимум функции принадлежности которой достигается каждые А градусов за секунду. Данный набор ЛП может настраиваться в зависимости от того, какой вид движения человека описывается. Например, для малых периодических колебаний (постукивание по столу пальцами руки, покачивание, «переминание» с ноги на ногу) было экспериментально установлено, что наиболее подходящее значение А равно 1/18 от максимальной подвижности сустава.

Используя введенные выше лингвистические переменные, представим движение сустава вокруг одной из осей в виде нечеткого темпорального события (НТС). Так как события расположены на временной оси последовательно друг за другом, то движение можно описать последовательным нечетким темпоральным высказыванием (ПНТВ).

Пример движения: «Наблюдается среднее уменьшение угла очень короткой продолжительности, за которым следует практически нулевая стабилизация изменения угла, за которой следует среднее увеличение угла очень короткой продолжительностью». Модель данного движения представляет собой ПНТВ вида

IV = (В_3г(/В[)т,1(В0'-(/В0)т/1(В+з«/О1). (3)

Здесь г// - нечеткое темпоральное отношение, тп темпоральное отношение непосредственного следования, ЛЗ нечеткой переменной В. «Скорость изменения угла»: В.3 - Среднее уменьшение, Во- Стабилизация, В+3- Среднее увеличение; ЛЗ нечеткой темпоральной переменной Б. «Продолжительность»: Б/ - Очень короткая, й0- Нулевая.

Для поиска определённого движения, соответствующего запросу пользователя на ограниченном естественном языке, разработана интерпретирующая модель последовательных нечетких темпоральных высказываний, описывающих движения.

В основу модели интерпретации последовательного нечеткого темпорального высказывания положен критерий истинности, характеризующий возможность семантического сопоставления исходного фрагмента динамического процесса бч и признака Семантическое сопоставление задается формулой

= (4)

Здесь Гч(8Ч) - характеристическая функция, устанавливающая семантическое отношение между нечеткими значениями переменных динамического процесса; Иц(^я) - функция принадлежности терма Ьц лингвистической переменной Ь.

Критерий истинности Д\\'/Б) ПНТВ относительно динамического процесса 5 записывается в виде

Л\У/5) = тах1еу(т/5)1), (5)

где V - множество всех возможных интерпретаций /. В частности, критерий истинности ПНТВ XV относительно динамического процесса $ для множества нечетких темпоральных событий, которые выражаются признаками а, Ь, с, определяется выражением

В контексте рассматриваемой задачи динамический процесс - это последовательность кадров в векторной модели тела человека, представляющая повороты одного из узлов вокруг осей X, У или Z, ав качестве критерия истинности рассматривается критерий сходства элементарных движений с эталонными.

Рассмотрим в качестве примера вращение узла «Правый голеностопный сустав». Вычислим значение критерия сходства фрагмента динамического процесса относительно следующего НТС: «Для правого голеностопного сустава в течение короткого промежутка времени наблюдается очень медленное уменьшение угла».

Рассчитаем значение функции принадлежности терма Ьч «Очень

медленное уменьшение» лингвистической переменной «Скорость изменения угла» при условии, что максимальная подвижность голеностопного сустава у спортсменов равна 79 градусам, а у людей, не занимающихся спортом, - 65 градусам. Выберем значение максимальной подвижности равное 72 градусам. Пусть в момент времени Ь, угол поворота р0 составлял 10,00 градусов, а в момент времени г2 угол поворота р2 равнялся 6,13 градусов. Тогда Л=72/18=4,00; /;,,= 6,13-10,00 = -3,87; ¡а 1д(р-ц) = 0,74. Рассчитанное значение функции принадлежности изображено на рисунке 5а.

-3 87

Подвижность

2 кадры

а б

Рисунок 5 - а. Функции принадлежности терма В.] «Очень медленное уменьшение» лингвистической переменной В. «Скорость изменение угла», б. функция принадлежности терма й0 «Нулевая» лингвистической переменной В. «Продолжительность»

По графику функции принадлежности терма О0 «Нулевая» лингвистической переменной Д. «Продолжительность», приведенному на рисунке 56, определяется значение Р,(д,)=0,1 при 3,= /2— ^о=2 кадрам.

Для полученных значений функций принадлежности критерий истинности равен 0,7. Имея набор НТС, выраженных через три последовательно проявляющихся признака, например, поворота вокруг оси X, У или можно рассчитать критерий истинности ПНТВ №'относительно динамического процесса 5.

Интерпретирующая модель характерных движений используется для расчета критерия сходства в общем случае.

Алгоритм формирования подразбиения исходного движения 5, при котором достигается максимум критерия сходства с эталонным описанием \У.

1. Для всех элементарных движений д^П'йс/.Ц = 1,2,..., к), входящих в эталонное

описание сформировать вспомогательные нечеткие графы С

определенные на множестве вершин С = {л-;. = )е 5), где х,- - /-й кадр в

распознанном движении.

Веса дуг графов С . заданы следующим образом:

С/1

с/1 I / дг I ] (ц! I ] ^ ~

Я. .) = 0,

<?' ' J

при ]< 1.

2. Для эталонного описания W сформировать интерпретирующий нечеткий граф Gyy=(C,Ryj ^ Граф строится как композиция вспомогательных

нечетких графов G • в порядке вхождения соответствующих элементарных ч1

движений в эталонное описание W

vr gl q2 qk'

Gq°G(p={C,Rq(p), (8)

= v • ** » & +1 • ■>"

При анализе выходных данных интерпретирующей модели необходимо учесть установленный порог достоверности полученных результатов, который будет считаться границей корректно распознанных характерных телодвижений. Совокупности разбиений, для которых значение критерия истинности для анализируемого последовательного нечеткого темпорального высказывания окажется выше, чем порог достоверности, считаются найденными корректно.

Описанная интерпретирующая модель способна работать в режиме реального времени. При этом осуществляется динамическое формирование треугольных матриц разностей углов, принадлежащих разным кадрам в пределах одного узла. Через определённый квант времени, который зависит от скорости записи изображения, поступают новые значения параметров, получаемых от Microsoft Kinect. Одновременно в программном комплексе осуществляется пересчет вторичных нечетких признаков, описывающих движение.

Сложность 0(k*g3) алгоритма нечетко-темпорального вывода определяется произведением числа к композиций в схеме на число 0(g3) операций, необходимых для перемножения усеченных треугольных матриц, где к - общее число событий в ПНТВ W: g - размер окна анализа. Интерпретация нечеткого темпорального графа для НТПВ, состоящего из трех НТС, представлена на рисунке 6. Здесь а, Ь, с - НТС; ti, ?2 и т.д. - кадры в исходном движении; веса дуг - значения критерия сходства. Граф показывает возможные значения критерия сходства высказывания относительно исходного временного ряда в зависимости от расположения границ каждого НТС, входящих в ПНТВ.

7 А /

0,92 0,92 0,92 1,0 0,92 0,92 0,92

V / / \ \ 4

г'Ч А.\ гл г\ А А /Ч >

^Ч) ( Оуг ( 18 у ( а У ',т) ^Ш) {ШJ : 44 ; 1^115) 1118; ^и

Рисунок 6 - Графическая интерпретация последовательного нечеткого темпорального высказывания Ж

Для идентификации эмоционального состояния по текущей позе была проведена гранулярная структуризация поз, характерных для базовых эмоциональных реакций по К.Изарду (рисунок 7). Позы, которые подробно рассмотрены в работах В.Биркенбила, Г.Вилсона, Д.Морисона, А.Пиза, были объединены в гранулы поз, исходя из схожей интерпретации. Это позволило перейти от 61 конкретной позы к 6 гранулам, дающим обобщенное представление о характерных позах.

Гранулы характерных поз

Базовые эмоциональные реакции

Гранулы характерных поз

Рисунок 7 - Гранулярная структуризация поз, характерных для базовых эмоциональных реакций

Для идентификации характерных поз был проведен анализ различных методов классификации на обучающей выборке, которая состояла из 597 векторов, представляющих 61 позу. На каждую позу приходится около 10 обучающих векторов, которые соответствуют различным проявлениям этой позы. Результат сравнения методов классификации поз представлен в таблице 1.

Лучшим методом классификации оказалась нейронная сеть (НС) типа многослойный персептрон, дающая 96,62 % правильно распознанных образов на всей выборке (функция ошибки - кросс энтропия; функция активации -гиперболический тангенс; функция активации внешнего слоя - софтмакс). Были проанализированы 50 нейронных сетей типа многослойный персептрон. Из 10 лучших была выбрана НС с 14 нейронами на скрытом слое.

Таблица 1 - Сравнение методов классификации характерных поз

Метод % правильно классифицированных образов

Деревья решения : классический CRT алгоритм 86,26

Деревья решения : CHAID (автоматический обнаружитель взаимодействий на основе тесте хи-квадрата) 71,69

Деревья решения : растущий лес (boosting trees) 77,22

Деревья решения : случайный лес (random Forest) 83,08

Метод опорных векторов (Support Vector Machine - SVM) 79,56

Метод «ближайшего соседа» 86,15

Байесовская классификация 71,52

Дискриминантный анализ 87,10

НС : многослойный персептрон 96,62

НС : радиально базисных функций 49,24

НС : вероятностая нейронная сеть 89,33

На рисунке 8 изображен график, иллюстрирующий оценку влияния входных параметров НС на неточность классификации. По оси ординат указано отношение а/Ь, где а - процент неправильно классифицированных образов с одной удаленной переменной, описывающей вращение узла вокруг оси, Ь - процент неправильно классифицированных образов с использованием всех 66 переменных. По оси абсцисс отложены номера удаляемых переменных, описывающих вращение вокруг оси Х,У или Т. Полученная НС наиболее чувствительна к узлам «Плечо», «Локоть», «Кисть», «Бедро», «Колено», «Наклон головы», которые при исключении из анализа дают наибольшую ошибку сети.

а/Ы.9 1,8 1.7 1.6 1.5 1.4 1.3 1,2 1.1 1,0 0.9

N8 удаляемой переменной

Рисунок 8 - Оценка влияния входных параметров НС на неточность классификации

В третьей главе приведено алгоритмическое и программное обеспечение для определения эмоциональных реакций по телодвижениям.

I Распознанное движение

|(ЬуЬ) Подсистема

#1 Эксперт

Пользователь

векторной модели

1. Иерархическая модель, ^ 2. Положения узлов в каждый момент времени

^ Положения всех узлов на анализируемом диапазоне

Подсистема

анализа активности

1. Минимальная продолжительность позы, микродвиженир

2.Граница активносш поз и микродвижений |

3. Коэффициенты м; пропорциональное^

Диапазоны поз

| Диапазоны

м икродвижении

1. Минимальная

I продолжительность позы, микродвижения;

2. Граница активности поз и микродвижений

3. Структурированная информация о позах, движения, характерных

¡для эмоциональных реакции

4. Имя файлов/каталога для добавления в БД характерных поз

5. Номера значащих кадров

6. Параметры ЛЗ ЯП

?. Порог принятия решения

|8. Наименования анализируемых узлов, видов скорости, продолжительности

1. Графики активности,

2. График положения узлов о| времени

Максимальная подвижность суставов ~~

1. Соответствия между словами [ в БД; ЛЗ ЛП, имен частей тф<з

2. Параметры ЛЗЛП

3. Порог принятия решения I

Г Слова,

Подсистема анализа поз

1. Наименование по;

2. Диапазон,

3. Кадр.

4. Значение вероятности

Наименование движения, |2_ Диапазон. 3. Секторы,

4.Значение принадлежности

11. Параметры ЛЗ ЛП 2. Порог принятия решения

3. Наименования {анализируемых узлов, видов скорости, продолжительное^

характеризующие| » скорость, продолжит епьност; имя узлов

Подсистема \ опоставлеиия результатов р анализа ! {

Структурированная информация о движения характерных _ для эмоциональных реакций

Подсистема просмотра и редактирования движений и поз

1. Структурированная информация о позах характерных для эмоциональных реакций

2. Имя файлов/каталога для добавления в БД характерных поз _ |

"""3. "Номера значащих кадров "' " ~~

1. Файл для анализа

2. Параметры движенияЬюзы характерного для . эмоционального состоя|ия для просмотра —.

Подсистема работы с пользователем

Информация о распознанном эмоциональном состоянии

Файл для просмотра

. Информационные взаимодействия -

Архитектура разработанного программного комплекса представлена на рисунке 9. Вход в систему - распознанное движение в формате bvh. Данный файл может быть выбран вручную либо получен из систем захвата движений, например, Brekel Kinect, использующий сенсор от Microsoft Kinect. Аналогом может выступать система IpiSoft, работающая с несколькими USB камерами. Выход из системы -описание эмоциональной реакции человека в виде совокупности интерпретаций характерных поз и телодвижений на видеоряде. Для просмотра анимации предусмотрен интерфейс для взаимодействия с программами просмотрщиками bvh файлов, например, bvhplay-1.00.

Пользователь взаимодействует с программным комплексом посредством специальной подсистемы. Сценарий работы системы представлен в описании основного алгоритма, который соответствует разработанной методике определения эмоциональной реакции человека по телодвижениям. Для эксперта предусмотрен собственный интерфейс работы с программным комплексом. Настройку минимальной продолжительности и уровней активности поз и телодвижений эксперт осуществляет в подсистеме анализа активности, исходя из следующих предположений: темперамент анализируемого субъекта, места, в котором была установлена система. Описаны и другие инструменты, которые используются для более детального анализа движений и настройки системы.

Первоначально распознанное движение подаётся на вход подсистемы формирования векторной модели человека. Далее при помощи подсистемы анализа активности и настроек, которые сделал эксперт в части уровней для поз и телодвижений, минимальной продолжительности поз и телодвижений, а также особенностей анатомического строения анализируемого субъекта, непрерывное движение разбивается на участки поз и телодвижений. Каждый из найденных участков обрабатывается соответственно либо подсистемой анализа движений, либо подсистемой анализа поз.

После этого полученные данные попадают на вход подсистемы сопоставления результатов. Здесь формируются таблицы найденных характерных телодвижений и поз с указанием наименования, диапазона, значения уверенности в корректности найденного образа (для движений - это значение функции принадлежности, для поз - это величина вероятности принадлежности грануле). Затем данные дополняются экспертными знаниями, которые хранятся в базе данных характерных поз и телодвижений, и поступают на выход пользователю при помощи подсистемы просмотра и редактирования характерных движений и поз.

Алгоритм идентификации телодвижений представлен на рисунке 10а.

Задавая в векторной модели имя анализируемой части тела и границы диапазонов поиска определённого движения, получаем массив значений углов вращения узла относительно одной из осей X, Y или Z. Далее формируется дочерний массив углов /?,-, в котором находятся только те значения, которые попадают в анализируемый промежуток, и матрица разностей углов, принадлежащих разным кадрам для одного узла. Элементы матрицы образуются по следующему правилу: Pij=P—Pj ПРИ i>'. Pij= 0 при j<i. Для вычисления значения функции принадлежности лингвистической переменной «Скорость изменения угла» матрица разностей углов преобразуется к виду, в котором абсолютные изменения координат выражаются

через шаг Д максимальной подвижности, зависящей от вида анализируемой части тела.

После этого происходит формирование массива вспомогательных графов, каждый из которых определяет критерий сходства для конкретного нечетко-темпорального события в высказывании. Затем вычисляется значение критерия сходства для нечетко-темпорального высказывания, полученного как композиция вспомогательных графов. Данная процедура носит рекурсивный характер. Удачные разбиения, которые преодолели установленный экспертом порог достоверности результатов, попадают в результирующую таблицу, предназначенную для пользователя.

а в

Рисунок 10 - а. Алгоритм анализа телодвижений, б. Алгоритм расчета критерия сходства единичного элементарного эталонного описания с исходным движением

В четвертом блоке алгоритма работы интерпретирующей модели выполняется расчет критериев сходства всех НТС в высказывании. Формирование вспомогательного графа происходит по алгоритму, указанному на рисунке 106. Полученная матрица координат имеет треугольный вид. На первом этапе получается массив значений принадлежности для ЛП «Продолжительность», затем в цикле рассчитываются значения принадлежности для ЛП «Скорость изменения угла». Затем выполняется расчет одного элемента матрицы. Каждый элемент соответствует критерию сходства для НТС относительно одного конкретного ДП.

Далее в главе описаны алгоритмы подготовки подсистемы анализа поз, в частности, алгоритм формирования обучающей выборки для модели анализа характерных поз, и алгоритмы фильтрации, которые используются при извлечении обучающих образов из хранилища файлов распознанных движений.

Проведен анализ разработанных алгоритмов. Для каждого алгоритма описаны входные данные, выходные данные, накладываемые ограничения на функционирование алгоритма, особенности работы.

В четвертой главе описана апробация разработанной методики автоматизированного определения эмоционального реагирования человека по видеоизображению. В исследовании программного комплекса, проведенном на кафедре истории, культуры и социологии Волгоградского государственного технического университета, принимали участие 2 группы респондентов по 22 человека. Респонденту необходимо было определить эмоциональное состояние человека по видеоизображению. Одна группа работала с разработанной системой, а другая группа - без системы. Оценка эффективности методики приведена на рисунке 11. Как следует из графика, применение программного комплекса позволило повысить скорость и число верно определённых ответов, характеризующих эмоциональное состояние.

200 - аз I 150 - ю н о 5 юо • з- 50 -

я ^ - - -

( ✓ f г"

.У ✓ »

* + Р • ' ■ •

0 -I 1 3 5 7 9 —1— 11 13 15 17 19 21 23 25 27 29

— -Правильно без системы — - Неправильно без системы -Правильно с системой •••••Неправильно с системой минуты

Рисунок 11 - Оценка эффективности автоматизированного определения эмоционального реагирования

Программный комплекс был использован в ООО «ВЦ Айлант» при ведении переговоров сотрудников отдела продаж с поставщиками и клиентами организации. Одним из ключевых показателей эффективности отдела продаж является число продлённых или впервые подписанных договоров на информационно-технологическое сопровождение. Анализируя реакцию партнера на отдельные условия договора, менеджер отдела продаж предлагал альтернативы с целью успешного завершения сделки. Автоматизация процесса определения

эмоционального реагирования по телодвижениям позволила существенно повысить число подписанных договоров.

Система применялась также отделом по работе с персоналом при проведении собеседований с соискателями. Сотрудники отдела получали не только ответы на тесты, которые заполняли соискатели на должность в компании, но и оценку эмоционального реагирования кандидатов на те или иные вопросы теста. Дополнительные данные по оценке эмоциональной реакции соискателей, полученные при выполнении тестов, позволили провести более глубокий анализ и дать более точные характеристики соискателей. Время, затраченное начальниками профильных отделов, проводящих финальный этап, сократилось на 35%; конкурсный отбор персонала стал эффективнее, что выражается в увеличении числа соискателей, прошедших испытательный период, на 50% и в увеличении плановых показателей, выполняемых вновь набранными сотрудниками на 17%. Применение программного комплекса существенно повысило качество подбираемого персонала, сократило расходы на обучение неуспешных кандидатов.

Внедрение результатов диссертации позволяет повысить эффективность определения эмоциональной реакции человека за счет автоматизированного определения характерных поз и телодвижений по видеоряду.

В заключении приведены основные результаты и выводы, полученные в диссертационной работе.

В приложениях приведены динамические описания последовательности движений в виде нечеткого гиперграфа, примеры гранул характерных поз и видеофрагменты телодвижений, характерных для эмоционального реагирования, акт о внедрении разработанного программного обеспечения.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ ДИССЕРТАЦИИ

1. Проведен анализ современных методов автоматизированного определения эмоциональных реакций, технологий распознавания движений человека по видеоряду. Предложены подходы к совершенствованию методов распознавания эмоциональных реакций по телодвижениям. Рассмотрены методы моделирования динамической информации на основе временных рядов, описывающих движения человека. Обосновано использование нечеткого подхода, нечетких временных рядов и методов грануляции информации для представления и обработки видеоданных о позах, характерных для эмоциональных реакций.

2. Предложен подход к автоматизированному определению эмоционального состояния по видеоряду на основе анализа телодвижений человека, соответствующих базовым эмоциональным реакциям, который включает методику и программный комплекс.

3. Разработана методика, включающая построение векторной модели тела человека для описания телодвижения при помощи разработанной грамматики выходной информации с видеосенсоров; определение двигательной активности человека с целью разделения непрерывной последовательности движений на участки поз и телодвижений; анализ найденных телодвижений и поз; определение по позам и телодвижениям соответствующего эмоционального состояния.

4. Разработан метод выделения отдельных поз и движений по двигательной активности, учитывающий индивидуальные особенности субъекта: минимальную продолжительность позы, уровень активности движения, при котором движение можно считать позой.

5. Разработан метод определения базовых эмоциональных состояний человека по телодвижениям и позам. Интерпретирующая модель поиска движений, соответствующих базовым эмоциональным реакциям человека, основана на расчете критерия сходства исходного движения с эталонным описанием. Нейросетевая модель идентификации позы человека и эмоциональной реакции использует для классификации входных образов гранулярные структуры характерных поз и их соответствие эмоциональным реакциям.

6. Разработано алгоритмическое обеспечение определения эмоциональной реакции по видеоизображению. Показано, что разработанные методики и алгоритмы обеспечивают повышение эффективности определения эмоциональных реакций.

7. Разработанные модели, методы и алгоритмы реализованы в виде программного комплекса, автоматизирующего определение эмоционального состояния человека. Программный комплекс распознавания эмоциональной реакции человека содержит структурированную экспертную информацию, которая представлена в виде базы данных, хранящей интерпретацию, словесное описание и изображение характерных поз и телодвижений.

8. Программный комплекс апробирован при проведении конкурсного отбора соискателей и заключении сделок в отделах по работе с персоналом и клиентами в крупной организации. Разработанная методика и программный комплекс позволяют отслеживать по видеоряду изменения отношения людей к происходящим событиям, эффективно и своевременно выявлять изменения в эмоциональном состоянии человека по его движениям и позам.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи из перечня изданий, рекомендованных ВАК

1. Bobkov, A. S. Detailed analysis of postures and gestures for the identification of human emotional reactions / Bobkov A.S., Dmitriev A.S., Zaboleeva-Zotova A.V., Orlova U. A., Rozaliev V.L. // World Applied Sciences Journal. - 2013. - N 24. Information Technologies in Modem Industry, Education & Society. - P. 151-158. (индексируется в Scopus)

2. Bobkov, A. S. Automated identification of human émotions based on analysis of body movements / Bobkov A.S., Zaboleeva-Zotova A.V., Orlova U. A., Rozaliev V.L. // Proceedings of the IAD1S International Conférences "Interfaces and Human Computer Interaction and Game and Entertainment Technologies" (Prague, Czech Republic, July 2326, 2013) - Prague: IADIS (International Association for Development of the Information Society), 2013. - P. 299-304. (индексируется в Web of Science)

3. Автоматизированное управление практико-ориентированным обучением естественнонаучным дисциплинам (на примере дисциплины «Физика») / Кравец А.Г., Бобков А.С., Кравец А.Д., Абрамичев Д.А., Титова О.В. // Образовательные технологии и общество. - 2013. - Т. 16, № 3. - С. 521-540.

4. Развитие системы автоматизированного определения эмоций и возможные сферы применения / Заболеева-Зотова A.B., Орлова Ю.А., Розалиев В.Л., Бобков A.C. // Открытое образование. - 2011. - № 2. - С. 59-62.

5. Применение нечётких темпоральных высказываний для описания движений при эмоциональных реакциях / Заболеева-Зотова A.B., Орлова Ю.А., Розалиев В.Л., Бобков A.C.// Изв. ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах». Вып. 10 : межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград, 2011. - № 3. - С. 60-64.

6. Бобков, A.C. Применение нейронных сетей и грануляции при построении автоматизированной системы определения эмоциональной реакции человека / Бобков A.C., Розалиев В.Л., Федоров О.С. // Изв. ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах». Вып. 9 : межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград, 2010. - № 11. - С. 63-67.

7. Автоматизированный подход к решению задачи определения эмоциональных реакций человека / Заболеева-Зотова A.B., Розалиев В.Л., Бобков A.C., Федоров О.С. // Изв. ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах». Вып. 8: межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград, 2010. - № 6. - С. 51-55.

Статьи в сборниках трудов научных конференций

8. Bobkov, A. S. Automated Identification of Human Emotions by Gestures and Poses [Электронный ресурс] / Bobkov A.S., Petrovsky A.B., Zaboleeva-Zotova A.V., Rozaliev V.L. // 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence (BRICS-CCI&CBIC 2013), 8th-llth September 2013 /С CIRG@POLI University of Pernambuco (Brazil) [et al.]. - Porto de Galinhas (Brazil), 2013.-1 CD-ROM. - Poster No. 28 (P. 1-4).

9. Бобков, A.C. Идентификация позы тела человека с помощью камеры с инфракрасным сенсором глубины / Бобков A.C., Шпирко A.A., Дорофеев Н.С. // Интегрированные модели и мягкие вычисления в искусственном интеллекте : сб. науч. тр. VII-й междунар. науч.-практ. конф. (Коломна, 20-22 мая 2013 г.). В 3 т. Т. 3 / Рос. ассоциация искусств, интеллекта, Рос. ассоциация нечётких систем и мягких вычислений, МГТУ им. Н.Э. Баумана [и др.]. - М„ 2013. - С. 1332-1337.

10. Бобков, A.C. Формализованное описание движений человека на основе нечетких темпоральных высказываний / Бобков A.C., Заболеева-Зотова A.B., Петровский А.Б. // Интегрированные модели и мягкие вычисления в искусственном интеллекте : сб. науч. тр. VII междунар. науч.-практ. конф. (Коломна, 20-22 мая 2013 г.).-М„ 2013.-С. 488-495.

11. Бобков, A.C. Моделирование движений человека на основе нечётких темпоральных высказываний / Бобков A.C., Заболеева-Зотова A.B., Петровский А.Б. // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2013) : матер. III междунар. науч.-техн. конф. (Минск, 21-23 февр. 2013 г.) / УО "Белорусский гос. ун-т информатики и радиоэлектроники", ГУ "Администрация Парка высоких технологий". - Минск, 2013. - С. 497-500.

12. Распознавание позы тела человека с помощью 3D камеры с сенсором глубины / Шпирко A.A., Дорофеев Н.С., Бобков A.C. // Открытые семантические технологии

проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OST1S-2013) : матер. Ill междунар. науч.-техн. конф. (Минск, 2123 февр. 2013 г.) / УО "Белорусский гос. ун-т информатики и радиоэлектроники", ГУ "Администрация Парка высоких технологий". - Минск, 2013. - С. 501-504.

13. Bobkov, A. S. Fuzzy Approach to Identification of Human Emotions based on Recognition and Analysis of Body Movements / Bobkov A.S., Petrovsky A.B., Zaboleeva-Zotova A.V., Rozaliev V.L. // The 2nd World Conference on Soft Computing (December 3-5, 2012, Baku, Azerbaijan) : proceedings / Ministry of Communications and Information Technologies of the Republic of Azerbaijan. - Baku, 2012. - P. 117-120. - Eng.

14. Bobkov, A. S. Model for interpreting the temporal fuzzy sequental statements describing the motion of a person / Bobkov A.S., Zaboleeva-Zotova A.V., Orlova U.A., Rozaliev V.L., // Proceedings of the Congress on intelligent systems and information technologies "IS&IT12". Vol. 4 : [аннот. докл.] / SFU [et al.]. - Moscow, 2012. - P. 28. -Eng.

15. Интерпретирующая модель нечётких последовательных темпоральных высказываний, описывающих движение человека / Заболеева-Зотова А.В., Орлова Ю.А., Розалиев В.Л., Бобков А.С. // Труды конгресса по интеллектуальным системам и информационным технологиям "IS&IT12" (Дивноморское, Краснодарский край, 2-9 сент. 2012 г.). В 4 т. Т. 1 : тр. конф. "Интеллектуальные системы 42" и "Интеллектуальные САПР - 2012" / ЮФУ [и др.]. - М„ 2012. - С. 417-424.

16. Bobkov, A. S. Automated Identification of Emotional States / Bobkov A.S., Zaboleeva-Zotova A.V., Rozaliev V.L. // Advances in Decision Technology and Intelligent Information Systems. Vol. XIII : 24th Int. Conf. of Systems Research, Informatics and Cybernetics (July 30- August 3, 2012, Baden-Baden, Germany) / The Int. Institute for Advanced Studies in Systems Research and Cybernetics. - [Tecumseh], Canada, 2012. - P. 21 -25. - Eng.

17. Автоматизированное определение эмоций человека по движениям и позам / Заболеева-Зотова А.В., Орлова Ю.А., Розалиев В.Л., Бобков А.С. // Пятая международная конференция по когнитивной науке (Калининград, 18-24 июня 2012 г.): тез. докл. В 2 т. Т. 1 / Межрегион, ассоциация когнитивных исследований (МАКИ), Балтийский федеральный ун-т им. Иммануила Канта [и др.]. -Калининград, 2012. - С. 360-362.

18. Интерпретирующая модель поиска движений человека по словесному описанию на ограниченном естественном языке / Розалиев В.Л., Бобков А.С., Абрамова М.Е. // Математические методы в технике и технологиях - ММТТ-25 : сб. тр. XXV междунар. науч. конф. В 10 т. Т. 4. Секции 6, 7, 13 (г. Волгоград, 29-31 мая 2012 г.) / ВолгГТУ [и др.]. - Саратов, 2012. - С. 53-57.

19. Bobkov, A. S. Emotional State Recognition Based on the Motion and Posture / Bobkov A.S., Zaboleeva-Zotova A.V., Orlova U. A., Rozaliev V.L. // Operations Research and Data Mining, ORADM-2012 : the Workshop, March 12-14, 2012, Cancun, Mexico / Cancun Center for Continuous Education of the National Politechnic Institute (IPN). -Cancun, 2012.-P. 161-169. - Eng.

20. Задача создания системы автоматизированного распознавания эмоций / Заболеева-Зотова А.В., Орлова Ю.А., Розалиев В.Л., Бобков А.С. II Открытые семантические технологии проектирования интеллектуальных систем = Open

Semantic Technologies for Intelligent Systems (OSTIS-2012) : матер. II междунар. науч.-техн. конф. (Минск, 16-18 февр. 2012 г.) / УО "Белорусский гос. ун-т информатики и радиоэлектроники", Админ. парка высоких технологий. - Минск, 2012.-С. 347-350.

21. Решение задачи представления движений в виде нечётких темпоральных высказываний для определения эмоциональных реакций человека / Заболеева-Зотова A.B., Орлова Ю.А., Розалиев В.Л., Бобков A.C. // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2012) : матер. II междунар. науч.-техн. конф. (Минск, 16-18 февр. 2012 г.) / УО "Белорусский гос. ун-т информатики и радиоэлектроники", Админ. парка высоких технологий. - Минск, 2012. - С. 351-354.

22. Bobkov, A. S. Approach to formalization of human emotional gestures and movements as fuzzy sequential temporal statements / Bobkov A.S., Zaboleeva-Zotova A.V., Orlova U. A., Rozaliev V.L. // Proceedings of the Congress on intelligent systems and information technologies "IS&IT11". Vol. 4 : [аннот. докл.] / SFU [et al.]. -Moscow, 2011. - P. 89. - Eng.

23. Подход к формализации эмоциональных жестов и движений человека в виде последовательных темпоральных высказываний / Заболеева-Зотова A.B., Орлова Ю.А., Розалиев В.Л., Бобков A.C. // Труды Конгресса по интеллектуальным системам и информационным технологиям "IS&ITII" (Дивноморское, 2-9 сент. 2011 г.). В 4 т. Т. 1: докл. секций междунар. науч.-техн. конференций "AIS41" и "CAD-2011" / ФГОУ ВПО "Южный федеральный ун-т" [и др.]. - М., 2011. - С. 232239.

24. Бобков, A.C. Модель представления характерных жестов и телодвижений человека в виде нечёткого последовательного темпорального высказывания / Бобков A.C., Заболеева-Зотова A.B., Розалиев В.Л. // Интегрированные модели и мягкие вычисления в искусственном интеллекте : сб. науч. тр. VI междунар. науч.-практ. конф. (Коломна, 16-19 мая 2011 г.). В 2 т. Т. 2 У Рос. ассоциация искусственного интеллекта [и др.]. - М„ 2011. - С. 890-896.

25. Бобков, A.C. Фаззификация данных, описывающих движение человека / Бобков A.C., Розалиев В.Л. // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS-2011): матер, междунар. науч.-техн. конф. (Минск, 10-12 февр. 2011 г.) / Белорус, гос. ун-т информатики и радиоэлектроники, Администрация парка высоких технологий. - Минск, 2011. - С. 483-486

26. Бобков, A.C. Автоматизация начальных этапов проектирования программного обеспечения / Бобков A.C., Заболеева-Зотова A.B., Орлова Ю.А. // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS-2011) : матер, междунар. науч.-техн. конф. (Минск, 10-12 февр. 2011 г.) / Белорус, гос. ун-т информатики и радиоэлектроники, Администрация парка высоких технологий. -Минск, 2011.-С. 177-180.

27. Автоматизация анализа движений человека при определении эмоциональных реакций / Заболеева-Зотова A.B., Розалиев В.Л., Бобков A.C., Федоров О.С. // Труды Конгресса по интеллектуальным системам и информационным технологиям "AIS-IT 10" (2-9 сент. 2010 г., Дивноморское). В 4 т. Т. 2 / ФГОУ ВПО "Южный Федеральный ун-т" [и др.]. - М„ 2010. - С. 398-405.

28. Бобков, A.C. Автоматизированное выделение статических и динамических зон тела для определения эмоционального состояния человека / Бобков A.C., Розалиев B.JL, Федоров О.С. // Информационные технологии в профессиональной деятельности и научной работе : сб. матер, всерос. науч.-практ. конф. с междунар. участием. В 2 ч. Ч. 2 / Марийский гос. техн. ун-т. - Йошкар-Ола, 2010. - С. 50-54.

29. Бобков, A.C. Анализ видео ряда для определения эмоциональных реакций человека / Бобков A.C., Розалиев B.JL, Федоров О.С. // Информационные технологии в науке, образовании, телекоммуникации и бизнесе (1T+SEV10). Майская сессия (Украина, Крым, Ялта-Гурзуф, 20-30 мая 2010 г.) : матер. XXXVII междунар. конф. и дискуссионного науч. клуба : прилож. к журн. "Открытое образование" / РАН [и др.]. - Б/м, 2010. - С. 79-81.

30. Бобков, A.C. Автоматизированный подход к выделению статических и динамических зон тела человека при идентификации его эмоционального состояния / Бобков A.C., Розалиев B.J1., Федоров О.С. // Инновационные технологии в управлении, образовании, промышленности "АСТИНТЕХ-2010" : матер, междунар. науч. конф. (11-14 мая 2010 г.). В 3 т. Т. 1 / Астраханский гос. ун-т [и др.]. -Астрахань, 2010. - С. 74-76.

31. Бобков, A.C. Автоматизированная система определения эмоционального состояния человека методом анализа видео ряда / Бобков A.C., Федоров О.С., Заболеева-Зотова A.B. // Тезисы докладов юбилейного смотра-конкурса научных, конструкторских и технологических работ студентов ВолгГТУ, Волгоград, 11-14 мая 2010 г. / ВолгГТУ, Совет СНТО. - Волгоград, 2010. - С. 194-195.

32. Бобков, A.C. Распознавание неуверенности и негативного состояния человека / Бобков A.C., Федоров О.С., Розалиев B.JI. // Проведение научных исследований в области обработки, хранения, передачи и защиты информации: сб. науч. тр. всерос. конф. с элементами науч. школы для молодёжи (г. Ульяновск, 1-5 дек. 2009 г.). В 4 т. Т. 2 / Ульяновский гос. техн. ун-т [и др.]. - Ульяновск, 2009. - С. 143-151.

33. Бобков, A.C. Система распознавания эмоционального состояния человека на основе анализа видео ряда / Бобков A.C., Розалиев B.JL, Федоров О.С. // Нечёткие системы и мягкие вычисления (НСМВ-2009): сб. ст. 3-й всерос. науч. конф., 21-24 сент. 2009 г. / ВолгГТУ [и др.]. - Волгоград, 2009. - Т. 2. - С. 245-253.

Подписано в печать 11.11.2013г.

Усл.п.л. - 1.5 Заказ №17019 Тираж: 100 экз.

Копицентр «ЧЕРТЕЖ.ру» ИНН 7701723201 107023, Москва, ул.Б.Семеновская 11, стр.12 (495) 542-7389 www.chertez.ru

Государственное образовательное учреждение высшего профессионального образования "Волгоградский государственный технический университет"

на правах рукописи

04201454509

БОБКОВ Артем Сергеевич

Модели и методы определения эмоционального состояния человека на основе автоматизированной обработки и анализа видеоинформации

05.13.01 - Системный анализ, управление и обработка информации (информационно-вычислительное обеспечение)

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель:

доктор технических наук, профессор

Заболеева-Зотова Алла Викторовна

Москва-2013

СОДЕРЖАНИЕ

Введение.......................................................................................................................... 4

1 Аналитический обзор.........................................................................................14

1.1 Подходы к распознаванию эмоциональных реакций.....................................14

1.2 Автоматизированные технологии определения эмоций................................18

1.3 Автоматизированное распознавание движений человека .............................30

1.4 Моделирование динамической информации ..................................................39

1.5 Методы грануляции информации ....................................................................47

1.6 Постановка задачи автоматизированного определения эмоционального состояния человека по телодвижениям и позам .......................................................58

2 Методика автоматизированной идентификации эмоционального реагирования на основе анализа характерных телодвижений и поз ......................61

2.1 Метод выделения на видеоизображении отдельных поз и телодвижений

по двигательной активности человека....................................................................... 62

2.2 Метод определения базовых эмоциональных состояний человека

по телодвижениям и позам.......................................................................................... 70

2.3 Модель движений тела человека на основе нечетких темпоральных высказываний................................................................................................................70

2.4 Модель идентификации характерных телодвижений человека....................80

2.5 Модель идентификации позы человека и эмоциональной реакции

на основе гранулярной структуризации................................................................... 88

2.6 Выводы..............................................................................................................106

3 Алгоритмическое и программное обеспечение для определения эмоциональной реакции человека............................................................................110

3.1 Архитектура программного комплекса распознавания эмоциональных реакций по видеоряду................................................................................................110

3.2 Структура базы данных характерных телодвижений.................................. 113

3.3 Алгоритм распознавания эмоциональной реакции человека......................114

3.4 Алгоритмы идентификации телодвижений................................................... 116

3.5 Алгоритмы предварительной обработки видеоинформации ......................119

3.6 Анализ и оценка разработанных алгоритмов................................................ 122

4 Апробация методики автоматизированного определения эмоционального состояния человека по видеоизображению.............................................................127

4.1 Экспериментальное исследование программного комплекса.....................127

4.2 Оценка эмоциональной реакции при переговорах .......................................128

4.3 Выводы..............................................................................................................131

Заключение................................................................................................................. 133

Список использованных источников .......................................................................137

Приложение А. Динамическое описание последовательности движений

в виде нечеткого гиперграфа..................................................................................... 157

Приложение Б. Примеры видеофрагментов телодвижений, характерных

для эмоциональных реакций.....................................................................................161

Приложение В. Примеры гранул поз, характерных для эмоциональных

реакций ........................................................................................................................163

Приложение Г. Акт о внедрении результатов диссертации ..................................170

4

Введение

Эмоции играют важную роль в человеческой жизни. Анализ эмоционального состояния человека даёт возможность отслеживать изменение поведения людей, их отношение к происходящим событиям. Эмоции влияют на когнитивные процессы и принятие решений. Поэтому потребность в определении эмоциональных реакций приобретает всё большее значение. Основной вклад в развитие теории эмоций внесли: З.Фрейд, Ч.Дарвин, Г.Спенсер, Т.Рибо, У.Джеймс, К.Ланге, У.Кэннон, Ф.Бард, Л.Фестингер, К.Изард, Р.Лазарус, А.Н.Леонтьев, П.В.Симонов, Е.П.Ильин, и др. Проявление эмоций через телодвижения также остаётся всё ещё слабо изученной областью психологии, которая активно развивается в настоящее время.

Недостаточно разработаны и методы формального описания эмоций. Обычно в психологии эмоциональные реакции описываются текстом на естественном языке. В работах М.Коулсона и Дж.Ван дер Стока показано, что можно эффективно определять эмоции по движениям и позам человека, как и по другим показателям, в частности, по мимике. Данная задача тесно связана с анализом динамической нечеткой и неполной информации, полученной при помощи видеокамер. Поэтому для моделирования и формализации описания эмоциональных реакций по движениям и позам целесообразно использовать методы нечеткой математики. Нечеткие системы и вычисления, в частности, методы анализа нечетких временных рядов и нечетких темпоральных высказываний, грануляции информации были рассмотрены в работах Л.Заде, Д.А.Поспелова, В.Педрича, А.П.Еремеева, А.В.Заболеевой-Зотовой, Н.Г.Ярушкиной, С.М. Ковалева, В.Б.Тарасова и др.

Отсутствие моделей и методов, обеспечивающих идентификацию эмоциональных реакций по телодвижениям, не позволяет пока эффективно автоматизировать этот процесс. Вместе с тем автоматизированная обработка информации об эмоциональном состоянии даст возможность решения производственных, экономических, социальных и бытовых проблем [4].

Программные комплексы, осуществляющие интеллектуальную обработку потока видеоданных, могут оказаться полезными везде, где требуется анализ поведения человека, в том числе и его эмоциональной составляющей - в организациях, на транспортных узлах, в крупных магазинах и других местах скопления людей.

Таким образом, ограниченные возможности существующих средств распознавания эмоций по видеоинформации и практическая потребность в автоматизированной идентификации эмоциональной реакции по движениям и позам человека определяют актуальность диссертационного исследования. Цель и задачи работы.

Разработка моделей, методов и средств автоматизированной обработки и анализа видеоинформации, позволяющих определить эмоциональное состояние человека по характерным телодвижениям и позам.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

проанализированы модели, методы и системы автоматизированной обработки информации об эмоциональных реакциях человека; технологии и системы распознавания движений человека по видеоинформации; методы моделирования динамической информации на основе временных рядов;

разработана методика автоматизированного определения эмоционального реагирования человека на основе анализа характерных телодвижений и поз;

разработан метод выделения на видеоряде диапазонов поз и телодвижений по анализу двигательной активности, позволяющий учитывать индивидуальные особенности субъекта;

разработан метод определения базовых эмоциональных состояний человека по телодвижениям и позам;

разработана и исследована модель идентификации движений, соответствующих базовым эмоциональным реакциям человека;

разработана гранулярная структуризация описания характерных поз человека;

разработанные модели, методы и алгоритмы реализованы в виде программного комплекса, автоматизирующего определение эмоционального состояния человека по видеоинформации.

Объектом исследования являются телодвижения и позы человека при различных эмоциональных реакциях.

Предмет исследования - методы и средства автоматизированной идентификации эмоциональной реакции человека по видеоинформации.

Методы исследования. Методы системного анализа, теории нечетких множеств и грануляции информации, нейронных сетей, моделирования динамической информации на основе нечетких временных рядов.

Положения, выносимые на защиту.

1. Методика автоматизированного определения эмоций человека

по его телодвижениям и позам.

2. Метод выделения на видеоизображении отдельных поз и телодвижений по двигательной активности человека.

3. Метод определения базовых эмоциональных состояний человека

по телодвижениям и позам.

4. Модель движений тела человека на основе нечетких темпоральных высказываний.

5. Модель идентификации характерных телодвижений человека.

6. Модель идентификации позы человека и эмоциональной реакции на основе гранулярной структуризации.

7. Алгоритмы, реализующие модели и методы определения эмоциональной реакции по телодвижениям и позам.

8. Программный комплекс, автоматизирующий определение эмоционального состояния человека по видеоинформации.

Научная новизна.

1. Разработан и обоснован новый подход к автоматизированному определению эмоциональных реакций человека по видеоряду, основанный на моделировании телодвижений нечеткими временными рядами.

2. Разработан новый метод выделения поз, микро и макродвижений, включающий векторную модель тела человека, контекстно-свободную грамматику для её построения и модель двигательной активности человека.

3. Разработан новый метод определения базовых эмоциональных состояний человека по телодвижениям и позам, включающий модель телодвижений, модели идентификации эмоциональных реакций по характерным движениям и позам.

4. Разработана модель телодвижений человека на основе нечетких темпоральных высказываний, описывающих движения на ограниченном естественном языке.

5. Разработана модель идентификации эмоциональной реакции человека по критерию сходства исходного движения с эталонным описанием.

6. Разработана нейросетевая модель для оценки вероятности отнесения анализируемой позы человека к гранулам характерных поз и соответствующим им базовым эмоциональным реакциям.

Практическая значимость работы.

Разработанный программный комплекс определения эмоциональных реакций человека на основе анализа характерных движений и поз внедрен и успешно применяется для конкурсного отбора соискателей и заключения сделок в отделах по работе с персоналом и клиентами в крупнейшей в Волгоградской области франчайзинговой компании ООО «ВЦ Айлант», распространяющей программный продукт «1С».

Создана база данных эмоциональных телодвижений и поз, подсистема их просмотра, которые могут использоваться в качестве учебного пособия в образовательном процессе по направлениям подготовки специалистов по обеспечению безопасности, 3—с! моделированию и анимации.

Подсистема идентификации характерных движений и поз на видеоизображении может быть использована для классификации больших объёмов видеоданных, поиска определенных телодвижений, автоматического

проставления меток на видеоизображениях с целью ускорения дальнейшей обработки данных.

Разработанный программный комплекс может найти применение в крупных организациях, торговле, робототехнике, сфере обеспечения безопасности[79].

Достоверность выводов и рекомендаций подтверждается теоретическим обоснованием разработанных подходов, отсутствием противоречий с известными теоретическими положениями, согласованностью разработанных моделей, методов, алгоритмов и результатов, полученных при их апробации и практической реализации.

Область исследования. Содержание диссертации соответствует паспорту специальности 05.13.01 «Системный анализ, управление и обработка информации» по следующим областям исследований:

5. Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации;

12. Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации;

13. Методы получения, анализа и обработки экспертной информации.

Связь с научными и инновационными программами.

Результаты диссертационного исследования использованы при выполнении проектов РФФИ: 10—01—00165—а «Анализ и синтез интеллектуальных систем на основе логико-лингвистических моделей принятия решений», 10—01— 90012-Бела «Исследование фундаментальных проблем формализации подмножества естественного языка для информационно-справочных систем с естественным языковым интерфейсом», 11-01-97023-р_поволжье «Разработка методов генерации новых идей в проектировании, бизнесе и рекламе на основе математического моделирования лингвистических феноменов естественного языка», 12-07-00270-а «Разработка методов идентификации модели эмоционального поведения человека», 13-07-97042-р_поволжье «Разработка

методов анализа и синтеза знаний при проектировании новых технических и программных систем».

Исследование поддержано программой «Участник молодежного научно-инновационного конкурса» (УМНИК), г. Волгоград, 2011 г.; отмечено дипломом победителя смотра-конкурса научных, конструкторских и технологических работ студентов Волгоградского государственного технического университета в 2010 году; благодарственным письмом ВолгГТУ «Гордость Политеха XXI века».

Апробация работы.

Основные результаты исследования доложены на Всероссийской конференции с элементами научной школы для молодёжи «Проведение научных исследований в области обработки, хранения, передачи и защиты информации» (Ульяновск, 2009г.), Всероссийской научной конференции «Нечёткие системы и мягкие вычисления» (Волгоград, 2009 г.), Конгрессе по интеллектуальным системам и информационным технологиям (Дивноморское, 2010, 2011, 2012 гг.), Всероссийской научно-практической конференции с международным участием «Информационные технологии в профессиональной деятельности и научной

KJ

работе» (Йошкар-Ола, 2010 г.), Международной научной конференции «Инновационные технологии в управлении, образовании, промышленности» (Астрахань, 2010 г.), XXXVII Международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе» (Ялта-Гурзуф, Украина, 2010 г.), Международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем» (Минск, Белоруссия, 2011, 2012, 2013 гг.), VI международной научно-практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» (Коломна, 2011, 2013 гг.), Конгрессе по интеллектуальным системам и информационным технологиям (Москва, 2011, 2012 гг.), X международной конференции «Operations Research» (Гавана, Куба, 2012 г.), Международном семинаре «Operations Research and Data Mining» (Канкун, Мексика, 2012 г.), XXV международной научной конференции «Математические методы в технике и технологиях» (Волгоград, 2012 г.), V международной конференции по

когнитивной науке (Калининград, 2012 г.), XXIV международной конференции по системному анализу, информатике и кибернетики «Advances in Decision Technology and Intelligent Information Systems» (Баден-Баден, Германия, 2012 г.), II международной конференции по нечетким вычислениям (Баку, Азербайджан, 2012 г.), Международной конференции «Interfaces and Human Computer Interaction and Game and Entertainment Technologiess» (Прага, Чехия, 2013 г.), I конгрессе стран БРИКС и XI Бразильской конференции по вычислительному интеллекту «Ist BRICS Countries Congress and 1 Ith Brazilian Congress on Computational Intelligence» (Порто де Галиньяс, Бразилия, 2013 г.), а также на научных семинарах центра «Разработка интеллектуальных систем и психолингвистического моделирования» Волгоградского государственного технического университета (2008-2013 гг.).

Публикации. По теме диссертационной работы опубликовано 33 печатные работы, в том числе 7 статей в изданиях, входящих в перечень ведущих рецензируемых научных журналов и изданий ВАК РФ, из них 1 работа в журнале, индексируемом в базе Scopus, 1 работа в журнале, индексируемом в Web of Science.

Личный вклад соискателя. Все изложенные в диссертации результаты исследования получены либо соискателем лично, либо при его непосредственном участии. Личный вклад состоял в разработке и апробации новой методики автоматизированного определения эмоционального реагирования на основе анализа телодвижений человека, метода определения интенсивности двигательной активности для выделения участков поз и телодвижений, метода определения базовых эмоциональных состояний по телодвижениям, модели идентификации телодвижений человека по описаниям на ограниченном естественном языке, модели идентификации позы человека и эмоциональной реакции, гранулярной структуризации описания характерных поз человека, программного комплекса, реализующего разработанные модели, методы и алгоритмы.

Структура и объем диссертационн