автореферат диссертации по документальной информации, 05.25.05, диссертация на тему:Моделирование мимической компоненты обучающих информационных систем

ВВЕДЕНИЕ.

ГЛАВА 1. ИСПОЛЬЗОВАНИЕ МИМИКИ В ЧЕЛОВЕКО-МАШИННОМ ИНТЕРФЕЙСЕ И ДИАЛОГОВЫХ ПРОГРАММАХ.

1.1. Невербальные языковые средства.

1.2. Мимика в программных средах.

1.3. Современное состояние дел в исследованиях по мимическим диалоговым компонентам ИС и их перспективы.

1.4. Выводы.

ГЛАВА 2. МОДЕЛИРОВАНИЕ МИМИЧЕСКИХ СИСТЕМ.

2.1. Общие вопросы моделирования мимических систем.

2.1.1. Основные понятия.

2.1.2. Обоснование применения мимики в интерфейсном комплексе.

2.1.3. Подходы к созданию мимических систем различных типов.

2.2. Создание демонстрационной мимической системы.

2.2.1. Разработка основных компонент системы.

2.2.2. Система эмоциональных переходов.

2.2.3. Технические аспекты.

2.3. Интеллектуальная мимическая система.

2.3.1. Интеллектуализация мимической системы.

2.3.2. Распознавание в интеллектуальной мимической системе.

2.3.3. Трансформация изображения.

2.3.4. Технические аспекты.

2.4. Выводы.

ГЛАВА 3. ИНТЕГРАЦИЯ МИМИЧЕСКОЙ ДИАЛОГОВОЙ КОМПОНЕНТЫ В ОБУЧАЮЩИЕ СИСТЕМЫ.

3.1. Компьютерные технологии в обучении.

3.2. Создание обучающей системы с мимическим интерфейсным элементом. Универсальная тестовая оболочка Шеэт.

3.3. Выводы.

Актуальность

Развитие современных компьютерных технологий характеризуется активным внедрением мультимедиа-технологий в информационные системы как для общих задач представления информации, так и для обеспечения взаимодействия пользователя с программной средой. В условиях, когда компьютерные технологии становятся доступными постоянно расширяющемуся кругу людей, на первый план выходит проблема создания новых стандартов человеко-машинного интерфейса, приближающих программные средства коммуникации к естественным для человека аналогичным средствам. В этом плане одним из наиболее перспективных представляется направление компьютерного диалога с элементами интеллектуального интерфейса, использующего как естественный язык, так и невербальные методы коммуникации.

Применение невербальных языковых средств (в первую очередь визуально воспринимаемых) в специализированных программных средах позволяет повысить эффективность их использования. Усовершенствованный таким образом компьютерный диалог расширяет сигнализационные возможности интерфейса как количественно, так и качественно, привлекая к процессу усвоения информации такие механизмы человеческого мышления, как восприятие и распознавание образов. Интеграция невербальных компонент коммуникации в человеко-машинный интерфейс позволила бы кроме всего прочего повысить скорость и полноту усвоения информации пользователем программных сред, что особенно важно для таких классов программного обеспечения, как системы контроля данных, коммуникационные программы, операционные системы, обучающие, развивающие и справочные системы.

Важнейшую роль для передачи невербальной информации играет аппарат мимики, его моделирование на компьютере является в то же время наиболее визуально эффектным средством усовершенствования человеко-машинного интерфейса. С другой стороны язык мимики довольно сложен и способен передавать большие объемы содержательно разнообразной информации.

В связи с вышеизложенными положениями актуальными являются следующие задачи. Первое: переход от использования мимики в интерфейсных комплексах для развлекательных целей к моделям, позволяющим использовать мимику как средство достижения определенного полезного результата (например, стимулирования оператора с определенной целью, отображения эмоциональной проекции сложившейся ситуации как основы для принятия решений и т.д.). Второе: необходимо дать разработчикам программных продуктов научную базу для разработок в области мимического интерфейса. Эти знания стали бы началом создания интегрируемой в человеко-машинный интерфейс компьютерной модели собеседника, включающей как мимику, так и другие невербальные языковые средства, а также речь.

В диссертационной работе предложены подходы к созданию мимических систем различного типа, описаны результаты создания ключевых компонент таких систем, алгоритмы и техники их функционирования, а также представлена модель взаимодействия интеллектуальной мимической системы с обучающей средой. Следует отметить, что поднимаемая в работе проблема - проблема моделирования мимической диалоговой компоненты информационных систем - находится на стыке таких наук, как информатика, лингвистика, психология и др. Вовлечение в настоящую работу проблематики исследований различных научных направлений является примером поиска новых перспектив для каждой из наук.

Краткий обзор литературы

До сих пор такая проблема, как усовершенствование человеко-машинного интерфейса посредством включения в него как в целом невербальных, так и конкретно мимических сигнализационных компонент, не получила заметного освещения в научных исследованиях отечественных ученых. Соответственно существующие разработки, связанные с включением мимики в программные среды, ведутся практически с нуля силами самих разработчиков и дизайнеров. Настоящая работа стала бы исключительно полезной именно как основа для создания эффективных мимических систем, а также как труд одновременно по невербальным языковым средствам и психологии эмоций, по человеко-машинному интерфейсу и диалоговым системам, по обучающим системам. Литература по этим конкретным научным направлениям будет подробно рассмотрена в первой главе.

Цель и задачи диссертационного исследования

Целью настоящего диссертационного исследования является создание технологии построения мимической диалоговой компоненты информационных систем на примере обучающих программ. Можно выделить два основных направления диссертационного исследования: разработка диалоговых систем на базе невербальных языковых средств и интеллектуализация мимической сигнализационной системы. Выбор основных направлений и цели данной научной работы был обусловлен реальными потребностями разработчиков диалоговых компьютерных сред, в частности обучающих программ, в позволяющей усовершенствовать человеко-машинный интерфейс мимической сигнализационной системе, а также отсутствием на сегодня доступных технологий, позволяющих удешевить создание полноценных систем такого типа.

К главным задачам диссертации относятся: анализ и систематизация ранее накопленного опыта по невербальным системам коммуникации и мимике, выработка теоретической базы моделирования абстрактной мимической системы, создание самостоятельной (работающей вне интеграции с иными программными средами) мимической сигнализационной системы на основе рисованных мимических конструкций, разработка методики трансформации мимики произвольного фотопортрета для задач мимической сигнализации, создание рабочей интеллектуальной мимической системы, использующей в качестве исходного изображения произвольный растровый фотопортрет, разработка принципов и методов интеграции мимической системы в обучающую программную среду, интеграция на практике интеллектуальной мимической системы в обучающую компьютерную программу.

Постановка четырех последних задач естественным образом определяется целью диссертационного исследования, наличие трех первых необходимо по причине отсутствия до сего времени научных работ данного направления и необходимости создания основы для разработки специализированной мимической системы.

Объектом настоящего исследования является интеграция мимической диалоговой компоненты в специализированные программные среды. Предметом исследования является организация эффективного мимического реагирования в рамках интерфейса специализированной программы.

Подходы к решению поставленных задач

Изучение литературы по невербальной коммуникации предполагает, в первую очередь, сбор данных по конкретным мимическим экспрессиям и способам их выражения для составления мимического словаря, как основы мимической системы. Ввиду отсутствия достаточно полных мимических словарей необходимо будет дополнить формируемый словарь экспериментально полученными данными.

При выработке теоретической базы моделирования абстрактной мимической системы нужно предусмотреть возможные способы описания мимических конструкций и механизмы их построения, описать особенности формирования мимического алфавита, представить варианты мимического словаря, предложить возможные схемы эмоциональных переходов и определить пути решения проблемы визуализации смешанных эмоций.

Создание самостоятельной мимической системы предполагает составление графической базы мимических экспрессий, выбор наиболее подходящих режимов работы мимической системы и вариантов ее составных частей, создание алгоритмов функционирования системы и их реализация на языке высокого уровня в виде программы для операционных систем Windows 195/98.

Разработка методики трансформации мимики произвольного фотопортрета включает выработку методов распознавания объектов на фотопортрете и их описания в виде моделей существенных для мимической сигнализации лицевых областей, формирование математического аппарата попиксельной трансформации объектов для визуализации различных эмоций и разработка методов цветозаполнения для создания естественного изображения после трансформации объектов лица.

Создание рабочей интеллектуальной мимической системы предполагает поиск тестовых фотопортретов, разработку алгоритмов выделения лицевых объектов и единого аппарата их преобразования, алгоритмов цветогенерации и цветозаполнения, реализацию данных алгоритмов, функций трансформации объектов и способов управления трансформациями в виде программы для операционных систем Windows 195/98.

Разработка принципов и методов интеграции мимической системы в обучающую программную среду предусматривает создание эмоциональных шкал, применение которых было бы оправдано в обучающих системах, разработку разных систем оценивания знаний с применением мимической сигнализации и систем мимических реакций в ходе диалога и процесса обучения в целом, выработку принципов использования мимической сигнализации для достижения целей обучения.

Интеграция интеллектуальной мимической системы в обучающую компьютерную программу предусматривает выбор и изучение (либо создание) такой программы, выбор исходных изображений для мимической системы, создание модуля визуализации мимических экспрессий и задание точек вызова данного модуля из основной программы, сборку всех компонент общей системы в единую программу для операционных систем Windows'95/98 и тестирование полученного продукта в реальных условиях.

Планируемые результаты исследования

Результатом исследования в практическом плане должна явиться, во-первых, разработанная методика конструирования мимических систем, во-вторых, примеры мимических систем, реализованных в виде самостоятельных программ, в-третьих, рабочая интеллектуальная мимическая система, интегрированная в обучающую программу, и полученный таким образом готовый к использованию программный продукт. Созданная методика конструирования мимических систем в дальнейшем может послужить как основой для разработки новых мимических сигнализационных компонент, так и отправной точкой для исследований по невербальным диалоговым компонентам в целом. Примеры самостоятельных программ могут пригодиться разработчикам диалоговых систем, а готовая обучающая программа должна быть внедрена и использована по прямому назначению.

В теоретическом плане результатом исследования должны явиться сформулированные принципы моделирования мимических систем, методология конструирования интеллектуальных мимических систем и принципы интеграции мимической диалоговой компоненты в обучающие программные среды. Планируется написать и опубликовать три научных статьи по вовлеченной в исследование проблематике, отражающие все основные результаты диссертации.

Структура диссертации

Настоящая диссертация в своей основной части состоит из трех глав. Первая глава носит обзорный характер - в ней рассматриваются невербальные языковые средства, язык мимики, его смысловыразительные свойства и возможности его интеграции в человеко-машинный интерфейс. Также делается обзор современного состояния дел в исследованиях по мимическим диалоговым компонентам информационных систем и перспектив этих исследований.

Вторая глава посвящена вопросам моделирования мимических систем: как общим, когда рассматриваются возможные подходы к моделированию, так и специальным, например, как реализовать тот или иной подход. Описываются две демонстрационных мимических системы и процесс их создания: первая - наиболее простая, на основе рисуночной базы, вторая - наиболее перспективная (интеллектуальная мимическая система), позволяющая трансформировать мимику на произвольном фотопортрете.

Третья глава посвящена вопросам интеграции интеллектуальной мимической системы в обучающие среды, в ней описана и реализация этого проекта на практике - на примере программы для презентации 9 тестов. Описывается отдельная программа распознавания фотопортретов, реализующая альтернативные подходы к выделению лицевых объектов на изображении.

Настоящая диссертационная работа выполнялась на факультете информатики РГГУ в рамках проекта № АО 110 Объединенный УНЦ "Математические исследования сложных систем" (ФПЦ "Интеграция")

3.3. Выводы

Сегодня актуальными направлениями развития компьютерных обучающих систем является, во-первых, создание интерактивных интеллектуальных программ, управляющих учебным процессом в зависимости от успехов ученика, и, во-вторых, разработка новых диалоговых средств, основанных на работе с мультимедийной информацией. Первое направление соответствует экспертным системам, на которые возлагаются отдельные функции учителя, ведущего ученика через учебный курс. Второе - системы человеко-машинного интерфейса, призванью смоделировать коммуникативные действия учителя. В обучающих системах следует уделять повышенное внимание решению задачи моделирования не только логики действий, но и образа преподавателя, доступного обучаемому посредством привычных для него визуальных и слуховых стимулов.

Особенно важна оценочная невербальная (в первую очередь мимическая) сигнализация в такой разновидности обучающих систем, как тестовые системы. Основная цель последних - оценить знания обучаемого, его успеваемость, способность рассмотреть все варианты и выбрать правильный за ограниченный отрезок времени. Мимические реакции на ответы тестируемого существенно разнообразили бы поведение системы, формируя в то же время некий визуальный образ учителя. Наличие на экране персонифицированного участника диалога - преподавателя - должно помочь обучаемому более ответственно отнестись к процессу обучения. В компетенции "учителя" находятся реакции на прохождение тестов (групп вопросов), на события, моделирующие поведение человека и его текущее эмоциональное состояние.

Смысл собственно расширения пакета визуальных стимулов в такого рода системах состоит в уменьшении монотонности процесса обучения и снятия связанных с этим притупления внимания и общего утомления. Кроме того, информация, полученная в ходе коммуникации с использованием языка мимики, воспринимается как более достоверная, обучаемый склонен поверить и принять ее и, таким образом, значительно лучше ее усвоить.

До настоящего времени не была разработана единая методология создания мимических систем для их использования совместно с прикладными программами. Поэтому помимо общих принципов моделирования мимической интерфейсной компоненты и интеллектуальной мимической системы было бы чрезвычайно полезно разработать и создать утилиту, позволяющую внешней программе загружать уже обработанное изображение лица для его последующего преобразования. Наличие такой утилиты и самого процесса импортирования готового к использованию изображения, позволило бы упростить решение задачи интеграции интеллектуальной мимической системы в специализированные программные среды.

Что касается собственно обучающей системы, то при включении в нее мимической компоненты должен по возможности соблюдаться ряд специфических условий. Изображение лица не должно постоянно находиться на экране. Необходимо сохранять правдоподобное изображение лица в процессе его визуализации. Предпочтительно разнообразие эмоциональных экспрессий, подразумевающее и их взаимозаменяемость в некоторых случаях. Мимическая сигнализация также не должна быть жестко увязана с отдельными значимыми событиями в учебном процессе - нужно предусмотреть влияние уже произошедших событий на формирование новых экспрессий.

Одной из задач проведенных в рамках проблематики третьей главы работ стало создание универсальной тестовой системы. Это такая тестовая система, которая предназначена для презентации произвольных тестов - их мог бы подготовить любой пользователь данной программы. Универсальность системы должна помимо всего проявляться и в возможности работы в режиме обучения.

Созданная автором диссертации программа UTest как раз реализует принципы универсальной тестовой системы, использующей и мимический интерфейс. Она способна обрабатывать тесты с многоуровневым (сколь угодной глубины) разбиением на разделы и ответами, оцениваемыми по 10-бальной шкале. К дополнительным возможностям системы относятся: использование синонимии при формулировке вопросов, вывод комментариев к ответам, а также возможность выбирать либо один, либо несколько вариантов ответа, либо вводить свой вариант.

Для оценивания ответов программа использует визуализируемые мимические реакции - при этом используется интеллектуальная мимическая система, описанная во второй главе. При ответе на отдельный вопрос данный ответ мимически оценивается по эмоциональной шкале "огорчение-радость", при этом трансформация выражения лица происходит плавно. Для оценивания прохождения разделов теста используется альтернативная шкала "недовольство-восторг". Лицо, являющееся основой для произведения мимических трансформаций пользователь может ввести сам, предварительно обработав фотопортрет в отдельной программе распознавания Face analyser.

Эта программа реализует два возможных подхода к распознаванию лица на фотопортрете: по подготовому вручную файлу-маске, или по готовящемуся в полуавтоматическом режиме прямо в программе маскированному изображению лица. Далее возможно проведение процедуры автоматического поиска лицевых объектов и их распознавания. Данные о них сохраняются в специальном профайле, который используется затем универсальной тестовой системой.

Таким образом в результате выполненной работы были реализованы перспективные подходы усовершенствования работы обучающих систем, в первую очередь - моделирование компьютерного собеседника. Были разработаны и воплощены принципы формирования универсальной тестовой системы с богатыми возможностями представления тестового материала и оценивания результатов прохождения тестов. Наконец, осуществлена на практике интеграция интеллектуальной мимической системы в обучающую программу, а также разработаны принципы их взаимодействия.

Заключение

В результате выполнения теоретических и практических исследований, направленных на решение определенных во введении настоящей диссертации задач, были получены новые данные, имеющие высокую научную ценность, а также сформулированы методологические принципы моделирования мимических систем различного типа и схем их интеграции в программные среды, получены алгоритмы специализированного назначения, позволяющие усовершенствовать мимические системы, созданы компьютерные программы, реализующие идеи человеко-машинного интерфейса с мимической компонентой.

По итогам изучения литературы по невербальным языковым средствам и эмоциональной экспрессии был составлен мимический словарь, включающий экспериментально полученные и подтвержденные данные о средствах выражения эмоций. Были вручную созданы и иллюстрации к мимическому словарю, таким образом составлен довольно полный (на 29 состояний) иллюстрированный словарь мимического отображения эмоциональных экспрессий. Он может стать реальной основой любой проектируемой мимической системы, предоставляя разработчикам уже готовый и наиболее полный набор конструкций языка мимики с вербальным и графическим описанием состояний. На основе мимического алфавита, использованного при составлении мимического словаря, был разработан и обратный словарь мимики, предназначенный для интеллектуальной мимической системы и других систем аналогичного типа, применяющих конструирование выражения лица из отдельных лицевых объектов. Также введено понятие поглощения эмоций, разработан механизм поглощения, определены и проверены на практике правила поглощения эмоций. В результате описанных исследований получен целый ряд знаний, имеющих методологическую и практическую ценность и открывающих новые перспективы на пути к созданию современного мультиязычного интерфейса.

В рамках работ по выработке теоретической базы моделирования абстрактной мимической системы была определена типология мимических систем, введены понятия, обозначающие объекты и процессы, актуальные для задач моделирования мимики. Далее были предложены и описаны альтернативные подходы к формированию мимических систем различного типа, рассмотрены плюсы и минусы этих подходов, перспективы их использования на практике в связи с потребностями разработчиков и требованиями со стороны потенциальных пользователей. Описание всех возможностей моделирования мимических систем теперь может быть использовано разработчиками интерфейсных компонент для определения оптимального набора свойств создаваемой системы при тех условиях, в которые они поствлены, и при тех ресурсах, которыми они располагают.

Примером использования наработанной методологии стало создание демонстрационной мимической системы на основе рисованных мимических конструкций, подготовленных автором диссертации. Эта программа заложила основу для будущих мимических интерфейсов, дав представление о сложности разработки мимических систем и продемонстрировав практическую ценность положений теоретической базы моделирования мимических систем.

Логичным продолжением работ в области мимического интерфейса стала разработка методики трансформации мимики произвольного фотопортрета. По результатам рассмотрения возможных подходов к распознаванию фотопортретов (в том числе и полностью автоматического) были разработаны принципы полуавтоматического распознавания лицевых объектов для любого изображения лица с использованием предварительной разметки изображения и техники выделения контуров, а также метод попиксельной трансформации объектов с вычислением новых координат пикселов по математическим формулам. Данная методика представляется наиболее эффективной как по результатам, которые она обеспечивает, так и по затратам на ее реализацию.

Она была положена в основу создаваемой интеллектуальной мимической системы, позволяющей целенаправленно изменять мимику лица на произвольном растровом изображении. Программа была опробована на целом ряде фотопортретов с различным набором свойств и показала высокую точность как распознавания элементов изображения, так и, с точки зрения правдоподобия, формирования мимических конструкций. Данная программа явилась самостоятельной мимической системой, природной к интеграции со специализированными программными средами.

Были разработаны как общие принципы интеграции мимической системы, так и методические положения, актуальные конкретно для обучающих систем, в которые внедряется мимический интерфейс. Сформулированы условия, касающиеся особенностей воспроизведения мимических реакций и их связей с событиями в процессе обучения и диалога с пользователем - их соблюдение необходимо для эффективной работы мимической системы в рамках задач, решаемых обучающей программой. Данные принципы могут значительно упростить процесс разработки мимического интерфейса в специализированных программных средах.

Наконец, была реализована на практике интеграция мимической компоненты в обучающую программу. Для этого была использована интеллектуальная мимическая система, разработанная ранее, а также создан самостоятельный программный модуль распознавания фотопортретов с расширенными возможностями выделения лицевых объектов. В качестве среды, предназначенной для внедрения в нее мимической компоненты, была выбрана тестовая программа. Параллельно была проведена работа по созданию универсальной тестовой системы, позволяющей презентовать как любые, отформатированные особым образом тесты, так и мимику на произвольных лицах в положении анфас (с помощью мимической системы). В результате проведенной интеграции значимые события в процессе обучения были увязаны с комплексом мимических реакций, отображающих в частностях ход тестирования и в целом учебного процесса. Была получена работоспособная и готовая к внедрению в образовательных учреждениях универсальная тестовая система с элементами обучения, реализующая идеи мимического интерфейса.

Можно говорить о том, что основная цель диссертационного исследования была успешно достигнута - получена универсальная технология построения эффективной мимической диалоговой компоненты информационных систем на примере обучающих программ. Практическая ценность данного результата, а также сопутствовавших ему разработок, определяется возможностью их использования при создании новых прикладных программ самого разного назначения и

1. Афанасьев Ю.Н., Строгалов A.C., Шеховцов С.Г. Об универсальном знании и новой образовательной среде. М.: Изд-во РГГУ, 1999.

2. Афанасьев Ю.Н., Строгалов A.C., Шеховцов С.Г. Об универсальном знании и новой образовательной среде. Научно-методическая конференция "Развивающая педагогика в новой образовательной среде". М.: Изд-во РГГУ, 1999.

3. Афанасьев Ю.Н., Строгалов A.C., Шеховцов С.Г. Универсальная образовательная среда и компьютерные технологии обучения // Проблемы теоретической кибернетики. М.: Изд-во РГГУ, 1999.

4. Бабенко В.Э., Гуткин М.Л., Егорышева О.Н. Использование нечеткой логики и временных данных в моделях программ обучения // Системы и средства информатики. М.: Наука, 1993. - Вып.5.

5. Баула В.Г., Зырянов М.И. Интеллектуальные обучающие системы и их применение в дистанционном образовании // Интеллектуальные системы. 1996. - Т.1, Вып.1/4.

6. Брусиловский П.Л. Интеллектуальная среда для обучения основам программирования // Использование компьютерных технологий в обучениии. Киев: ИК АН СССР, 1990.

7. Брусиловский П.Л. Интеллектуальные обучающие системы // Информатика: Научно-технический сб. М.: ВНИИМИ, 1990. - Вып.2, Сер. Информационные технологии. Средства и системы.

8. Брусиловский П.Л. Модели обучаемого в интеллектуальных обучающих системах // Управляющие системы и машины. Киев, 1992. - №7/8.

9. Брусиловский П.Л. Построение и использование моделей обучаемого в интеллектуальных обучающих системах // Техническая кибернетика. 1992. - №5.

10. Вашик К., Кудрявцев В.В., Строгалов A.C. Проект IDEA. -Dortmund: Link @ Link Software GmbH, 1995.

11. Величенко B.B. Технический интеллект // Интеллектуальные системы. 1996. - Т.1, Вып.1/4.

12. Вильсон Г. Эмоциональная экспрессия артиста // Журнал практической психологии и психоанализа. 2000. - №1.

13. Изард, Кэррол Е. Эмоции человека. М.: Изд-во МГУ, 1980.

14. Куприянов В.В. Роль мимики в дифференциации личности: Сб. тр. / НИИ психиатрии им. Асатиани. Тбилиси, 1974.

15. Куприянов В.В., Стовичек Г.В. Лицо человека: анатомия, мимика. М.: Медицина, 1988.

16. Пиз, Аллан. Язык телодвижений. С-Пб.: Издательский дом Гутенберг, 1997.

17. Первицкий А.Ю., Белов A.A. Графические диалоговые системы: Учебное пособие. Л.: ЛЭИУ, 1987.

18. Поспелов Д.А. Десять горячих точек в исследованиях по искусственному интеллекту // Интеллектуальные системы. 1996. -Т.1, Вып.1/4.

19. Пронников В.А., Ладанов И.Д. Язык мимики и жестов: как распознавать намерения людей по телодвижениям. М., 1998.

20. Психология эмоций. Тексты. М.: Изд-во Московского ун-та, 1993 .

21. Руднев В.А. Вопросы клинической генетики и вегетологии. -Красноярск, 1981.

22. Строгалов А.С. Компьютерные обучающие системы: некоторые проблемы их разработок // Вузовская педагогика в информационном обществе. М.: Изд-во РГГУ, 1998.

23. Строгалов А.С. О дистанционном образовании в РГГУ // Ученый Совет РГГУ: Сборник документов. М.: Изд-во РГГУ, 1998. -Вып.6.

24. Строгалов А.С. О проблемах теории компьютерных обучающих систем // Сб. тр. VI Всероссийской конференции "Нейро-компьютеры и их применение". М., 2 000.

25. Строгалов А.С., Шеховцов С.Г. Интеллектуальная деятельность, обучение и образование. М.: Изд-во РГГУ, 2000.

26. Строгалов А.С., Шеховцов С.Г. Язык, мышление и интеллектуальное образование // Интеллектуальные системы.1998. Т.З, Вып.3/4.

27. Тимофеев Е.В. Интеграция языковых средств мимики в интеллектуальный человеко-машинный интерфейс // Интеллектуальные системы. 1998. - Т.З, Вып.3/4.

28. Тимофеев Е.В. Трансформация мимики произвольного человеческого лица для задач интеллектуального человеко-машинного интерфейса // Интеллектуальные системы. 1999. - Т. 4, Вып.1/2.

29. Badre A. The role of culture in user interface design // http://www.gvu.gatech.edu/gvu/people/albert.badre/rculture.html 2000.

30. Cassell J. A framework for gesture generation and interpretation // http://gn.www.media.mit.edu/groups/gn/ publications/gestureworkshop/gesture.wkshop.html 1998.

31. Cassell J. More than Just Another Pretty Face: Embodied Conversational Interface Agents // Communications of the ACM. -2000. v.43, №4.

32. Cassell J. Nudge Nudge Wink Wink: Elements of Face-to-Face Conversation for Embodied Conversational Agents // Embodied Conversational Agents. Cambridge: MIT Press, 1999.

33. Cassell J. What You Need to Know about Natural Gesture // Proc. of Second International Conference on Automatic Face and Gesture Recognition. Killngton, 1996.

34. Cassell J., Bickmore Т., Billinghurst M., Campbell L., Chang K., Vilhjalmsson H., Yan H. An Architecture for Embodied Conversational Characters // Proceedings of the First Workshop on Embodied Conversational Characters. Tahoe City, 1998.

35. Cassell J., Bickmore Т., Billinghurst M., Campbell L., Chang K., Vilhjalmsson H.( Yan H. Embodiment in Conversational Interfaces // ACM CHI 99 Conference Proceedings. Pittsburgh,1999.

36. Cassell J., Bickmore Т., Vilhjalmsson H., Yan H. More Than Just a Pretty Face: Affordances of Embodiment // Proceedings of 2000 International Conference on Intelligent User Interfaces. -New Orleans, 2 000.

37. Cassell J., McNeill D., McCullough K.E. Speech-Gesture Mismatches: Evidence for One Underlying Representation of1.nguistic and Non-Linguistic Information // Pragmatics and Cognition. 1999. - v. 7, №1.

38. Cassell J., Prevost S. Distribution of Semantic Features Across Speech & Gesture by Humans and Machines // http://gn.www.media.mit.edu/groups/gn/publications/wigls/ wigls.paper.html 19 94.

39. Cassell J., Stone M. Coordination and Context-Dependence in the Generation of Embodied Conversation // Proc. of International Natural Language Generation Conference. Mitzpe Ramon, Israel, 2000.

40. Cassell J., Stone M. Living Hand to Mouth: Psychological Theories about Speech and Gesture in Interactive Dialogue Systems // Proc. of AAAI 1999 Fall Symposium on Narrative Intelligence. 1999.

41. Cassell J., Stone M., Douville B., Prevost S., Achorn B., Steedman M., Badler N., Pelachaud C. Modeling the Interaction between Speech and Gesture // Proceedings of the Sixteenth Annual Conference of the Cognitive Science Society. 1994.

42. Cassell J., Torres O., Prevost S. Turn Taking vs. Discourse Structure: How Best to Model Multimodal Conversation // Machine Conversations. Kluwer, 1999.

43. Cassell J., Vilhjalmsson H. Fully Embodied Conversational Avatars: Making Communicative Behaviors Autonomous // Autonomous Agents and Multi-Agent Systems. 1999. - v.2, №1.

44. Darrell T. Intelligent Analysis/Synthesis of Facial Imagery // http://www-pcd.Stanford.edu/cs547/abstracts/97-98/971031-darrell.html 1997.

45. East-West conference on artificial intelligence. From theory to practice. Moscow: Association for Artificial Intelligence of Russia, 1993.

46. Ekman P. Emotion in the human face. New York: Cambridge University Press, 1982.

47. Ekman P. Facial expression of emotion: New findings, new questions // Psychological Science. 1992. - v.3.

48. Ekman P. Telling lies: Clues to deceit in marketplace, politics and marriage. New York, London: Norton, 1985.

49. Ekman P., Friesen W. The repertoire of nonverbal behavioral categories origins, usage, and coding // Semiótica. - 1969. -№1.

50. Givens D.B. Nonverbal communication // http://members.aol.com/nonverbal2/nvcom.htm 2000.

51. Izard C.E. The psychology of emotions. New York, London: Plenum press, 1991.

52. Koda T., Maes P. Agents with faces: The effect of personification // Proceedings of the Fifth IEEE International Workshop on Robot and Human Communication (R0-MAN '96). 1996.

53. Nakra T.M. Inside the Conductor's Jacket: Analysis, Interpretation and Musical Synthesis of Expressive Gesture // http://vismod.www.media.mit.edu/tech-reports/TR-518/index.html

54. Nummenmaa T. Pure and blended emotion in the human face: Psychometric experiments. Helsinki: Suomalainen tiedeakatemia, 1992 .

55. Pelachaud C., Cassell J., Badler N., Steedman M., Prevost S., Stone M. Synthesizing Cooperative Conversation // Multimodal Human-Computer Communication: Systems, Techniques and Experiments. Springer Verlag, 1998.

56. Torres 0. Producing Semantically Appropriate Gestures in Embodied Language Generation // http://gn.www.media.mit.edu/ groups/gn/publications/ObedMSThesis.pdf 1997.

57. Vilhjelmsson H. Autonomous Communicative Behaviors in Avatars. Cambridge: Media Arts and Sciences, 1997.

58. Vilhjalmsson H., Cassell J. BodyChat: Autonomous Communicative Behaviors in Avatars // Proceedings of ACM Second International Conference on Autonomous Agents. Minneapolis, 1998 .

59. Waibel A. Speaking with your Voice, Pen, Eyes, Face, Hands, and Fingers // http://www-pcd.stanford.edu/cs547/abstracts/96-97/970404-waibel.html 1997.

60. Yan H., Selker T. Context-Aware Office Assistant //http://gn.www.media.mit.edu/groups/gn/publications/Yaniui.pdf -2000.1. Глава 2.

61. Барабанщиков В.А., Малкова Т.Н. Идентификация экспрессии человеческого лица // Проблемы диагностики и управления состоянием человека оператора. М.: Общество психологов СССР при Президиуме АН СССР, 1984.

62. Биркенбил В. Язык интонации, мимики, жестов. С-Пб.: Питер, 1997 .

63. Кулагина О.С. Об автоматическом синтаксическом анализе русских текстов / Препринт ИМП им. М.В.Келдыша АН СССР. 1987. - № 205.

64. Кулагина О.С. О проблемах автоматической обработки текстов на естественных языках // Интеллектуальные системы. 1996. - Т.1, Вып.1/4.

65. Литовченко Ц.Г. Компьютерная информационная система распознавания динамических образов в потоке изображений на основе алгоритмической технологии // Интеллектуальные системы. -1996. Т.1, Вып.1/4.

66. Литовченко Ц.Г. Компьютерная информационная система распознавания динамических образов в потоке изображений с предельными требованиями по качеству распознавания // Вестник НОУ-ХАУ. 19 92. - №1.

67. Чечкин А.В. Принципы и методы математического моделирования интеллектуальных систем // Интеллектуальные системы. 1998. -Т.З, Вып.1/2.

68. Читать человека как книгу: Мимика. Жест. Поза. Почерк. М.: Эксмо-Пресс, 1998.

69. Bauml B.J. A dictionary of gestures. Matuchen: Scarecrow press, 1975.

70. Givens D. The nonverbal dictionary of signs and gestures // http://members.aol.com/nonverbal2/entries.htm 1999.

71. Grudin M.A., Lisboa P.J., Harvey D.M. Compact Multi-Level Representation of Human Faces for Recognition // Proc. of Sixth Int. Conf. on Image Processing and its Applications. Dublin, 1997 .

72. Gur Y. Modeling a Face // http://www.3dcafe.com/tuts/ tuthead.htm 2000.

73. Lawrence S., Yianilos P., Cox I. Face Recognition using Mixture-Distance and Raw Images // Proc. of 1997 IEEE International Conference on Systems, Man, and Cybernetics. -Piscataway: IEEE Press, 1997.

74. Lewis J. Automated Lip-Sync: Background and Techniques. // http://www.idiom.com/-zilla/Papers/1ipsync91/1ipsync91.html

75. Moghaddam B. Face Recognition Demo Page // http¡//www-white . media . mit . edu/vismod/demos/f acerec/index . html 1998.

76. Moghaddam В., Pentland A. Face recognition using view-based and modular eigenspaces // Automatic Systems for the Identification and Inspection of Humans. 1994. - v.2257.

77. Pentland, A., Choudhury, T. Face Recognition for Smart Environments // IEEE Computer. February, 2000.

78. Peck S.R. Atlas of facial expression. New York, Oxford: Oxford univ. press, 1987.

79. Sirohey S., Wilson C., Chellappa R. Human and Machine Recognition of Face: A Survey // Proc. of IEEE, 1995. v.83, №5.

80. Stiefelhagen R. Searching and Tracking Facial Features. // http://www.is.cs.emu.edu/ISL.multimodal.modelgaze.tracking.html- 1998.

81. Turk M., Pentland A. Eigenfaces for recognition // Journal of Cognitive Neuroscience. 1991. - v.3.

82. Wiskott L., Fellous J.M., Kruger N., Malsburg, C. Face Recognition by Elastic Bunch Graph Matching // Proc. of IEEE Intl. Conf. on Image Processing (ICIP'97). Santa Barbara,1997 .1. Глава. 3.

83. Афанасьев Ю.Н., Зубкова Е.Ю., Строгалов А.С., Шеховцов С.Г. Россия в XX веке. Учебный комплекс по истории. М.: изд-во РГГУ, 2000.

84. Дистанционное обучение: Учеб. пособ. для ВУЗов. М.: Владос,1998 .

85. Довгялло A.M., Ющенко E.J1. Обучающие системы нового поколения // Управляющие системы и машины. 1988. - №1.

86. Кудрявцев В.В., Вашик К., Алисейчик П.А., Перетрухин В.В., Строгалов А.С. Компьютерные интеллектуальные системы обучения // Компьютерные аспекты в научных исследованиях и учебном процессе.- М.: Изд-во Московского ун-та, 1996.

87. Кудрявцев В.В., Вашик К., Алисейчик П.А., Перетрухин В.В., Строгалов А.С. Компьютерная система обучения автоматного типа: Тезисы докладов. XI-й Международ-ная конференция "Проблемы теоретической кибернетики". М.: изд. центр РГГУ, 1996.152

88. Кудрявцев В.В., Вашик К., Алисейчик П.А., Перетрухин В.В., Строгалов А.С. Об автоматном моделировании обучения // Дискретная математика. 1996. - Т.8, Вып.4.

89. Петрушин В.А. Экспертно-обучающие системы. Киев: Наукова думка, 1992.

90. Ричмонд, Кеннет У. Учителя и машины. М.: Мир, 1968.

91. Строгалов А.С., Молодцов И.Н. Основы компьютерных знаний. -М.: изд-во РГГУ, 2000.

92. Строгалов А.С., Тимофеев Е.В. Об интеллектуализации интерфейса обучающих программ // Интеллектуальные системы. -1999. Т.4, Вып.3/4.

93. Федоров Б.И., Джалиашвили 3.0. Логика компьютерного диалога. М.: Онега, 1994.

94. Interface Hall of Shame. The Use of Color // http://www.iarchitect.com/color.htm 2000.

95. Kudrjavtsev V., Waschik K., Strogalov A., Alisejtchik P., Peretruchin V. Modelling educational process using expert system // Proc. of 2nd Russian-German Symposium New Media for Educational and Training in Computer Science. Moscow, 1996.

96. Kudrjavtsev V., Waschik K., Strogalov A., Alisejtchik P., Peretruchin V. On the automaton model of the learning processes // Discrete Math. Appl. Holland, 1996 - v.6, №6.

97. Lumsden L. Student Motivation To Learn // http://chiron.valdosta.edu/whuitt/files/stdtmotv.html 1994.

98. Molich R., Nielsen J. Improving a human-computer dialogue // Communications of the ACM. 1990. - v.33, №3.

99. Nielsen J. Enhancing the explanatory power of usability heuristics // Proc. of ACM CHI'94 Conf. Boston, 1994.

100. Nielsen, J. Ten Usability Heuristics //http://www.useit.com/papers/heuristic/heuristiclist.html

101. Tognazzini B. Human Interface Evangelism & Practical Design // http://www.asktog.com/basics/firstPrinciples.html 2000.