автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.17, диссертация на тему:Исследование психофизиологического состояния человека на основе эмоциональных признаков речи

На правах рукописи

ХРОМАТИДИ Александра Феодосиевна

ИССЛЕДОВАНИЕ ПСИХОФИЗИОЛОГИЧЕСКОГО СОСТОЯНИЯ ЧЕЛОВЕКА НА ОСНОВЕ ЭМОЦИОНАЛЬНЫХ ПРИЗНАКОВ РЕЧИ

Специальности

05.11.17 «Приборы, системы и изделия медицинского назначения» 05.13.01 «Системный анализ, управление и обработка информации»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Таганрог 2005

Работа выполнена в Таганрогском государственном радиотехническом университете

Научный руководитель: доктор технических наук, профессор

В.Г. ЗАХАРЕВИЧ

Научный консультант: кандидат технических наук, доцент

И.Б. СТАРЧЕНКО

Официальные оппоненты: ОМЕЛЬЧЕНКО В.П. -

доктор биологических наук, профессор, заведующий кафедрой Медицинской и Биологической Физики (Ростовский государственный медицинский университет, г. Ростов-на-Дону)

АСТАНИН С.В -

доктор технических наук, профессор. (ТРТУ, г. Таганрог)

Ведущая организация:

НИИ нейрокибернетики РГУ, г. Ростов-на-Дону

Защита состоится «Д5» Ссё^ ^/^/77(2 2005 г. в /¿/-^ часов на заседании диссертационного совета Д.212.259.04 в Таганрогском государственном радиотехническом университете. Адрес: 347922, Россия, г. Таганрог, ул. Шевченко, 2, ауд. Е-306

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан « (Я _» 2005 г.

Ученый секретарь к.т.н., доцент

диссертационного "у Старченко И. Б.

совета

2/ГМК

з

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации

Акустическая информация, используемая при речевой коммуникации, характеризуется двойственной природой: с одной стороны, она материальна, так как распространяется в форме звуковых волн, с другой стороны, она является инструментом, с помощью которого передаются и понимаются мысли партнерами по коммуникации.

Речевые знаки могут адекватно передавать сложнейшие нюансы мышления при условии, что они правильно и хорошо сформулированы и что слушатель обладает способностью воспринимать их. Эта форма передачи внутренних состояний мыслительного сознания одного партнера другому называется рациональной функцией речи. Однако существует еще одна функция речи - эмоциональная. Ее изучению посвящена данная диссертация.

Исследования речевых сигналов проводились многими учеными с целью описания как лингвистических, так и технических характеристик речи. Особенно важные исследования в этой области были проведены М.А. Сапожковым, В.К. Иоффе, Г. Фантом Эмоциональная речь изучалась П.К. Анохиным, В. К. Вилюнасом, П.В. Симоновым и др. Экспериментальные исследования были выполнены Фроловым М.В., Таубкиным В.Л., Рейковским Я. и др. Разработаны множество приборов для анализа речи, например, анализатор эмоциональной речи, измеритель интенсивности речевых высказываний и др.

Особенно важным является изучение речи в режиме реального времени. Этот режим позволяет мгновенно оценивать психофизиологическое состояние человека, не затрачивая время на запись и предварительную подготовку речевого высказывания к последующему анализу. Следовательно, такая методика исследования речи может быть применена для изучения состояния человека-оператора, профессиональная деятельность которого связана с постоянным стрессом.

Обработка речевых сигналов методами нелинейной динамики и последующий анализ нелинейных характеристик являются новым направлением в области речевой акустики. В данной диссертации ставится вопрос о возможности нахождения классификационных признаков эмоций с помощью методов нелинейной динамики. Одно из направлений применения методов нелинейной динамики связано с проблемой обработки сигналов. За последние годы были предложны методики, позволяющие выяснить, какой системой был произведен сигнал, а так же получить информацию о ее свойствах и характеристиках. Таким образом, аппарат нелинейной динамики является инструментом исследования, позволяющим сделать заключение или предположение о структуре объекта, сконструировать его динамическую модель и т.д. Разработку методов и яптритмов арализа сигналов можно считать важным направлением нелиж ЙЙ©Й-..............средственно

связанным с возможными приложениями

Цели и задачи работы

Целью данной диссертационной работы является теоретическое и экспериментальное исследование эмоциональной речи человека для выявления классификационных признаков определения

психофизиологического состояния человека-оператора на основе речевого сигнала.

Для реализации поставленной цели ставятся следующие задачи диссертационной работы:

1. Разработать и численно исследовать математические и акустические модели речевого тракта и речевого сигнала, провести учет в моделях эмоциональной составляющей.

2. Разработать методику проведения эксперимента. В качестве образцов речи исследовать слова, не несущие эмоциональной нагрузки, а также псевдослова. Применить методику стимулирования эмоций, а так же методику имитации для исследования речи. Выявить закономерности изменения акустических показателей речевых высказываний в зависимости от эмоционального состояния человека. Исследовать актерскую речь, и использовать ее в качестве экспертной оценки.

3. Провести анализ эмоциональной речи методами нелинейной динамики и рассчитать основные нелинейные показатели.

4. Разработать принципы построения комплекса для мониторинга психофизиологического состояния человека-оператора, включающего канал анализа речевого сигнала, составить его функциональную схему.

5. Апробировать и применить разработанную методику анализа психофизиологического состояния человека-оператора при построении системы анализа речи диспетчеров Северо-Кавказской железной дороги (СКЖД).

Методика исследования

В работе использованы методы анализа психофизиологического состояния человека, основанные на статистическом анализе уровнеграмм, восстановленных фазовых портретов и ряда нелинейных показателей речевых сигналов, полученных при различных эмоциональных состояниях. Основные выводы и положения сравнивались с известными результатами и были теоретически обоснованы. Эксперименты проводились в помещениях, специально оборудованных для записи речи. Математические модели сопоставлялись с физическими представлениями и моделями. Достоверность вычислений проверялась статистической значимостью, а так же сравнением с результатами, полученными другими методами и средствами.

Научная новизна диссертационной работы

Научная - новизна - проведенных исследований заключается в рассмотрении как теоретически, так и экспериментально, речи человека при определенных эмоциональных состояниях.

Основные научные результаты работы:

1. Построена математическая модель речевого тракта и речевого сигнала. Получена акустическая модель речевого тракта, вычислены ее параметры. Приведено математическое описание речевого сигнала с учетом эмоциональной составляющей.

2. Установлено, что активно переживаемые эмоции («радость», «восторг» и т.д.) сопровождаются, увеличением амплитуды речевого сигнала, смещением спектра речевого сигнала в НЧ зону при отрицательных эмоциях, и в ВЧ - при положительных, увеличением частоты основного тона (ЧОТ) на 200-300% по отношению к состоянию покоя. Огибающие уровнеграмм претерпевают существенную деформацию, становятся более изрезанными. Значения формантных частот и ширина полосы формантных зон увеличиваются на 100—200% при сильных эмоциях.

3. Исследована нелинейная модель эмоциональной речи. Обнаружена зависимость геометрии фазового портрета (аттрактора) от эмоционального состояния. Доказана хаотическая природа эмоционального речевого сигнала по рассчитанному спектру Ляпунова, о чем говорит положительное значение первой экспоненты. Рассчитаны размерность Каплана-Йорка и корреляционная размерность, выявлено, что максимальное значение характерно для гнева - от 2,8 до 3,1; а минимальное для спокойствия - от 1,3 до 1,6.

4. Разработана методика анализа речевого сигнала, а также структурная схема системы анализа психофизиологического состояния человека-оператора по его речевому сигналу.

Практическая значимость работы

Практическая ценность данной диссертационной работы заключается в разработанной методике обработки речевых сигналов, а так же выявленных классификационных признаках определения эмоционального состояния, которые можно применять для оценки психофизиологического состояния человека-оператора в процессе профессиональной деятельности.

Внедрение результатов работы

Разработанная методика по определению эмоционального состояния человека-оператора, на основе анализа классическими методами и методами нелинейной динамики, была использована в работе совместно с ОКБ «Ритм» по оценке психофизиологического состояния диспетчеров СКЖД.

Разработанные в диссертации модели речевого тракта и речевого сигнала, методы их расчета и алгоритмы были использованы в учебном процессе кафедры ЭГА и МТ ТРТУ для студентов специальностей 190500 и 190600 в рамках курсов «Моделирование и управление в медицинских и биологических системах», «Теория биотехнических систем», «Системный анализ и принятие решений».

Апробация работы

Основные результаты работы обсуждались на следующих конференциях и семинарах:

1. IV Всероссийская научная конференция студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления (КРЭС)». Таганрог, 1998 г.

2. Всероссийская научно-техническая конференция «Медицинские информационные системы». Таганрог, 1998, 2000, 2002, 2004 гг.

3. Международная молодёжная научно-техническая конференция «Интеллектуальные системы управления и обработки информации». Уфа, 1999 г.

4. Всероссийская научно-техническая конференция студентов, молодых учёных и специалистов «Биотехнические, медицинские и экологические системы и комплексы (БИОМЕДСИСТЕМЬГ-99)». Рязань, 1999 г.

5. Седьмая ежегодная международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика». Москва, 2001г.

6. XVI сессия Российского акустического общества. Москва, 2005 г.

7. Первая ежегодная научная конференция студентов и аспирантов базовых кафедр, южного научного центра РАН. Ростов-на-Дону, 2005 г.

8. 3-й Международный молодежный форум и выставка «Информационные технологии в XXI веке». Днепропетровск, 2005 г.

9. 1st International Conference on Experiments/Process/System modeling/Simulation/Optimization. Athens, 2005.

10. Forum Acusticum. Budapest, 2005.

Работа была обсуждена на совместном заседании кафедр электрогидроакустической и медицинской техники, автоматизированных систем научных исследований и эксперимента, теоретических основ радиотехники и радиоприемных устройств и телевидения ТРТУ от 30 мая 2005 г.

Публикации

По материалам диссертационной работы опубликовано 13 печатных работ, среди которых 7 статей и 6 тезисов докладов.

Струю-ура и объем диссертации

Диссертационная работа состоит из введения, пяти глав, заключения, библиографического списка, включающего 123 наименования и приложений. Содержание диссертационной работы изложено на 137 страницах.

Научные положения, выносимые на защиту

1. Модели речевого тракта и речевого сигнала человека, учитывающие эмоциональную составляющую речи.

2. Классификационные признаки эмоций, полученные при обработке результатов экспериментальных исследований эмоциональной речи.

3. Результаты анализа речевого сигнала методами нелинейной динамики, хаотическая природа эмоциональной речи, основные нелинейные показатели (размерности, спектр Ляпунова).

4. Функциональная схема анализатора психофизиологического состояния человека-оператора на основе его речевых высказываний.

СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

Во введении обосновывается актуальность темы исследования, кратко изложено содержание диссертации, сформулированы основные научные положения, выносимые на защиту.

Первая глава. Данная глава включает в себя литературный обзор, проведенный по теме диссертации, а также алгоритм исследований необходимый для решения задач диссертации. Разработаны и систематизированы лингвистические и технические характеристики речи, приведена классификация признаков эмоций в речи человека. На основе выполненного обзора сформулированы цель и задачи работы.

Во второй главе проведено моделирование речевого тракта и речевого сигнала, выполнен учет эмоциональной составляющей.

При акустическом моделировании каждый участок речевого тракта (полость, сужение) представляется в виде секции, параметры в которой можно считать распределенными равномерно. Если изобразить разрез речевого тракта схематически, то можно выделить ротовую, глоточную и носовую полости. При образовании русских гласных проход из полости глотки в носовую полость закрыт нёбной занавеской. Полости рта и глотки разделены сужением, образуемым спинкой языка и нёбом. Второе сужение образуется с участием губ и двух рядов зубов. В результате получим модель речевого тракта, изображенную на рис. 2.1 ,а. Голосовые связки изображены в виде поршня.

Бэ Б« -

-Хс1

К-2 I

-К

-Хс2

£¡2

а) б)

Рис. 1. Акустическая модель речевого аппарата: а) - акустическая модель; б) - упрощённая эквивалентная электрическая схема.

Секция Б] представляет собой полость гортани, секция 52 - область сжатия, образуемую спинкой языка, секция 83 - ротовую полость и секция -область сжатия, образуемую ротовым отверстием. Звуковая энергия, излучаемая из ротового отверстия, отражается от лица говорящего, т.е. лицо как бы является отражательным экраном. Обобщенные сопротивления на рис. 1, б могут быть выражены следующими формулами:

Были рассчитаны передаточные функции речевого тракта. Размеры участков речевого тракта были взяты из данных магнитно-резонансной томографии (МРТ) при произнесении испытуемым различных гласных, которые были выполнены автором диссертации во время научной стажировки в Хельсинском университете, Финляндия.

В соответствии с исследованием, проведенным в главе 1, можно выделить ряд количественных признаков речи, характеризующих эмоциональное состояние, это изменение частоты основного тона; изменение частот основных формант; изменение амплитуды речи. Поэтому в модель речевого тракта была введена эмоциональная составляющая путем изменения параметров акустических резонаторов - полостей гортани и рта, результаты расчета представлены на рис. 2.

500 450

400 350 300 250 200 150

О)

(2)

(3)

100

50

300 600 900 1200 1500 1800 2100 2400 2700 3000

Рис. 2. Сравнение частот основного тона в моделях речевого тракта (сплошная линия - без эмоции, пунктир - с учетом эмоции).

Третья глава включает в себя разработку схемы и методики эксперимента, а также результаты экспериментальных исследований и их статистическую обработку классическими методами.

Запись экспериментальных данных осуществлялась в лаборатории Санкт-Петербургского университета на кафедре высшей нервной деятельности и психофизиологии при консультациях доктора биологических наук, профессора Ляксо Е.Е. Исследования проводились в заглушённой студии, чтобы избежать влияния внешних шумов на уровень записи и исключить случайные звуки. Для записи речевых сигналов использовался ноутбук ASUS A2800S (Р4, 2.66GHz, 512Mb) и микрофон AKG D770. Для обработки полученных данных применялись два программных пакета. Запись осуществлялась программой Cool Edit Pro, которая широко известна среди профессионалов звукозаписи и является фактическим стандартом в данном классе ПО. Обработка данных осуществлялась с помощью программы Praat.

Эксперимент состоял из трех частей и заключался в следующем. Первая часть - получение образцов эмоциональной речи от профессиональных актеров. Вторая часть - заполнение анкет с персональными данным, а так же тестами Спилберга-Ханина и Айзенка, затем - прослушивание записей актерской речи, предъявляемых в случайном порядке. Испытуемые должны были отмечать в выданных опросниках, какие эмоции они слышат. Таким образом, проверялась адекватность восприятия эмоций. На третьем этапе испытуемые произносили слова: картон, молоко, посуда, тихо с различными эмоциями, такими как спокойствие, радость, гнев, отвращение, раздражение, печаль и сомнение. Этот этап эксперимента делился на две части. Сначала записывались слова в спокойном состоянии, а затем испытуемому предлагалось отдохнуть и поиграть. Игра состояла в решении задачи, которая на самом деле не имеет решения, на время. Ддя составления задачи использовалась методика стимулирования эмоциональных состояний, включающая повышение чувства ответственности за выполнение задания или стимулирование наградой, а также искусственные затруднения (дефицит времени и дефицит информации). После завершения времени, выделенного на решение задачи, делалась контрольная запись слов в состоянии «покоя». Полагалось, что полученные записи соответствуют не спокойствию, а стрессу, причем не «сыгранному» испытуемым, а реальному.

После записи речевых сигналов проводился их анализ, основанный на вариативности параметров речи.

Первый этап - обработка в программе Cool Edit Pro. Она заключалась в следующем: при регистрации речи происходит запись усредненного за некоторый отрезок времени уровня звукового давления от времени -уровнеграммы. Примеры уровнеграмм, зарегистрированных с помощью программного пакета Cool Edit Pro, показаны на рис. 3.

в) г)

Рис. 3. Уровнеграммы испытуемого для слова «картон» (а- спокойствие, б- гнев, в- радость, г- печаль)

Частотный анализ речевого сигнала, выполненный на основе БПФ, показан на рис. 4. Было определено, что при положительных эмоциях спектр концентрируется в области более высоких частот, а при отрицательных -более низких. Об эмоциональном состоянии также говорит изрезанность спектральной огибающей в областях повышенной плотности.

I 212 4 ---1-1-'-1-1-1-

Рис. 4. Спектральное смещение (в область ВЧ - при положительных эмоциях, в область НЧ - при отрицательных)

Далее проводился фонетический анализ в программе Ргаа1. Данный вид анализа позволяет изучать распределение интенсивности произношения того или иного слова, распределение высоты звука, а так же рассматривать

треки формант. Данные, полученные с помощью этой программы, представлялись в виде таблиц в программе MS Excel. На их основе был проведен статистический анализ, представленный ниже в виде круговых диаграмм.

Максимальное знач«

□ гнев

В отвращение

□ сомнение

□ раздражение Опечаль

Вспокойствие

Максимальная длительность ударной гласной

В отвращение радость печаль

Максимальная интенсивность ударной гласной

□ гнев В радость Осомнение О печаль

Максимальное значение ЧОТ

В радость Огнев

Рис. 5. Круговые диаграммы, показывающие максимальные значения акустических параметров ударных гласных

Минимальное значение f1 ударной

гласной

Вспокойствие

В сомнение

/ПШк*»

L1I □ печаль

W 41%

Минимальная длительность ударной гласной-

В раздражение Вспокойствие

О тест-

Минимальная интенсивность ударной гласной

1Ф

В тест

В отвращение Оспокойствие О сомнение

Минимальное значение ЧОТ ударной гласной_

■тест

■ отвращение

Рис. 6. Круговые диаграммы, показывающие минимальные значения акустических параметров ударных гласных

Так же было произведено сравнение параметров состояния спокойствия и состояния стресса и получены следующие диаграммы, показывающие, что после стресса у испытуемых увеличилось значение частоты основного тона ударной гласной речевого сигнала, первой и второй формант, а так же длительности ударного слога, в то время как интенсивность наоборот уменьшилась.

Максимальная ЧОТ ударного слога до и после задания

▼¿У

■После задания 1До задания

Интенсивность ударного слога до и после задания

А

Максимальное значение 11 ударного слога до и после задания

ш

I После задания 1До задания

Максимальное значение (2 ударного слога до и после задания

1 После задания ■До задания

Рис. 7. Круговые диаграммы, показывающие распределение значений акустических параметров ударных гласных до и после стресса

Итак, были получены следующие результаты по изменению акустических характеристик речи при различных видах эмоций:

• "гнев" - частота фонации резко увеличивается в отличие от нейтральной речи, а также частота первой форманты, очень отчетливая артикуляция;

• "страх" - частота фонации ниже по сравнению с "гневом", содержит резкие пики, артикуляция более определенная, чем при "нейтральном состоянии";

• "печаль" - малые вариации в частоте фонации, артикуляция медленная, большая длительность гласных, иррегулярности. Частота фонации монотонно спадает в конце фразы, иногда присутствует тремор;

• "нейтральное состояние" - минимальная длительность ударной гласной, согласные иногда нечеткие, но гласные выделены четко.

С помощью программы был проведен многомерный

дисперсионный анализ МАКЮУА, который показал, что длительность ударной гласной (р<0,0086), интенсивность (р<0,00024), частота основного тона (р<0,0069), Р1 (р<0,0001), Р2 (р<0,0055) статистически значимы, т.е. могут использоваться в качестве классификационных признаков.

Четвертая глава. Для выяснения более «тонких» или неявных признаков эмоциональной речи был выполнен анализ речи методами нелинейной динамики.

Существует множество теоретических и экспериментальных работ подтверждающих нелинейную природу речевых сигналов, возникающую за счет турбулентности и течений в речевом тракте. Согласно теореме Тэйкенса, фазовый портрет может быть сформирован из выборок исходного сигнала

сдвинутых на время задержки и определен, как движение в восстановленном многомерном пространстве, которое имеет сходство с изначальным фазовым пространством. Таким образом, изучая смоделированную динамическую систему, можно получить информацию об изначальной неопределенной динамической системе.

Необходимые параметры для реконструкции фазового портрета это -размерность внедренного пространства и время задержки. Первая вычисляется из процента ближайших соседей по уровню, не превышающему 30%. Расчет проводился в программе TISEAN с помощью итераций. Из рис. 8 видно, что оптимальное внедренное пространство равно пяти для различных эмоций (% ближайших соседей равен 0).

20% 10%

5

внедренное пространство

Рис. 8. Выбор оптимального внедренного пространства

Для определения временной задержки т необходимо рассмотрение автокорреляционной функции сигнала. Значение первого пересечения этой функции с осью х и является мерой временной задержки. В данном исследовании значения временной задержки варьировались от 17-45 в зависимости от типа эмоции.

Далее с использованием полученных данных были построены фазовые портреты для различных эмоций (см. рис. 9). Они имеют характерный вид для каждой эмоции.

Поскольку критерием хаотической динамики служит присутствие положительного старшего ляпуновского показателя, то представляет большой интерес возможность его оценки на основании обработки записи речевых сигналов. Ляпуновский показатель оценивался как

Л-т = 1ш1г:1п

Т-+ооТ

х(Т)

где X - эволюция малого возмущения фазовой траектории х(1).

г) печаль в) спокойствие

Рис. 9. Фазовые портреты, характеризующие различные эмоции

В соответствии с формулой (4) был рассчитан спектр Ляпунова, т.е. параметры { Л ^ Л 2 ы}, представленные в таблице 1.

Таблица 1.

Распределение Ляпуновских показателей в зависимости от эмоции

Л, ¿4 л5

Гнев 0,0818 0,0020 -0,0812 -0,1546 -0,2822

Печаль 0,0438 -0,0663 -0,1431 -0,2713 -0,9329

Радость 0,0641 -0,0329 -0,1099 -0,2003 -0,4558

Спокойствие 0,0608 -0,0666 -0,1473 -0,2248 -0,6185

Из таблицы 1 видно, что первый показатель Ляпунова положительный, что говорит о хаотической природе эмоционального речевого сигнала. Используя спектр Ляпунова (табл. 1) была рассчитана размерность Каплана-Йорка Б, которая определяется как

П = т + г

Иъ+н

т

гдет-1,2,...причем 5"т >0;

1=1

Л - ляпуновские показатели,

На рис. 10 показаны значения размерности Каплана-Йорка для различных гласных и различных эмоций.

гнев печаль радость спокойствие

Рис. 10. Распределение размерности Каплана-Йорка в зависимости от эмоций

Рис. 10 показывает, что максимальное значение размерности находится в пределах от 2,8 до 3,1 и соответствует эмоции "гнев", а минимальное значение - от 1.3 до 1,6 соответствует состоянию "спокойствие".

Фрактальная размерность аттрактора одна из наиболее значимых характеристик хаотического процесса, она характеризует меру сложности аттрактора системы. Значения, полученные в ходе вычислений, приведены в таблице 2.

Таблица 2.

Значения фрактальной размерности в зависимости от эмоций

гнев печаль радость спокойствие

Испытуемый 1 2,13 1,28 1,95 1,09

Испытуемый 2 2,57 1,37 1,92 1,25

Испытуемый 3 2,68 1,37 1,88 1,26

Испытуемый 4 2,45 1,49 1,98 1,17

Испытуемый 5 2,04 1,31 1,86 1,23

Испытуемый 6 2,52 1,33 1,93 1,25

Испытуемый 7 2,03 1,44 1,91 1,18

Таким образом, методы нелинейной динами позволяют получить новые количественные характеристики речи, таки е как размерность фазового пространства, показатели Ляпунова, которые могут служить классификационными признаками при различении эмоций в речи человека. Пятая глава. Наблюдение за человеком-оператором в процессе его трудовой деятельности предполагает оперативное получение информации о

его психофизиологическом состоянии. Существует множество способов мониторинга состояния испытуемого. Как правило, они заключаются в замере физиологических показателей, таких как ЧСС, кровяное пульсонаполнение, КГР и т.д. Однако перечисленные выше методы нуждаются в установке контактных датчиков на тело испытуемого, которые могут отвлекать от работы или причинять дискомфорт. Поэтому наиболее комфортным методом изучения состояния человека является метод регистрации речи.

В связи с этим создание системы, непрерывного слежения за психофизиологическим состоянием человека-оператора использующей в качестве диагностического критерия изменения в структуре его речевых высказываний, является наиболее перспективным.

Функциональная схема возможной системы анализа, поостренная с учетом выявленных в предыдущих главах классификационных признаков эмоций, приведена на рис. 11.

Г'

ЗВУКОВАЯ КАРГА

ФАЙЛ ДАННЫХ

источник РЕЧИ МИКРОФОН нк- АРРСМ ДКП 08 Р

X

НЕЛИНЕЙНЫЙ АНАЛИЗ

БЛОК ИМИТАЦИИ

БЛОК ПЕЧАТИ

КОЛИЧЕСТВО ПАУЗ

СЧЕТЧИКИ ИМПУЛЬСОВ ПРЕОБРАЗОВАТЕЛЬ

тш ДЛИТЕЛЬНОСТИ в НАПРЯЖЕНИЕ ФНЧ

БЛОК ОГО БАЮЩЕЙ

ТОНАЛЬНОГО СИГНАЛА

Рис. 11. Функциональная схема анализатора

Функциональная схема анализатора состоит из следующих блоков:

- выделения темпоральных характеристик

- интонационных характеристик

- печати

- имитации пауз

- временных счетчиков

- замера интенсивности

-измерение нелинейных показателей

Методика исследования речи человека-оператора, разработанная в главах 3 и 4, получила применение в работе по изучению реальных речевых сигналов диспетчеров железной дороги, выполняемой на кафедре ЭГА и МТ совместно с ОКБ «Ритм», г. Таганрог и Управлением Северо-Кавказской железной дороги. Материалом для изучения послужили предоставленные психологической службой СКЖД видеозаписи рабочего дня диспетчера.

Для исследования необходимо было отобрать моменты расслабленного состояния диспетчера и состояния стресса, для последующего сравнения с целью выявления изменения акустических параметров. Оценка психофизиологического состояния осуществлялась как по визуальному наблюдению за говорящим, так и по интонационным изменениям его речи.

После того, как фрагменты речевых сигналов диспетчеров были классифицированы, их анализ проводился по методике, описанной в главе 3.

Допущением в данной работе является упрощенная классификация эмоций, где необходимым является отделение состояния «нормы» от состояния «стресса».

Извлекая параметры длительности, основного тона, интенсивности, а так же формант были получены статистические параметры, описанные ниже.

Распределение ЧОТ

Распределение витальности

Распределение Р1, Р2

'стресс Г2

Распределение интенсивности

Рис. 12. Статистические параметры речи диспетчеров СКЖД

Из рис. 12 видно, что состояние стресса характеризуется увеличением длительности речевых высказываний, интенсивности, ЧОТ, а

так же формант (они увеличиваются, как правило, на 50-150%.) всех ударных гласных, что подтверждает результаты исследований проведенных в главе 3.

В заключении сформулированы основные результаты, полученные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Исследованы важнейшие характеристики речи: габитусные (природные), процессуальные, формальные и дополнительные. Изучены методы анализа эмоциональной речи: классические (спектральный, фонетический и статистический) и методы нелинейной динамики. На основе этих исследований сделаны следующие выводы: при оценке состояния человека оператора необходимо учитывать не только сугубо индивидуальные характеристики изменения в семантической и спектральной структуре речевых сообщений, но и особое внимание уделять психологическим, мотивационным аспектам речевой активности.

2. Получена акустическая модель речевого тракта, вычислены ее параметры. Описана математическая модель речевого тракта, полученная на основе волнового уравнения. Приведено математическое описание речевого сигнала учетом эмоциональной составляющей.

3. По результатам экспериментальных исследований установлено, что активно переживаемые эмоции («радость», «восторг» и т.д.) сопровождаются, как правило, увеличением амплитуды речевого сигнала. Спектр речевого сигнала деформируется и имеет тенденцию к смещению. При этом наблюдается концентрация спектра в низкочастотной зоне при отрицательных эмоциях, и в высокочастотной - при положительных. Частота основного тона увеличивается при сильных эмоциях на 200-300% по отношению к состоянию покоя. Огибающие слов претерпевают существенную деформацию, становятся более изрезанными. Формантная структура речи изменяется. Значения формантных частот и ширина полосы формантных зон увеличиваются на 100—200% при сильных эмоциях. Изменяется темп речи и соотношения между временем интонирования и паузами в тексте. Обнаружена статистическая зависимость между различными эмоциями и длительностью произносимых слов, а также интенсивностью и ЧОТ.

4. Исследование нелинейной модели эмоциональной речи показало, что каждой эмоции соответствует аттрактор определенной геометрии в фазовом пространстве. Значение размерности Каплана-Йорка колеблется в зависимости от эмоционального состояния говорящего и находится в следующих пределах: максимальное значение характерно для гнева - от 2,8 до 3,1; минимальное для спокойствия - от 1,3 до 1,6. Рассчитанные параметры спектра Ляпунова, подтверждают наличие хаотической природы эмоциональной речи.

5. Разработана методика анализа речевого сигнала включающая статистический, фонетический и нелинейный анализ. Разработана структурная схема системы анализа психофизиологического состояния человека-оператора по его речевому сигналу. Проведен анализ реальных речевых сигналов диспетчеров СКЖД.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ РАБОТЫ:

1 Хроматиди А.Ф., Бурьков Д.В. Биотехническая система анализа психологического состояния человека с обратной связью. IV Всероссийская научная конференция студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления (КРЭС)». Таганрог, 1998г, с.257-258.

2 Хроматиди А.Ф., Старченко И.Б. Комплексная БТС анализа психофизиологического состояния человека. Всероссийская научно-техническая конференция «Медицинские информационные системы (МИС-1998)». Таганрог, 1998г, с.26-27.

3 Хроматиди А.Ф. Компьютерный метод оценки и коррекции психофизиологического состояния человека. Международная молодёжная научно-техническая конференция «Интеллектуальные системы управления и обработки информации». Уфа, 1999г, с.152-153.

4 Хроматиди А.Ф. Комплексная БТС анализа психофизиологического состояния человека по его речевому сигналу. Актуальные проблемы современных гуманитарных исследований. (Сборник трудов). Ставрополь, 1999г, с.246-250.

5 Хроматиди А.Ф., Старченко И.Б. Аудиокомпьютерная система анализа психофизиологического состояния человека по его речевому сигналу. Всероссийская научно-техническая конференция студентов, молодых учёных и специалистов «Биотехнические, медицинские и экологические системы и комплексы (БИОМЕДСИСТЕМЫ-99)». Рязань, 1999г, с.47-49.

6 Хроматиди А.Ф. Модель речевого тракта и речевого сигнала. V Всероссийская научная конференция студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления (КРЭС)». Таганрог, 2000г, с.257-258.

7 Хроматиди А.Ф., Старченко И.Б., Тимошенко В.И. Построение моделей речевых сигналов и их анализ с точки зрения эмоционального состояния человека. Всероссийская научно-техническая конференция «Медицинские информационные системы (МИС-2000)». Таганрог 2000г, с.42-49.

8 Хроматиди А.Ф. Построение моделей речевых сигналов и их анализ с точки зрения эмоционального состояния человека. Седьмая ежегодная международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика». Москва, 2001 г, с.96-97.

20

€13 06 5

9 Хроматиди А.Ф., Старченко И.Б. Экс эмоциональных признаков речи. Веер конференция «Медицинские информащ Таганрог, 2004г, с.127-130.

10 Хроматиди А.Ф., Старченко И.Б. Ош эмоциональной речи. XVI сессия Росси! Москва, 2005г.

11 Хроматиди А.Ф., Старченко И.Б. Оц< эмоциональной речи. «Первая ежегодная ь„_,________ ± ,

и аспирантов базовых кафедр, южного научного центра РАН». Ростов-на-Дону, 2005г.

12 Хроматиди А.Ф., Старченко И.Б. Исследование психофизиологического состояния человека на основе эмоциональных признаков речи. 3-й Международный молодежный форум и выставка «Информационные технологии в XXI веке». Днепропетровск, 2005г.

13 Khromatidi А., Zakharevich V., Starchenko I. Nonlinear analysis of emotional speech. lst International Conference on Experiments/Process/System modeling/Simulation/Optimization. Athens, 2005.

В работах, опубликованных в соавторстве, лично автору принадлежат следующие результаты:

• в работах [1-2, 5] - постановка задачи, выбор алгоритмов и методик исследования эмоциональной речи;

• в работе [7] - построение моделей речевых сигналов и их анализ с точки зрения эмоционального состояния человека;

• в работах [9-12] - выполнены экспериментальные исследования и статистический анализ данных;

• в работе [13] - выполнен расчет характеристик эмоциональной речи методами нелинейной динамики.

РНБ Русский фонд

2006-4 9107

ВВЕДЕНИЕ.

1. ОБЗОР ЛИТЕРАТУРЫ ПО ПАРАМЕТРАМ РЕЧИ И МЕТОДАМ ЕЕ АНАЛИЗА.

1.1. Технические и лингвистические характеристики речи.

1.2. Методы анализа речевых сигналов.

1.3. Эмоция как классификационный признак психофизиологического состояния человека.

1.4. Выводы по главе 1.

2. МОДЕЛИРОВАНИЕ РЕЧЕВОГО ТРАКТА И РЕЧЕВОГО СИГНАЛА.

2.1. Математическая модель речевого тракта и речевого сигнала.

2.2 Акустическая модель речевого тракта.

2.3. Математическое описание эмоции.

2.5. Выводы по главе 2.

3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ЭМОЦИОНАЛЬНОЙ РЕЧИ.

3.1. Методика и схема эксперимента.

3.2. Результаты экспериментальных исследований и их обработка классическими методами.

3.3. Выводы по главе 3.

4. НЕЛИНЕЙНЫЙ АНАЛИЗ РЕЧИ.

4.1. Анализ речевого сигнала методами нелинейной динамики. Построение фазовых аттракторов.

4.2. Определение характерных показателей динамики речи.

4.3. Выводы по главе 4.

5. ИСПОЛЬЗОВАНИЕ МЕТОДОВ АНАЛИЗА РЕЧИ ДЛЯ ОПРЕДЕЛЕНИЯ ПСИХОФИЗИОЛОГИЧЕСКОГО СОСТОЯНИЯ

ЧЕЛОВЕКА-ОПЕРАТОРА.

5.1. Обобщенная схема анализа речевого сигнала.

5.2. Результаты анализа речевых сигналов диспетчеров СКЖД.

5.3. Выводы по главе 5.

С древних времен речь служила людям средством связи и общения друг с другом.

Попытки понять и изучить ее природу предпринимались давно, еще до нашей эры. Известно, что греческий ученый Пифагор, живший 2,5 тысячи лет тому назад, ставил различные опыты со звуками.

Акустическая информация, используемая при речевой коммуникации, характеризуется двойственной природой: с одной стороны, она материальна, так как распространяется в форме звуковых волн, с другой стороны, она является инструментом, с помощью которого передаются и понимаются мысли партнерами по коммуникации. В этом случае акустическая информация имеет знаковую функцию.

Речевые знаки обладают исключительной силой выражения. Они могут адекватно передавать даже сложнейшие нюансы мышления при условии, что они правильно и хорошо сформулированы и что слушатель обладает способностью воспринимать их [9,25,28-29,96]. Эта форма передачи внутренних состояний мыслительного сознания одного партнера другому называется рациональной функцией речи. Кроме того, у речи есть еще вторая, эмоциональная функция. Ей и будет посвящена эта диссертация. Когда речь используется в целях коммуникации, то между говорящим и слушающим как будто бы строится мост, с помощью которого выражается сиюминутное эмоциональное состояние говорящего.

Коммуникативная природа речи должна предполагать инвариантное выражение эмоциональных состояний говорящего. Выделяют следующие характерные признаки эмоциональных высказываний: особая контрастность по высоте основного тона, причём максимум контрастности при выражении изумления, динамичность произнесения, увеличение времени высказывания. Существуют преимущественно логические, эмоциональные и волевые интонации [5,11,17,18,79,95]. Акустический анализ речи позволяет выделить формантные параметры и слоговые изменения. Эксперименты показали, что, несмотря на широкий диапазон изменений интонации, в ней сохраняются постоянные структуры-интонемы - как элементы коммуникации: вопрос, повеление, угроза, совет, сожаление и другие. Отмечена важность изучения именно "живой речи", а не отдельно произнесённых слов вне всякого контекста и ситуации. Одним из методов такого исследования является обращение к актёрской речи.

В данной диссертации также большая роль отводится нелинейному анализу экспериментальных данных. Интерес к такому подходу в решении задач речевой акустики имеет всевозрастающее значение. В данной работе ставится вопрос о возможности определения эмоций методами нелинейной динамики. Окружающий нас мир полон нелинейных явления и процессов, правильное представление о которых немыслимо без понимания возможности хаоса, а так же связанных с этим принципиальных ограничений на предсказуемость поведения сложных систем. Одно из направлений применения методов нелинейной динамики связано с проблемой обработки сигналов. За последние годы были предложны методики, позволяющие выяснить, произведен ли сигнал динамической системой, а так же получить информацию о свойствах и характеристиках этой системы. Таким образом, аппарат нелинейной динамики является инструментом исследования, позволяющим сделать заключение или предположение о структуре объекта, сконструировать его динамическую модель и т.д. Разработку методов и алгоритмов анализа сигналов можно считать важным направлением нелинейной динамики, непосредственно связанным с возможными приложениями.

Изучение речевых сигналов проводились многими исследователями и организациями. Наибольший вклад в теорию внесли Фант Г., Витт Н.В., Вилюнас В.К., Сорокин В.Н., Симонов П.В., и др. Экспериментальные исследования были выполнены Фроловым М.В., Таубкиным В.Л., Рейковским Я. и др. Разработаны множество приборов для анализа речи, например, анализатор эмоциональной речи, измеритель интенсивности речевых высказываний и др. В том числе в ОКБ «Ритм» и на кафедре электрогидроакустической и медицинской техники ТРТУ в настоящее время проводятся совместные исследования по выявлению возможности анализа психофизиологического состояния человека-оператора с помощью его речи. Результаты исследований вошли составной частью в данную диссертационную работу.

Диссертация состоит из 5 глав, введения, заключения, библиографического списка и приложений.

В первой главе был проведен обзор литературы по параметрам речи и методам ее анализа. Рассматривались технические и лингвистические характеристики речи. Описывались психодиагностические типы голоса: голос как непосредственная данность, голос как объективация речи на акустическом уровне и опосредованная им устная речь. Поскольку разделить их довольно сложно, то проводилось поэлементное, признаковое описание. Это описание содержит габитусные, процессуальные, формальные и дополнительные характеристики. Так же большое внимание в первой главе уделялось изучению методов анализа речевых сигналов. Рассмотрены виды речевой диагностики, такие как непосредственный анализ речи (непосредственный контакт с испытуемым), слепой анализ речи (прослушивается «живая речь», без наблюдения испытуемого) и косвенный анализ (исследование записи речи). Поскольку в данной диссертации акцент делается на эмоциональную речь, то в обзоре литературы также внимательно изучалась связь акустических параметров речи с ее эмоциональной выразительностью.

Во второй главе рассматриваются математические и акустические модели речевого тракта и речевого сигнала. На основе методов физической акустики и электромеханических аналогий рассмотрены и проанализированы свойства акустических процессов в речевом тракте. Теория процесса была разработана применительно к динамике речи, которая учитывает податливость стенок речевого тракта, переменные граничные условия со стороны как губ, так и голосовых складок, изменения во времени площади поперечного сечения речевого тракта, взаимодействие голосового источника с речевым трактом и т.д. Детально изучались механизмы возбуждения акустических колебаний, рассматривались источники акустической энергии, интенсивность звуковых колебаний, частотная фильтрация в речевом тракте. Проведено математическое описание речевого сигнала. Построена модель речевого сигнала, позволяющая имитировать различные звуки.

Третья глава отражает экспериментальную часть данной диссертации. Она включает в себя методику и схему эксперимента, результаты исследований и их последующий анализ с выдачей рекомендаций по распознаванию эмоциональных состояний человека. В данной главе затронуты вопросы возможности стимулирования эмоциональных состояний у студентов. Для подобного рода исследований, в качестве эмоциональных стимулов применяются самые разные воздействия, важно, чтобы они были достаточно значительными для испытуемых. Также, глава 3 рассматривает пути, по которым можно проследить связь речевых параметров с индивидуальными и эмоциональными характеристиками. Первый путь - от анализа состояний и изменений в организме, вызываемых изменениями в состоянии к речевому сигналу. Второй - поиск связи между характеристиками речевого сигнала и состоянием говорящего. Анализ полученных экспериментальных данных состоял из нескольких этапов и включал в себя спектральный, фонетический и статистический виды анализа.

В четвертой главе описываются методы нелинейного анализа речевых сигналов. Применение методов нелинейной динамики было связано с недостаточной информативностью «классического» анализа. Поэтому введение дополнительных критериев позволило с большей точностью оценивать результаты экспериментальных исследований. Критерии, по которым происходила оценка эмоциональной речи, включают в себя, Ляпуновский с* спектр, размерность Каплана-Иорка, а так же построение фазовых портретов.

В пятой главе рассматривались возможности использования методов анализа речи для определения психофизиологического состояния человекаоператора. В частности, исследовалась возможность построения автоматизированной системы анализа. С помощью методик, разработанных в главе 3, проанализирована речь диспетчеров СКЖД.

Библиографический список данной диссертации состоит из 122 наименований.

Приложения представляют собой: тест-опросник, выдававшийся студентам перед проведением эксперимента, уровнеграммы полученных речевых сигналов, восстановленные фазовые пространства речевых сигналов, а также справки о внедрении основных результатов диссертационной работы.

Таким образом, в диссертации защищаются следующие научные положения:

1. Модели речевого тракта и речевого сигнала человека, учитывающие эмоциональную составляющую речи.

2. Классификационные признаки эмоций, полученные при обработке результатов экспериментальных исследований эмоциональной речи.

3. Результаты анализа речевого сигнала методами нелинейной динамики, хаотическая природа эмоциональной речи, основные нелинейные показатели (размерности, спектр Ляпунова).

4. Функциональная схема анализатора психофизиологического состояния человека-оператора на основе его речевых высказываний.

5.3. Выводы по главе 5

В соответствии с исследованием, проведенными в рамках главы 5, можно сделать следующие выводы:

• для анализа психофизиологического состояния человека необходимо использовать комплексную систему оценки множества параметров организма, в которой особую роль играет речевой канал получения информации.

• речевой канал, в силу бесконтакности, является наиболее естественным и удобным для первоначальной оценки эмоционального состояния человека-оператора.

• построена функциональная схема анализатора речи, которая включает блоки регистрации, преобразования в цифровой вид и блоки анализа, в соответствии с методиками, разработанными в главе 3.

• анализ речевых сигналов диспетчеров железной дороги, записанных непосредственно в оперативной обстановке показал пригодность разработанных методик.

ЗАКЛЮЧЕНИЕ

Подробные выводы по результатам диссертационной работы приведены в конце каждой главы. Подводя общий итог диссертационной работы можно сделать следующие основные выводы и заключения:

1. Рассмотрены важнейшие характеристики речи: габитусные (природные), процессуальные, формальные, а также дополнительные. Были изучены методы анализа эмоциональной речи, такие как, метод динамической спектрографии, нелинейный и др. Было приведено определение эмоции, их классификация, представлен перечень функций. Основной упор был сделан на изучение проявления эмоций в речи человека-оператора. Сформулированы следующие выводы: при оценке состояния человека оператора необходимо учитывать не только сугубо индивидуальные характеристики изменения в семантической и спектральной структуре речевых высказываний, но и особое внимание уделять психологическим, мотивационным аспектам речевой активности, возможности маскировки эмоциональных реакций. Помимо этого необходимо учитывать влияние на структуру речи экстремальных факторов внешней среды (например, шумов, вибраций, перегрузок и т.д.), особенностей операторской деятельности и межличностных отношений между лицами, участвующими в обмене речевой информацией.

2. Исследованы возможности моделирования речевого тракта и речевого сигнала. Получена акустическая модель речевого тракта, а так же вычислены ее параметры. Описана математическая модель речевого тракта, полученная на основе волнового уравнения. Рассмотрены вопросы моделирования речевого сигнала. Детально изучены механизмы возбуждения акустических колебаний, рассмотрены источники акустической энергии, интенсивность звуковых колебаний, частотная фильтрация в речевом тракте. Приведено математическое описание речевого сигнала, рассчитаны резонансные частоты речевого тракта, которые составили: первая резонансная частота находится в диапазоне 150 - 200 Гц, вторая — 200-1470 Гц, третья — 5003040 Гц.

3. Установлено, что активно переживаемые эмоции («радость», «восторг» и т.д.) сопровождаются, как правило, увеличением амплитуды речевого сигнала. Спектр речевого сигнала деформируется и имеет тенденцию к смещению. При этом наблюдается концентрация спектра в низкочастотной зоне при отрицательных эмоциях, и в высокочастотной - при положительных. Частота основного тона увеличивается при сильных эмоциях на 200-300% по отношению к состоянию покоя. Наблюдается появление модуляции (изрезанности) в мелодике основного тона. Огибающие слов претерпевают существенную деформацию, становятся более изрезанными. Формантная структура речи изменяется. Значения формантных частот и ширина полосы формантных зон увеличиваются на 100—200% при сильных эмоциях. Изменяется темп речи и соотношения между временем интонирования и паузами в тексте. Обнаружена статистическая зависимость между различными эмоциями и длительностью произносимых слов, а также интенсивностью, ЧОТ и первыми двумя формантами.

4. Расчет спектра Ляпунова для имеющихся речевых сигналов выявил, что первый показатель спектра всегда положителен, что свидетельствует о хаотической природе речи.

Анализ геометрии полученных фазовых портретов (аттракторов) показал, что каждому эмоциональному состоянию человека соответствует определенная геометрия аттрактора. Причем она не зависит от индивидуальности голоса, поэтому может служить классификационным признаком психофизиологического состояния испытуемого.

Также был произведен расчет размерности Каплана-Йорка, являющейся информационной размерностью аттрактора. Ее максимальное значение находится в пределах от 2,8 до 3,1 и соответствует эмоции "гнев", а минимальное значение от 1,3 до 1,6 соответствует состоянию "спокойствие".

Таким образом, размерность Каплана-Иорка может служить количественной мерой эмоционального состояния человека.

Параметры речи, исследуемые с помощью методов нелинейной динамики, могут служить в качестве уточняющей оценки психофизиологического состояния человека.

По результатам диссертационной работы опубликовано 13 статей и тезисов докладов в различных научных сборниках.

Акты о внедрении результатов диссертационной работы в ЗАО ОКБ «Ритм» и в учебный процесс кафедры ЭГА и МТ ТРТУ содержатся в Приложениях 1 и 2.

Автор выражает глубокую благодарность: научному руководителю, доктору технических наук, профессору, Захаревичу Владиславу Георгиевичу за постоянное внимание к работе и ценные указания; научному консультанту, кандидату технический наук, доценту кафедры ЭГА и МТ (электрогидроакустической и медицинской техники ТРТУ), Старченко Ирине Борисовне за постоянную поддержку ; начальнику отдела ЗАО ОКБ «Ритм», Слива Сергею Семеновичу за сотрудничество по внедрению результатов исследований; коллективу кафедры ЭГА и МТ ТРТУ; своим родителям за помощь и поддержку.

1. Аблазов В.И. Преобразование, запись и воспроизведение речевых сигналов. К.: Лыбидь, 1991г. 206с.

2. Алдошина И. Основы психоакустики. Слух и речь // Звукорежиссер, 2002г. №4.

3. Анализ речевых сигналов человеком. / Под ред. Э.А. Арутюняна. Л.: Наука, 1971г.-216с.

4. Анищенко B.C., Вадивасова Т.Е., Астахов В.В. Нелинейная динамика хаотических и стохастических систем. Саратов: Изд-во Саратовского унта, 1999г.-368с.

5. Анохин П. К. Эмоции / БМЭ. 2-е изд. М., 1964. Т. 35.

6. Бажин Е. Ф. и др. Объективная диагностика эмоционального состояния в психиатрической клинике // Матер. Всес. симп. «Речь и эмоции».- Л., 1974.- С. 69-74.

7. Батаршев A.B. Темперамент и характер: Психологическая диагностика. — М.: Изд-во ВЛАДОС-ПРЕСС, 2001 336с.

8. Бехтерева Н. П., Смирнов В. М. Мозговая организация эмоций человека //Вестн. АМН СССР. 1975.- № 8.- С. 8-19.

9. Бодалёв A.A. Восприятие человека человеком. Л.: Изд-во Ленинградского университета, 1965г. 123с.

10. Боровиков В. Statistical искусство анализа данных на компьютере. Для профессионалов. Спб.: Питер, 2001г. — 656с.

11. Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психологической диагностике.- Киев: Наукова думка, 1989.- 200 с.

12. Вартанян Г. А., Петрова Е. С. Эмоции и поведение.- Л.: Наука, 1989.- 145 с.

13. Ведяев Ф. П., Воробьева Т. М. Модели и механизмы эмоциональных стрессов.- Киев.: Здоров'я, 1983.- 136 с.

14. Вилюнас В. К. Психология эмоциональных явлений.- М.: МГУ, 1976.143 с.

15. Винцюк Т.К. Анализ, распознавание и интерпретация речевых сигналов. Киев: Наук. Думка, 1997г. - 264с.

16. Витт Н.В. Речь и критическая ситуация. «Предварительные материалы экспериментальных исследований по психолингвистике». М., 1973г.

17. Витт Н.В. Эмоциональная регуляция речевого поведения // Вопр. психол. 1981. №4. С. 60-69.

18. Галунов В.И. Речь, эмоции и личность: проблемы, перспективы // Речь, эмоция и личность: материалы и сообщения Всесоюзного симпозиума. Л., 1978.

19. Галунов В. И., Манеров В. X. Пути решения проблемы создания систем определения эмоционального состояния говорящего //Вопр. кибернетики. Вып. 22.- М., 1976.-С. 95-114.

20. Галунов В.И., Манеров В.Х. Связь между психофизиологическим состоянием говорящего и характеристиками речевого сигнала. Тезисы доклада VIII Всес. семинара по автоматизированному распознаванию слуховых образов. Львов, 1974г.

21. Гиссен Л. Д. Время стрессов.- М.: ФиС, 1990.- 190 с.

22. Горбунова И.М. Анализ речевых сигналов человеком. Проблемы физиологической акустики. Том 7. Л.: Наука, 1971г. — 216с.

23. Грекова Т. И. Кожно-гальванический рефлекс как показатель изменений психического состояния //Физиология человека.- 1975.- Т. 1.- № 6.- С. 993-998.

24. Губачев Ю. М., Иовлев Б. В., Карвасарский Б. Д. Эмоциональный стресс в условиях нормы и патологии человека.- Л.: Медицина, 1976.- 224 с.

25. Дашкова С.С. Устная речь как источник информации о человеке: Автореф. канд. дис. Л., 1982.

26. Дженкис Г., Ватте Д. Спектральный анализ и его приложения, вып. 2, М.: 1972г.27.28,29,3031,32,33,34