автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.17, диссертация на тему:Исследование инвариантов нелинейной динамики речи и принципы построения системы аудиоанализа психофизиологического состояния

На правах рукописи

1 о АВГ 2009

ПЕРЕРВЕНКО Юлия Сергеевна

ИССЛЕДОВАНИЕ ИНВАРИАНТОВ НЕЛИНЕЙНОЙ ДИНАМИКИ РЕЧИ И ПРИНЦИПЫ ПОСТРОЕНИЯ СИСТЕМЫ АУДИОАНАЛИЗА ПСИХОФИЗИОЛОГИЧЕСКОГО СОСТОЯНИЯ

Специальность: 05.11.17 «Приборы, системы и изделия медицинского назначения»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Таганрог 2009

003475306

Работа выполнена в Технологическом институте Южного федерального университета федерального государственного образовательного учреждения высшего профессионального образования «ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ» в г. Таганроге на кафедре электрогидроакустической и медицинской техники

Научный руководитель: доктор технических наук,

профессор И.Б. СТАРЧЕНКО (ТТИ ЮФУ, г. Таганрог)

Официальные оппоненты: доктор технических наук, профессор,

И.М. ЧЕКРЫГИНА (ТТИ ЮФУ, г. Таганрог)

кандидат технических наук А.Я. ЧЕРЧАГО

(ЗАО ОКБ «Ритм», г. Таганрог)

Ведущая организация: Ростовский государственный

медицинский университет, г. Ростов-на-Дону

Защита состоится « 27 » августа 2009 г. в 1420 часов на заседании диссертационного совета Д 212.208.23 при Южном федеральном университете по адресу: Ростовская обл., г. Таганрог, ул. Шевченко, 2, ауд. Е-306

С диссертацией можно ознакомиться в зональной библиотеке Южного федерального университета.

Автореферат разослан « » июля 2009 г.

Ученый секретарь диссертационного совета

И.Б. Старченко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы диссертации

Труд человека в системах управления техникой (деятельность человека-оператора) связан с периодическим, иногда довольно длительным и интенсивным воздействием (или ожиданием воздействия) экстремальных значений профессиональных, социальных, экологических факторов, которое сопровождается негативными эмоциями, перенапряжением физических и психических функций, деструкцией деятельности. Наиболее характерным психическим состоянием, развивающимся под влиянием указанных факторов у человека-оператора, является психологический стресс.

Анализ состояния человека в процессе его трудовой деятельности предполагает оперативное получение информации. Для мониторинга психофизиологического состояния оператора существует множество способов, как правило, они заключаются в замере физиологических показателей (ЧСС, кровяного пульсонаполнения, КГР и т.д.), однако все эти методы нуждаются в установке контактных датчиков. Таким образом, в последние годы усилился интерес к анализу голоса как объективного показателя эмоционального состояния человека, выполняющего ответственную деятельность. В связи с этим создание системы непрерывного слежения за эмоциональным состоянием человека-оператора, использующей в качестве диагностического критерия изменения в структуре и динамике его речевых сигналов, является наиболее перспективным. Подобный анализ является неконтактным и при необходимости скрытым от проверяемого, что дает преимущество для оценки психофизиологического состояния человека по его речи в комфортной для него обстановке и во избежание возможности маскировки эмоциональных реакций.

Большой вклад в развитие науки в области речевой акустики внесли ученые Г. Фант, Дж. Фланаган, М.А. Сапожков, В.Н. Сорокин, В.И. Галунов, Б.М. Лобанов, Т.К. Винцюк, Л.В. Златоустова, A.B. Аграновский, Н.Г. Загоруйко, Р.К. Потапова, Ю.А. Косарев, А.Л. Ронжин, М.В. Хитров, С.Л. Коваль, В.Г. Михайлов, В.П. Бондаренко, Л.Н. Балацкая, ЕЛ. Чойнзонов и др.

Основы исследования динамических систем с позиций детерминированного хаоса были заложены Ляпуновым A.M., Колмогоровым А.Н., Пригожиным И.Р., Анищенко B.C., Ж.А. Пуанкаре и др. Значительный прорыв в исследовании стохастических и детерминистских нелинейных временных рядов и их моделировании был достигнут за последние десятилетия (Ф. Такенс, А. Вольф, П. Грассберг, И. Прокаччиа и др.). Изучение речевых сигналов с помощью методов нелинейной динамики проводились многими исследователями и организациями. Наибольший вклад в теорию анализа одномерных временных рядов внесли A.M. Фрайзер, Н.Х. Паккард, Д.С. Брумхэд, Г.П. Кинг, А. Реньи и др.

На кафедре электрогидроакустической и медицинской техники ТТИ ЮФУ совместно с ЗАО «ОКБ «Ритм» в течение последних лет проводятся совместные исследования по выявлению возможности анализа психофизиологического состояния человека-оператора (на примере диспетчеров Северо-кавказской железной дороги (СКЖД)) с помощью его речи (Хроматиди А.Ф., 2005 г.). В рамках

этих работ были получены новые научные и практические результаты, которые легли в основу данной диссертации.

Речь и речеобразование представляют собой нелинейный процесс, обусловленный нелинейностями речевого тракта человека, что дает возможность применять методы нелинейного анализа к речевому сигналу. Несмотря на то, что как показал проведенный обзор, методы нелинейного анализа неоднократно применялись для анализа речи, каких либо практических применений данного анализа не было выявлено, и рассматривался речевой сигнал безотносительно эмоции. В данной работе предлагается применить методы теории динамического хаоса для выявления количественных и визуальных характеристик нелинейной динамики речи человека-оператора с целью оценки его психофизиологического состояния и возможности выполнять свои профессиональные обязанности.

Цели и задачи работы

Целью диссертационной работы является количественная оценка психофизиологического состояния человека-оператора с использованием аппарата нелинейной динамики для анализа речевого сигнала.

Для достижения поставленной цели необходимо решить следующие задачи диссертационной работы:

1. Определить и численно исследовать критерии хаотичности и стационарности выделенных участков речи.

2. Рассчитать и проанализировать инварианты нелинейной динамики речи человека-оператора.

3. Разработать алгоритм анализа в производственных условиях речи человека-оператора методами нелинейной динамики.

4. Разработать принципы построения системы анализа речи человека-оператора в условиях профессиональной деятельности.

5. Провести экспериментальные исследования речи человека-оператора в реальных условиях работы с использованием разработанного программного обеспечения с целью определения его психофизиологического состояния.

Методика исследования

В работе использованы методы анализа психофизиологического состояния человека, основанные на нелинейном анализе участков речевого сигнала, полученного при различных эмоциональных состояниях, соответствующих ударному гласному и обнаруживающих хаотическую динамику. Использовались следующие виды анализа: фазо-пространственная реконструкция речевого сигнала, отображение Пуанкаре, рекуррентный график; были рассчитаны следующие инварианты нелинейной динамики: корреляционная размерность, максимальный характеристический показатель Ляпунова, динамическая энтропия второго порядка. Для экспертной оценки эмоционального состояния применялись видеозаписи работы диспетчера в течение смены. Основные выводы и положения сравнивались с известными результатами и были теоретически обоснованы. Эксперименты проводились с участием диспетчеров СКЖД непосредственно в условиях профессиональной деятельности. Достоверность вычислений проверялась

статистической значимостью, а также сравнением с результатами, полученными другими методами и средствами.

Научная новизна диссертационной работы

Научная новизна проведенных исследований заключается в рассмотрении как теоретически, так и экспериментально, одномерного продукта системы речевого тракта человека - речевого сигнала - при определенных эмоциональных состояниях с применением аппарата нелинейной динамики.

Основные научные результаты работы:

1. Рассчитаны инварианты нелинейной динамики эмоционалыюй речи, ранее не применявшиеся для анализа психофизиологического состояния человека-оператора.

2. Предложена оригинальная методика анализа речи методами нелинейной динамики, позволяющая получить количественную и качественную оценку эмоциональной речи.

3. Разработаны принципы построения системы анализа речи человека-оператора в условиях профессиональной деятельности, позволяющей с точностью до 72% (по экспертной оценке) определить его психофизиологическое состояние.

Практическая значимость работы

Практическая ценность данной диссертационной работы заключается в разработанных алгоритмах обработки речевых сигналов методами нелинейной динамики с априорной оценкой их «хаотичности», а так же рассчитанных показателях (инвариантах) нелинейной динамики эмоциональной речи, которые можно применять для количественной оценки психофизиологического состояния человека-оператора в процессе профессиональной деятельности.

Внедрение результатов работы

Разработанные алгоритмы и программное обеспечение для количественного определения эмоционального состояния человека-оператора были использованы в ЗАО «ОКБ «Ритм», г. Таганрог для оценки психофизиологического состояния диспетчеров СКЖД.

В ООО «ПРОТОН-ССС», г. Таганрог результаты данной диссертационной работы были использованы для анализа психофизиологического состояния человека-оператора (служба технической поддержки), для изучения стрессовых ситуаций в рабочей обстановке и выданы рекомендации по определению стрессовой ситуации на основе количественного и качественного анализа речевого сигнала оператора с использованием инвариантов нелинейной динамики.

Методы и алгоритмы расчета нелинейных инвариантов речевого сигнала, были использованы в учебном процессе кафедры ЭГА и МТ ТТИЮФУ для студентов специальности 200401 в рамках курсов «Моделирование и управление в медицинских и биологических системах», «Теория биотехнических систем», «Системный анализ и принятие решений».

Апробация работы

Основные результаты работы обсуждались на следующих конференциях и семинарах:

1. XIX сессия Российского акустического общества. Нижний Новгород, 2007 г.

2. 11-ый международный молодежный форум «Радиоэлектроника и молодежь в XXI веке». Харьков, 2007 г.

3. Всероссийская научно-техническая конференция студентов, молодых ученых и специалистов «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2007 г.

4. Всероссийская научно-практическая конференция студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии». Томск, 2008 г.

5. Всероссийская научно-техническая конференция «Медицинские информационные системы». Таганрог, 2008 г.

6. Всероссийская научно-техническая конференция студентов, молодых ученых и специалистов «Биотехнические, медицинские и экологические системы и комплексы (БИОМЕДСИСТЕМЫ-2008)». Рязань, 2008 г.

7. Международная молодежная научная конференция «XXXV Гагаринские чтения». Москва, 2009 г.

8. Научно-технические конференции профессорско-преподавательского состава, аспирантов и сотрудников ТТИ ЮФУ. Таганрог, 2007-2009 гг.

Работа была обсуждена на совместном заседании кафедр электрогидроакустической и медицинской техники (ЭГА и МТ), физики, автоматизированных систем научных исследований и экспериментов (АСНИ и Э), технологии микро- и наноэлектронной аппаратуры (ТМ и НА) от 8 июня 2009 г.

Публикации

По материалам диссертационной работы опубликовано 8 печатных работ, среди которых 2 работы в журналах из Перечня ВАК.

Структура и объем диссертации

Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка, включающего 139 наименований, приложений. Содержание диссертационной работы изложено на 171 страниц.

Научные положения, выносимые на защиту

1. В известных методиках анализа речи отсутствует учет эмоциональной составляющей, в связи с чем количественная оценка психофизиологического состояния человека-оператора по речевому сигналу является актуальной научно-технической задачей, решение которой с применением методов нелинейной динамики имеет существенное значение для создания медицинской техники профилактического и реабилитационного назначения.

2. Критерии выделения участков речи, пригодных для анализа методами нелинейной динамики, позволяющие провести предварительный анализ сигнала на хаотичность.

3. Инварианты нелинейной динамики речи, впервые предложенные в качестве визуальных и количественных оценок психофизиологического состояния человека-оператора.

4. Принципы построения системы аудиоанализа психофизиологического состояния человека-оператора в условиях профессиональной деятельности.

СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

Во введении обосновывается актуальность темы исследования, кратко изложено содержание диссертации, сформулированы основные научные положения, выносимые на защиту.

В первой главе на основе выполненного обзора сформулированы цель и задачи работы.

Показано, что эмоция есть свойство, присущее человеку и некоторым высшим животным. Связь эмоции с психофизиологическим состоянием доказана и обоснована. Поэтому эмоциональную речь можно считать диагностическим сигналом.

Было обосновано, что речь человека представляет собой нелинейный процесс, обусловленный физиологическими нелинейностями речевого тракта, что дает возможность применять методы нелинейной динамики к речевому сигналу.

Показано, что анализ эмоционального состояния человека может быть применен во многих сферах деловой, трудовой, производственной деятельности, и приобретает все большую популярность. Анализ речи является неконтактным и при необходимости скрытым от проверяемого, что дает преимущество для оценки психофизиологического состояния человека в комфортной для него обстановке и во избежание возможности маскировки эмоциональных реакций.

Как показал проведенный обзор, методы нелинейной динамики неоднократно применялись для анализа речи безотносительно эмоции. В данной работе применены методы теории динамического хаоса для исследования количественных и визуальных характеристик речи человека-оператора с целью оценки его психофизиологического состояния и возможности выполнять свои профессиональные обязанности.

Во второй главе исследованы теоретические методы нелинейной динамики применительно к анализу речи на предмет выявления в ней различных эмоций. В качестве исходных сигналов были взяты образцы речи пяти профессиональных актеров, записанные многократно в условиях звукозаглушенной камеры.

Предварительно выделенные участки речевого сигнала (ударные гласные) были исследованы на наличие хаотической динамики и, как следствие, возможности применения методов нелинейной динамики к их анализу. Были выявлены критерии выделения участков речевого сигнала, пригодных для анализа методами нелинейной динамики. Рекуррентный график должен содержать диагональные структуры, что свидетельствует о хаотичности процесса. Корреляционный интеграл должен сходится при некотором значении размерности внедренного пространства т, что

дает оценку размерности вложенного пространства и корреляционную размерность. Максимальный характеристический показатель Ляпунова должен принимать положительное значение, что свидетельствует о расхождении близких в пространстве состояний траекторий и, следовательно, хаотичности процесса. Отображение Пуанкаре должно содержать равномерные или неравномерные подковообразные скопления точек. Энтропия второго порядка должна принимать положительное значение, которое для фонем базы составило 2,5 бит/с.

Был реализован качественный (графический) и количественный анализ речевого сигнала методами нелинейной динамики.

Речевой сигнал ' был исследован с точки зрения двух динамических инвариантов, а именно, максимального характеристического показателя Ляпунова и корреляционной размерности. Речевой сигнал рассматривается как вектор, являющийся продуктом многомерной системы голосового тракта человека. Динамические характеристики, оцененные из наблюдаемого временного ряда основной динамической системы во время устойчивого пространственного развития посредством теоремы Такенса, могут служить количественными показателями при условии использования кардинальных фонем. Они используются в построении нелинейных детерминированных фазово-пространственных моделей аттракторов наблюдаемого временного ряда.

Подробно рассмотрена проблема фазово-пространственной реконструкции из скалярных наблюдений эволюционирующей динамической системы, которая является центральной относительно проблемы оценки "ее динамических инвариантов. Восстановленная траектория дает ценную предварительную информацию, наглядно отображая особенности динамической системы.

Были исследованы следующие методы фазо-пространственных реконструкций временного ряда из скалярных наблюдений: сингулярное разложение и критерий избыточности. Метод сингулярного разложения применяется для получения размерности внедренного пространстват, где т<1 (/заранее известная внедренная размерность), и соответствующего базового набора траекторий. Первый шаг заключается в выборе ширины временного окна Tw = 1кТ, которое определяется

временным поворотом х\, Т— интервал дискретизации временного ряда. Этот выбор основан на эвристических аргументах. Чтобы исключить больше, чем один целый период данных в рамках временного окна, необходимо чтобы данные находились в полосе Tw<,\lfi, где /, - граничная частота. Нижнее пограничное значение Tw определяется как Т„ > (2d + 1)Г, где d - это размерность множества, в котором развивается динамическая система. Так как d заранее неизвестно, то можно использовать выражение Tw=l/fr Следующий шаг - определение Та=кТ -

временной задержки между последовательными входами xj. Необходимо выбрать Td так, чтобы достигнуть схождения сингулярного набора, который будет описан ниже. Выбрав к-1, располагаем временные задержки произвольно так, чтобы осуществлять выборки из временного ряда каждые Td секунд. С другой стороны, если время выборки Т установлено априорно, уместно установить к=1 и использовать все доступные значения в окне для анализа сингулярного разложения,

а не пропускать любые промежуточные. Таким образом / = —+/. Третий шаг -

непосредственный анализ методом сингулярного разложения. Для этого используется лг', чтобы сформировать матрицу траекторий X

(1)

где /V достаточно велико. На практике ни одна из сингулярных величин (N-1 + 1)^1 траекторий матрицы не тождественна нулю, прежде всего из-за присутствия шума.

Несмотря на то, что матрица Х - полный ряд, эффективный ряд выбирается, как число сингулярных величин выше уровня порога шума (рис. 1). Это дает размерность внедренного пространства т и соответствующие сингулярные векторы нового базисного множества для реконструкции траектории. Например, на рис. 1 показаны нормализованные наборы сингулярных величин для матрицы X для трех речевых временных рядов; для графиков (1), (2) и (3) выбраны эффективные ряды из столбцов матрицы с номерами 8, 5 и 4, соответственно.

Рис. 1 Нормализованный набор сингулярных величин:

¡ОёюСу^а )' '= 0..16 для сингулярного разложения траекторий матрицыX, (1)- гласная «и»,

(2) -гласная «о», (3) -гласная «у». Длина данных //=3660, 2860 и 3600, соответственно. Интервал

дискретизации Т=22,5 мкс

Метод критерия избыточности основан на требовании общей независимости скалярных переменных восстановленного фазового пространства по сравнению с некоррелированностью для метода сингулярного разложения. Квазиоптимальный алгоритм реализации вышеупомянутого критерия может быть осуществлен в двух последовательных шагах:

1. Выбор размерности внедренного пространства т, что максимизирует крайнюю избыточность . Это гарантирует, что рх / х„ резко достигнет максимума.

2. Выбор временной задержки как первого локального минимума графика

зависимости избыточности от времени.

Использовался алгоритм, представленный выше, чтобы последовательно определить размерность внедренного пространства т и временную задержу Т^ для временного ряда всех фонем базы. Значение ш изменяется от 5 до 6. Средняя

временная задержка по всем фонемам в базе данных составляет 0,39±0,32 мс. Для двух гласных, произнесенных одним человеком, изменение составляет менее 0,25 мс для каждого кардинального гласного. Анализ геометрии полученных фазовых аттракторов показал, что определенная геометрия соответствует определенной эмоции, что может служить признаком для определения психофизиологического состояния. Метод сингулярного разложения позволяет выбрать подходящую реконструкцию из большего набора возможных по сравнению с критерием избыточности. Это происходит потому, что метод сингулярного разложения обеспечивает оптимальный базис для реконструкции, что позволяет получить хорошие результаты для зашумленных сигналов. Метод избыточности, который использует критерий статистической независимости, дает лучшие реконструкции для некоторых специфических ситуаций.

На рис. 2 показаны результаты фазово-пространственных реконструкций, полученные с помощью описанных методов.

-50 -25 0 25 50 х^дБ

Рис. 2 Кардинальный гласный звук «и»: а - временной ряд; б - нормированный спектр мощности; в - проекция реконструированной траектории на плоскость по методу сингулярного разложения; г - проекция траекторий на плоскость М0>*(' + 7^)) по методу критерия

избыточности

Следующий вид графического анализа - отображение Пуанкаре. Сечение Пуанкаре представляет собой проекции траекторий аттрактора на поверхность размерностью т-1, которая пересекается всеми траекториями аттрактора в поперечном направлении (рис. 3).

Рис. 3 Отображение Пуанкаре для ударного гласного звука «у» для эмоционального состояния: а - «спокойствие»; б - «радость»; в - «гнев»; г - «отвращение»

Анализ отображений показал, что для разных гласных можно выявить схожее поведение для определенной эмоции, что может служить признаком эмоционального состояния. В частности, эмоциональное состояние «гнев» характеризуется скоплением точек в центре и расходящиеся ветвями подковообразной формы, состояние «спокойствие» - равномерным распределением точек. Был предложен простейший классификатор эмоциональных состояний (спокойствие - скопление точек представляет собой восходящий эллипс, гнев -круг, радость - скрещенный нисходящий и восходящий эллипсы, отвращение -широкий горизонтальный эллипс, см. рис. 3).

Следующий вид графического анализа - рекуррентные графики для эмоциональных состояний. Рекуррентный график - графическая реализация на плоскости фундаментального свойства рекуррентности (повторяемости траектории динамической системы в фазовом пространстве).

Рекуррентный график изображается в виде двумерной квадратной матрицы, заполненной нулями и единицами. Нули - это светлые точки, единицы - цветные, по осям откладывается время. Для построения рекуррентных графиков необходимо знать среднее расстояние между соседними точками и размерность внедренного пространства. На рис. 4 приведены средние расстояния между соседними точками в зависимости от эмоции. Для эмоционального состояния «гнев» расстояние резко возрастает: увеличивается в 8, 6 и 3 раза для гласных «о», «и» и «у», соответственно. Для эмоционального состояния «радость» расстояние возрастает, но незначительно в 4,3,2 раза для гласных «у», «о», «и», соответственно.

450 -400 -350 -300 -250 " 200 -150 -100 -50 " О ■

I

♦ «и» «о» А «у»

Спокойствие Гнев Отвращение Радость

Эмоции

Рис. 4 Среднее расстояние между соседними точками относительно эмоций

На рекуррентных графиках для всех эмоций видны диагональные структуры, которые свидетельствуют о хаотичности процесса. Чем сильнее эмоция, тем отчетливей наблюдаются диагональные структуры, график превращается в сетку мелких кластеров, образованных диагональными структурами (рис. 5). Таким образом, из состояния покоя, характеризующегося крупными диагональными структурами с большими просветами, рекуррентный график превращается в мелко структурированную сетку при возникновении сильных отрицательных эмоций.

Рис. 5 Рекуррентный график, кардинальный гласный звук «о»: а - «гнев», б - «отвращение», в -

«радость», г — «спокойсгвие»

Далее был проведен количественный анализ эмоционального состояния. Рассчитаны следующие инварианты нелинейной динамики речевого сигнала: максимальный характеристический показатель Ляпунова и корреляционная размерность.

Максимальный характеристический показатель Ляпунова дает информацию о скорости расхождении близких в пространстве состояний траекторий. Использовался метод Вольфа для оценки максимального характеристического показателя Ляпунова из восстановленных траекторий скалярного временного ряда.

Метод заключается в восстановлении фазового пространства и отслеживании эволюции восстановленных траекторий, которые расположены близко друг к другу. Отслеживается развитие множества первоначально ортогональных векторов (называемых векторами основной оси) относительно центральной траектории (называемой отправной траекторией). Скорость роста одного основного осевого вектора дает максимальный характеристический показатель Ляпунова, ^:

А, = Нт —к^Г, } = \,...,т

' />-*» р '

(2)

Для большинства случаев, нахождение максимального характеристического показателя Ляпунова достаточно, потому что его положительная величина показывает чувствительную зависимость траекторий от начальных условий. Для рассматриваемых выборок речевых сигналов максимальный характеристический показатель Ляпунова принимал значения в пределах от 0,0139±0,0027 с"1 до 0,0813±0,0061 с"1; для эмоционального состояния «гнев» значения возрастают на (176±30)%, (54±5)%, (73±4)% для гласных «у», «о», «и», соответственно (рис. 6).

V1

0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,02 0,01 О

I

♦ «у»

■ «о» А «и»

Спокойствие Радость Гнев Отвращение Рис. 6 Распределение значений максимальных характеристических показателей Ляпунова

относительно эмоций

Корреляционная размерность 32 - одна из основных характеристик хаотического процесса, характеризующая меру сложности системы. Стандартный метод оценки йг - метод корреляционных сумм. Если известен скалярный временной ряд д-,, ¿ = 1,...,Д' + ш-1, то корреляционная сумма определяется следующим образом:

C{r,m,N) =

t*j

N N ,,

(3)

Dj = lim-

(4)

где x™ - m-размерная реконструкция с временной задержкой; О - функция Хевисайда: 0(arg) = l для arg>0 или 0. Может быть показано, что оценка D2 осуществляется по формуле:

\o%C{r,m,N) г->0 log Г

Практическая реализация заключается в построении графика log C(r,m,N) от log/- для выбранного значения размерности внедренного пространства т и линейного приближения по методу наименьших квадратов в линейной области графика, что дает оценку корреляционной размерности (рис. 7).

D2(m,r)'

0,0001 0.001 0.01 0,1 I г

Рис. 7 Корреляционная сумма для гласного звука «у» для эмоционального состояния «гнев», оценка корреляционной размерности Д2=2,2, внедренная размерность т=4

Для исследуемой речевой базы фонем корреляционная размерность находится в диапазоне (1,2-2,5)±0,1, соответственно, внедренная размерность - в диапазоне 4-6. Для состояния «гнев» значения возрастают на (20±5)% относительно состояния спокойствия.

В третьей главе проведен анализ психофизиологического состояния диспетчеров СКЖД в рабочей обстановке с использованием методов нелинейного анализа, учтены требования к методике изучения информационного стресса и оценки стрессоустойчивости человека-оператора. Условия проведения эксперимента: количество человека - 2, время проведения - 1 неделя, общее время записи - 56 часов, количество выборок - 100, длительность выборок - 60 - 80 мс, частота дискретизации 44,1 кГц, динамический диапазон сигнала - 20 - 85 дБ.

Система для анализа речи на предмет исследования эмоциональных признаков представляет собой компьютер с соответствующим программным обеспечением, видеокамеру и микрофон.

Сигнал регистрировался с помощью петличного микрофона, который диспетчеры используют в профессиональной деятельности. Ежедневная работа

диспетчера записывается на видеокамеру, эти записи использовались для контроля и экспертной оценки результатов, полученных в ходе эксперимента.

Частью системы для исследования экспериментальной речи является программное обеспечение. Для обработки полученных речевых сигналов использовался специально разработанный автором для целей диссертационной работы программный пакет З^езэТеБ!.

Аудиосигналы, записанные с помощью микрофона, были оцифрованы с помощью звуковой карты компьютера, затем данные были отфильтрованы в полосе частот до 4 кГц, затем ко всему сигналу применялся программный фильтр от шума (использующий методом спектрального вычитания), далее из сигнала были удалены звуки, резко выделяющихся из общего фона (т.н. аномалии).

Из обработанного сигнала выделялись последовательно: слова, слоги, ударные гласные. В качестве тестового было взято наиболее часто встречающееся слово «свободная» с ударной гласной «о» во втором слоге.

Предварительно выделенные участки речевого сигнала были исследованы на «хаотичность», для целесообразности применения методов нелинейной динамики. Было отобрано 100 образцов гласного звука «о», удовлетворяющих критериям «хаотичности». Таким образом, речевая база данных во временном интервале, соответствующем одной неделе, составила 100 образцов кардинальных гласных звуков «о», которые выбраны из ежедневной речи двух диспетчеров при разном эмоциональном состоянии человека-оператора (спокойствие, стресс).

Затем с помощью разработанного программного обеспечения были проанализированы полученные данные. Допущением в данном эксперименте является упрощенная классификация эмоций, где необходимым и достаточным считается отделение состояния «спокойствие» от состояния «стресс».

Для восстановления фазового пространства были рассчитаны размерность внедренного пространства и временная задержка для каждого образца фонемы методами, описанными в главе 2. Временная задержка для исследованных фонем базы составила (0,45±0,2) мс. Внедренная размерность принимает значения от 4 до 6.

Были получены фазо-пространственные реконструкции методами критерия избыточности и сингулярного разложения, построены спектры мощности для всех фонем базы. Второй метод использовался для сильно зашумленных сигналов (как было описано выше). Для экспериментальной фонемной базы конвергенция множества сингулярных величин наступает при разложении на 10-13 сингулярных величин. Внедренная размерность, выбранная как эффективное число сингулярных величин, составила 4-5.

Рассчитано значение максимального характеристического показателя Ляпунова, которое принимает значения в пределах от 0,0109±0,002 с"' до 0,0912±0,0035 с"1; при стрессовой ситуации увеличивается на (60±10)% для иследуемого гласного «о».

Корреляционная размерность принимает значения от 1,4±0,1 до 3,9±0,1; в стрессовой ситуации увеличивается нз (20±5)%.

Для всех фонем экспериментальной базы были построены отображения Пуанкаре. Для состояния спокойствия характер распределения точек равномерный. При возникновении стрессовой ситуации характер распределения меняется: точки

концентрируются в центре, расстояние между ними уменьшается, что свидетельствует о стрессовом состоянии человека-оператора.

Для всех фонем экспериментальной базы были построены рекуррентные графики. По наличию диагональных структур можно говорить, что система демонстрирует хаотическую динамику, а по расстоянию между вертикальными кластерами ряд состояний можно отнести к стрессовым.

Была расчитана энтропия второго порядка, среднее значение составило 2,8 бит/с. Среднее расстояние во времени между соседними точками для фонемных образцов изменяется от 112±20 до 450±35 отсчетов. Из-за присутствия аддитивного шума показатели для всех видов нелинейных характеристик возрастают, это было учтено при классификации эмоций в условиях профессиональной деятельности человека-оператора.

С помощью методов нелинейной динамики было определено 35 критических случаев стресса из 100 образцов.

Видеоизображение использовалось для экспертной оценки данных с целью определения эмоции - совпадение результатов расчета нелинейных инвариантов с результатами анализа невербальной символики 72%.

Анализ речевых сигналов диспетчеров СКЖД, записанных непосредственно в оперативной обстановке, показал пригодность используемой методики.

В четвертой главе в соответствии с исследованиями, проведенными в рамках главы 2 и экспериментом, проведенным в рамках главы 3, были предложены следующие принципы построения системы аудионализа речи человека-оператора, основанные на использовании методов нелинейной динамики:

1. Создание базового образца речевого сигнала условно свободного от эмоций с обновляемыми значениями инвариантов нелинейной динамики.

2. Априорный анализ сигнала на целесообразность применения к нему методов нелинейной динамики.

3. Вычисление инвариантов нелинейной динамики речи человека-оператора в условиях профессиональной деятельности с созданием персональной базы образцов.

4. Оценка психофизиологического состояния человека-оператора на основе сравнения новых параметров с базовым состоянием субъекта.

В данной работе инварианты нелинейной динамики речи были использованы для оценки психофизиологического состояния человека-оператора. Изменяющиеся во времени параметры нелинейных характеристик речи дают динамическую картину изменения функционального состояния человека-оператора.

Построена обобщенная блок-схема системы для анализа речевого сигнала, которая включает блоки регистрации, преобразования, анализа, отображения информации и принятия решения (рис. 8).

Разработан алгоритм обработки речевого сигнала, включающий запись речи, обработку НЧ фильтром, обработку сигнала от шума методом спектрального вычитания, выделение фонемы, обработку методами нелинейной динамики для получения численного и графического анализа психофизиологического состояния человека-оператора (корреляционная размерность, максимальный характеристический показатель Ляпунова, энтропия второго порядка, размерность внедренного пространства, построение функции взаимной информации,

отображения Пуанкаре, рекуррентного графика, фазо-пространственной реконструкции).

Представлена программная реализация блока обработки речевого сигнала методами нелинейной динамики, написанная на языке С#.

В заключении сформулированы основные результаты, полученные в диссертационной работе.

Рис. 8 Обобщенная блок-схема системы аудноанализа речевого сигнала

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Рассмотрены современные системы для анализа голоса, принципы, положенные в основу подобных систем. Рассмотрены физиологические причины нелинейностей, возникающих в речевом аппарате человека. Показано, что речевой тракт можно рассматривать как нелинейную диссипативную систему и применить для его анализа методы нелинейной динамики. Рассмотрены методы нелинейной динамики применительно к анализу речевого сигнала.

2. Исследован речевой сигнал на «хаотичность» с помощью методов нелинейной динамики. Выявлены критерии выделения участков речевого сигнала, пригодных (обнаруживающих хаотическую динамику) для анализа методами нелинейной динамики:

1.1. Рекуррентный график должен содержать диагональные структуры, что свидетельствует о хаотичности процесса.

1.2. Корреляционный интеграл должен сходиться при некотором значении размерности внедренного пространства, что дает оценку размерности вложенного пространства и корреляционную размерность.

1.3. Максимальный характеристический показатель Ляпунова должен принимать положительное значение, что свидетельствует о хаотичности процесса и расхождении траекторий по экспоненциальному закону.

1.4. Отображение Пуанкаре должно содержать равномерные или неравномерные подковообразные скопления точек.

1.5. Энтропия второго порядка должна принимать положительное значение.

3. Были построены фазо-пространственные реконструкции речевого сигнала. Рассмотрены два оптимальных критерия, чтобы получить речевые восстановленные траектории: метод сингулярного разложения и критерий избыточности. Анализ геометрии полученных фазовых аттракторов показал, что определенная геометрия соответствует определенной эмоции, что также может служить признаком психофизиологического состояния.

4. Для разных гласных выявлено схожее поведение отображения Пуанкаре для определенной эмоции, что может служить признаком эмоционального состояния человека. В частности, для состояния «гнев» характерно скопление точек в центре и расходящиеся ветви подковообразной формы, для состояния «спокойствие» - равномерное распределением точек. Предложен классификатор.

5. Отрицательные эмоции в речи человека на рекуррентном графике отображаются уменьшением размера кластеров, которые образуются диагональными структурами.

6. Максимальный характеристический показатель Ляпунова принимает значения в пределах от 0,0139±0,0027 с"1 до 0,0813±0,006 с"1, для эмоционального состояния «гнев» значения возрастают на (176±30)%, (54±5)%, (73±4)% для гласных «у», «о», «и», соответственно.

7. Оценка внедренной размерности составила 4-6 и корреляционной размерности - (1,2-2,5)±0,1. Относительно состояния «спокойствие» значение корреляционной размерности для состояния «гнев» возрастает на (20±5)%.

8. В результате проведенного эксперимента и последующего анализа с помощью методов нелинейной динамики было определено 35 критических случаев стресса из 100 образцов. Видеоизображение использовалось для экспертной оценки данных с целью определения эмоции - совпадение результатов расчета нелинейных инвариантов с результатами анализа невербальной символики 72%. Анализ речевых сигналов диспетчеров железной дороги, записанных непосредственно в оперативной обстановке, показал пригодность используемой методики.

9. Рассмотрены возможности использования методов нелинейного анализа речи для определения психофизиологического состояния человека-оператора. В частности, исследована возможность построения автоматизированной системы анализа с помощью предложенной методики. Предложены принципы построения системы для анализа речевого сигнала.

10. Приведена обобщенная блок-схема и алгоритм обработки речевого сигнала с применением аппарата нелинейной динамики. Представлена программная реализация нелинейной обработки речевого сигнала.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ РАБОТЫ:

Статьи в журналах из «Перечня ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные - научные результаты диссертации на соискание ученой степени доктора и кандидата наук»:

1. Перервенко Ю.С., Старченко И.Б. Эмоциональная речь: детерминированный хаос или нелинейный случайный процесс? // Известия ЮФУ. Технические науки - Таганрог: Изд-во ТТИ ЮФУ,2007.-№ 1(78).-С. 100-101.

2. Перервенко Ю.С., Черемушкин В.А. Формирование базы аудиозаписей диспетчеров Ростовского узла СКЖД в оперативной обстановке // Известия ЮФУ. Технические науки - Таганрог: Изд-во ТТИ ЮФУ, 2008. - № 5 (82). -С. 156-157.

Статьи в других изданиях и тезисы докладов на конференциях:

3. Перервенко Ю.С., Старченко И.Б. Акустические и физиологические нелинейности речевого тракта и метод их регистрации // Акустика речи. Сборник трудов XIX сессии Российского акустического общества. - М.: ГЕОС, 2007. - Т. III. - С. 36-39.

4. Перервенко Ю.С. Нелинейная нечеткая модель речевого сигнала // Новые информационные технологии в научных исследованиях и образовании: материалы XII Всероссийской научно-технической конференции студентов. - Рязань: Изд-во РГРТУ, 2007. - С. 56-58.

5. Перервенко Ю.С. Анализ нелинейностей речевого сигнала // Радиоэлектроника и молодежь в XXI веке: материалы 11-го международного молодежного форума. - Харьков: Изд-во ХНУРЭ, 2007. Ч. 1. - С. 289.

6. Перервенко Ю.С., Борисова О.С., Душенин Д.Ю. Программно-аппаратный комплекс для анализа биологических сигналов методами нелинейной динамики // Молодежь и современные информационные технологии. Сборник трудов VI Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых. - Томск: ООО «Энд графике»,

2008.-С. 86-87.

7. Перервенко Ю.С. Информационная система анализа речи диспетчеров ЖД методами нелинейной динамики // Сборник докладов XXI Всероссийской научно-технической конференции. студентов, молодых ученых и специалистов «БИОМЕДСИСТЕМЫ - 2008». - Рязань, 2008. - С. 166-172.

8. Перервенко Ю.С. On-line система оценки психофизиологического состояния человека-оператора по речевому сигналу // Труды Международной молодежной научной конференции «XXXV Гагаринские чтения». - Москва,

2009.-С. 42-43.

1ч .

( (V

В работах, опубликованных в соавторстве, лично автору принадлежат следующие результаты:

• в работе [1] - выполнены расчеты показателей нелинейной динамики, предложены критерии хаотичности сигнала;

• в работе [2] - выполнены экспериментальные исследования и предложены алгоритмы устранения аномалий сигнала;

• в работе [3] - исследованы нелинейности речевого тракта и сформулированы причины их возникновения;

• в работе [6] - разработаны алгоритмы работы программного комплекса.

ЛР 02205665 от 23.06. 1997 г. Подписано к печати !> .67- . 2009 г. Формат 60x84 1/16. Печать офсетная. Бумага офсетная. Усл.п. л. -Заказ № о.'У У Тираж 100 экз.

_©_; _

Издательство Технологического института Южного федерального университета в г. Таганроге

Таганрог, 28, ГСП 17А, Некрасовский,'44 Типография Технологического института Южного федерального университета в г. Таганроге Таганрог, 28, ГСП 17А, Энгельса, 1

ВВЕДЕНИЕ.

1 ОБЗОР ЛИТЕРАТУРНЫХ ИСТОЧНИКОВ.

1.1 Голосовые анализаторы эмоциональных реакций.

1.2 Физиологические нелинейности речевого тракта.

1.3 Методы нелинейной динамики применительно к анализу речевых сигналов

1.4 Цели и задачи диссертационной работы.

2 ТЕОРЕТИЧЕСКИЕ МЕТОДЫ НЕЛИНЕЙНОЙ ДИНАМИКИ ПРИМЕНИТЕЛЬНО К АНАЛИЗУ РЕЧИ.

2.1 Исследование речи на хаотичность и стационарность.

2.2 Графический анализ эмоциональной речи методами нелинейной динамики.

2.3 Вычисление инвариантов нелинейной динамики.

2.4 Выводы.

3 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ РЕЧИ ЧЕЛОВЕКА ОПЕРАТОРА В УСЛОВИЯХ ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ.

3.1 Акустические характеристики рабочего помещения.

3.2 Описание системы экспериментального исследования речи человека-оператора в реальных условиях.

3.3 Выводы по эксперименту.

4 ПРИНЦИПЫ ПОСТРОЕНИЯ С ИСТЕМЫ АНАЛИЗА РЕЧЕВОГО СИГНАЛА.

4.1 Обобщенная блок-схема системы анализа речевого сигнала.

4.2 Алгоритм обработки речевого сигнала.

5.3 Описание программного обеспечения.

5.4 Выводы по главе 4.

Труд человека в системах управления техникой (деятельность человека-оператора) связан с периодическим, иногда довольно длительным и интенсивным воздействием (или ожиданием воздействия) экстремальных значений профессиональных, социальных, экологических факторов, которое сопровождается негативными эмоциями, перенапряжением физических и психических функций, деструкцией деятельности. Наиболее характерным психическим состоянием, развивающимся под влиянием указанных факторов у человека-оператора, является психологический стресс. Развитие стресса в экстремальных условиях операторской деятельности может быть связано также с возможностью, ожиданием, угрозой воздействия на человека-оператора разнообразных раздражителей, физико-химической, психологической (личностной), организационной и, прежде всего, профессиональной природы [24].

Анализ состояния человека в процессе его трудовой деятельности предполагает оперативное получение информации [101]. Для мониторинга психофизиологического состояния оператора существует множество способов [102-110], как правило, они заключаются в замере физиологических показателей (ЧСС, кровяного пульсонаполнения, КГР и т.д.), однако все эти методы нуждаются в установке контактных датчиков.

В связи с этим создание системы непрерывного слежения за эмоциональным состоянием человека-оператора, использующей в качестве диагностического критерия динамические изменения в структуре его речевых сигналов, является наиболее перспективным.

Акустическая информация, используемая при речевой коммуникации, характеризуется двойственной природой: с одной стороны, она материальна, так как распространяется в форме звуковых волн, с другой стороны, она является инструментом, с помощью которого передаются и понимаются мысли партнерами по коммуникации.

Речевые знаки обладают исключительной силой выражения. Они могут адекватно передавать даже сложнейшие нюансы мышления при условии, что они правильно и хорошо сформулированы и слушатель обладает способностью их воспринимать [95-100]. Эта форма передачи внутренних состояний мыслительного сознания одного партнера другому называется рациональной функцией речи. Однако существует еще одна функция речи -эмоциональная. Ее изучению частично посвящена данная диссертация.

Значительный прорыв в исследовании стохастических и детерминистских нелинейных временных рядов и их моделировании был достигнут за последние годы. В настоящее время обработка речевых сигналов методами нелинейной динамики и последующий анализ нелинейных характеристик приобретает все большее значение в области речевой акустики. В данной диссертации ставится вопрос о возможности нахождения классификационных признаков эмоций с помощью методов нелинейной динамики. Окружающий нас мир полон нелинейных явлений и процессов, правильное представление о которых немыслимо без понимания возможности хаоса, а так же связанных с этим принципиальных ограничений на предсказуемость поведения сложных систем. Одно из направлений применения методов нелинейной динамики связано с проблемой обработки сигналов. За последние годы были предложены методики, позволяющие выяснить, какого типа системой был произведен сигнал, а так же получить информацию о ее свойствах и характеристиках. Таким образом, аппарат нелинейной динамики является инструментом исследования, позволяющим сделать заключение или предположение о структуре объекта, сконструировать его динамическую модель и т.д. Разработку методов и алгоритмов анализа сигналов можно считать важным направлением нелинейной динамики, непосредственно связанным с возможными приложениями.

Большой вклад в развитие речевой акустики внесли ученые Г. Фант, Дж. Фланаган, М.А. Сапожков, В.Н. Сорокин, В.И. Галунов, Б.М. Лобанов, Т.К. Винцюк, JI.B. Златоустова, А.В. Аграновский, Н.Г. Загоруйко, Р.К. Потапова, Ю.А. Косарев, A.JI. Ронжин, М.В. Хитров, C.JI. Коваль, В.Г. Михайлов, В.П. Бондаренко, JI.H. Балацкая, E.JL Чойнзонов и др. Однако, необходимо отметить, что до сих пор не установлена связь между параметрами анатомии речеобразующей системы, ее динамикой и параметрами голоса.

Основы исследования динамических систем с позиций детерминированного хаоса были заложены Ляпуновым A.M., Колмогоровым А.Н., Пригожиным И.Р., Анищенко B.C., Ж.А. Пуанкаре и др. Изучение речевых сигналов с помощью методов нелинейной динамики проводились многими исследователями и организациями. Наибольший вклад в теорию анализа одномерных временных рядов внесли Ф. Такенс, А. Вольф, П. Грассберг, И. Прокаччиа, A.M. Фрайзер, Н.Х. Паккард, Д.С. Брумхэд, Г.П. Кинг, А. Реньи. Анализ речевых сигналов методами нелинейной динамики проведен в работах: «Нелинейный анализ речи как перспектива синтеза речи», Майкл Бэнбрук, 1996; «Патологический тремор: Детерминистский хаос или нелинейный стохастический осциллятор?» Дж. Тиммер, С. Хойслер, М. Лаук, С.-Х. Люкинг, Американский институт физики, 2000; «Нелинейный анализ и синтез речи» Х.-Н.Л. Теодореску, Ф. Григорас, В. Апопей, 2001; «Идентификация нелинейных волновых моделей для речевого анализа и синтеза» Г. Кубин, К. Лайнсцек, Е. Ранк, Университет Калифорнии, 2005 и др.

Разработаны множество приборов для анализа речи, например, анализатор эмоциональной речи, измеритель интенсивности речевых высказываний и др. В том числе в ЗАО «ОКБ «Ритм» и на кафедре электрогидроакустической и медицинской техники ТТИ ЮФУ в течение последних лет проводятся совместные исследования по выявлению возможности анализа психофизиологического состояния человека-оператора (на примере диспетчеров Северокавказской железной дороги (СКЖД)) с помощью его речи (Хроматиди А.Ф., 2005 г). В рамках этих работ были получены новые научные и практические результаты, которые легли в основу данной диссертации.

Диссертация состоит из 4 глав, введения, заключения, библиографического списка и приложений.

В первой главе был проведен обзор литературы по истории создания устройств для анализа голоса. Рассмотрены современные системы для анализа голоса, принципы, положенные в основу подобных систем. Рассмотрены физиологические и акустические причины нелинейностей, возникающих в речевом аппарате человека. Показано, что речевой тракт можно рассматривать как нелинейную диссипативную систему и применить для его анализа методы нелинейной динамики. Проанализированы работы по нелинейной динамике применительно к анализу речевого сигнала (научные статьи, диссертации). Выявлены достоинства нелинейного анализа и возможные перспективы.

Во второй главе рассмотрены теоретические основы методов нелинейной динамики применительно к анализу речевых сигналов. Исследован речевой сигнал на «хаотичность» с помощью следующих методов нелинейной динамики: построение рекуррентных графиков, вычисление корреляционной размерности, построение отображений Пуанкаре, расчет характеристических показателей Ляпунова, энтропии второго порядка. Рассмотрены теоретические основы фазо-пространственной реконструкции сигнала. Обоснован выбор оптимального критерия для реконструкции траекторий динамической системы из временного ряда, характеризующего речевой сигнал. Рассмотрено влияние эмоционального состояния человека на геометрию аттрактора. Построено отображение Пуанкаре и рекуррентные графики для временных рядов фонем для разных эмоциональных состояний. Вычислены следующие инварианты нелинейной динамики для временных рядов: характеристические показатели Ляпунова и корреляционная размерность. Детально рассмотрены метод корреляционных интегралов, методы построения фазовых портретов и выбор оптимальных параметров (внедренная размерность (размерность внедренного пространства), временная задержка). Изучено изменение рассчитанных инвариантов нелинейной динамики для полярных эмоциональных состояний. Проведена статистическая обработка результатов вычислений. Рассмотрены источники ошибок при оценке.

Третья глава содержит экспериментальную часть данной диссертации. Она включает в себя результаты исследований речи диспетчеров СКЖД полностью в производственных условиях и их последующий анализ с выдачей рекомендаций по распознаванию эмоциональных состояний человека. Рассмотрены акустические условия записи речи человека-оператора в производственных условиях рассчитано время реверберации и акустическое отношение, сделан вывод о том, что разборчивость речи находится в. допустимых пределах для данного типа помещения. Анализ полученных экспериментальных данных осуществлялся с помощью методов нелинейной динамики по методике, предложенной и обоснованной во второй главе.

В четвертой главе показана возможность практического использования методов анализа речи для определения психофизиологического состояния человека-оператора. Предложены принципы построения системы для анализа речевого сигнала и распознавания психофизиологического состояния. В частности, предложена блок-схема системы обработки и анализа речи с помощью методик, разработанных в главе 2 и экспериментально подтвержденных в главе 3. Разработан алгоритм обработки речевого сигнала, включающий запись речи, фильтрацию, удаление шумовой компоненты методом спектрального вычитания, выделение фонем, обработка сигналов методами нелинейной динамики для получения количественного и графического анализа психофизиологического состояния человека-оператора (корреляционная размерность, максимальный характеристический показатель Ляпунова, энтропия второго порядка, размерность внедренного пространства, отображение Пуанкаре, рекуррентные графики, фазовые портреты). Осуществлена программная реализация блока обработки речевого сигнала методами нелинейной динамики.

Библиографический список данной диссертации состоит из 113 наименований.

Приложения представляют собой справки и акты о внедрении основных результатов диссертационной работы.

Научная новизна диссертационной работы

Научная новизна проведенных исследований заключается в рассмотрении как теоретически, так и экспериментально, одномерного продукта системы речевого тракта человека — речевого сигнала — при определенных эмоциональных состояниях с применением аппарата нелинейной динамики.

В диссертации защищаются следующие научные положения.

1. В известных методиках анализа речи отсутствует учет эмоциональной составляющей, в связи с чем количественная оценка психофизиологического состояния человека-оператора по речевому сигналу является актуальной научно-технической задачей, решение которой с применением методов нелинейной динамики имеет существенное значение для создания медицинской техники профилактического и реабилитационного назначения.

2. Критерии выделения участков речи, пригодных для анализа методами нелинейной динамики, позволяющие провести предварительный анализ сигнала на хаотичность.

3. Инварианты нелинейной динамики речи, впервые предложенные в качестве визуальных и количественных оценок психофизиологического состояния человека-оператора.

4. Принципы построения системы аудиоанализа психофизиологического состояния человека-оператора в условиях профессиональной деятельности.

Наиболее существенные новые научные результаты

1. Рассчитаны инварианты нелинейной динамики эмоциональной речи, ранее не применявшиеся для анализа психофизиологического состояния человека-оператора.

2. Предложена оригинальная методика анализа речи методами нелинейной динамики, позволяющая получить количественную и качественную оценку эмоциональной речи.

3. Разработаны принципы построения системы анализа речи человека-оператора в условиях профессиональной деятельности, позволяющей с точностью до 72% (по экспертной оценке) определить его психофизиологическое состояние.

5.4 Выводы по главе 4

В соответствии с техническим исследованием, проведенными в рамках главы 2 и экспериментом, описанным в рамках главы 3, в главе 4 были предложены принципы построения системы для анализа психофизиологического состояния человека; разработаны алгоритмы и соответствующее программное обеспечение. Можно сделать следующие основные выводы.

1. Предложены принципы работы системы аудиоанализа речевого сигнала методами нелинейной динамики.

2. Построена обобщенная блок-схема системы для анализа речеовго сигнла, которая включает блоки регистрации, преобразования в цифровой вид, блоки анализа, отображения информации и принятия решения, в соответствии с методиками, разработанными в главе 2.

3. Разработан алгоритм обработки речевого сигнала, включающий запись речи, обработку НЧ фильтром, обработку сигнала от шума методом спектрального вычитания, выделение фонемы, обработка методами нелинейной динамики для получения численного и графического анализа психофизиологического состояния человека-оператора (корреляционная размерность, максимальный характеристический показатель Ляпунова, энтропия второго порядка, размерность внедренного пространства, построение функции взаимной информации, отображения Пуанкаре, рекуррентного графика, фазо-пространственной реконструкции).

4. Представлена программная реализация блока обработки речевого сигнала методами нелинейной динамики, позволяющая проводить как анализа ранее записанных сигналов, так и оперативную обработку сигнала, непосредственно осуществляется ввод данных через микрофон.

ЗАКЛЮЧЕНИЕ

Подробные выводы по результатам диссертационной работы приведены в конце каждой главы. Подводя общий итог диссертационной работы можно сделать следующие основные выводы и заключения:

1. Рассмотрены современные системы для анализа голоса, принципы, положенные в основу подобных систем. Рассмотрены физиологические причины нелинейностей, возникающих в речевом аппарате человека. Показано, что речевой тракт можно рассматривать как нелинейную диссипативную систему и применить для его анализа методы нелинейной динамики. Рассмотрены методы нелинейной динамики применительно к анализу речевого сигнала.

2. Исследован речевой сигнал на «хаотичность» с помощью методов нелинейной динамики. Выявлены критерии выделения участков речевого сигнала, пригодных (обнаруживающих хаотическую динамику) для анализа методами нелинейной динамики:

2.1.Рекуррентный график должен содержать диагональные структуры, что свидетельствует о хаотичности процесса.

2.2.Корреляционный интеграл должен сходиться при некотором значении размерности внедренного пространства, что дает оценку размерности вложенного пространства и корреляционную размерность.

2.3.Максимальный характеристический показатель Ляпунова должен принимать положительное значение, что свидетельствует о хаотичности процесса и расхождении траекторий по экспоненциальному закону.

2.4.Отображение Пуанкаре должно содержать равномерные или неравномерные подковообразные скопления точек. 2.5.Энтропия второго порядка должна принимать положительное значение.

3. Были построены фазо-пространственные реконструкции речевого сигнала. Рассмотрены два оптимальных критерия, чтобы получить речевые восстановленные траектории: метод сингулярного разложения и критерий избыточности. Анализ геометрии полученных фазовых аттракторов показал, что определенная геометрия соответствует определенной эмоции, что также может служить признаком психофизиологического состояния.

4. Для разных гласных выявлено схожее поведение отображения Пуанкаре для определенной эмоции, что может служить признаком эмоционального состояния человека. В частности, для состояния «гнев» характерно скопление точек в центре и расходящиеся ветви подковообразной формы, для состояния «спокойствие» - равномерное распределением точек. Предложен классификатор.

5. Отрицательные эмоции в речи человека на рекуррентном графике отображаются уменьшением размера кластеров, которые образуются диагональными структурами.

6. Максимальный характеристический показатель Ляпунова принимает значения в пределах от 0,0139±0,0027 с"1 до 0,0813±0,006 с"1, для эмоционального состояния «гнев» значения возрастают на (176±30)%, (54±5)%, (73±4)% для гласных «у», «о», «и», соответственно.

7. Оценка внедренной размерности составила 4-6 и корреляционной размерности - (1,2-2,5)±0,1. Относительно состояния «спокойствие» значение корреляционной размерности для состояния «гнев» возрастает на (20±5)%.

8. В результате проведенного эксперимента и последующего анализа с помощью методов нелинейной динамики было определено 35 критических случаев стресса из 100 образцов. Видеоизображение использовалось для экспертной оценки данных с целью определения эмоции — совпадение результатов расчета нелинейных инвариантов с результатами анализа невербальной символики 72%. Анализ речевых сигналов диспетчеров железной дороги, записанных непосредственно в оперативной обстановке, показал пригодность используемой методики. 9. Рассмотрены возможности использования методов нелинейного анализа речи для определения психофизиологического состояния человека-оператора. В частности, исследована возможность построения автоматизированной системы анализа с помощью предложенной методики. Предложены принципы построения системы для анализа речевого сигнала.

Ю.Приведена обобщенная блок-схема и алгоритм обработки речевого сигнала с применением аппарата нелинейной динамики. Представлена программная реализация нелинейной обработки речевого сигнала.

По результатам диссертационной работы опубликовано 8 статей и тезисов докладов в различных научных сборниках, в том числе 2 работы в журналах из Перечня ВАК.

Акты о внедрении результатов диссертационной работы в ЗАО «ОКБ «Ритм», ООО «ПРОТОН-ССС» и в учебный процесс кафедры ЭГА и МТ ТТИ ЮФУ содержатся в Приложениях.

Автор выражает глубокую благодарность научному руководителю д-р техн. наук Старченко Ирине Борисовне за постоянное внимание к работе и ценные указания, начальнику отдела ЗАО «ОКБ «Ритм» Слива Сергею Семеновичу за сотрудничество по внедрению результатов исследований, а также коллективу кафедры электрогидроакустической и медицинской техники ТТИ ЮФУ за поддержку и активное обсуждение результатов.

1. Интернет-ресурс http://www.poligraf.sp.ru/azar.html

2. Интернет-ресурс http://www.ordas.ru/index.php?id=34

3. Интернет-ресурс http://www.areopagcentr.ru/analyzer.html-p=3.htm

4. Интернет-ресурс http://www.akvilona.ru/news/sense-nemesysco.htm

5. Интернет-ресурс http://www.frolov-lib.ru/books/hi/ch03.html# Tocl 53187089

6. Интернет-ресурс http://www.speechpro.m/rus/products/noise-cancellation-sys/sound-cleaner/

7. Козюренко И.Ю. Звукозапись с микрофона. 2-е изд., перераб. и доп. -М.: Радио и связь, 1988. - 112 с.

8. Шелухин О.И., Лукьянцев Н.Ф. Цифровая обработка и передача речи. — М.: Радио и связь, 2000.

9. Рабинер Л.Р., Шафер Р.В. Цифровая обработка речевых сигналов. М.: Радио и связь, 2001.

10. Секунов Н.Ю. Обработка звука на PC. СПб.: БХВ - Петербург, 2001.

11. Назаров М.В., Прохоров Ю.Н. Методы цифровой обработки и передачи речевых сигналов. — М.: Радио и связь, 2005.

12. Сапожков М.А. Электрогидроакустика: Учеб. для вузов. М.: Связь, 1978.-272 с.

13. Методы нелинейной динамики: Учеб. пособие для студ. физ. фак. / Д.Э. Постнов, А.Н. Павлов, С.В. Астахов. Саратов, 2008. - 120 с.

14. J. Timmer, S. Huassler, М. Lauk, С.-Н. Lucking Pathological tremors: Deterministic chaos or nonlinear stochastic oscillators? — Chaos V. 10, № 1. -2000.-P. 278-288.

15. Florin Grigoras, Iioria-Nicolai L. Teodorescu, Vasile Apopei Nonlinear Analysis and Synthesis Of Speech -http://www.ici.ro/SIC/sicl998l/art05.html

16. G. Kubin, С. Lainscesek, and E. Rank Identification of nonlinear oscillator models for speech analysis and synthesis. Nonlinear Speech Modeling and Applications Postprint. — University of California. 2005. - Pp. 74-113.

17. Albano A.M., Muench J., Schwartz C., Mees A.I., Rapp P.E. Syngular-value decomposition and the Grassberger-Procaccia algorithm // Physical Review A. -38, 1988, pp. 3017-3026.

18. Casdagli M., Eubank S., Farmer J.D., Gibson J. State space reconstruction in present of noise // Physica D. 51, 1992, pp. 52-98.

19. Zeng X., Eykholt R., Pielke R.A. Estimating the Lyapunov-Exponent spectrum from short time series of low precision // Physical Review Letter. 66, 1991, pp. 3229-3232.

20. Holzfuss J., Mayer-Kress G. An approach to error estimation in the applications of dimensional algorithms // In: Dimensions and Entropies in Chaotic Systems, Ed. G.Mayer-Kress, Springer-Verlag, New York, 1986, pp. 114-122.

21. A. Lichtenberg and M. Lieberman, Regular and Stochastic Motion, Applied Mathematical Sciences, Vol. 38 Springer, New York, 1992.

22. Хроматиди А.Ф. Кандидатская диссертация «Исследование психофизиологического состояния человека на основе эмоциональных признаков речи» — Таганрог, ТРТУ, 2005

23. A. Varone, A. Politi, and М. Ciofmi, С02 laser with feedback, Phys. Rev. A 52,3176- 1995

24. Бодров B.A. Информационный стресс: Учеб. пособие для вузов. М.: ПЕР СЭ, 2000.-352 с.

25. L.R. Rabiner and R.W. Schafer, Digital Processing of Speech Signals -Prentice-Hall, Englewood Cliffs, NJ, 1978.

26. N. Tishby A dynamical systems approach to speech processing // Proceedings of the International Conference on Acoustics, Speech and Signal Processing (IEEE, New York, 1990), pp. 365-368.

27. J. Thyssen, H. Nielsen, and S. D. Hansen Nonlinear short-term prediction in speech coding // Proceedings of the International Conference on Acoustics, Speech and Signal Processing (IEEE, New York, 1994), Vol. 1, pp. 185-188.

28. P. Maragos Fractal aspects of speech signals: dimension and interpolation // Proceedings of the International Conference on Acoustics, Speech and Signal Processing (IEEE, New York, 1991), pp. 417-420.

29. T.F. Quatieri and E.M. Hofstetter Short-time signal representation by nonlinear difference equations // Proceedings of the International Conference on Acoustics, Speech and Signal Processing (IEEE, New York, 1990), pp. 1551-1554.

30. A. Kumar Role of Deterministic Chaos in Signal Modelling // Dept. of Electrical Engineering, I.I.T., Kanpur, India, M. Tech. thesis. No. 90/216 MT (March 1990).

31. A. Kumar and S. K. Mullick Attractor dimension, entropy and model ling of speech time series // Electron. Lett. 26(21), 1790-1792 (1990).

32. L. Wu and M. Niranjan On the design of nonlinear speech predictors with recurrent nets // Proceedings of the International Conference on Acoustics, Speech and Signal Processing (IEEE, New York, 1991), Vol. 2, pp. 529-532.

33. R. E. Bogner and T. Li Pattern search prediction of speech // Proceedings of the International Conference on Acoustics, Speech and Signal Processing (IEEE, New York, 1989), pp. 180-183.

34. S. Wang, E. Paksoy, and A. Gersho Performance of nonlinear prediction of speech // Proceedings of the International Conference on Spoken Language, Kobe, Japan (IEEE, New York, 1990), pp. 29-32.

35. A. Singer, G.W. Wornell, and A.V. Oppenheim Codebook prediction: A nonlinear signal modelling paradigm // Proceedings of the International Conference on Acoustics, Speech and Signal Processing (IEEE, New York, 1992), Vol. 5, pp. 325-328.

36. В. Townshend Nonlinear prediction of speech // Proceedings of the International Conference on Acoustics, Speech and Signal Processing (IEEE, New York, 1991), pp. 425-428.

37. A. Kumar and S. K. Mullick Speech signal modelling a la chaos," IEEE Digital Signal Process. Workshop, paper no. 1.8, New Paltz, NY (1990).

38. G. Kubin and W. B. Kleijn Time-scale modification of speech based on a nonlinear oscillator model // Proceedings of the International Con ference on Acoustics, Speech and Signal Processing (IEEE, New York, 1994).

39. G. Kubin Nonlinear Processing of Speech // Speech Coding and Synthesis, edited by W. B. Kleijn and К. K. Paliwal (Elsevier Science, Am sterdam, 1995), Chap. 16, pp. 557-610.

40. H. M. Teager Some observations on oral air flow during phonation // IEEE Trans. Acoust. Speech Sig. Process. ASSP-28(5), 599-601 (1980).

41. J. L. Flanagan, Speech Analysis, Synthesis and Perception (Springer-Verlag, New York, 1972), 2nd ed.

42. K. Ishizaka and J. L. Flanagan Synthesis of voiced sounds from a two- mass model of the vocal cords //Bell Syst. Tech. J. 51, 1233-1268 (1972).

43. H. Herzel Bifurcations and chaos in voice signals // Appl. Mech. Rev. 46(7), 399-413 (1993).

44. J. Schoentgen Non-linear signal representation and its application to themodelling of the glottal waveform," Speech Commun. 9(3), 189-201 (1990).

45. G. Gabor and Z. Gyorfi On the higher order distribution of speech signals," IEEE Trans. Acoust. Speech Sig. Process. ASSP-36(4), 602-603 (1988).

46. H. Brehm and W. Stammler Description and generation of spherically invariant speech-model signals // Sig. Process. 12, 119-141 (1987).

47. A.V. Oppenheim and R.W. Schafer Discrete-Time Signal Processing // Prentice-Hall, Englewood Cliffs, NJ, 1989.

48. H. Tong Nonlinear Time-Series: A Dynamical Systems Approach // Clar endon, Oxford, 1990.

49. M.B. Priestley Nonlinear and Nonstationary Time Series Analysis. — London: Academic, 1988.

50. J. Guckenheimer and P. Holmes Nonlinear Oscillations, Dynamical Systems, and Bifurcations of Vector Fields. New York: Springer-Verlag, 1983.

51. Шустер Г. Детерминированный хаос. M.: Мир, 1988. - 240 с.

52. М. Schroeder Fractal, Chaos, Power Laws: Minutes from an Infinite Paradise. New York: Freeman, 1991.

53. F.C. Moon Chaotic and Fractal Dynamics: An Introduction for Applied Scientists and Engineers. New York: Wiley, 1992.

54. J.-P. Eckmann and D. Ruelle Ergodic theoiy of chaos and strange at-tractors // Rev. Mod. Phys. 57(3), Pt. 1, 617-656 (1985).

55. T.S. Parker and L.O. Chua Chaos: A tutorial for engineers // Proc. IEEE 75(8), 982-1008(1987).

56. J.D. Fanner and J.J. Sidorowich Predicting chaotic time series // Phys. Rev. Lett. 59(8), 845-848 (1987).

57. S. Eubank and D. Farmer An introduction to chaos and randomness // 1989 Lectures in Complex Systems, SFI Studies in the Sciences of Complexity, Lect. vol. II, edited by E. Jen (Addison-Wesley, Reading, MA, 1990), pp. 75185.

58. P. Grassberger, T. Schreiber, and C. Schaffrath Nonlinear time sequence analysis," Int. J. Bifurc. Chaos 1(3), 521-547 (1991).

59. F. Takens Detecting strange attractors in turbulence // Dynamical Systems and Turbulence, Warwick, 1980 Lect. Notes in Mathematics, edited by D. A. Rand and L. S. Young (Springer-Verlag, Berlin, 1981), Vol. 898, pp. 366381.

60. H.-P. Bernhard and G. Kubin Speech production and chaos 11 Proceedings of the 12th International Conference of Phonetic Sciences, France (IEEE, New York, 1991).

61. H.-P. Bernhard and G. Kubin Detection of chaotic behavior in speech signals using Fraser's mutual information algorithm // Treizieme Colloque Gretsi, Juan-Les-Pins Du (September 1991), pp. 1301-1311.

62. C. Bandt and B. Pompe Entropy profiles of speech signals // Phys. Lett. A 175,305-313 (1993).

63. N.H. Packard, J. P. Crutchfield, J. D. Farmer, and R. S. Shaw Geometry from a time series // Phys. Rev. Lett. 45(9), 712-716 (1980).

64. A. Gershenfeld An experimentalist's introduction to the observation of dynamical systems // Directions in Chaos, edited by H. B. Lin (World Scientific, Singapore, 1988), Vol. 2, pp. 301-379.

65. D.S. Broomhead and G. P. King Extracting qualitative dynamics from experimental data // Phys. D 20, 217-236 (1986).

66. A.M. Fraser and H. L. Swinney Independent coordinates for strange attractors from mutual information // Phys. Rev. A 33(2), 1134-1140 (1986).

67. A.M. Fraser Information and entropy in strange attractors // IEEE Trans. Inform. Theor. 35(2), 245-262 (1989).

68. M. Casdagli, S. Eubank, J. D. Farmer, and J. Gibson A theory of state space reconstruction // Information Dynamics, edited by H. Atmans-pacher and H. Scheingraber (Plenum, New York, 1991).

69. A. Cenys and K. Pyragas Estimation of the number of degrees of freedom from chaotic time series // Phys. Lett. A 129(4), 227-230 (1988).

70. W. Liebert, K. Pawelzik, and H. G. Schuster Optimal embeddings of chaotic attractors from topological considerations // Europhys. Lett. 14(6), 521-526 (1991).

71. A.I. Mees, P.E. Rapp, and L.S. Jennings Singular value decomposition and embedding dimension // Phys. Rev. A 36(1), 340-346 (1987).

72. A.M. Fraser Reconstructing attractors from scalar time series: A comparison of singular system and redundancy criteria // Phys. D 34, 391-404 (1989).

73. W. Liebert and H.G. Schuster Proper choice of the time delay for the analysis of chaotic time series // Phys. Lett. A 142(2,3), 107-111 (1989).

74. M. Casdagli, D.D. Jardins et al. Nonlinear modeling of chaotic time series: theory and applications // Los Alamos National Laboratory, Los Alamos, New Mexico, Tech. Rep. LA-UR-91, 1637 (1991).

75. A. Wolf, J.B. Swift, H.L. Swinney, and J.A. Vatsano Determining Lyapunov exponents from a time series // Phys. D 2, 285-317 (1985).

76. W.H. Press, B.P. Flannery, S.A. Teukolsky, and W.T. Vetterling, The Art of Scientific Computing (Cambridge U.P., Cambridge, 1988), 1st ed.

77. J.D. Farmer, E. Ott, and J.A. Yorke The dimension of chaotic attractors // Phys. D 7, 153-180(1983).

78. P. Grassberger and I. Procaccia Characterization of strange attractors // Phys. Rev. Lett. 50, 346-349 (1983).

79. P. Grassberger and I. Procaccia Measuring the strangeness of strange attractors // Phys. D 9, 189-208 (1983).

80. I. Procaccia The static and dynamic invariants that characterize chaos and the relations between them in theory and experiments // Phys. Scr. T9, 40-46 (1985).

81. A.R. Osborne and A. Provenzale Finite correlation dimension for stochastic systems with power law spectra // Phys. D 35, 357-381 (1989).

82. S.H. Isabelle, A.Y. Oppenheim, and G.W. Wornell Effects of convolution on chaotic signals // Proceedings of the International Conference on Acoustics, Speech and Signal Processing (IEEE, New York, 1992), Vol. IV, pp. 133136.

83. M. Moller, W. Lange, F. Mitschke, N. B. Abraham, and U. Hubner Errors from digitizing and noise in estimating attractor dimensions // Phys. Lett. A 138(4,5), 176-182(1989).

84. J. Theiler Spurious dimension from correlation algorithms applied to limited time series data // Phys. Rev. A 34(3), 2427-2432 (1986).

85. J. Theiler Statistical precision of dimension estimators // Phys. Rev. A 41(6), 3038-3051 (1990).

86. J. Theiler Estimating fractal dimension // J. Opt. Soc. Am. A 7(6), 1055-1073 (1990).

87. Рюэль Д. Случайность и хаос. Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001. - 192 с.

88. М. Nerenberg, С. Essex Correlation dimension and systematic geometric effects // Physical review. A 42:1212, 7065-7074, American Physical Society, 1990 p. 7065.

89. R. Shaw Strange attractors, chaotic behavior and information flow // Z. Soc. London Ser. A 427, 241-248 (1990).Naturforsch. 36a, 80-112 (1981).

90. P. Grassberger and I. Procaccia Estimation of the Kolmogorov entropy geometric effects // Phys. Rev. A 42(12), 7065-7074 (1990). from a chaotic signal // Phys. Rev. A 28(4), 2591-2593 (1983).

91. К. Асаи, Д. Ватада, С. Иваи и др. Прикладные нечеткие системы / Под ред. Т. Тэрано, К. Асаи, М. Сугено. М.: Мир, 1993.

92. Л. Рабйнер, Б. Гоулд. Теория и применение цифровой обработки сигналов. -М.: Мир, 1978.

93. Курочкин С.Н, Бродин А.Г. Проблемы создания многоуровневой системы распознавании речи / МГГУ СТАНКИН — интернет ресурс: http://alife-soft.narod.ru/note/srecognize/recognize.html

94. Петцольд Ч. Программирование для Microsoft Windows на С#. В 2-х томах. Том 1,2/ Пер. с англ. — М.: Издательско-торговый дом «Русская редакция», 2002. 576 с.

95. Бодалёв А.А. Восприятие человека человеком. JL: Изд-во Ленинградского университета, 1965 - 123с.

96. Дашкова С.С. Устная речь как источник информации о человеке: Автореф. канд. дис. Л., 1982

97. Додонов Б.И. В мире эмоций. Издательство политической литературы Украины, 1987.

98. Додонов Б.И. Эмоция как ценность. М: Издательство политической литературы, 1978.

99. Фресс П. Эмоции // Экспериментальная психология. — М., 1975. Вып. 5.

100. Симонов П.В. Эмоциональный мозг. -М.: Наука, 1981. — 215 с.

101. Разработка и исследование способов и аппаратно-программных средств обработки и распознавания речевой информации в супермакронейрокомпьютере: отчет о НИР (заключительный) / ТРТИ: Руководитель Басан С.Н.: № темы 14602; Таганрог, 1993. 47 с.

102. Анализ речевых сигналов человеком / Под ред. Э.А. Арутюняна. Л.: Наука, 1971.-216 с.

103. Бажин Е.Ф. и др. Объективная диагностика эмоционального состояния в психиатрической клинике // Матер. Всес. симп. «Речь и эмоции». Л., 1974.-С. 69-74.

104. Галунов В.И., Манеров В.Х. Пути решения проблемы создания систем определения эмоционального состояния говорящего // Вопр. кибернетики. Вып. 22. -М., 1976. С. 95-114.

105. Грекова Т.И. Кожно-гальванический рефлекс как показатель изменений психического состояния // Физиология человека. 1975. - Т. 1. - № 6. — С. 993-998.

106. Дикая Л.Г., Черенкова Е.А. Влияние эмоционального содержания информации на функциональное состояние и интеллектуальную деятельность оператора. — В кн.: Функциональное состояние человека и методы его исследования. — М.: Наука, 1992. — С. 100-105.

107. Милованова Г.Б. Интегральная оценка эмоционального состояния человека по его вегетативным функциям // Методика и техника исследований операторской деятельности. М.: Наука, 1985. - С. 7-11.

108. Фролов М.В. Контроль функционального состояния человека-оператора / Отв. ред. П.В. Симонов. АНСССР, Институт высшей нервной деятельности и нейрофизиологии. М.: Наука, 1987. - 195 с.

109. Фролов М.В., Таубкин В.Л. Оценка эмоционального напряжения диктора с помощью параметров речевого сигнала // Сб. Физические методы и вопросы метрологии биомедицинских измерений. М., 1974.

110. Интернет ресурс: http://www.abanet.org/genpractice/inagazine/1999/jun/palmatr.html

111. Nonlinear analysis of speech from a synthesis perspective by Mike Banbrook from University Of Edinburgh, Department of Electronics and Electrical Engineering, 1996.

112. A. Kumar and S.K. Mullick, Nonlinear dynamical analysis of speech J. Acoust. Soc. Am., Vol. 100, No. 1, July- 1996 Pp. 615 629.

113. Интернет-ресурс: http://subscribe.ru/archive/comp.portal.iknowit/200809/14151648.html

114. N. Marwan, M. Carmen Romano, M. Thiel, J. Kurths Recurrence plots for the analysis of complex systems Physics Reports 438 (2007) Pp. 237- 329.

115. Перервенко Ю.С., Старченко И.Б. «Акустические и физиологические нелинейности речевого тракта и метод их регистрации» Акустика речи. // Сборник трудов XIX сессии Российского акустического общества. — М.: ГЕОС, 2007. Т. III. - С. 36-39.

116. Перервенко Ю.С., Старченко И.Б. тезисы доклада «Эмоциональная речь: детерминированный хаос или нелинейный случайный процесс?» Известия ЮФУ. Технические науки Таганрог: Изд-во ТТИ ЮФУ,2007.-№ 1(78).-С. 100-101.

117. Перервенко Ю.С., Старченко И.Б. «Анализ нелинейностей речевого сигнала» Радиоэлектроника и молодежь в XXI веке: материалы 11-го международного молодежного форума Харьков: Изд-во ХНУРЭ, 2007. Ч. 1.-С. 289.

118. Перервенко Ю.С., Черемушкин В.А. «Формирование базы аудиозаписей диспетчеров Ростовского узла СКЖД в оперативной обстановке» Известия ЮФУ. Технические науки Таганрог: Изд-во ТТИ ЮФУ,2008. № 5 (82). - С. 156-157.

119. Интернет-ресурс: http://petelin.ru/pcmagic

120. Анохин П.К. Эмоции // Большая медицинская энциклопедия, 2-е изд. 1964.-Т. 35.-С. 339-367.

121. Лебединский М.С, Мясищев В .Я. Введение в медицинскую психологию. -Л.: Медицина, 1966.

122. Синергетика: процессы самоорганизации и управления. Учеб. пособие / Под общей ред. А.А. Колесникова Таганрог: Изд-во ТРТУ, 2004. - 2.1. -360 с.

123. Шингаров Г.Х. Эмоции и чувства как формы отражения действительности. -М.: Наука, 1971.

124. Леонтьев Л.Я. Эмоции — в кн.: Философ, энциклопедия. Т. 5. — М., 1970.-С. 553.

125. Леонтьев А.Н., Судаков К.В. Эмоции // Большая медицинская энциклопедия. Т. 30. - М., 1978. - С. 169.

126. Носенко Э.Л. Изменения характеристик речи при эмоциональной напряженности // Вопр. психологии, 1978. № 6. - С. 76.

127. Мун Ф. Хаотические колебания: Вводный курс для научных работников и инженеров / Пер. с англ. М.: Мир, 1990. - 312 с.

128. Интернет ресурс: http://www.nemesysco.com/

129. Eckmann J.-P., Kamphorst I.,S., Ruelle D., Recurrence plots of dynamical systems, // Europhys. Lett., 4, p. 973-977, 1987.

130. Marwan, N., Encounters with neighbours (current developments of concepts based on recurrence plots and their applications), // PhD Thesis, University of Potsdam, 2003

131. Кузнецов С.П. Динамический хаос (курс лекций). М.: Физматлит, 2001.-295 с.

132. Анищенко B.C. Сложные колебания в простых системах: Механизмы возникновения, структура и свойства динамического хаоса в радиофизических системах. -М.: ,1990. 312 с.

133. Анищенко B.C., Вадивасова Т.Е., Астахов В.В. Нелинейная динамика хаотических и стохастических систем. Фундаментальные основы и избранные проблемы / Под ред. B.C. Анищенко. Саратов: Изд-во Сарат. ун-та, 1999. - 368 с.

134. Научная сессия МИФИ-2005. VII Всероссийская научно-техническая конференция «Нейроинформатика 2005»: лекции по нейроинформатике / Отв. ред. Ю.В. Тюменцев - М.: МИФИ, 2005. - 214 с.

135. Дж. Бендат, А. Пирсол Измерение и анализ случайных процессов / Пер. с англ. Г.В. Матшевского, В.Е. Привальского. М.: Мир, 1974. — 463 с.