автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Исследование и разработка методов анализа и оценки качества синтезированной устной речи

На правах рукописи

Русанова ОльгаАлександровна

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ АНАЛИЗА И ОЦЕНКИКА ЧЕСТВА СИНТЕЗИРОВАННОЙУСТНОЙРЕЧИ

05.13.17 — Теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Красноярск, 2004

Работа выполнена в Красноярском государственном техническом университете

Научный руководитель: кандидат технических

Кирякова Г.С.

наук, доцент

кандидат технических Цибульский Г.М.

наук, доцент

Ведущая организация: Институт вычислительно моделирования СО РАН, г. Красноярск

Защита состоится « 5 » июля 2004 г. в 14-00 ч. на заседании диссертационного совета К 212.098.02 в Красноярского государственном техническом университете по адресу: 660074, г. Красноярск, ул. Киренского, 26, ауд. Г 4-17, тел. 497-561, факс (3912) 497-990

С диссертационной работой можно ознакомиться в научной библиотеке Красноярского технического университета.

Автореферат разослан » 2004 г.

Ученый секретарь

диссертационного Совета к.т.н., профессор

Введение

Вопросы синтеза и распознавания речи человека компьютером становятся все более актуальными. Так как почти каждый говорит и понимает речь, развитие естественно-языковых систем позволит человеку без специальных навыков общаться с компьютером в любое время и в любом месте без дополнительного обучения, используя такие устройства, как мобильный телефон, получать доступ к информации или к управлению устройствами Людям с ограниченными возможностями, например, с ослабленным зрением или потерявшим его, речевые технологии позволят пользоваться компьютером и интернетом без каких-либо ограничений.

Синтез речевого сигнала — одна из составляющих речевых технологий, куда так же входят вопросы распознавания речи, семантики, перевода. В настоящее время вопросом синтеза речи занимается большое число исследовательских групп, каждая из которых создает свое описание речевого сигнала, и в конечном итоге - программный продукт. На данный момент из программных пакетов, поддерживающих русский язык, наиболее широко распространены Microsoft Speech SDK, Lemout&Hauspie и разработка "Digalo" фирмы Elan Informatique.

Несмотря на большое число разработок, проблема синтеза речи до сих пор считается не решенной, так как качество синтеза только в отдельных случаях можно считать удовлетворительным и хорошим - синтезаторы говорят либо невнятно, либо с большим количеством ошибок, несмотря на все большую алгоритмизацию синтеза речи. Главным препятствием улучшения качества является невероятная сложность разрешения языковой неоднозначности при автоматическом анализе текста, который используется в синтезе устной речи для расстановки пауз; определения главноударного слова в предложении; задания интонации вопроса, восклицания; для правильной расстановки ударения в словах.

Перед синтезаторами могут стоять задачи, например, озвучивания произвольного текста (например, чтение электронной почты или какой-либо литературы), произнесение ограниче вочная система о

I

■ " 1 ш—т»Л

состоянии счета в сотовой компании), система оповещения состояния некоего агрегата и прочие.

Все это определяет актуальность исследований в области оценки качества синтезированного речевого сигнала.

Целью настоящей работы является анализ существующих способов синтеза речи, способов оценки синтезированного сигнала, разработка методики оценки качества речи, синтезированной любым из известных способов, и последующая программная реализация оценки качества Алгоритмы должны обеспечивать как сравнительную оценку нескольких синтезаторов, так и оценку отдельно взятой системы синтеза. Основные задачи исследования:

• систематизация алгоритмов синтеза речевого сигнала,

• анализ методов оценки качества синтезированного речевого сигнала,

• методика анализа качества речи, синтезируемой по произвольному тексту,

• разработка классов качества синтезируемого речевого сигнала,

• оценка качества синтеза, осуществленного любым способом.

При реализации оценки качества синтезированного сигнала необходимо учесть субъективность сведений, получаемых от экспертов по прослушиванию, и корректно обработав информацию, представить ее наиболее объективно. Основные научные результаты:

• предложены критерии оценки качества синтезируемой речи;

• разработана модель качества синтезированного речевого сигнала,

• разработана методика оценки качества речевого сигнала, синтезированного по произвольному тексту,

• разработаны классы качества синтезированной речи.

Использование методики позволяет получить как сравнительную оценку работы нескольких синтезаторов, так и оценку отдельно взятой системы синтеза, а так же определить класс качества синтезированной речи Методы исследования:

Полноту и обоснованность выводов диссертации обеспечивает использование методов: вероятностного подхода, эвристических правил и статисти-

ческого анализа Краскела — Уоллиса и Манна-Уитни. Оценка работоспособности и эффективности разработанных алгоритмов осуществлялась путем численных экспериментов с использованием реальных данных. При разработке специального ПО использованы принципы структурного программирования, программирования БД, создания экспертных систем и организации множественного доступа по локальной или глобальной сети.

Практическая ценность и реализация результатов работы

Практически значимыми являются созданные методы определения качества синтезированного речевого сигнала. Алгоритмы автоматизированной интерпретации данных реализованы в виде экспертной системы, которая гибко настраивается на широкий круг проблем — от оценки возможности применения того или иного синтезатора русской речи к синтезу текстов узкой направленности, до выявления разработчиком слабых мест его системы синтеза

Публикации. По результатам диссертационной работы опубликовано 2 доклада на Международных конференциях (из них 1 электронная публикация [2]) [5], 2 депонированные статьи [3, 6] и 2 статьи в местной печати [1, 4].

Апробация работы. Основные положения и результаты докладывались на Международной конференции Диалог'2003 «Компьютерная лингвистика и интеллектуальные технологии», г. Москва (2003); X Юбилейной Международной научно-практической конференции студентов, аспирантов и молодых ученых, посвященной 400-летию г. Томска, г. Томск (2004); Межвузовских научных конференциях студентов, аспирантов и молодых ученых «Информатика и информационные технологии», г. Красноярск (2002, 2003);.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, приложений и содержит 107 страниц основного текста, 29 рисунков и 27 таблиц. Список литературы включает 99 наименований.

Содержание работы

Во введении дано обоснование актуальности темы диссертации и сформулированы цели и задачи исследований, приводится краткое содержание работы по главам.

В первой главе произведена классификация алгоритмов и методов синтеза речи, с объяснением принципов их работы. Дан обзор методов оценки качества синтезируемого сигнала. Показано, что эти алгоритмы не дают полного представления о качестве работы синтезаторов.

Классификация методов синтеза речи составлена по нескольким признакам: по характеру синтезируемой речи, по принципу построения синтезируемых сообщений, по методу синтеза и по способу реализации (рисунок 1).

Рисунок 1 - Классификация синтезаторов речевых сообщений

По характеру синтезируемой речи выделяют синтезаторы, использующие предварительно закодированную естественную речь или искусственные речеподобные звуки, сформированные электронным устройством. В первом случае речевой сигнал делится на фразы, слова, слоги, фонемы, ди-фоны и аллофоны. Для уменьшения объема занимаемой памяти используют широко известные из общей теории обработки сигналов способы сжатия сиг-

нала: описание формы речевой волны, спектральное описание и описание состояния речевого тракта. Для сжатия сигнала по описанию формы речевой волны используют: логарифмическую импульсно-кодовую модуляцию (ИКМ), клиппирование, аппроксимацию формы полуволны, адаптивную дельта-модуляцию и всевозможные комбинированные способы. Самое сильное сжатие дает описание спектра сигнала (при помощи разложения Фурье или вейвлет-преобразования) и описание состояния речевого тракта (уравнение Вебстера). Одно из самых эффективных описаний - формантное - лежит на стыке решения уравнения Вебстера и спектрального описания. Необходимо отметить, что речевой сигнал, синтезированный по одному из вышеперечисленных методов, так же можно считать искусственным.

Среди методов синтеза речевого сигнала можно выделить использование Марковских моделей, нейросетей, применение эвристических правил, артикуляционной модели и кодирования с линейным предсказанием (КЛП-синтез). По принципу построения сообщений выделяют компилятивные и целостные синтезаторы, а по принципу реализации — программные и программ -но-аппаратные.

Под качеством синтезируемой речи обычно понимается разборчивость речи и натуральность ее звучания. Для определения разборчивости в России используют ГОСТ Р 50840-95 «Передача речи по трактам связи. Методы оценки качества, разборчивости и узнаваемости» и ГОСТ 16600-72 «Передача речи по трактам радиотелефонной связи. Требования к разборчивости речи и методы артикуляционных измерений». Стандарты регламентируют получение оценки качества передачи речи, основанной на методах измерения показателей разборчивости (относительное количество правильно принятых элементов, в процентах). ГОСТ предусматривает тесты для фонем, слогов, слов и фраз, произносимых диктором и передаваемых по линиям связи (рисунок 2) Исследуемым объектом в данном случае является блок «линия связи», и предполагается, что искажения возникают только в указанном блоке. Однако, при синтезе речевого сигнала по предоставленному тексту искажения могут быть не только в канале связи (аппаратные средства реализации

сформированного речевого сигнала), но и в блоке, отвечающем за формирование речевого сигнала

Рисунок 2 - Схема анализа линии связи по ГОСТ Р 50840-95

Синтезатор при переводе текстовой информации в речь должен сам расставить ударения, паузы, раскрыть сокращения — это часть случаев, в которых возможны ошибки. Данные вопросы ГОСТом не предусмотрены, поэтому оценку синтезаторов, проведенную по данному стандарту, нельзя считать полной. Отсутствие единого методики оценки качества работы систем синтеза речевого сигнала не позволяет компаниям-производителям декларировать качество работы своей продукции, а потребителям - получать информацию о характеристиках продукта до момента его покупки.

Во второй главе изложен новый принцип проведения оценки качества. Предлагается рассматривать качество как интегральную оценку на основе набора параметров как исчисляемых величин (число допущенных ошибок), так и слабометризируемых параметров (интонационная окраска) (рисунок 3). Предложены методы измерения признаков и методы шкалирования слабо-метризируемых величин. Выделены следующие критерии качества: число допущенных ошибок X, суммарный вес допущенных ошибок S, уровень качества UK и мера ошибочности К В случае проведения сравнительного ана лиза численные значения критериев используются для ранжирования синтезаторов по методу Краскела — Уоллиса или Манна - Уитни в зависимости от числа исследуемых систем синтеза (рисунок 4). Рассмотрим исчисляемые параметры качества, которыми являются число допущенных ошибок и уровень качества (рисунок 3) Для определения уровня качества, которое по определению есть мера, выраженная через количественную величину, например,

процент дефектных изделий, необходимо провести испытания синтезаторов, в результате которых будет подсчитано число допущенных ошибок. Для этого формируются тестовые таблицы из фраз, содержащих общеупотребительные слова и проблемные элементы: омонимы, аббревиатуры: и сокращения. Подготовленные тесты озвучиваются синтезаторами речи и предлагаются вниманию экспертам по прослушиванию, которые помечают ошибки, допущенные системами при синтезе. Измерения производятся в абсолютной шкале, что позволяет производить операции, сохраняющее адекватность экспертных

Рисунок 4 - Критерии оценки качества синтезированной речи

оценок. Так как разные ошибки по-разному влияют на понимание получаемой информации, эксперты по прослушиванию указывают типы обнаруженных ими ошибок (например, «неверное ударение», «неверное чтение сокращений»). Пусть результат тестирования ^м экспертом 0=1, .., п) одного синтезатора на одном тексте описывается как Х^{х1Р хх^), где х,} - число ошибок ьго типа (¿—1, у). Таким образом, если работа каждого из синтезаторов с одним текстом описывается п экспертами по прослушиванию, то

среднее число ошибок ьго типа х, и суммарное среднее число ошибок Хсо-

Число обнаруженных ошибок ^ = (х!,)^-^) является первым и самым простым для вычисления критерием оценки работы синтезатора.

Рассмотрим еще один исчисляемый критерий оценки синтезируемой речи Пусть X, - количество тестовых слов для ошибки ьго типа. Поэтому учтем отношение

р,=*»/*". (3)

где ху — число ошибок го типа, указанное>м экспертом по прослушиванию, х,' - число тестовых элементов для ошибок i-гo типа.

Если синтезатор ошибается при чтении практически всех тестовых элементов, то система синтеза работает не корректно. Введение такой характеристики особенно ценно тем, что она может использоваться не только при сравнительной характеристике работы двух и более синтезаторов. Следовательно, еще одним параметром оценки является число типов ошибок.

Для определения уровня качества иК, выраженного через долю дефектных изделий (тестовых элементов, прочитанных с ошибкой), необходимо знать общее число допущенных ошибок и общее число тестовых элементов:

Чем меньше ошибок допускает синтезатор, тем больше значение UK и выше уровень качества.

Теперь рассмотрим слабометризируемые критерии качества. Очевидно, что ошибки разных типов по-разному влияют на восприятие информации на слух. Поэтому сопоставим каждому типу ошибок свой вес по 5-балльной шкале с шагом 0,1. Максимальный вес присваивается ошибке, мак-

симально мешающей пониманию текста. Информацию о весах типов ошибок, полученную от /-го эксперта по прослушиванию, можно представить как №)=('и'/(. .... где - вес /-го типа ошибки, V - число типов ошибок. Тогда средний вес ошибки /-го типа

где 1 -- тип ошибки; } - номер эксперта по прослушиванию; п - число экспертов по прослушиванию.

Таким образом, веса ошибок характеризуются ш = Теперь

учтем вклад каждой ошибки в общее восприятие текста - суммарный вес ошибок sJ допущенных системой при синтезе речи, указанных у'-м экспертом по прослушиванию

где 1 — тип ошибки, V — число типов ошибок, ->у — число ошибок 1-го типа, — средний вес ошибки ¡-го типа.

Тогда среднее значение суммарного веса ошибок § есть

Вычисленное значение 5» будет являться третьим критерием оценки качества работы системы синтеза. В сравнении со средним числом допугцен-ных ошибок величина более точно характеризует синтезируемый речевой сигнал, однако недостаточно полно отражает корректность преобразования текста в речь. Учитывая, что число допущенных ошибок есть случайная дискретная величина и что ошибки разного типа по-разному ухудшают восприятие синтезированного сигнала, определим среднюю величину веса ошибки:

(5)

V

(6)

1=1

V

1=1

Чем меньше значение тем корректнее работа синтезатора.

Важную информацию о корректности работы синтезатора можно получить, взяв величину К, равную отношению среднего веса ошибки к максимальному значению среднего веса ошибки. Такое отношение назовем мерой ошибочности

где

где V — число типов ошибок.

Значение меры ошибочности К можно использовать как для сравнительной оценки двух и более синтезаторов, так и для того, чтобы отнести систему синтеза к тому или иному классу качества, которые разрабатываются на основе достаточного числа экспериментов.

Для проведения сравнительной оценки нескольких синтезаторов применяются методы ранжирования. Учитывая небольшой объем выборок (получение результатов тестирования является трудоемким процессом) и неизвестность распределения, более мощными будут непараметрические методы исследования. Для определения различий между группами выборок, рекомендуется использовать дисперсионный анализ, в нашем случае - ранговый дисперсионный анализ Н Краскела — Уоллиса и U Манна-Уитни, который является аналогом Н, но работает для меньшего число исследуемых объектов. Каждый из методов имеет свои ограничения, подробно рассмотренные в специальной литературе и во второй главе диссертации.

Суть анализа сводится к следующему: для каждой из выборок делается однотипная маркировка, затем значения из всех выборок ранжируются так, как если бы это была одна большая выборка. После этого, благодаря маркировке, составляются первоначальные наборы, и подсчитываются суммы полученных ими рангов. Если различия между выборками случайны, суммы рангов не будут различаться сколько-нибудь существенно, так как и высокие и низкие ранги равномерно распределятся между выборками. Иначе Крите-

рии Н или U позволят установить эти различия, которые будут указывать на различие качества синтеза рассматриваемых синтезаторов и могут быть использованы для составления классов качества синтезированного сигнала

Так как каждому из синтезаторов соответствует несколько критериев качества (X, иК, 8, К), следовательно, ранжирование необходимо провести по каждой из этих величин. В случае расхождения результатов ранжирования по X и З1, следует проанализировать ситуацию и сделать вывод о правомерности присвоения веса каждому из типов ошибок. Если результаты ранжирования по S и К будут схожи, то оценки качества синтеза объективны.

Применяя методы ранжирования для результатов достаточного числа экпериментов, разрабатываются классы качества синтезированного сигнала. Таким образом, во второй главе поставлена и решена задача адекватной оценки качества синтезируемого сигнала.

В третьей главе рассмотрена структура экспертной системы (ЭС) (рисунок 5), позволяющей оценить работу синтезаторов по выделенным выше

критериям. Так как получение результатов тестирования, как правило, отнимает значительное количество времени, предложена реализация, предоставляющая возможность множественного доступа по локальной, либо глобальной сети, с обеспечением разграничения доступа. Контроль над работой экспертов по прослушиванию и ЭС осуществляет супервизор — человек, заинтересованный в оценке синтезаторов. Он формирует задания экспертам и просматривает полученные результаты.

Все данные об экспертах по прослушиванию - их имена, пароли, названия тестовых файлов и рассматриваемых ими синтезаторов, содержатся в базе данных об экспертах по прослушиванию (БДЭ). БДЗ содержит информацию о заданиях, полученных экспертами. В ней указано, какие тестовые файлы на каком синтезаторе прослушивают эксперты. Данные о типах ошибок ¡=(1,2, ..., у) содержатся в одноименной базе данных (БДТО). В случае обнаружения экспертом по прослушиванию ошибок нового типа, заполняется промежуточная база данных (БДНТО), структура которой аналогична БДТО. При этом эксперт по прослушиванию дает свое название и описание выявленного типа ошибок. Это делается для того, чтобы избежать случая, когда один и тот же тип ошибки разными экспертами был назван по-разному, следовательно, обработан отдельно. Случай записи результатов эксперимента в такой форме может привести ЭС к ошибочному выводу. По окончании работы всех экспертов по прослушиванию, супервизор просматривает обнаруженные типы ошибок и их описание в БДНТО и принимает решение о том, объединить обнаруженные ошибки с уже имеющимися или обнаруженными типами, или нет. На этом этапе данные из БДНТО заносятся в БДТО, и окончательно исключается возможность разбиения одного типа ошибок на два и более. В БД о числе ошибок (БДЧО) заносится число ошибок каждого типа число типов ошибок берется из БДТО. Ошибки, ранее не описанных типов записываются в промежуточную базу данных числа ошибок новых типов (БДЧОНТ), имеющую структуру, аналогичную БДЧО. Значения весов типов ошибок, указанные экспертом после окончания прослушивания тестового файла, заполняют соответствующую базу данных БДВО.

При объединении супервизором нескольких типов ошибок веса объединяемых типов вычисляются как среднее арифметическое указанных значений, а число ошибок суммируется.

В ЭС существует набор правил, которые в частности касаются определения числа тестовых элементов для ошибок различных типов, например, неверного ударения, неверного прочтения сокращений, неверного чтения орфографических фикций.

Расстановка ударений — одна из самых сложных задач при синтезе речи. Для решения этой проблемы недостаточно использовать словарь, так как, во-первых, в русском языке существует много омонимов — слов, ударения в которых зависят от значения, в каком используется слово («мука» и «мука»); во-вторых, достаточно часто встречаются слова, которые имеют разное ударение в зависимости от контекста («ноги приросли» и «нет ноги»). Так как ударение может быть ошибочным для слов, в котором хотя бы 2 слога, для определения числа тестовых элементов в произвольном тексте для ошибок этого типа, необходимо подсчитать в тестовых файлах слова, длина которых превышает один слог.

Верное чтение сокращений особенно актуально для этой работы, так как практическое использование результатов исследования связано с озвучиванием по большей части именно технической литературы. Для оценки вероятности возникновения ошибки при чтении сокращений, в набор правил нахождения вероятных ошибок включен программный модуль, выделяющий во входном файле аббревиатуры, специальные символы, числительные, записанные цифрами, литературные сокращения, и подсчитывающий число найденных вхождений.

Ошибки чтения орфографических фикций могут возникнуть при наличии в словах окончаний «-его», «-ого», гласных «ё», «е», а так же буквы «и» после шипящих, например, «цикл». Чтобы определить число тестовых элементов для ошибок этого типа в произвольном входном файле необходимо подсчитать число слов с подобными стечениями букв.

Правила подсчета числа тестовых элементов для других типов ошибок подробно рассмотрены в главе 3.

БЗ так же содержит правила вычисления критериев качества и методы ранжирования систем синтеза по полученным результатам, в зависимости от числа рассматриваемых систем. Алгоритмы работы МЛВ полностью согласуются с рассуждениями, приведенными к главе 2, и поэтому здесь подробно рассматриваться не будут.

В четвертой главе приведены результаты численного эксперимента. Указаны условия проведения эксперимента. Подробно проанализированы типы ошибок, по которым были распределены ошибки, отмеченные экспертами по прослушиванию в ходе работы трех систем синтеза, протестированных на двух типах текстов - литературном и техническом. После определения числа тестовых элементов для каждого типа ошибок, вычислены уровни качества для каждого из синтезаторов. С учетом присвоенных весов, вычислен суммарный вес ошибок и значения мер ошибочности. Полученные результаты представлены в таблицах 1 и 2.

Таблица 1 — Результаты тестирования на литературном тексте

Синтезатор Число-ошибок, X Уровень качества, ЦК Суммарный вес ошибок, S Мера ошибочности, К

MagicGooddy 83,6000 0,9781 325,4060 0,019803

Digalo 89,6667 0,9766 325,9033 0,058925

L&H 108,7500 0,9716 461,7800 0,022135

Таблица 2 - Результаты тестирования на техническом тексте

Синтезатор Число ошибок, X Уровень качества, UK Суммарный вес ошибок, S Мера ошибочности, К

MagicGooddy 194,3333 0,9492 723,9799 0,135058

Digalo 149,0000 0,9610 554,7553 0,131721

L&H 110,8000 0,9710 427,0814 0,185839

При помощи методов Краскела - Уоллиса и Манна - Уитни показано, что анализируемые синтезаторы имеют различные классы качества синтеза (таблицы 3 и 4). Проанализированы экспериментальные данные и результаты вычислений. Полученные данные подтверждают обоснованность разработанного метода. На их основе разработаны классы качества синтезированного сигнала.

Таблица 3 - Классы качества рассматриваемых синтезаторов

Синтезатор Литературный текст Технический текст

MagicGooddy 1 3

Digalo 3 3

L&H 2 4

Таблица 4 - Классы качества синтезированной речи

Класс качества Норма ошибочности Характеристика класса качества

1 менее 0,02 понимание без малейшего напряжения внимания

2 менее 0,05 свыше 0,02 понимание с минимальным'" напряжением внимания

3 менее 0,14 свыше 0,05 понимание с напряжением' внимания■

4 менее 0,30 свыше 0,14 понимание с большим напряжением внимания

5 менее 0,45 свыше 0,30 понимание только при наличии текста перед глазами

6 свыше 0,45 полная неразборчивость

В приложении вынесены подробные результаты эксперимента, акт о внедрении полученных результатов.

Основные результаты работы

В ходе выполнения диссертационной работы получены следующие основные научные и практические результаты:

1. Выполнена классификация методов синтеза речевого сигнала, позволившая оптимизировать методику оценки качества синтезированного сигнала.

2. Предложена система критериев оценки качества синтезируемой речи. Выделенные критерии позволяют оценить влияние параметров на качество работы синтезаторов.

3. Разработана модель качества синтезированного речевого сигнала, основанная на критериях оценках качества. Модель позволяет рассматривать вклад различных критериев в качество синтеза.

4. Разработана методика оценки качества речевого сигнала, синтезированного по произвольному тексту; предусмотрены методы шкалирования и получения численных значений различных параметров и критериев. Предложенная методика позволяет работать с экспертными оценками, проводить сравнительную оценку работу нескольких синтезаторов и присваивать классы качества синтезированного речевого сигнала.

5. Разработаны классы качества синтезированной речи, позволяющие определить качество работы системы синтеза и пригодность синтезатора к использованию в предлагаемом круге задач.

6. Согласно предложенной методике, построена ЭС, предоставляющая возможность сбора данных от экспертов по прослушиванию по локальной или глобальной сети, позволяющая автоматизировать интерпретацию полученных данных, выдающая заключение о классе качества синтезированной речи и результат сравнительной оценки (при рассмотрении нескольких систем синтеза).

7. Проведена оценка качества работы нескольких синтезаторов, по полученным результатам выбрана система синтеза, наилучшим образом озвучивающая техническую литературу. Синтезатор внедрен на учебный сервер по предмету «Системы искусственного интеллекта», предоставляет информацию по имеющимся данным.

Основные публикации по теме диссертации:

1. Русанова, О. А. Лингвистические системы устной речи / О. А. Русанова // Материалы Межвузовской научной конференции студентов, аспирантов и молодых ученых «Информатика и информационные технологии». Красноярск: Изд-во КГТУ, 2002. С. 12-19.

2. Русанова, О: А. Современные технологии синтеза устной речи / О. А. Русанова // Компьютерная лингвистика и интеллектуальные технологии: Труды Международной конференции Диалог'2003, http://www.dialog-21.ru/ Aгchive/2003/ Rusanova.htm

3. Русанова, О. А. Особенности оценки качества работы систем синтеза. речевых сообщений / О. А. Русанова; КГТУ. Красноярск, 2003. 10 с. Деп. в ВИНИТИ 28.03.03, №557-В2003.

4. Русанова, О. А. Классификация современных технологий синтеза устной речи / О. А. Русанова // Материалы Межвузовской научной конференции студентов, аспирантов и молодых ученых «Информатика и информационные технологии», Красноярск: Изд-во КГТУ, 2003. С. 213220.

5. Русанова, О. А. Вычисление некоторых критериев оценки речевого сигнала, синтезированного по произвольному тексту / О. А. Русанова //Современные техника и технологии: Материалы X Юбилейной Международной научно-практической конференции студентов, аспирантов и молодых ученых, посвященная 400-летию г.Томска. Труды. В 2-х т. Томск: Издательство Томского политехи, ун-та, 2004. Т. 2. 378 с. С. 340-341.

6. Русанова, О. А. Выявление принципиальных отличий в качестве работы систем синтеза речевых сообщений / О. А. Русанова; КГТУ. Красноярск, 2004. 10 с. Деп. в ВИНИТИ_, №_-В2004

Соискатель

Русанова О.А.

Подписано в печать £7'О5-£.0Р1/г. Формат бумаги 60x84 1/16

Усл. печ. л._

Тираж 100 экз. Заказ

Отпечатано на ризографе КГТУ 660074, г.Красноярск, ул. Киренского, 26

»'15125

U

Ç\, J

S

Введение

1 Алгоритмы синтеза устного речевого сигнала

1.1 .Классификация алгоритмов синтеза речевого сигнала

1.1.1. Синтез на основе естественной речи

1.1.2. Синтез на основе искусственной речи методы кодирования речевого сигнала)

1.1.2.1. Кодирование формы сигнала

1.1.2.2. Описание состояния речевого тракта

1.1.2.3. Описание спектра сигнала

1.1.3. Методы синтеза речевого сигнала

1.1.3.1. КЛП-синтез

1.1.3.2. Использование Марковских моделей

1.1.3.3. Использование нейросетей

1.1.3.4. Использование артикуляционной модели

1.2.Современные системы синтеза устной речи

1.3.Методы оценки синтезированного речевого сигнала 43 Выводы к главе

2 Методы оценки качества синтезируемой речи по группе критериев

2.1. Определение качества как совокупности критериев

2.2. Определение исчисляемых критериев оценки качества

2.3. Вычисление слабометризируемых критериев качества работы систем синтеза

2.4. Методы ранжирования синтезаторов по полученным критериям

Выводы к главе

3 Построение экспертной системы оценки качества синтезируемого речевого сигнала по совокупности выделенных критериев

3.1. Структура экспертной системы анализа речевого сигнала, синтезированного по произвольному тексту

3.2. Набор баз данных

3.3. Набор правил определения числа тестовых элементов для ошибок различного типа

3.4. Правила вычисления критериев оценки качества работы систем синтеза речевого сигнала

3.5. Правила определения класса качества синтезированной речи 77 Выводы к главе

4 Определение качества синтезированного речевого сигнала

4.1. Постановка эксперимента

4.2. Распределение по типам ошибок, указанных экспертами по прослушиванию

4.3. Статистическая обработка полученных результатов

4.4. Обнаружение отличий в качестве синтезированного сигнала

4.5. Определение класса качества синтезированной речи

4.6. Обоснование использования 50-бальной шкалы для измерения слабометризируемых величин

Выводы к главе

Вопросы синтеза и распознавания речи человека компьютером становятся все более актуальными. Так как почти каждый говорит и понимает речь, развитие естественно-языковых систем позволит человеку без специальных навыков общаться с компьютером в любое время и в любом месте без дополнительного обучения, используя такие устройства, как мобильный телефон, получать доступ к информации или к управлению устройствами. Людям с ограниченными возможностями, например, с ослабленным зрением или потерявшим его, речевые технологии позволят пользоваться компьютером и интернетом без каких-либо ограничений.

Синтез речевого сигнала - одна из составляющих речевых технологий, куда так же входят вопросы распознавания речи, семантики, перевода. В настоящее время вопросом синтеза речи занимается большое число исследовательских групп, каждая из которых создает свое описание речевого сигнала, и в конечном итоге - программный продукт. На данный момент из программных пакетов, поддерживающих русский язык, наиболее широко распространены Microsoft Speech SDK, Lernout&Hauspie и разработка "Digalo" фирмы Elan Informatique.

Несмотря на большое число разработок, проблема синтеза речи до сих пор считается не решенной, так как качество синтеза только в отдельных случаях можно считать удовлетворительным и хорошим - синтезаторы говорят либо невнятно, либо с большим количеством ошибок, несмотря на все большую алгоритмизацию синтеза речи. Главным препятствием улучшения качества является невероятная сложность разрешения языковой неоднозначности при автоматическом анализе текста, который используется в синтезе устной речи для расстановки пауз; определения главноударного слова в предложении; задания интонации вопроса, восклицания; для правильной расстановки ударения в словах.

Перед синтезаторами могут стоять задачи, например, озвучивания произвольного текста (например, чтение электронной почты или какой-либо литературы), произнесение ограниченного набора фраз (справочная система о состоянии счета в сотовой компании), система оповещения состояния некоего агрегата и прочие.

Все это определяет актуальность исследований в области оценки качества синтезированного речевого сигнала.

Целью настоящей работы является анализ существующих способов синтеза речи, способов оценки синтезированного сигнала, разработка методики оценки качества речи, синтезированной любым из известных способов, и последующая программная реализация оценки качества. Алгоритмы должны обеспечивать как сравнительную оценку нескольких синтезаторов, так и оценку отдельно взятой системы синтеза. Основные задачи исследования:

• систематизация алгоритмов синтеза речевого сигнала,

• анализ методов оценки качества синтезированного речевого сигнала,

• методика анализа качества речи, синтезируемой по произвольному тексту,

• разработка классов качества синтезируемого речевого сигнала,

• оценка качества синтеза, осуществленного любым способом.

При реализации оценки качества синтезированного сигнала необходимо учесть субъективность сведений, получаемых от экспертов по прослушиванию, и корректно обработав информацию, представить ее наиболее объективно. Основные научные результаты:

• предложены критерии оценки качества синтезируемой речи;

• разработана модель качества синтезированного речевого сигнала;

• разработана методика оценки качества речевого сигнала, синтезированного по произвольному тексту;

• разработаны классы качества синтезированной речи.

Использование методики позволяет получить как сравнительную оценку работы нескольких синтезаторов, так и оценку отдельно взятой системы синтеза, а так же определить класс качества синтезированной речи. Методы исследования:

Полноту и обоснованность выводов диссертации обеспечивает использование методов: вероятностного подхода, эвристических правил и статистического анализа Краскела - Уоллиса и Манна - Уитни. Оценка работоспособности и эффективности разработанных алгоритмов осуществлялась путем численных экспериментов с использованием реальных данных. При разработке специального ПО использованы принципы структурного программирования, программирования БД, создания экспертных систем и организации множественного доступа по локальной или глобальной сети.

Научная новизна. В работе предложена оригинальная оценка качества синтезированной устной речи, позволяющая комплексно рассмотреть совокупность предложенных критериев оценки и вклад в качество каждого из них. Разработаны классы качества синтезированного сигнала.

Практическая ценность и реализация результатов работы

Практически значимыми являются созданные методы определения качества синтезированного речевого сигнала. Алгоритмы автоматизированной интерпретации данных реализованы в виде экспертной системы, которая гибко настраивается на широкий круг проблем - от оценки возможности применения того или иного синтезатора русской речи к синтезу текстов узкой направленности, до выявления разработчиком слабых мест его системы синтеза.

Публикации. По результатам диссертационной работы опубликовано 2 доклада на Международных конференциях (из них 1 электронная публикация [2]) [5], 2 депонированные статьи [3, 6] и 2 статьи в местной печати [1,4].

Личный вклад. Все основные теоретические и практические результаты получены непосредственно автором. В частности, предложен оригинальный метод оценки качества синтезированной речи. Метод основан на анализе совокупности критериев качества, значения которых вычисляются на основе метризируемых и слабометризируемых параметров. Разработана ЭС, позволяющая оценить качество работы систем синтеза устной речи. Разработаны классы качества, характеризующие работу синтезаторов.

Апробация работы. Основные положения и результаты докладывались на Международной конференции Диалог'2003 "Компьютерная лингвистика и интеллектуальные технологии", г. Москва (2003); X Юбилейной Международной научно-практической конференции студентов, аспирантов и молодых ученых, посвященной 400-летию г. Томска, г. Томск (2004); Межвузовских научных конференциях студентов, аспирантов и молодых ученых "Информатика и информационные технологии", г. Красноярск (2002, 2003).

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, приложений и содержит 107 страниц основного текста, 29 рисунков и 27 таблиц. Список литературы включает 99 наименований.

ВЫВОДЫ К ГЛАВЕ 4

Для анализа разборчивости синтезируемой речи протестированы разработки фирм Lernout&Houspie "L&H", Elan Informatique "Digalo" и программа "MagicGoody" фирмы ПРОМТ. Для получения комплексной оценки, тестирование проводилось на текстах технической и художественной литературы.

Исследование показало, что системы синтеза допускали ошибки при расстановке ударений, чтении сокращений (аббревиатур, сокращений физических величин, математических символов и чтении числительных, записанных цифрами), орфографических фикций, заменяли буквы одного алфавита на буквы другого. К тому же "L&H" и "Digalo" затруднялись читать слова, написанные через "/". Все анализируемые синтезаторы некоторые слова произносили невнятно, в предложениях неверно расставлялись паузы, приписывалась неверная интонационная окраска. Проведенный анализ результатов эксперимента показал, что больше всего восприятию информации мешает неверная расстановка ударений, неверная расшифровка сокращений, а так же чтение орфографических фикций.

Согласно методике оценки качества синтезированного сигнала, предложенной в главе 2 настоящей работы, проведен анализ работы систем синтеза устной речи, который показал, что наилучшим образом с озвучиванием художественной литературы справляется MagicGoody, а технической -MagicGoody и Digalo.

На основании экспериментальных данных разработаны шесть классов качества работы синтезаторов. В результате исследования рассматриваемым системам синтеза присвоены соответствующие классы. Определено, что современные синтезаторы хорошо справляются с чтением художественной литературы (1-3 классы качества) и хуже - с чтением технической литературы (3, 4 класс качества).

ЗАКЛЮЧЕНИЕ

Анализ современных систем синтеза устной речи показал, что при создании синтезаторов устной речи используют как естественную, предварительно записанную речь, так и искусственные речеподобные звуки, полученные при кодировании речевого сигнала, описании состояния речевого тракта или спектра сигнала. Речевую волну кодируют ИКМ и ее модификациями, описывают упрощенными формами полуволны. Работу речевого тракта моделируют различными формами уравнения Вебстера. Спектр сигнала описывают при помощи БПФ, Вейвлет-преобразования и формантного описания. Используя компактное описание речевой волны и основываясь на такие методы синтеза речевого сигнала как КЛП-синтез, СММ и нейросети, строится большинство современных систем синтеза речи. Некоторые системы используют артикуляционную модель.

Несмотря на широкий спектр методов синтеза, должен существовать единый метод оценки качества полученного сигнала. В России для этих целей используют ГОСТы [70, 71], предназначенные для оценки количества слов, переданных без искажений по линиям связи. Показано, что такой подход не соответствует в полной мере вопросу оценки синтезированного сигнала, так как при этом упускаются важные моменты прочтения омонимов, аббревиатур, сокращений и так далее. Так же не учитывается, что ошибки разного рода по-разному влияют на восприятие информации.

Таким образом, для проведения более точной оценки качества синтезированного речевого сигнала необходимо:

• выявить основные типы ошибок, допускаемые системами синтеза речи;

• разработать систему оценки влияния ошибок на воспринимаемую информацию;

• разработать метод принятия решения о качестве синтезированною сигнала.

Оценка качества синтезаторов проводится на основании результатов их работы с тестовыми таблицами, которые соответствуют предполагаемым областям применения систем синтеза. Качество представлено как совокупность критериев оценки, основанных на параметрах оценки. Параметры и критерии оценки являются метризируемыми и слабометризируемыми. Значения параметров оценки качества: число ошибок X, допущенных при синтезе и вес этих ошибок W (сведения, полученные от экспертов) и число тестовых элементов X позволяют определить критерии оценки работы систем синтеза речевого сигнала: среднее число допущенных ошибок X, средний вес допущенных ошибок S, мера ошибочности К и уровень качества UK. Уровень качества и параметр оценки обнаружения ошибок Р являются функциями от X, при этом параметр Р служит для определения меры ошибочности К, которая так же является функцией и от W - веса типов ошибок. Показано, что наиболее полно работу синтезаторов характеризуют вес допущенных ошибок S и норма ошибочности К.

При тестировании двух и более систем возможно проведение сравнения результатов синтеза по вышеуказанным параметрам. При рассмотрении одной системы вывод о качестве работы можно сделать согласно таблице соответствия меры ошибочности классу качества синтезированного сигнала. Такая таблица составлена на основе данных, полученных по результатам экспериментов.

По предложенным формулам и алгоритмам обработки данных построена экспертная система оценки синтеза устной речи. Комбинация критериев Манна - Уитни и Краскела - Уоллиса позволяет проанализировать работу любого числа синтезаторов.

ЭС предоставляет возможность сбора данных по локальной или глобальной сети от экспертов по прослушиванию. Контроль над ЭС осуществляет супервизор, в функции которого так же входит обучение данной экспертной системы.

Разработана база знаний, используемая в ЭС, определен формат, состав и содержимое баз данных системы. Разработан набор правил, по которым система осуществляет вычисление критериев оценки качества X, S, UK, К и параметров качества, в том числе количество тестовых элементов для ошибок различных типов. Полученные значения позволяют ЭС проводить сравнительный анализ работы синтезаторов и делать вывод о классе качества синтезированной речи.

Для анализа разборчивости синтезируемой речи протестированы разработки фирм Lernout&Houspie "L&H", Elan Informatique "Digalo" и программа "MagicGoody" фирмы ПРОМТ. Для получения комплексной оценки, тестирование проводилось на текстах технической и художественной литературы.

Исследование показало, что системы синтеза допускали ошибки при расстановке ударений, чтении сокращений (аббревиатур, сокращений физических величин, математических символов и чтении числительных, записанных цифрами), орфографических фикций, заменяли буквы одного алфавита на буквы другого. К тому же "L&H" и "Digalo" затруднялись читать слова, написанные через "/". Все анализируемые синтезаторы некоторые слова произносили невнятно, часто в предложениях неверно расставлялись паузы, приписывалась неверная интонационная окраска. Проведенный анализ результатов эксперимента показал, что больше всего восприятию информации мешает неверная расстановка ударений, неверная расшифровка сокращений, а так же чтение орфографических фикций.

Согласно методике оценки качества синтезированного сигнала, предложенной в главе 2 настоящей работы, проведен анализ работы систем синтеза устной речи, который показал, что наилучшим образом с озвучиванием художественной литературы справляется MagicGoody, а технической -MagicGoody и Digalo.

На основании экспериментальных данных разработаны шесть классов качества работы синтезаторов. В результате исследования рассматриваемым системам синтеза присвоены соответствующие классы. Определено, что современные синтезаторы хорошо справляются с чтением художественной литературы (1-3 классы качества) и хуже - с чтением технической литературы (3, 4 класс качества).

Все результаты получены непосредственно мною.

По результатам диссертационной работы опубликовано 2 доклада на Международных конференциях (из них 1 электронная публикация [2]) [5], 2 депонированные статьи [3,6] и 2 статьи в местной печати [1,4].

Апробация работы. Основные положения и результаты докладывались на Международной конференции Диалог'2003 "Компьютерная лингвистика и интеллектуальные технологии", г. Москва (2003); X Юбилейной Международной научно-практической конференции студентов, аспирантов и молодых ученых, посвященной 400-летию г. Томска, г. Томск (2004); Межвузовских научных конференциях студентов, аспирантов и молодых ученых "Информатика и информационные технологии", г. Красноярск (2002, 2003).

Результаты диссертационной работы внедрены в учебный процесс по дисциплинам "Человеко-машинное взаимодействие" (специальность 22.04.00, вечерняя форма обучения), "Базы знаний и экспертные системы" (специальность 22.01.00) и "Искусственный интеллект" (специальность 22.01.00).

Подана заявка на получение патента "Метод оценки качества синтезированной устной речи".

1. Сапожников, М.А. Речевой сигнал в кибернетике и связи / М. А. Сапожников. М.: Связь, 1963. 452 с.

2. Справочник: Искусственный интеллект, под редакцией Э. В. Попова, 1990, в 2х томах

3. Веденяпина, О. А. Лингвистические системы синтеза устной речи // О А. Веденяпина. Информатика и информационные технологии: Материалы межвуз.науч.конф./Под.ред. Шитова Ю.А. Красноярск: ИПЦ КГТУ, 2002. С. 12-19.

4. Зиновьева, Н.В. Программный синтез русской речи (синтезатор "АГАФОН")// Н. В. Зиновьева, О. Ф. Кривнова, Л. М. Захаров Труды Международного семинара по компьютерной лингвистике и ее приложениям "Диалог,95". Казань, 1995.

5. Зиндер Л. Р. Общая фонетика. М.: Высшая школа, 1979 г. 312 с.

6. Бондарко Л. В. Слоговая структура речи и дифференцальные признаки фонем. Автореф. Дис. Док. Фил. Наук. Ленинград, 1969, 32 с.

7. Материалы сайта http://isabase.philol.msu.ru/SpeechGroup/9. http://www.istrasoft.ru

8. Косарев, Ю. А. Естественная форма диалога с ЭВМ. Ю. А. Косарев, Ленинград, "Машиностроение", 1989, 143 с.

9. Стретт Дж. Теория звука Т. 1. М.: ГИТТЛ, 1955. 503 с.

10. Фант, Г. Акустическая теория речеобразования / Г.Фант. М.: Наука, 1964. 284 с.

11. Фланаган, Дж. Анализ, синтез и восприятие речи / Дж. Фланаган. М.: Связь, 1968, 392 с.

12. Н.Сорокин, В. Н. Теория речеобразования / В.Н.Сорокин. М.: Радио и связь, 1985. 312 с., ил.

13. Сорокин, В. Н. К теории речеобразования / Сорокин В. Н. В кн.: Речевое общение в автоматизированных системах. М.: Наука, 1975, С. 103-127.

14. Константинов, Б. П. Гидродинамическое звукообразование и распределение звука в ограниченной среде / Б. П. Константинов. JL: Наука, 1974, 142 с.

15. Мотоока, Компьютеры на СБИС, 2 тома

16. Ney, Н. Perspectives of Speech Technologies Research Highlighted in Eu-rospeech'99 // H. Ney Proc. of the 6th European Conference on Speech, Communication and Technology, September 5-9, 1999, Budapest, Hungary. 1999. Vol.1.

17. Бойков, И. В. Быстрые преобразования Фурье и Гильберта и их применение: Уч. пособие/ И. В. Бойков. Пенз. Политехи. Ин-т,- Пенза, 1984.-96 с

18. Залманзан, J1. А. Преобразование Фурье, Уолша, Хаара и их применение в управлении, связи и других областях / Л. А. Залманзан. М.: Наука, Гл. ред.физ.-мат.лит, 1989. 496 с.

19. Егоров, А. И. О некоторых свойствах системы речевой коммуникации // А. И. Егоров, В. В. Дубровский Труды международного семинара по компьютерной лингвистике и ее приложениям "Диалог'97". Москва, 1997.

20. Чистович, Л. А. Физиология речи: Восприятие речи человеком / Л. А. Чистович, А. В. Венцов, М. П. Гранстрем и др. Л.: Наука, 1976 г. 387 с.

21. Жинкин Н.И. Механизмы речи. М.: Акад. пед. наук РСФСР, 1958.-370с24. материалы сайта www.ectaco.com/

22. Андерсон, Т., Статистический анализ временных рядов / Т. Андерсон: Пер. с англ. М.: Мир, 1976. 776 с.

23. Маркел, Д. Д. Линейное предсказание речи / Д. Д. Маркел, А. X. Грей: пер. с англ. М.: Связь, 1980, 308 с.

24. Кемени, Дж. Конечные цепи Маркова / Дж. Кемени, Дж. Снелл. М. Наука, 1970, 450 с.

25. Доррер, Г. А. Моделирование вычислительных систем / Г. А. Доррер. Учебное пособие для студентов направлений 552800 и 654600. Красноярск, КГТУ, 2003 г. 186 с.

26. Levinson, S. E. Continiously variable duration hidden Markov models for automatic speech recognition / S. E. Levinson Computer Speech and Language, 1986, 1:29-45.

27. Morgan, N. Speech recognition using on-line estimation of speaking rate / N. Morgan, E. Fosler, N. Mirghafori In Proc.Eurospeech, volume 4, 1997, p. 2079-2082.

28. Бовбель, E. И. Статистические методы распознавания речи: скрытые марковские модели // Е. И. Бовбель, И. Э. Хейдоров. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, № 3, 1998. С. 45-65.

29. Левинсон, С. Е. Структурные методы автоматического распознавания речи // ТИИЭР- Т. 73. -№11, 1985. С. 78-91.

30. Мотель, В. В. Скрытые Марковские модели в структурном анализе сигналов / В. В.Мотель, И. Б. Мучник. М.: Физматлит, 1999. 352 с.

31. Lippman, R. P. Review of neural networks for speech recognition // R. P. Lippman. Neural Computation. Vol.1. No. 1, 1989. P. 1-38.

32. Bourland, H. Links between Markov models and multilayer perceptrons // H. Bourland, C. J. Wellenkens. IEEE Trans. Patt. Anal, and Mach. Intell. Vol.12, No. 6, 1990. P. 1167-1178.

33. Комашинский, В. И. Нейронные сети и их применение в системах управления и связи / В. И. Комашинский, Д. А. Смирнов. М.: Горячая линия -Телеком, 2003,94 с.

34. Wolfgang Wahlster, Германский Исследовательский центр Искусственного интеллекта, Гамбург, http: // www.dfki.de/- wahlster

35. Сорокин, В. Н. Динамические модели артикуляции / В. Н. Сорокин. Биофизика, 1972, т. 27, № 7, С. 674-680.

36. Чистович, Л. А. Речь. Артикуляция и воприятие. / Л. А. Чистович, В. А. Кожевников и др. М.: Наука, 1965. 240 с.

37. Хилл, А. Механика мышечного сокращения / А. Хилл. М.: Мир, 1972. 183 с.

38. Сорокин, В. Н. Идентификация системы управления движениями нижней челюсти / В. Н. Сорокин, Т. Гей, У. Эван. Физиология человека, 1981, т. 7, №4, С. 743-751.

39. Сорокин, В. Н. Механика движений языка / В. Н. Сорокин. В кн. Описание и распознавание объектов в системах искусственного интеллекта. М.: Наука, 1980. С. 42-71.

40. Сорокин, В. Н. Математические модели артикуляции гласных / В. Н. Сорокин Биофизика, 1973, т. 28, № 6, С. 1100-1104.

41. Михайлов, В. Г. Измерение параметров речи / В. Г. Михайлов, Л. В. Зла-тоустова. под ред М. А. Сапожкова. М.: Радио и связь, 1987 г.47. http://www.microsoft.com/speech/

42. Christophe d'Alessandro & Jean-Sylvain Li6nard, LIMSI-CNRS, Orsay, France, http://cslu.cse.ogi.edu/HLTsurvey/ch5node4.html

43. Handbook of standards and resources for spoken language systems. Mouton de Gruyter, 1997

44. Покровский, H. Б. Расчет и измерение разборчивости речи / Н. Б. Покровский. М.: Связь, 1962, 391 с.

45. Гост Р 50840-95. Передача речи по трактам связи. Методы оценки качества, разборчивости и узнаваемости. М.: Госстандарт России, 1996.

46. Гост 16600-72. Передача речи по трактам радиотелефонной связи. Требования к разборчивости речи и методы артикуляционных измерений. М.: Госстандарт России, 1973.

47. Международный стандарт ИСО 8402:1994 (E/F/R). Управление качеством и обеспечение качества Словарь. ИСО, 1994.

48. Русанова, О. А. Особенности оценки качества работы систем синтеза речевых сообщений / О. А. Русанова. Краснояр. гос. техн. ун-т. Мин-ва образования РФ. Красноярск, 2003. 10 с. (Рук. деп. в ВИНИТИ №557-В2003).

49. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов //Ю.М. Нейман, В.А. Хлебников М.: Москва, 2000. 168 с.

50. Белешев, С. Д. Математико-статистические методы экспертных оценок / С. Д. Белешев, Ф. Г. Гурвич. М.: Статистика, 1980 г.

51. Шмерлинг, Д. С. Статистические методы анализа экспертных оценок / Д. С. Шмерлинг. М.: Наука, 1977 г.

52. Литвак, Б. Г. Экспертная информация. Методы получения и анализа / Б. Г. Литвак. М.: Радио и связь, 1982, 184 с.

53. Розанов, Ю. А. Теория вероятностей, случайные процессы и математическая статистика / Ю. А. Розанов. М.: Наука, 1989. 312 с.

54. Лэннинг, Дж. X. Случайные процессы в задачах автоматического управления / Дж. X. Лэннинг, Р. Г. Бэттин. Пер. с англ. М: ИЛ, 1958. 387 с.

55. Лоэв, М. Теория вероятностей / М. Лоэв. Пер. с англ. М.: ИЛ, 1962. 720 с.

56. Рао, С.Р. Линейные статистические методы и их применение. Под. Ред. Ю.В. Линника М.: Наука, 1968. 547 с.

57. И. И.Вайнштейн, Высшая математика. Теория вероятностей и математическая статистика: Учеб.пособие/ Вайнштейн И. И., И. М. Федорова, Т. А.Ширяева.

58. Розанов, Ю. А. Лекции по теории вероятностей: учебное пособие для ВТУЗов / Ю. А. Розанов М.: Наука, 1986. 120 с.

59. Бендат, Дж. Прикладной анализ случайных данных / Дж. Бендат, А. Пир-сол. Пер. с англ. М.: Мир, 1989. 540 е., ил.

60. Холлендер, М. Непараметрические методы статистики/ М. Холлендер, Д. Вулф. Пер. с англ. Шмерлинга Д. С.; под ред. Адлера Ю. П. и Тюрина Ю. Н. М.: Финансы и статистика, 1983. 518 с.

61. Боровиков, В. П. Популярное введение в программу STATISTICA. В. П. Боровиков Компьютер Пресс 1998.

62. Рунион, Р. Справочник по непараметрической статистике М.: Финансы и статистика, 1982. 198 с.

63. Носенко, И. А. Начала статистики для лингвистов / И. А. Носенко. М.: Высшая школа, 1981, 157 с.

64. Тюрин, Ю. Н. Непараметрические методы статистики / Ю. Н. Тюрин М.: Знание, 1979, 64 с.

65. Сидоренко, Е. В., Методы математической обработки в психологии / Е. В. Сидоренко. С-Пб: Речь, 2002. 350 е.

66. Хеттмансперчер, Т. Статистические выводы, основанные на рангах / Т. Хеттмансперчер. Пер. с англ. Д. С. Шмерлинга. М.: Финансы и статистика, 1987. 333 с.

67. Плохинский, Н. А. Дисперсионный анализ/ Н. А. Плохинский. под ред. чл-корр. АН СССР Дубинина Н.П. Новосибирск:Сиб. Отд. АН СССР, 1960, 124 с.

68. Green J., DOlivera М. Learning to Use Statistical Tests in Psyhology: a Student's Guide. Milton Keynes Philadelphia, Open University Press, 1989. 180 p.

69. Kruskal, W. H. (1952) Use of ranks in one criterion variance analysis // W. H. Kruskal, W. A. Wallis. (J. Am. Stat. Assoc.-47-583-621

70. Гаек, Я. Теория ранговых критериев / Я. Гаек, 3. Шидак. Наука, 1971, 376

71. Iman R. 1., Davenport J. М. Approcximations to the exact distribution at the Kruskel-Wallis test statistic. CS, 1976, 1335-1348.

72. Перцов, H. В. Критический взгляд на некоторые современные семантические концепции // Н. В. Перцов. Труды международного семинара по компьютерной лингвистике и ее приложениям, 95 г.

73. Толковый словарь русского языка: в 4 т. под ред. Д. Н. Ушакова, М.,с.1940.660074, г Красноярск-74, ул. Киренского, 26

74. МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ КГТУтел. (3912)49-75-81 (3912) 44-19-02телетайп 288353 СТРАУС ФАКС- (3912)43-06-92

75. E-mail. root(№kj;tu ruinnct ruГо внедрении результатов кандидатской диссертационной работы Русановой Ольги Александровны

76. Верней 2 1 вернОн 1 верней

77. Хогварцу 1 1 ХогваАрцураньше 1 1 рааньше1. РОН 1 1 РН 1. Верноном 1 1 ВернОном глазки 1 1 глазкИ руки 1 1 руки 1. ЭТОТ 1 1 ЭТО

78. Средняя 1 1 1, дьсразу 1 1 сраазугорда 1 1 гОрда гербом 1 1 гербОм забрал 1 1 забраалчерно-белой 1 чернО-белой 1