автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математические модели и комплекс программ для автоматической оценки качества речевого сигнала

Введение.

1. Состояние вопроса, обзор литературы и постановка основных задач диссертационного исследования.

1.1. Оценка качества речи в системах передачи речи.

1.2. Качество речи с точки зрения восприятия речи человеком.

1.3. Традиционные средства для проверки качества речи в логопедии и при изучении иностранного языка.

1.3.1. Системы "Видимая речь" и "Визуальный тренажер произношения"

1.3.2. "Профессор Хиггинс. Английский без акцента!".

1.4. Основные подходы к распознаванию речи.

1.5. Методы оценки качества речи на основе систем распознавания речи.

1.5.1. Бельгийская система The DEMOSTHENES.

1.5.2. Американская система WebGrader.

1.5.3. Японская система Goh Kawai.

1.6. Постановка задачи.

2. Теоретические основы распознавания речи.

2.1. Динамическое программирование.

2.2. Скрытое марковское моделирование.

2.2.1. Определение.

2.2.2. Алгоритм прямого хода.

2.2.3. Алгоритм Витерби.

2.2.4. Обучение скрытой марковской модели, алгоритм Баум-Уэлча.

2.2.5. Виды скрытых марковских моделей.

2.2.6. Проблема моделирования длительности состояний.

2.3. Предсказывающие системы.

2.4. Применение нейронных сетей для классификации образов.

2.4.1. Нейронные сети - основные положения.

2.4.2. Функционирование нейронной сети.

2.4.3. Обучение нейронной сети.

2.4.4. Выбор архитектуры многослойной нейронной сети.

2.4.5. Распознавание образов с помощью многослойной нейронной сети. 62 2.5. Выводы.

3. Выбор признаков описания речевого сигнала.

3.1. Особенности речевого сигнала с точки зрения речеобразования.

3.2. Особенности речевого сигнала с точки зрения восприятия человека.

3.3. Предварительная обработка речевого сигнала.

3.4. Признаки речевого сигнала.

3.5. Выбор признаков описания речи.

3.6. Эксперимент по сравнению двух систем признаков описания речи.

3.7. Выводы.

4. Распознавание изолированных слов и сегментация на фонемы на основе эталонов.

4.1. Выбор словаря системы распознавания речи.

4.2. Предварительная сегментация речевого материала.

4.3. Сегментация в результате распознавания при моделировании на основе эталонов.

4.4. Качество системы распознавания речи на основе эталонов в зависимости от размера обучающей выборки.

4.5. Выводы.

5. Распознавание изолированных слов и сегментация на фонемы на основе скрытых марковских моделей и нейронных сетей.

5.1. Выбор оптимальной нейронной сети для распознавания речи.

5.2. Выбор оптимальной архитектуры скрытой марковской модели.

5.3. Качество системы распознавания речи на основе скрытых марковских моделей в зависимости от размера обучающей выборки.

6. Автоматическая оценка произношения.

6.1. Алгоритмы оценки качества произношения отдельной фонемы.

6.2. Сравнение автоматической оценки произношения отдельных фонем на основе различных систем распознавания речи.

6.3. Использование автоматической оценки произношения для задачи обучения иностранному языку.

6.4. Использование автоматической оценки произношения для сравнения систем передачи речи.

6.5. Программный комплекс автоматической оценки качества произношения.

6.6. Выводы.

Актуальность исследований. В связи с бурным развитием компьютерных технологий в последние двадцать лет все большее применение находят наукоемкие и высоко сложные технологии обработки речи. На сегодня методы распознавания речи успешно применяются для дикторонезависимого распознавания на ограниченном словаре, для голосового управления техническими системами. Актуальными остаются задачи речевого ввода слитной речи на большом словаре, ввода спонтанной речи, работы систем в реальных условиях с высоким уровнем шумов.

Решение задачи автоматической оценки качества речевого сигнала открывает новые перспективы - определение степени правильности произношения при обучении иностранному языку, устранению дефектов речи родного языка, оценку разборчивости речи в системах речевой связи.

Отечественные авторы - Покровский, Калинцев, в своих работах по оценке разборчивости речи не использовали методы автоматического распознавания речи. В течение последних пяти лет в зарубежной печати стали появляться работы по автоматической оценке качества речи на основе методов распознавания. Этой теме посвящены работы таких авторов как Kawai, Deville, Franco, Cucchiarini, Wester, а так же специальный выпуск журнала Speech Communication 2000 года, что показывает актуальность данной темы. В этих работах для автоматической оценки качества речи использовались уже существующие системы распознавания речи, с применением аппарата статистического моделирования на основе скрытых марковских моделей и нейронных сетей.

Тем не менее не были решены следующие задачи:

1. Для оценки качества речи не рассматривался подход к распознаванию речи на основе эталонов.

2. Не исследовалась эффективность алгоритмов оценки качества речи в условиях ограниченной обучающей выборки.

3. Не ставилась задача оценки качества речи для случая, когда речь является родной для ученика.

4. Не ставилась задача оценки качества речи для русской речи.

5. Не рассматривалась методика оценки качества речи для систем речевой связи.

Поскольку на момент проведения исследований нам не было известно ни одной общедоступной системы распознавания русской речи, для достижения поставленной цели спроектированы и реализованы системы автоматического распознавания изолированных слов с использованием подхода на основе эталонов и подхода на основе скрытых марковских моделей и нейронных сетей.

Цель и задачи исследования. Целью диссертационной работы является разработка алгоритмов и программ для решения задач распознавания изолированных слов и автоматической оценки качества речевого сигнала, сравнение эффективности различных методов распознавания речи в условиях ограниченной обучающей выборки.

Для достижения данной цели были поставлены следующие задачи:

1. Рассмотреть методы распознавания речи и определить специфику их применения для задачи автоматической оценки качества произношения.

2. Определить оптимальный набор признаков описания речевого сигнала.

3. Реализовать системы автоматического распознавания изолированных слов русского языка на основе скрытых марковских моделей (СММ) и нейронных сетей (НС) и на основе моделирования эталонами.

4. Исследовать эффективность каждой системы распознавания в зависимости от размера обучающей выборки.

5. Разработать алгоритм оценки качества произношения на основе распознавания речи при моделировании речи акустическими эталонами.

6. Исследовать эффективность системы оценки качества произношения в зависимости от использованного подхода и размера обучающей выборки.

Объект и предмет исследования. Объектом исследования, выполненного в диссертации, являются речевой сигнал, методы автоматического распознавания речи. Предмет исследования - акустические модели и признаки речи, алгоритмы оценки качества речи.

Используемые методы. В работе использованы методы цифровой обработки сигналов (и в частности речевых сигналов), теории распознавания образов, методы теории автоматического распознавания речи, аппарата нейронных сетей.

Научная новизна полученных результатов. Научная новизна работы заключается в следующем:

1. Показано преимущество описания речевого сигнала мел-кепстральными признаками перед описанием признаками на основе модели линейного предсказания.

2. Разработан алгоритм сегментации слова на отдельные фонемы на основе системы распознавания речи при моделировании речевого сигнала эталонами. Предложено использовать для окончательной классификации в алгоритме динамической деформации времени правило к-ближайших соседей.

3. Разработан алгоритм оценки качества произношения на основе распознавания речи при моделировании речевого сигнала эталонами.

4. Исследована эффективность систем распознавания в зависимости от размера обучающей выборки. Показано преимущество подхода эталонов к построению системы распознавания речи в случае ограниченного объема обучающей выборки.

5. Для выбранных дефектов произношения исследована эффективность системы оценки качества произношения в зависимости от использованного подхода и размера обучающей выборки. Показано, что подход к моделированию речевого сигнала акустическими эталонами позволяет достигнуть достаточно высоких результатов в поставленной задаче.

6. Предложена гипотеза и проведены предварительные эксперименты, показывающие, что усредненная автоматическая оценка качества произношения отдельной фонемы при распознавании речи на основе эталонов позволяет оценивать динамику процесса обучения произношению иностранного языка.

Практическая значимость результатов исследования:

1. Реализованы системы автоматического распознавания изолированных слов русского языка на основе СММ-НС (91,0% распознавания) и на основе моделирования акустическими эталонами (92,5%).

2. Разработана компьютерная система, позволяющая автоматически определить три дефекта произношения русского языка: оглушение звонких согласных, смягчение твердых согласных, отвердение мягких согласных (83,9%) распознавания для эталонов и 81,4% для С ММ и НС).

3. На основе разработанных систем автоматического распознавания изолированных слов могут быть реализованы системы голосового управления, системы оценки качества передачи речи в системах связи.

4. На основе разработанных систем автоматической оценки дефектов произношения могут быть реализованы автоматизированные системы помощи для врача логопеда, для учителя иностранного языка, легко расширенные на распознавание других дефектов - не только замены звуков, но и пропуска звуков, вставки лишнего звука, перестановки слогов.

Алгоритмы и отдельные методики, разработанные в диссертационной работе, внедрены на предприятиях ЗАО "Уральский Джи Эс Эм", ЗАО "Уралтел", ЗАО "Бонум", ЗАО "Урал-Телесервис", ООО "Профтехсвязь".

Апробация результатов диссертации. Основные результаты диссертационной работы докладывались, обсуждались и были опубликованы на следующих конференциях: Международный форум по проблемам науки, техники и образования. Россия, Москва, 20СО; Управляющие и вычислительные системы. Новые технологии: Межвузовски i научно-техническая конференция, Вологда, 2001; Моделирование. Теория, мотоды и средства: Международная научно-практическая конференция, г. Новочеркасск, 2001; Развивающиеся интеллектуальные системы автоматизированного проектирования и управление: Международная научно-практическая конференция, г. Новочеркасск, 2001; Математические методы в медицине и биологии: III Уральская научно-практическая конференция, г. Екатеринбург, 2001; Компьютерные технологии в науке, производстве, социальных и экономических процессах: II Межд. научно-практическая конференция, г. Новочеркасск, 2001.

Публикации. По теме диссертации опубликовано 9 научных работ.

Структура и объем диссертации. Диссертация состоит из введения, шести глав, заключения, списка литера г» ры и приложений. Общий объем диссертации составляет 169 страниц. Диссертация содержит 48 рисунка и 34 таблицы. Список литературы включает 96 гаименований.

основные выводы:

1. Проведен обзор основных процедур и алгоритмов моделирования речевых сигналов и специфики их применения для задачи автоматической оценки качества произношения. Показано, что аппарат нейронных сетей может эффективно применяться для классификации таких сложных образов как речевые сигналы, в тоже время речевые процессы более эффективно моделировать с помощью скрытых марковских моделей.

2. Показано преимущество описания речевого сигнала мел-кепстральными признаками перед описанием признаками на основе модели линейного предсказания. Выбран вектор признаков, состоящий из 14 мел-кепстральных коэффициентов, построенных с помощью БПФ с использованием окна Хэмминга длительностью 23,2 мс.

3. Исследована зависимость процента распознавания изолированных слов и процента правильно определенных границ фонем от размера обучающей выборки при распознавании на основе эталонов. Достигнут процент распознавания слов 92,5% и процент распознавания границ 95,9% при условии знания пола диктора. Показано, что при распознавании на основе эталонов увеличение объема обучающей выборки речевых образцов от одного диктора и одного образца на одно слово до трех дикторов - трех образцов привело к увеличению процента распознанных слов на 2,7% и найденных сегментов на 3,5%.

4. Исследована зависимость процента распознавания изолированных слов и процента правильно определенных границ фонем от размера обучающей выборки при распознавании на основе СММ и НС. Достигнут процент распознавания слов 91,0% и процент распознавания границ 84,0%о. Также показано, что при распознавании на основе эталонов увеличение объема обучающей выборки речевых образцов от одного диктора и одного образца до трех дикторов и пяти образцов на одно слово привело к увеличению процента распознанных слов на 13,7% и распознанных сегментов на 18,0%. Показано, что система распознавания речи на основе СММ и НС быстрее реагирует на увеличение обучающей выборки (повышением процента распознавания), чем система распознавания речи на основе эталонов. Но при ограниченной обучающей выборке система последнего типа показывает все же более высокие результаты: на 6% при распознавании изолированных слов и на 11,9% при определении границ фонем.

5. Разработан алгоритм оценки качества произношения на основе распознавания речи при моделировании речевого сигнала эталонами.

6. Определена точность распознавания трех выбранных дефектов произношения при использовании системы распознавания при подходе на основе эталонов (83,9%) и применении скрытых марковских моделей и нейронных сетей (81,4%).

7. Исследована эффективность систем автоматической оценки качества произношения в зависимости от размера обучающей выборки. Показано, что на обучающей выборке небольшого объема (3 диктора и 5 образцов на каждое слово) более высокое качество распознавания дефектов произношения обеспечивает система на основе эталонов. При наличии достаточной обучающей выборки (минимум 10 дикторов) целесообразно использовать подход на основе статистического моделирования с помощью скрытых марковских моделей и нейронных сетей, как обладающий большей гибкостью и быстродействием.

8. Проведены предварительные эксперименты, показывающие, что усредненная автоматическая оценка качества произношения отдельной фонемы при распознавании речи на основе эталонов позволяет судить о динамике процесса обучения иностранному произношению.

9. Предложен метод оценки качества передачи речевого сигнала, сочетающий преимущества ориентации на психоакустические особенности восприятия речи человеком и объективность получаемых оценок.

Заключение

Результаты проведенных исследований позволяют сделать следующие

1. Покровский П.Б. Расчет и измерение разборчивости речи. М.: Связь,1962.-360 с.

2. Шелухин О.П., Лукьянцев Н.Ф. Цифровая обработка и передача речи / Под ред. О.И. Шелухина. М.:Радио и связь, 2000. - 456 с.

3. Hansen J.H.L., Nandkumar S. Objective Speech Quality Assessment and the RPE-LTP coding algorithm in different noise and language conditions // J. Acoust. Soc. Am., 1995 (1): pp. 609-627.

4. Mirjam Wester, Automatic Classification of Voice Quality: Comparing regression Models and Hidden Markov Models // Proc. ICSLP Sydney, Australia, pp. 18041807, 1998.

5. Johan Wouters, Michael W. Macon. A Perceptual Evaluation of Distance Measures for Concatenative Speech Synthesis. Center for Spoken Language Understanding, 1996.

6. Потапова P.К. Речь: коммуникация, информация, кибернетика: Учеб. пособие для вузов. М.: Радио и связь. - 1997. - 528 с.

7. Косарев Ю.А. Естественная форма диалога с ЭВМ. М.: Машиностроение, Ленингр. отд., 1989. - 142 с.

8. Иншакова О.Б. Альбом для логопеда. М.:Гуманит, изд. центр ВЛАДОС,1998.-280 с.9. lmaizumi Н. et al. Realtime extraction of pitch and formants using DSPs and its applications to pronunciation training. Tech. Report of the IEICE, SP89-36, 1989.

9. Ю.Мерем Биболетова. Изучаем английский в собственном темпе. Мультимедиа в образовании, №1 1998.

10. Материалы Республиканского учебно-методического центра "Специальные образовательные технологии", г. Минск сайта www.logoped.ru.

11. Levinson S. et al. An Introduction to the Application of the Theory of Probabilistic Functions of a Markov Process to Automatic Speech Recognition // Bell Syst. Tech. J. Vol.62. -№ 4, 1983.

12. Bourlard H., Morgan N. Connectionist Speech Recognition: A Hybrid Approach. Kluwer Academic Publishers. 1994.

13. Tebelskis J. Speech Recognition Using Neural Networks // PhD thesis, Carnegie Mellon University, 1995.

14. Sakoe H., Chiba S. Dynamic Programming Algorithm Optimization for Spoken Word Recognition // IEEE Trans, on Acoustics, Speech, and Signal Processing, 26(1), February 1978.

15. Rabiner L. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proceedings of the IEEE, 77(2), February 1989.

16. Huang X. D., Ariki Y., Jack M. A. Hidden Markov Models for Speech Recognition. Edinburgh University Press, 1990.

17. Rabiner L., Wilpon J. et al. A Segmental k-means Training Procedure for Connected Word Recognition // AT&T Tech J. Vol.65. - № 3, 1986.

18. Rabiner L., Juang B.H. Fundamentals of Speech Recognition. Prent. Hall. 1993.

19. Young S. et al. The НТК Book v2.1. Cambridge University, 1997.

20. Furui S. Towards Robust Speech Recognition Under Adverse Conditions // In Proc. of the ESCA Workshop on Speech Processing and Adverse Conditions, pp. 31-41,Cannes-Mandelieu, France, 1993.

21. Lee K.F. Large Vocabulary Speaker-Independent Continuous Speech Recognition // PhD Thesis, Carnegie Mellon University. 1988.

22. Hampshire, J. and Pearlmutter, B. Equivalence Proofs for Multi-Layer Perceptron Classifiers and the Bayesian Discriminant Function // Proc. of the 1990 Connectionist Models Summer School, Morgan Kaufmann Publishers.

23. Kuba.la F., Schwartz R. A New Paradigm for Speaker-Independent Training // In Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, 1991.

24. Schmidbauer, O. and Tebelskis, J. (1992). An LVQ Based Reference Model for Speaker Adaptive Speech Recognition // In Proc. IEEE International Conference on Acoustics, mSpeech, and Signal Processing, 1992.

25. Witbrock M., Haffner P. Rapid Connectionist Speaker Adaptation // In Proc. IEEE International Conf. on Acoustics, Speech, and Signal Processing, 1992.

26. Konig Y., Morgan N. Supervised and Unsupervised Clustering of the Speaker Space for Continuous Speech Recognition // In Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, 1993.

27. Huang, X. D. Phoneme Classification using Semicontinuous Hidden Markov Models 11 IEEE Trans, on Signal Processing, 40(5), 1992.

28. Franco H., Neumeyer Т., Ronen O. Automatic Pronunciation scoring for Language Instruction // Proc. ICASSP 97, Munich, Germany, pp. 1470-1474.

29. Rottland J., Neukirchen Ch., Rigoll G. Speaker Adaptation for Hybrid ММ1/ Connectionist Speech Recognition Systems // In Proc. Intl. Conf. on Spoken Language Processing, Sydney, Australia, 1998.

30. Catia Cucchiarini, Helmer Strik, and Lou Boves. Different Aspects of Expert Pronunciation Quality Ratings and Their Relation to Scores Produced by Speech Recognition Algorithms // Speech Communication, 30 (2-3), pp. 109-119, 2000.

31. Сергей Секаев. Два учебника: гляди в оба! // Комп. и Мы, №9(17), 1998.

32. Syracuse Language Systems "Triple Play Plus! Japanese version J1.2.'1 Syracuse Language Systems, 1996

33. Goh Kawai. Spoken language processing applied to nonnative language pronunciation learning. Ph.D. dissertation, University of Tokyo, March 1999.

34. Automatic detection and correction of pronunciation errors for foreign language learners : The DEMOSTHENE APPLICATION / O. Deroo, G. Deville, H. Leich, S. Gielen, J. Vanparys // Proc. EuroSpeech 99, pp 843- 846. September 5-9 1999, Budapest.

35. Un logiciel complet pour rentrainement et la reconnaissance de la parole / J.M. Boite, F. Bataille, O. Deroo, S. Dupont, V. Fontaine, C. Ris and Laurent Zanoni // Proc. Premieres Journees Scientifiques et Techniques FRANCIL, pp. 41-44, Avignon, 1997.

36. Kim Y., Franco H., Neumeyer L. Automatic Pronunciation scoring of specific phone segments for Language instructions // Proc. Eurospeech 97, Greece.

37. WebGrader(TM): A Multilingual Pronunciation Practice Tool / L. Neumeyer, H.Franco, V. Abrash, L, Julia, O. Ronen, H. Bratt, J. Bing, V. Digalakis, and Marikka Rypa // Proc. Speech Techn. in Language Learning Workshop 1998.

38. Digalakis V., Murveit H. Genones: Optimizing the Degree of Mixture Tying in a Large Vocabulary Hidden Markov Model Based Speech Recognizer // IEEE Trans. Speech Audio Processing, pp. 281-289, July 1996.

39. Neumeyer L., Franco H., Weintraub M. Automatic Text-Independent Pronunciation Scoring of Foreign Language Student Speech // Proceedings ICSLP, 1996.

40. Goh Kawai, Keikichi Hirose. A method for measuring the intelligibility and nonnativeness of phone quality in foreign language pronunciation training // Proceedings of ICSLP Sydney, Australia, pp. 1823-1826, 1998.

41. Witt S., et al. Language learning based on non-native speech recognition. Proc. Eurospeech-1997, Rhodes, Greece, pp. 633-636, 1997.

42. Eric Fosler-Lussier, Nelson Morgan. Effects of speaking rate and word frequency on pronunciations in conventional speech. Speech Communic. pp. 137-158, 1999.

43. Jacques Koreman, Bistra Andreeva & Helmer Strik. Acoustic Parameters Versus Phonetic Features in ASR. Institute of Phonetics, University of the Saarland, Saarbrucken, Germany, 1998.

44. John-Paul Hosom. Automatic Time Alignment of Phonemes Using Acoustic-Phonetic Information // Ph.D, Oregon Graduate Institute of Science and Technology, 2000.

45. Викторов А. Б., Викторова К. О., Воронцова А. В. и др. Речевые базы данных // Современные речевые технологии. Сб. трудов IX сессии Российского акустического общества. М., 1999.

46. Дуда Р., Харт П. Распознавание образов и анализ сцен М.:Мир 1976.-510 с.

47. Косарев Ю. А., Виноградов С. В. Экспериментальное исследование алгоритмов нормализации темпа речи // Автомат, распознавание слуховых образов: Тез. докл. на 14-м Всесоюз. семинаре АРСО-14. Каунас, 1986.

48. Бовбель Е.И., Ткачева П.П, Хейдоров И.Э. Распознавание изолированных слов на основе авторегрессионной скрытой марковской модели // Интеллектуальные системы.- Сб.научн.трудов.-1999.-Вып.2.- Минск.

49. Picone J. Signal Modeling Techniques in Speech Recognition // Proc. of IEEE. -Vol.81.- № 9, 1993,- P.963-991.

50. Ramasubramanian H. Sundaram. The Baum-Welch Algorithm. Department for Electrical and Computer Engineering Mississippi State University, Mississippi State, MS 39762.

51. Petri Salmela. Neural Networks in Speech Recognition // Ph.D Thesis. Tampere University of Technology. 2000.

52. Woodland P., Odell J., Valtchev V., Young S. Large Vocabulary Continuous Speech Recognition using НТК // Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, 1994.

53. Renals S., Morgan N. et al. Connectionist Probability Estimators in HMM Speech Recognition // IEEE Trans on Speech and Audio Processing, Vol.2, № 1, 1994.

54. Huang X., Kuh A. A Combined Self-Organizing Feature Map and Multilayer Perceptron for Isolated Word Recognition // IEEE Transaction on Signal Processing, Vol. 40, No 11, 1992.

55. Laurila K. Noise Robust Speech Recognition with State Duration Constraints // Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, Vol. 2, 1997.

56. Bourlard H., Wellekens C. Links Between Markov Models and Multi-Layer Perceptrons // IEEE Trans, on Pattern Analysis and Mach. Intelligence, 12, 1990.

57. Васильев В.И. Распознающие системы. Справ. Киев: Наукова думка, 1983.

58. Bishop С. Neural Networks for Pattern Recognition. Oxford: Univ. Press, 1995.

59. Чертков M., Ерималюк А. Методика валютного прогнозирования // Одесские деловые новости 1995 - май N 16 - с. 4.

60. Lang К. A Time-Delay Neural Network Architecture for Speech Recognition // PhD Thesis, Carnegie Mellon University. 1993.

61. Haffner P., Franzini M., Waibel A. Integrating Time Alignment and Connectionist Networks for High Performance Continuous Speech Recognition // Proc. IEEE International Conf. on Acoustics, Speech, and Signal Proc., 1991.

62. Levin E. Word Recognition using Hidden Control Neural Architecture // Proc. IEEE International Conf. on Acoustics, Speech, and Signal Processing, 1990.

63. Patterson D. Artificial Neural Networks. Singapore: Prentice Hall. 1996.

64. Еорбань А., Россиев Д. Нейронные сети на персональном компьютере. // Новосибирск: Т1аука, 1996.

65. Ben Krose, Patrick van der Smagt. An introduction to Neural Networks. The University of Amsterdam, Eighth edition, 1996.

66. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика. М.: Мир, 1992.

67. Hecht-Nielsen R. Kolmogorov's Mapping Neural Network Existence Theorem // IEEE First Annual Int. Conf. on Neural Networks, 1987, Vol. 3, pp. 11-13.

68. Kolmogorov A.N. On the Representation of Continuous Functions of Many Variables by Superposition of Continuous Functions of One Variable and Addition // American Math. Soc. Transl., 28, 1963), pp. 55-63.

69. Нейронные сети. Statistica Neural Networks: пер. с англ. -M.: Еорячая линия -Телеком, 2000.

70. Rumelhart D., McClelland J., and the PDP Research Group. Parallel Distributed Processing: Explorations in the Microstructure of Cognition. MIT Press, 1986.

71. Gish, H. A Probabilistic Approach to the Understanding and Training of Neural Network Classifiers // Proc, IEEE International Conference on Acoustics, Speech, and Signal Processing, 1990.

72. Richard M., and Lippmann R. Neural Network Classifiers Estimate Bayesian A Posteriori Probabilities //Neural Computation 3(4), 1991.

73. Ney, H. Speech Recognition in a Neural Network Framework: Discriminative Training of Gaussian Models and Mixture Densities as Radial Basis Functions // Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, 1991.

74. Рабинер JI.P., Шафер P.В. Цифровая обработка речевых сигналов: Пер. с англ. М.: Радио и связь, 1981,- 496 с.

75. Назаров М. В., Прохоров Ю. Н. Методы цифровой обработки и передачи речевых сигналов. М.: радио и связь, 1985. - 175 с.

76. Попов Э. В. Общение с ЭВМ на естественном языке. М.: Наука, 1982. 360 с.

77. Маркел Д. Д., Грей А. X. Линейное предсказание речи: Пер. с англ. М.: Связь, 1980. 308 с.

78. Калинцев Ю.К. Разборчивость речи в цифровых вокодерах. М.: Радио и связь, 1991.

79. Физиология речи: Восприятие речи человеком / Л. А. Чистович, А. В. Венцов, М. П. Гранстрем и др. Л.: Наука, 1976. 387 с.

80. Куля В.И. Влияние фазовых соотношений в спектре речи на ее восприятие. // Электросвязь, 1970, №7.88.0ппенхайм А.В., Лим Дж. Важность фазы при обработке сигналов. // ТИИЭР, 19881, т.69, №5, с. 39-54.

81. Цвикер Э., Фельдкеллер Р. Ухо как приемник информации: Пер. с нем./ Под ред. Б. Г. Белкина. -М.: Связь. 1971.-256 с.

82. Tamura S. An Analysis of a Noise Reduction Neural Network // Proceedings IEEE International Conference on Acoustic, Speech, and Signal Processing, pp. 2001-2004, Glasgow, Scotland, 1989.

83. Hynek Hermansky. Should Recognizers Have Ears? Proc. ESCA Tutorial and Research Workshop on Robust Speech Recognition for Unknown Communication Channels, pp. 1-10, France 1997.

84. Каримов P.H. Обработка Экспериментальной информации. Многомерный анализ. Сарат. техн. ун-т, Саратов, 2000. 104с,

85. Сапожков М. А. Речевой сигнал в кибернетике и связи. М.: Связь, 1963.

86. Лингвистический ресурс для обучения систем распознавания и синтеза слитной речи. Институт математики СО РАН г. Новосибирск, 2001.

87. Fahlman S.E. Faster-learning variations on back-propagation: an empirical study. In D. Touretzky, G.E. Flinton and T.J. Sejnowski (Eds.), Proceedings of the 1998 Connectionist Models Summer School, 38-51. San Mateo, CA, 1989.

88. Jacobs R.A. Increased Rates of Convergence Through Learning Rate Adaptation. Neural Networks 1 (4), 295-307.