автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Моделирование и фильтрация речевых сигналов с использованием преобразования в изображения

Список сокращений.

Введение.

Глава 1. Модели речевых сигналов.

1.1. Система речеобразования и слуха.

1.2. Модели речевого тракта.

1.3. Модели речевых сигналов.

1.4. Модель квазипериодического сигнала.

1.5. Выводы.

Глава 2. Методы представления сигнала в изображение.

2.1. Постановка задачи.

2.2. Методы оценки периода.

2.2.1. Линейные методы.

2.2.2. Методы, основанные на демодуляции.

2.2.3. Корреляционный метод.

2.2.4. Разбиение речевого сигнала на отрезки одинаковой длины.

2.3. Статистические испытания работы алгоритмов оценки квазипериода речевого сигнала.

2.3.1. Оценка квазипериода линейными методами.

2.3.2. Оценка квазипериода корреляционным методом.

2.3.3. Разбиение речевого сигнала на отрезки одинаковой длины.

2.3.4. Сравнительный анализ.

2.3.5. Выбор метода.

2.4. Методы приведения изображений к прямоугольному виду.

2.4.1. Добавление начальных элементов предыдущей строки в конец предыдущей.

2.4.2. Усреднение значений в окрестности точки.

2.4.3. Дублирование элементов.

2.4.4. Сравнительный анализ.

2.5. Выводы.

Глава 3. Методы фильтрации портретов речевых сигналов.

3.1. Обзор методов фильтрации речевых сигналов.

3.1.1. Вычитание амплитудных спектров.

3.1.2. Коррекция спектра речевого сигнала.

3.1.3. Использование закономерностей восприятия речи человеком

3.1.4. Адаптивные компенсаторы помех.

3.1.5. Использование статистических моделей речевых сигналов во временной области.

3.1.6. Использование отдельных характерных свойств речевого сигнала.

3.1.7. Использование скрытых марковских моделей.

3.2. Обзор методов фильтрации изображений.

3.2.1. Двумерный фильтр Калмана.

3.2.2. Адаптивный псевдоградиентный фильтр Калмана.

3.2.3. Медианная фильтрация.

3.2.4. Пороговое подавление шумов.

3.2.5. Полиномиальная фильтрация.

3.2.6. Двухэтапный алгоритм фильтрации изображений.

3.2.7 Выбор метода.

3.3. Развертки изображений.

3.3.1. Пилообразная развертка.

3.3.2. Треугольная развертка.

3.3.3. Развертка с повторами.

3.4. Классификация звуков.

3.5. Мультиэлаймент.

3.6. Результаты статистических испытаний.

3.7. Программная реализация разработанных алгоритмов.

3.8. Выводы.

Актуальность работы. В настоящее время большое значение имеет надежная и безаварийная работа транспорта и других отраслей народного хозяйства и обороны. Их функционирование невозможно без надежной передачи речевых сообщений. В связи с этим весьма актуальными являются исследования в области методов фильтрации речевых сигналов (PC) на фоне помех. Эти исследования длительное время интенсивно ведутся отечественными и зарубежными специалистами. Разработан ряд подходов к проблеме и множество алгоритмов решения конкретных задач. Тем не менее, проблема далека от окончательного решения и актуально повышение эффективности алгоритмов обработки сигналов. Для фильтрации PC в диссертации развивается новый подход - учитывая квазипериодичность PC, он преобразуется в изображение, называемое портретом PC (ПРС). Этот прием позволяет повысить эффективность фильтрации на 20-35% по сравнению с последовательной обработкой. Это преобразование выполняется путем разбиения сигнала на квазипериоды с представлением каждого квазипериода в видеки изображения. В результате получается изображение с высокой межстрочной корреляцией. Дальнейшее применение методов обработки изображений дает возможность повысить качество обработки PC по сравнению с их обычной последовательной временной обработкой. Однако из-за изменения величины квазипериодаки изображения имеют разную длину, поэтому нужны особые алгоритмы обработки таких изображений.

Цель и задачи работы. Целью диссертации является разработка эффективных алгоритмов фильтрации PC путем их преобразования в изображения и применения методов обработки изображений.

Для достижения поставленной цели решаются следующие задачи:

- разработка математических моделей PC, учитывающих их квазипериодичность;

- разработка алгоритмов преобразования PC в ПРС;

- разработка алгоритмов выравнивания ПРС до прямоугольного изображения;

- разработка адаптивных алгоритмов фильтрации полученных ПРС;

- разработка пакета программ для реализации и исследования предложенных алгоритмов.

Методы исследования. При решении поставленных задач применялись методы теории вероятностей, математической статистики, теории случайных процессов и полей, математического анализа, математического и статистического моделирования с применением вычислительной техники.

Научная новизна.

1. Развиты методы обработки PC и других квазипериодических сигналов, основанные на преобразовании сигнала в изображение.

2. Предложена и исследована новая модель PC, учитывающая их квазипериодичность и порождающая сигналы, близкие по своим свойствам к звукам реальных PC.

3. Впервые при фильтрации изображений применен метод мультиэлайнмента (МЭ), что существенно повысило качество обработки.

4. Предложена при фильтрации ПРС сегментация их на характерные участки с соответствующей перестройкой фильтра.

Практическая ценность работы состоит в том, что применение разработанных алгоритмов позволит повысить надежность систем передачи PC при наличии сильных помех, например, из кабины транспортного средства.

Внедрение результатов работы. Результаты работы используются в учебном процессе УлГТУ в лабораторных и курсовых работах курса «Основы теории обработки изображений».

9 Достоверность полученных результатов и выводов диссертации подтверждается корректным использованием математического аппарата и результатами статистических испытаний предложенных алгоритмов на реальных PC.

Положения, выносимые на защиту.

1. Разработанная спиральная модель PC учитывает квазипериодичность и корреляционные свойства реальных PC. Имитированные сигналы по звучанию близки к вокализованным звукам речи.

2. Разработанные методы построения и выравнивания ПРС дают изображения с высокой межстрочной корреляцией, что способствует повышению эффективности их фильтрации.

3. Эффективность фильтрации PC может быть существенно повышена по сравнению с известными методами за счет применения разработанных алгоритмов фильтрации ПРС, включающих в себя мультиэлайнмент и классификацию звуков на классы по длине квазипериода.

Апробация работы. Основные результаты работы докладывались на 2-й Всероссийской научно-практической конференции «Современные проблемы создания и эксплуатации радиотехнических систем» (Ульяновск, 1999); 5-ой Международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Самара, 2000); LVI научной сессии, посвященной Дню Радио (Москва,

2001); 3-ей Всероссийской научно-практической конференции с участием стран СНГ «Современные проблемы создания и эксплуатации радиотехнических систем» (Ульяновск, 2001); 5-й Международной конференции и выставке «Цифровая обработка сигналов и ее применение» (Москва, 2003). Результаты работы докладывались на ежегодных конференциях профессорско-преподавательского состава УлГТУ (19992002 гг.).

Публикации. По теме диссертации опубликовано 10 печатных работ, в том числе 8 статей и 2 тезисов докладов на научно-технических конференциях.

Объем и структура диссертации. Диссертация состоит из введения, трех глав, заключения, списка литературы из 87 наименований и приложения. Общий объем - 141 страница.

3.8. Выводы

1. Из рассмотренных методов фильтрации изображений для фильтрации ПРС целесообразно применить адаптивный псевдоградиентный фильтр Калмана, так как он соответствует корреляционным свойствам ПРС, прост в реализации и достаточно эффективен. из

2. По результатам статистических испытаний можно сделать вывод, что пилообразная развертка является более эффективной для фильтрации ПРС по сравнению с треугольной разверткой и разверткой с повторами. Качество фильтрации для пилообразной развертки на 5-25 процентов выше, чем для других разверток.

3. Метод выравнивания ПРС добавлением является наиболее эффективным по сравнению с другими методами выравнивания. Он дает ПРС с большей межстрочной корреляцией, чем методы усреднения и дублирования. Качество фильтрации для метода добавления на 3-25 процентов выше по сравнению с другими методами.

4. Использование классификации звуков повышает качество фильтрации ПРС на 5-10 процентов.

5. Использование МЭ повышает качество фильтрации ПРС: для корреляционного метода разбиения - в среднем на 5-15 процентов, для метода с одинаковой длиной отрезка разбиения - на 10-35 процентов.

6. Качество фильтрации у метода с одинаковой длиной отрезка с МЭ всего на несколько процентов ниже, чем у корреляционного метода с МЭ. Поэтому для экономии вычислительных затрат возможно применение вместо корреляционного метода разбиения метода с одинаковой длиной отрезка разбиения с последующим использованием МЭ.

114

Заключение

В диссертации разработаны алгоритмы, повышающие эффективность фильтрации PC на фоне шумов. Основные результаты диссертации заключаются в следующем.

1. Предложена и исследована новая модель PC, учитывающая свойство квазипериодичности. Варьируя параметры этой модели, можно получить богатые по тембру звуки, похожие на вокализованные звуки речи. Имитированные сигналы имеют корреляционные свойства, близкие к реальным PC.

2. Разработаны и исследованы методы выравнивания ПРС до прямоугольного изображения, наилучшим из которых является метод добавления к концу предыдущей строки элементов из начала следующей строки.

3. По сравнению с известными методами качество фильтрации PC повышается на 5-10 процентов, если при фильтрации классифицировать типы звуков (вокализованные, невокализованные). Предложен способ такой классификации, основанный на оценке длины квазипериода.

4. Разработанный алгоритм МЭ - попарного сравнения строк ПРС для более качественной фильтрации ПРС - повышает эффективность фильтрации на 5-35 процентов.

5. Разработанные алгоритмы реализованы пакетом прикладных программ на языке Visual С++ v5.0 для ОС Windows.

1. Прохоров Ю.Н. Статистические модели и рекуррентное предсказание речевых сигналов. М.: Радио и связь, 1984. - 239 с.

2. Маркел Дж.Д., Грэй А.Х. Линейное предсказание речи. М.: Связь, 1980.-308 с.

3. Сапожков М.А. Речевой сигнал в кибернетике и связи. М.: Связьиздат, 1960. - 452 с.

4. Фант Г. Акустическая теория речеобразования. М.: Наука, 1964.-283 с.

5. Кодзасов С.В. Общая фонетика. М.: РГГУ, 2001. - 592 с.

6. Михайлов В.Г., Златоустов JI.B. Измерение параметров речи. -М.: Радио и связь, 1987. 167 с.

7. Фланаган Дж. Анализ, синтез и восприятие речи// Пер. с англ. -М.: Связь, 1968, 396 с.

8. Рабинер JI.P., Шафер Р.В. Цифровая обработка речевых сигналов: Пер. с англ./Под. ред. М.В. Назарова, Ю.Н. Прохорова. М.: Радио и связь, 1981. - 495 с.

9. Рамишвили Г.С. Автоматическое распознавание говорящего по голосу. М.: Радио и связь, 1981. - 224 с.

10. Лабутин В.К. Молчанов А.П. Модели механизмов слуха. М.: Энергия, 1973.-200 с.

11. Физиология речи. Восприятие речи человеком/Чистович Л.А. и др. Л.: Наука, 1976, - 386 с.

12. Moore В. An Introduction to the Psychology of Hearing. San Diego CA: Academic Press, 1997.

13. Wakita, H. Estimation of the Vocal Tract Shape by Optimal Inverse Filtering and Acoustic/Articulatory Conversion Method// SCRL Monograph No. 9, Speech Communications Research Laboratory, Santa Barbara, California,1972.

14. Wakita, H. Direct Estimation of the Vocal Tract Shape by Inverse Filtering of Acoustic Speech Waveforms// IEEE Trans. AU-21, pp. 417-427,1973.

15. Wakita, H. Estimation of the Vocal-Tract Length Acoustic Data. J. Acoust. Soc. Am. 55, Suppl. J7, 1974.

16. Андерсон Т. Статистический анализ временных редов/ Пер. с. англ. под ред. Ю.К. Беляева. М.: Мир, 1976, 758 с.

17. Дуб Дж.Л. Вероятностные процессы/ Пер. с англ. под ред A.M. Яглома. М.: ИЛ, 1956, 606 с.

18. Дынкин Е.Б., Юшкевич А.А. Теоремы и задачи о процессах Маркова. М.: Наука, 1966, 232 с.

19. Левин Б.Р. Теоретические основы статистической радиотехники. М.: Радио и связь, 1989, 656 с.

20. Сейдж Э.П., Меле Дж. Теория оценивания и ее применение в связи и управлении/ Пер. с англ. под ред. Левина Б.Р. М.: Связь, 1976, 495 с.

21. Тихонов В.И., Кульман Н.К.Нельнейная фильтрация и квазикогерентный прием сигналов. М.: Сов. радио, 1975, 704 с.

22. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление/ Пер. с англ. под ред. Писаренко В.Ф. М.: Мир, 1974, т. 1, 406 е.; т. 2, 200с.

23. Хеннан Э. Многомерные временные ряды/ Пер. с англ. под ред. Розанова Ю.А. М.: Мир, 1974, 575 с.

24. Вокодерная телефония/ Под ред. А.А. Пирогова. М.: Связь, 1974, 535 с.

25. Перов В.П. Прикладная спектральная теория оценивания. М.: Наука, 1982, 432 с.

26. Статистическая теория связи и ее практические приложения (СТС № 13)/ Под ред. Б.Р. Левина. М.: Связь, 1979, 287 с.

27. Цифровая сельская связь// И.В. Ситняковский, В.И. Мейкшан, Б.Н. Маглицкий. М: Радио и связь, 1994. - 248с.

28. Крашенинников В.Р., Калинов Д.В. Спиралевидная авторегрессионная модель квазипериодического сигнала, связанная с изображением на цилиндре// Вестник УлГТУ. Сер. Информационные технологии, 2000, № 3, с. 4-10.

29. Крашенинников В.Р., Калинов Д.В. Спиралевидная авторегрессионная модель квазипериодического сигнала // Труды 5-й Международной конференции «Распознавание образов и анализ изображений: новые информационные технологии». Самара, 2000, т.2, с.326-329.

30. V. R. Krasheninnikov, D. V. Kalinov, and Yu. G. Pankratov. Spiral Autoregressive Model of a Quasi periodic Signal// Pattern Recognition and Image Analysis, Vol. 11, No. 1, 2001, pp. 211-213.

31. Крашенинников В.P., Калинов Д.В. Авторегрессионная модель квазипериодического сигнала с флуктуирующей продолжительностью квазипериодов// Труды LVI научной сессии, посвященной Дню радио. -Москва, РНТОРЭС, 2001г., т.2, с. 321-322.

32. Крашенинников И.В. Периодическое комплексирование речевых сигналов в изображение// Труды Международной конференции

33. Методы и средства преобразования и обработки аналоговой информации». -Ульяновск: УлГТУ, 1999, т.З, с. 56-58.

34. Крашенинников И.В. Методы определения периода речевых сигналов// Труды Ульяновского научного центра «Ноосферные знания и технологии» РАЕН. Ульяновск, УНЦ НЗиТ РАЕН, 1999, т.2, вып. 1, с. 111-116.

35. Серебренников М.Г., Первозванский А.А. Выявление скрытых периодичностей. М.: Наука, 1965, 244с.

36. Потапова Р.К. Речевое управление роботом. М.: Радио и связь, 1989, 248 с.

37. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация. М.: Наука, 1984, 288 с.

38. Уидроу Б., Стирнз С. Адаптивная обработка сигналов/ Пер. с англ. под ред. В.В. Шахгильдяна. М.: Радио и связь, 1989, 440 с.

39. Семушин И.В. Адаптивные схемы идентификации и контроля при обработке случайных сигналов. Саратов: СГУ, 1985, 180 с.

40. Поляк Б.Т., Цыпкин Я.3. Псевдоградиентные алгоритмы адаптации и обучения// Автоматики и телемеханика, 1973, № 3, с. 45-68.

41. Поляк Б.Т., Цыпкин Я.З. Оптимальные псевдоградиентные алгоритмы адаптации// Автоматики и телемеханика, 1980, № 8, с. 74-84.

42. Нуссбаумер Г. Быстрое преобразование Фурье и алгоритмы вычисления сверток. М.: Радио и связь, 1985, 284 с.

43. Левин Б.Р. Теоретические основы статистической радиотехники. М.: Радио и связь, 1989, 656 с.

44. Чучупал В .Я., Чичагов А.С., Маковкин К.А. Цифровая фильтрация зашумленных речевых сигналов. М.: Вычислительный центр РАН, 1998, 51 с.

45. Sondhi М.М., Schmidt С.Е., Rabiner L.R. Improving the Quality of Noisy Speech Signal. Bell Syst. Tech Journal, Vol. 60, No.8, 1981, pp. 18471858.

46. Hoy L.D., etc. Noise Suppression Methods for Speech Applications. Proc. 1983 IEEE Int .Conf. ASSP, ICASSP-83, pp. 1133-1136.

47. Овчинникова О.П. Повышение разборчивости речи путем цифровой фильтрации// 9 Всесоюзная акустическая конференция, М., 1977, Выпуск Ф. с. 33-36.

48. Arslan М. Levent, Hansen John H.L. Speech Enhancement for Crosstalk Interference. IEEE Signal Processing Letters, Vol. 4, No. 4, April 1997.

49. Laughans Т., Strube H.W. Speech Enhancement by Nonlinear Multiband Envelop Filtering. Proc, 1978 IEEE Trans, ASSP, pp. 156-159.

50. Curtis R.A. Niederjohn R.E. Several Frequency Domain Processing Methods for Enhancing the Intelligibility of Speech in Wideband Random Noise, Proc. 1978 IEEE Int. Conf. on ASSP, pp. 602-605.

51. Teolis A., Benedetto J.J. Noise Suppression Using a Wavelet Model. Int. Conf. on ASSP, ICASSP-94, 1994, pp. 17-20.

52. Pinter I. Perceptual wavelet-representation of speech signals and its application to speech enhancement. Computer Speech and Language, 1996, 10, 1-22.

53. Widrow В., at al. Adaptive Noise Canceling: Principles and Applications. Proc. IEEE, Vol. 63, No. 12, 1975, pp. 1672-1716.

54. McWhirer J.S., Palmer K.J., Roberts J.B. A Digital Adaptive Noise-Canceled Based on a Stabilizer Version of the Widrow L.M.S. Algorithms. Proc. 1982, IEEE Int. Conf. ASSP, pp. 1384-1387.

55. Гурьев Ю.Ю., Прохоров Ю.Н. Алгоритм рекуррентной фильтрации речевых сигналов// Материалы Всесоюзного семинара АРСО-12. Киев, 1982, с .39-42.

56. Прохоров Ю.Н. Рекуррентное оценивание параметров. В кн.: Проблемы построения систем понимания речи - М.: Наука, 1980, с. 97109.

57. Назаров М.В., Ковязин В.И. Марковская модель речевого сигнала// Материалы Всесоюзного семинара АРСО-12. Киев, 1982, с. 4449.

58. Yoo С. Selective All Pole Modeling of Degraded Speech Using M-Band Decomposition. Int. Conf. on Acoustics, Speech and Signal Proc. ICASSP-96, 1996, pp.641-644.

59. Sambur M.R. Adaptive Noise Cancelling for Speech Signals. IEEE Trans. ASSP, vol. ASSP-26, 1978, pp.419-423.

60. Lim J.S., at al. Speech Enhancement. IEEE Trans. ASSP, Vol. ASSP-26, No 9, 1979, pp. 357-358.

61. Lyon R.F. A computational Model of Filtering, Detection and Compression in the Cochlea. Int. Conf. on Acoust. Speech and Signal Proc. ICASSP-1982, 1982, pp.1282-1283.

62. Malah D., Cox R.V. A Generalized Comb Filtering Technique for Speech enhancement. Proc. IEEE Int. Conf ASSP, 1982, pp. 160-163.

63. Hansen G.H.L, Pellom B.L. Text-directed speech enhancement employing phone class parsing and feature map constrained vector quantizaion. Speech Communication, Vol. 2, 1997, pp. 169-189.

64. Sheikhzadeh H., Sameti H., Deng L. Comparative Performance of Spectral Subrtraction and HMM Based Speech Enhancement Strategies with Application to Hearing Aid Design. Int. Conf. on Acoustics, Speech and Signal Proc. ICASSP-94, 1994, pp. 13-17.

65. McKinley B.L., Whipple G.H. Noise Model Adaptation in Model Based Speech Enhancement. Int. Conf on Acoustics, Speech and Signal Processing, ICASSP-96, 1996, pp. 633-636.

66. Васильев K.K., Крашенинников B.P. Методы фильтрации многомерных случайных полей. Саратов: Изд-во Сарат. ун-та, 1990. -128 с.

67. Хабиби А. Двумерная байесовская оценка изображений// ТИИЭР, 1972, т. 60, № 7, с. 153 159.

68. Васюков В.Н. Квазиоптимальный алгоритм двумерной фильтрации// Методы статистической обработки изображений и полей. -Новосибирск, 1984, с. 14-18.

69. Катомин Н.П. Синтез и анализ некоторых квазиоптимальных двумерных дискретных линейных фильтров// Радиотехника и электроника, 1981, т. 26, №2, с. 333-362.

70. Woods J.W. Two-dimensional filtering// Topics in Applied Physics, Berlin, 1981, Vol. 42, p. 155-208.

71. Woods J.W., Ju Hong Lee. The fully recursive filter: A general 2-D recursive filter// IEEE Trans. 1983, Vol. ASSP-31, Oct., p. 1327-1329.

72. Крашенинников И.В. Адаптивные псевдоградиентные алгоритмы фильтрации авторегрессионного сигнала на фоне некоррелированных помех// Тез. докл. 33-й научно-технич. конференции УлГТУ. Ульяновск: УлГТУ, 1999, ч.2, с. 43-44.

73. Васильев К.К„ Герчес В.Г. Калмановская фильтрация изображений// Методы обработки сигналов и полей. Ульяновск: УлПИ, 1990, с. 105-111.

74. Васильев К.К., Крашенинников В.Р. Адаптивный многомерный аппроксимированный фильтр Калмана// Тез. докл. 49-й науч. техн. конф., поев. Дню радио. Санкт-Петербург: НТОРЭС им. А.С. Попова, 1994, с. 25-26.

75. Приоров А.Л., Ганин А.Н., Хрящев В.В. Цифровая обработка изображений//Учеб. пособие. Ярославль, Яросл. гос. ун-т, 2001, 218 с.

76. Грузман И.С. Двухэтапный алгоритм фильтрации изображений с произвольными одномерными спектрально-корреляционными свойствами// Межвуз. сборник науч. трудов «Методы обработки сигналов и полей». Ульяновск: УлГТУ, 1995, с. 61-65.

77. Спектор А.А. Двухэтапная фильтрация изображений при действии коррелированной помехи// Радиотехника, 1985, № 9, с. 718-726.120

78. Спектор А.А. Двухэтапное оценивание неоднородности изображения, сформированного линейкой приемников// Радиотехника, 1986, №8, с. 18-23.

79. Калинов Д.В. Классификация звуков при фильтрации речевых сигналов// Вестник УлГТУ, Сер. Информационные технологии, 2001, № 4, с. 52-54.

80. Моттль В.В., Двоенко С.Д., Лисицын С.В., Ключарева Ю.С. Процедуры мультиэлаймента в задачах обучения распознаванию сигналов разной длительности// Докл. IX Всеросс. конф. «Математические методы распознавания образов». Москва, ВЦ РАН, 1999, с. 86-88.

81. Моттль В.В., Двоенко С.Д., Лисицын С.В., Ключарева Ю.С. Применение мультиэлаймента при обучении распознаванию сигналов разной длительности// Тез. докл. Всеросс. научно-практ. конф. кафедры ATM «Управление и информатика». Москва, 1999, с. 95-97.

82. Моттль В.В., Лисицын С.В., Ключарева Ю.С. Компенсация темпоральных искажений (мультиэлаймента) в задачах анализа совокупностей сигналов// Тез. докл. Всеросс. науч. конф. «Современные проблемы математики, механики, информатики». Тула, 2000, с. 164-168.

83. Моттль В.В., Лисицын С.В., Лыков. Ю.С. Процедура мультиэлаймента в задачах анализа массивов сигналов и символьных последовательностей// Тез. докл. Международ. науч. конф. «Интеллектуализация обработки информации ИОИ'2000». Симферополь, 2000, с. 54-55.

84. Моттль В.В., Лисицын С.В., Лыков. Ю.С. Процедура мультиэлаймента в задачах анализа массивов сигналов// Искусственный интеллект, 2000, № 2, с. 165-171.