автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Сравнение критериев оценки качества пакетной передачи речи методами аналитического и имитационного моделирований

правах рукописи

Карпов Андрей Викторович

СРАВНЕНИЕ КРИТЕРИЕВ ОЦЕНКИ КАЧЕСТВА ПАКЕТНОЙ ПЕРЕДАЧИ РЕЧИ МЕТОДАМИ АНАЛИТИЧЕСКОГО И ИМИТАЦИОННОГО МОДЕЛИРОВАНИЙ

Специальность 05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва-2007

003069242

Работа выполнена в Государственном общеобразовательном учреждении высшего профессионального образования «Московский государственный университет путей сообщения» (МИИТ) на кафедре «Радиотехника и электросвязь»

Научный руководитель, доктор технических наук, профессор Горелов Г В.

Официальные оппоненты доктор технических наук, доцент

Ведущая организация Московский технический университет связи и информатики (МТУСИ).

Защита диссертации состоится "23" мая 2007г в "15" часов на заседании диссертационного совета Д 218 005 04 в Московском государственном университете путей сообщения (МИИТ) по адресу 127994, г Москва, ул Образцова, д 15, ауд 4518

С диссертацией можно ознакомиться в библиотеке МИИТа

Отзывы на автореферат в двух экземплярах, заверенных печатью, просим

направлять по адресу Совета университета

Автореферат разослан "23" апреля 2007 года

Ученый секретарь диссертационного совета Д 218 005.04,

Шалимов И А

кандидат технических наук, доцент Павловский A.A.

кандидат технических наук, доцент

Н А Казанский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Развитие современных телекоммуникационных технологий и, в частности, IP-телефонии, связано с пакетной передачей речевой информации При этом на приемной стороне возможно возникновение коротких пауз в речи вследствие потери речевых пакетов в IP-сетях. Плохое качество каналов связи и перегрузки в сетях приводят к частым потерям речевых пакетов, что, в свою очередь, вызывает ухудшение разборчивости, а иногда и полную невозможность речевого общения

Для сравнительной оценки качества передаваемой речевой информации разработаны различные методы

- метод, использующий усредненный показатель мнений о качестве MOS (Mean Opinion Score) и представленный в Рекомендациях ITU-T Р 800 и Р 830,

- метод, использующий рейтинг R (Quality Rating), определяемый с применением Е-модели (Рекомендация ITU-T G 107),

- метод, использующий критерии отношения сигнал/шум (OCI1I) на выходе воспроизводящего устройства и разборчивости.

Известны примеры существенной несогласованности оценок качества пакетной передачи речи, полученных с применением системы критериев «MOS - рейтинг R» и системы критериев «разборчивость - отношение сигнал/шум»

Представляется актуальной задача сравнения двух систем критериев в условиях оценивания качества пакетной передачи речи, определения их адекватности и применимости

Цель работы состоит в совершенствовании методики оценивания качества пакетной передачи речи (путем комплексного применения аналитического и имитационного моделирований, комплексного применения объективных и субъективных оценок), в определении адекватности используемых методикой систем критериев и методов, в выработке

рекомендаций по применению методики в практике исследования телекоммуникационных систем

Реализуется следующая последовательность решения задач диссертационной работы

1 Аналитический обзор систем критериев оценивания качества речи и их приложений к оцениванию качества пакетной передачи речевой информации.

2. Аналитическое оценивание качества восстановления речи в IP-телефонии с использованием систем критериев «MOS - рейтинг R» и «разборчивость - отношение сигнал/шум»

3 Оценивание качества восстановления речи в IP-телефонии с использованием имитационного моделирования процессов потери речевых пакетов и процессов восстановления речи.

4 Сопоставление объективных и субъективных оценок качества речи при аналитическом и имитационном моделировании ее пакетной передачи

Основные положения, выносимые на защиту:

- выводы об адекватности применения на практике методик, использующих известные системы критериев качества пакетной передачи речи,

- вывод о неприменимости методики, использующей систему критериев «MOS - рейтинг R» при исследовании систем пакетной передачи, использующих высокоскоростные кодеки речи,

- вывод об адекватности методики, использующей систему критериев «разборчивость - отношение сигнал/шум» при исследовании систем пакетной передачи, использующих высокоскоростные кодеки речи

Исходная основа диссертации Диссертация основывается на результатах

- фундаментальных работ теории информации В А Котельникова, Н Винера, К Шеннона и др

теоретических и прикладных исследований по цифровой обработке и передаче непрерывных речевых сообщений Дж Беллами,

А И. Величкина, М Д Бенедиктова, Г В Вемяна, В Н Гордиенко, Г В Горелова, А Г Зюко, Г В Кузнецова, М В Назарова, В А Левина, И А Лозового, Н И Пилипчук, О Н Ромашковой (Луковой), И А Шалимова, А Ф Фомина и др

- теоретических и прикладных исследований цифровых средств и систем передачи информации Л А Баранова, Л. Рабинера, А П Мановцева, В П. Яковлева и др

Методы исследования В работе использованы методы теории вероятностей, математического анализа, статистические методы обработки экспериментальных данных

Научная новизна. Степень научной новизны диссертации определяется тем, что она развивает теорию восстановления речевых сообщений при их пакетной передачи при комплексном использовании аналитического и имитационного моделирований, объективных и субъективных оценок качества речи

Практическая ценность разработанных в диссертации математического аппарата и методов имитационного моделирования заключена в предоставленной возможности получения объективных результатов определения качества речи при анализе и проектировании конкретных цифровых систем пакетной передачи речевой информации

Реализация результатов работы. Результаты диссертационной работы нашли применение в компании ООО «Транспортные системы связи» при уточнении требований к сетям связи, используемых в диспетчерских системах, а также в компании «Авайя Интернэшнл Сейлз Лимитед» при определении требований, предъявляемых к сетевой инфраструктуре при построении корпоративных сетей 1Р-телефонии, что способствовало уменьшению обращений клиентов в службу технической поддержки компании «Авайя Интернэшнл Сейлз Лимитед»

Результаты диссертационной работы используются в учебном процессе на кафедре «Радиотехника и электросвязь» МИИТа, в частности в

лекционном курсе по дисциплинам «Теория передачи сигналов» и «Цифровые сети и системы коммутации»

Результаты использования подтверждены соответствующими актами Апробация работы выполнена на заседаниях кафедры радиотехники и электросвязи МИИТа

Публикации. Основные результаты диссертации изложены в шести опубликованных работах, перечень которых представлен в конце автореферата

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения, содержит 10 рисунков, 41 таблица, список литературы из 89 наименований Основная часть диссертации изложена на 103 страницах машинописного текста

Основное содержание работы Во введении обоснована актуальность темы диссертационной работы, приводится краткий анализ современного состояния исследуемых вопросов, формулируются цель и задачи исследования, дан алгоритм их решения и анонсированы основные положения диссертации

В первой главе на основании обзора критериев оценивания качества, объективных и субъективных методов оценки разборчивости, используемых в отечественной и зарубежной практике современных телекоммуникационных систем для субъективной оценки выбран метод артикуляционных измерений разборчивости речи, регламентированный ГОСТ 50840-95

Во второй главе рассматривается приложение критериев качества восстановления речи к оцениванию качества ее пакетной передачи

Искажения от потери пакетов зависят от типов кодеков, применяемых в шлюзах 1Р-сети Качество речи при использовании низкоскоростных кодеков типа в 729 и в 723 1 в большей степени зависит от потери пакетов, по сравнению с высокоскоростными кодеками типа 0 711.

В главе рассмотрены методы сравнительной оценки качества передаваемой речи.

1 Метод MOS (Mean Opinion Score) - усредненный показатель мнений о качестве, представленный в Рекомендациях ITU-T Р 800 и Р 830 Выражается в баллах по пятибалльной шкале (5-отличное, 4-хорошее, 3-удовлетворительное, 2-посредственное, 1-плохое качество речи) Оценка выше 3,5 баллов определяет высокое телефонное качество 3,0 3,5 -приемлемое, 2,5 3,0 - синтезированную речь

Критерий MOS используется независимо от других критериев, но наиболее часто применяется в связи с показателями качества, представленными Е- моделью ITU-T

2 Е-модель (рекомендация ITU-T G 107) использует рейтинг R (Quality Rating) в единицах по сто балльной шкале

R=Ro-Is-Id-Ie,eff+A, (1)

где Ro - отношение сигнал/шум, Is - коэффициент, который включает все факторы ухудшения, проявляющиеся при передаче речи, Id - коэффициент влияния задержки, Ie,eff - коэффициент действительного ухудшения за счет оборудования, А - коэффициент преимущества

На рис.1 представлена зависимость MOS от R (рекомендация G 107).

S I 1

* » 40 •« ю КО

СЦИМ *fc»f> ШИКШ WIHMW (Я)

Рис 1

/ /

/

/

/

/

3. Традиционный метод, использующий критерии отношения сигнал/шум (ОСИ!) на выходе воспроизводящего устройства и разборчивости с известной аналитической зависимостью слоговой разборчивости от ОСШ для русскоязычного речевого сообщения (рис 2)

1

i /

4] ] -S- I < 1 ( 1 1 с 1 1

Рис 2

По поводу представления показателя R в рекомендациях ITU-T G 107, G 108 можно сделать следующие замечания

- По своей сути обобщенный показатель R является отношением сигнал/шум по мощности, что не фиксируется в рекомендациях ITU-T G 107, G108 Ни R, ни даже базовый коэффициент Ro (который в той же рекомендации ITU-T G.107 в начале определяется как отношение сигнал/шум по мощности в децибелах) не выражаются в децибелах, как и ряд остальных (поправочных) коэффициентов в формуле (1)

- Показатель R учитывает все шумы, связанные с пакетной передачей речи, шумы в помещении на передающей и приемной сторонах и тп и очевидно представляет результирующее отношение сигнап/шум по мощности и его значения должны соответствовать значениям результирующего отношение сигнал/шум по критерию ОСШ Однако для нормальных акустических условий величина Ro принимается равной Ro=95 дБ, в то время как граница между хорошим и отличным качеством по

критерию ОСШ составляет 20 дБ (иллюстрировано в диссертации многочисленными примерами приложений)

В третьей главе выполнено аналитическое оценивание качества восстановление речи в IP-телефонии

Оценивание качества IP-телефонии по критериям MOS и Е-модели.

В Е-модели ITU-T при определении коэффициента R, шумы, связанные с потерей пакетов учитывает коэффициент Ie,eff «действительного ухудшения за счет оборудования» Этот коэффициент учитывает снижение отношения сигнал/шум, вносимое кодеками и потерями пакетов (рекомендация ITU-T G 107)-

Ie,ejf =Ie + (95 - le) P" , (2)

Р» + Bpl v '

где Ie - коэффициент ухудшения за счет оборудования при отсутствии потерь пакетов, р„ - вероятность потерь пакетов,%, Bpl - показатель устойчивости к потере пакетов (табл 1) (рекомендация ITU-T G 108) __Таблица 1

Кодек Размер пакета, мс 1е Bpl

G 723 1+VAD 30 15 16,1

G 729A+VAD 20 (2 кадра) 11 19,0

GSM-EFR 20 5 10,0

G 711 10 0 4,3

G 711 с функцией маскирования потерянных кадров (PLC) 10 0 25,1

Если из всех шумов, вызванных пакетной передачей речи, учитывать лишь шумы, создаваемые потерей пакетов (то есть пренебрегать задержкой пакетов и джиттером задержки), то при Яо=95 дБ

R = Ro

1--

Рп Рп + Bpl

(3)

Таким образом ухудшение, вносимое в отношение сигнал/шум потерей пакетов определяется коэффициентом с*=рп/(рп+Вр1) Вызывает сомнение возможность использования такой грубой аппроксимации зависимости отношения сигнал/шум от вероятности рп Кроме того, мощность шумов, вызванных потерей пакетов, оказывается зависящей от мощности сигнала

На рис 3 представлены графики зависимости Ie.eff от рп для некоторых типов кодеков (рекомендация ITU-T G 107) Кодек G.711, с включенной функцией маскирования потерянных кадров (PLC), более устойчив к потере пакетов по сравнению с тем же кодеком без функции маскирования На примере именно этого кодека ниже выполним сопоставление критериев

Вызывает недоумение форма представления коэффициента Ie.eff в рекомендациях ITU-T G 108, G 113 Ни Ie,eff, ни его составляющая 1е при представлении их конкретных значений таблицами и графиками не выражаются в децибелах А сами эти значения, представляемые графиками и таблицами, расчетными формулами рекомендаций не совпадают

о ой ооз оя «м ш ш м м и и

Значения Ie,eff для кодека G 711 с PLC, полученные по графику рис 3 (Ie,effi) и рассчитанные (при 1е=0 и значении Вр1=25,1 из табл 1) по формуле Ie,eff= Ie,eff2- 95 рп /(р„ +25,1), (4)

сведены в табл 2

Таблица 2

Значение коэффициента Ie,eff, дБ при значениях вероятности рп

0,001 0,01 0,02 0,03 0,05 0,09

Ie.eff, 0,5 3 6 9 14 24

Ie,eff2 0,4 3,7 7 10 16 25

Оценивание качества 1Р-телефонии по критериям отношения сигнал/ шум и разборчивости

При потере одного пакета длительностью ^ или последовательности из 1 пакетов длительностью и^к, образуются пробелы в речевом сообщении В процессе депакетизации и восстановления они могут заполняться различными способами

- заменой потерянного фрагмента речи белым шумом той же мощности, что и исходное речевое сообщение,

- соединением начала фрагмента речи, следующего за потерянным фрагментом, с окончанием предшествующего фрагмента (за счет сокращения длительности активного состояния),

- заменой потерянного фрагмента речи предыдущим той же длительности

При потере одиночных пакетов и последовательностей 1=1,2,3, . пакетов нормированная мощность шума восстановления по последнему способу определяется известными формулами

52 = 2р„[ 1-гх(1пак)Ь (5)

52 =2^Рг{г)[\-г1{ипак)\ (6)

<=1

где гл () - нормированная корреляционная функция центрированного речевого сообщения, p,(i) - распределение вероятностей отбраковки подряд i речевых пакетов

Отношение сигнал/шум восстановления (в децибелах) определяется известной формулой

ОСШ = 1018ф (7)

Переход к оценке качества по показателю слоговой разборчивости осуществляется с использованием зависимости, представленной на рис 2 Сопоставление оценок качества IP-телефонии методами аналитического

моделирования.

На примере пакетной передачи речи в IP-телефонии выполнено сопоставление оценок, предоставляемых двумя группами критериев

- критерии отношения сигнал/шум и разборчивости,

- критерии MOS и рейтинга R (Е-модель)

Для определения в первом приближении степени адекватности получаемых оценок будем использовать известные результаты.

Известно, что при IP-телефонии хорошего качества допустимый уровень потерь пакетов составляет

рпдоп= 0,01-0,03, (8)

причем нижняя граница относится к низкоскоростным кодекам, а верхняя -к высокоскоростным

В главе определена зависимость отношения ОСШп мощности сигнала к мощности шума отбраковки от вероятности рп потери речевого пакета длительностью Т>5 мс для процедуры с «маскированием» потерянных фрагментов речи, например для высокоскоростного кодека G711, с включенной функцией маскирования потерянных кадров (PLC) (табл 3)

Значение отношения сигнал/шум ОСШп, дБ при значениях вероятности рп

0,001 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 0,1

26,99 16,99 13,98 12,22 10,97 10,0 9,2 8,5 7,9 7,4 6,8

Данные табл 3 абсолютно точно корреспондируются с (8), поскольку при Рп=0,03 из табл 4 следует ОСШп=12,22 дБ, а значение ОСШ =12дБ соответствует границе между категориями качества «хорошая» и «удовлетворительная»

Оценки качества с использованием Е-модели не дают такой степени соответствия.

Для кодека G711(c PLC) при пренебрежении всеми поправочными коэффициентами кроме Ie.eff получаем значения R (табл 4)

R=Ro-Ie,eff=95-Ie,eff (9)

Таблица 4

Значение отношения сигнал/шум, дБ при значениях вероятности рп

0,001 0,01 0,02 0,03 0,09 0,1

R 94,5 92 89 86 71 69

В оценках MOS граница между хорошим и удовлетворительным качеством составляет 3,5 балла, что соответствует R=68 дБ Из табл 4 следует, что при R,=71 дБ, то есть при рп=0,09 (в три раза выше оценки (8) допустимого уровня потерь) обеспечивается хорошее качество воспроизведения при использовании высокоскоростного кодека

В четвертой главе проведено сопоставление оценок качества IP-телефонии, полученных с использованием имитационного и аналитического моделирований

При замене потерянного одиночного фрагмента речи длительностью tnaK предыдущим фрагментом мощность шума восстановления

Ош2= , + (10)

п-т м

где х, - 1-й отсчет реализации сообщения, п - количество отсчетов в реализации, т - количество отсчетов в пакете

Мощность реализации речевого сообщения

(П)

п-т ы

где шх - среднее значение реализации

Результаты имитационного моделирования - оценки ОСШи отношения сигнал/шум восстановления представлены в табл 5 (рп=0,01,1пак =20 мс)

Таблица 5

Результаты имитационного моделирования в зависимости от количества п отсчетов в реализации

2474 4832 10100 14172 21951 48151

тх -0,0013 -0,00066 -0,000216 -0,000272 -0,000274 -0,000204

ох2 0,04935 0,04177 0,0353 0,0223 0,0296 0,0181

ОСШи, дБ 16,7505 16,7988 16,4726 16,7939 16,5874 16,7726

В табл 5 значения шх, ах представлены в долях и квадратах долей от динамического диапазона сообщения, значения стх составляют от 13 до 22% динамического диапазона

Оценка аналитического моделирования с использованием формулы (5) составляет ОСША=16,9897 дБ при рп=0,01,1пак =20 мс и гх(1гак)=0

Получена высокая степень совпадения результатов имитационного и аналитического моделирований Так, например, относительная разность ОСША и ОСШи (см табл 6 при п = 4832) составляет 1,1% В общем случае учета отбраковки 1 пакетов подряд

ОСШи =101ё

-Р,(<)1>г-т„)2

(12)

При известном для Internet 11,2 кбит/с распределении p,(i) получаем Для tnM=20 мс ОСША = 16,99 дБ, ОСШи = 16,45 дБ и относительную разность оценок 3,2%

Выполнено сопоставление результатов имитационного и аналитического моделирований при сравнении качества пакетной передачи речевого сообщения и его активных состояний

Оценки ОСШи исходной реализации и «обработанной» реализации, полученной из исходной путем удаления фрагментов пассивного состояния речи представлены в табл.6 (р„=0,01, tnaK =20 мс)

Таблица 6

Результаты имитационного моделирования для реализаций

Исходная, п=24001 Обработанная, п=21022

тх -0,0002838 -0,0001554

ах2 0,02536 0,02896

_ 2 0,0004967 0,0005684

ОСШи, ДБ 17,0813 17,0716

Относительная разность ОСША и ОСШи для исходной реализации составляет 0,53% Относительная же разность оценок ОСШи Для исходной и обработанной реализаций составляет 0,056%

В главе выполнено сопоставление оценок качества восстановления звуковых файлов эталонных слоговых таблиц (ГОСТ Р50840-95) с использованием имитационного и аналитического моделирования потери пакетов и процесса восстановления

Использованы эталонные слоговые таблицы Б 560 - Б 564, Б.606 -Б.610, Б 616 - Б 619, представленные в виде звуковых файлов, потерянный фрагмент речи заменялся предыдущим, 1пак =20 мс, рп =0,03, 0,07 и 0,1 . Один из примеров результатов моделирования приведен в табл 7

16 Таблица 7

Результаты имитационного и аналитического моделирования оценок качества восстановления по критерию ОСШ, дБ при рп =0,1

ОСШи, дБ при номере слоговой таблицы ОСША,дБ

Б 616 Б 617 Б 618 Б 619 Б 564

6,41 7,45 5,57 4,71 4,14 6,99

Среднее значение ОСШИСр = 5,66

В пятой главе выполнено сопоставление объективных и субъективных оценок качества речи при аналитическом и имитационном моделировании ее пакетной передачи

Осуществлено сопоставление объективных и субъективных оценок качества восстановления звуковых файлов эталонных слоговых таблиц при имитационном и аналитическом моделированиях потери пакетов и процесса восстановления

Субъективные оценки получены в соответствии с ГОСТ Р50840-95 Артикуляционные измерения проводила бригада аудиторов из 10 человек, прослушивавшие на головные телефоны звуковые файлы слоговых таблиц (подвергнутые искажениям и восстановленные в процессе имитационного моделирования) Слоги воспроизводились в ритме один слог за время (3±0,3)с Пример результатов (при рп =0,03) представлен данными табл 8

Приведенные в табл.9 объективные оценки слоговой разборчивости подразделяем на два вида

- аналитическая оценка Бд, полученная с использованием графика рис 2 на основании аналитической оценки отношения сигнал/шум ОСША (см табл 7),

- оценка Би, полученная с использованием графика рис 2 на основании оценки отношения сигнал/шум ОСШи (см табл 7), являющейся результатом имитационного моделирования

Номер аудитора Количество правильно принятых слогов из 50-ти и среднее значение субъективной оценки слоговой разборчивости при р„=0,03 для слоговой таблицы с номером

Б 560 Б.561 Б 562 Б 563 Б 564

1 19 26 23 27 22

2 27 29 26 26 24

3 27 31 33 33 29

4 33 24 37 31 32

5 27 21 26 22 18

6 25 35 30 27 30

7 25 26 28 27 28

8 25 30 32 29 26

9 34 37 37 36 34

10 19 20 20 21 17

52,2% 55,8% 58,4% 55,8% 52,0%

Среднее значение субъективной оценки слоговой разборчивости для всех слоговых таблиц Sep = 54,8%

Таблица 9

Значения объективных оценок S,% слоговой разборчивости при рп=0,03

Значение оценки SH,% для слоговой таблицы с номером Значение оценки SA,%

Б.560 Б.561 Б 562 Б 563 Б 564

55,50 55,32 51,24 55,99 58,86 64,7

Среднее значение SHcp = 55,38%

Сравнение объективных оценок качества восстановления звуковых файлов эталонных слоговых таблиц при имитационном и аналитическом моделированиях потери пакетов и процесса восстановления показывает

достаточно высокую степень точности используемых методов аналитического моделирования и достаточно высокой степени точности оценок, получаемых при определении качества 1Р-телефонии по критериям отношения сигнал/шум и разборчивости Относительная разность оценок 8а,% и Биср составляет 14,4% (р„=0,03), 9,3% (рп=0,07) и 6,1% (р„=0,1)

Один из результатов (для рп=0,03) сравнения по классам качества воспроизведения представлен в табл 10

Таблица 10

Класс качества воспроизведения речевого сообщения при рп=0,03, определенный исходя из значения оценки слоговой разборчивости

объективной оценки SHCP = 55,38% объективной оценки SA=64,7% субъективной оценки SCp = 54,8%

удовлетворительное Хорошее удовлетворительное

Сравнение объективных и субъективных оценок качества восстановления звуковых файлов эталонных слоговых таблиц при имитационном и аналитическом моделированиях потери пакетов и процесса восстановления показывает достаточно высокую степень точности используемых методов аналитического моделирования и достаточно высокую степень точности оценок, получаемых при определении качества IP-телефонии по критериям отношения сигнал/шум и разборчивости Относительная разность оценок Sep и SHcp составляет 1,04% (для данных, представленных в табл 10)

В табл 11 представлены результаты, иллюстрирующие степень точности известной аналитической зависимости (см рис 2) слоговой разборчивости от отношения сигнал/шум (использовано сопоставление аналитической оценки Sa, полученной на основании аналитической оценки ОСШ по графику рис 2, и субъективной оценки S слоговой разборчивости, полученной для тех же значений оценки ОСШ)

Значения слоговой разборчивости S,% при отношении сигнал/шум ОСШ, дБ

4,14 4,71 5,66 5,75 6,17 6,48 7,50 7,57 7,58 7,87 9,14

SA 47,1 48,6 51,6 51,0 52,3 53,0 55,3 55,5 55,5 58,86 55,9

S 36,8 40,0 38,8 58,4 39,0 46,2 55,8 54,8 52,2 52,0 55,8

Данные табл 11 свидетельствует о достаточной точности аналитической зависимости слоговой разборчивости от отношения сигнал/шум Точность уменьшается по мере уменьшения отношения сигнал/шум Не достаточной она становится в области не используемых на практике значениях отношения сигнал/шум, соответствующих неудовлетворительному качеству воспроизведения речи

Заключение

На основании выполненных исследований получены следующие результаты и выводы

1. При исследовании систем пакетной передачи речи с применением высокоскоростных кодеков не применима методика, использующая систему критериев «MOS - рейтинг R», методика, использующая систему критериев «разборчивость - отношение сигнал/шум» предоставляет адекватные оценки качества

2 В E-модели Рекомендации ITU-T G 107 используется рейтинг R (Quality Rating), который по своей сути является отношением сигнал/шум по мощности В рекомендациях ITU-T G 107, G 108 это обстоятельство не фиксируется Ни R, ни базовый коэффициент Ro (который в той же рекомендации ITU-T G 107 в начале определяется как отношение сигнал/шум по мощности в децибелах) не выражаются в децибелах, как и ряд остальных поправочных коэффициентов в составе рейтинга R

3. Е-модель использует весьма грубую аппроксимацию зависимости отношения сигнал/шум от вероятности потери пакета Кроме того, мощность шумов, вызванных потерей пакетов, предполагается зависящей от мощности сигнала В результате при исследовании систем пакетной передачи речи с применением высокоскоростных кодеков использование системы критериев «MOS - рейтинг R» приводит к завышению практически в три раза оценки допустимой вероятности потери пакета

Хорошее качество IP-телефонии при использовании высокоскоростных кодеков обеспечивается при вероятности потери пакета р„ ¿0,03 Система критериев «MOS - рейтинг R» Е-модели дает оценку хорошего качества (MOS=3,5 и R= 68) при р„=0,1.

Для низкоскоростных кодеков использование системы критериев «MOS - рейтинг R» напротив приводит к занижению оценки допустимой вероятности потери пакета

4 Практически точную оценку допустимого значения вероятности потери пакета при исследовании систем пакетной передачи речи с применением высокоскоростных кодеков предоставляет методика, основанная на системе критериев «разборчивость - отношение сигнал/шум»

Хорошее качество IP-телефонии при использовании высокоскоростных кодеков обеспечивается при рп <0,03 При значении рп =0,03 оценка отношения сигнал/шум составляет ОСШ=12,22 дБ при известной нижней границе ОСШ=12дБ градации хорошего качества.

5 При сопоставлении оценок качества IP-телефонии (по критерию ОСШ), полученных с использованием имитационного и аналитического моделирований показана высокая степень их совпадения Относительная разность оценок составляет 1,1% для рп=0,01 при моделировании отбраковки одиночных пакетов При моделировании с учетом отбраковки нескольких пакетов подряд относительная разница составляет 3,2% (для рп=0,01)

При имитационном моделировании нет необходимости в специальном учете отбраковки пакетов на интервалах пассивного состояния речи При одном и том же механизме отбраковки для исходной реализации речевого сигнала и реализации, полученной из исходной путем удаления фрагментов пассивного состояния речи относительная разность оценок качества (по критерию ОСШ) составила 0,06% (для рп=0,01)

6. При сопоставлении объективных и субъективных оценок (по критериям разборчивости и класса качества) качества восстановления звуковых файлов эталонных слоговых таблиц в условиях имитационного и аналитического моделирования потери пакетов и процесса восстановления, определена достаточно высокая точность используемых методов аналитического моделирования и достаточно высокая степень точности оценок, получаемых при определении качества 1Р-телефонии с применением системы критериев «разборчивость - отношение сигнал/шум»

Относительная разность объективных оценок разборчивости, полученных в результате имитационного и аналитического моделирования составляет 6,1% (при р„=0,03) Относительная разность объективной и субъективной оценок разборчивости, полученных в результате имитационного моделирования составляет 1,04% (при рп =0,03)

7. При комплексном использовании методов имитационного моделирования и артикуляционных измерений определена достаточно высокая точность известной аналитической зависимости разборчивости речи от отношения сигнал/шум на выходе воспроизводящего устройства Относительная погрешность составляет 0,2% при ОСШ=9,1 дБ Точность становится недостаточной в области не используемых на практике значений ОСШ, соответствующих неудовлетворительному качеству воспроизведения речи.

Основные положения диссертации опубликованы в работах

1 Горелов Г В , Моторина Е Г, Подворный П В , Карпов А В Качество IP-телефонии по радиолинии, организованной по технологии Radio-Ethernet с использованием триаксиального излучающего кабеля// Автоматика, связь, информатика - 2005 -№7 -С 15

2 Babenko S V, Petrov А А, Karpov A.V and other Actual questions of telecommunication systems and networks research // Advances in Electrical and Electronic Engineering, Slovakia, Zilina -2006 -№3 - P 421-425

3 Карпов А В Правомочность использования Е-модели ITU-T при определении качества пакетной передачи речи

// http //www milt ru/institut/isute/faculties/re/articles_l htm

4 Карпов А В, Качур И С Статистическое и аналитическое определения качества пакетной передачи речи

// http //www mut ru/mstitut/isute/faculties/re/articles_l htm

5 Горелов Г В , Карпов А В , Качур И С Сопоставление аналитических и статистических оценок качества пакетной передачи речи //ВКСС Connect -2005-№2- С.138-141.

6 Горелов Г В , Бахтиярова Е А, Карпов А В Вероятностные характеристики речевого трафика // Мир транспорта - 2007,- №1 - С 22-25

КАРПОВ АНДРЕЙ ВИКТОРОВИЧ

СРАВНЕНИЕ КРИТЕРИЕВ ОЦЕНКИ КАЧЕСТВА ПАКЕТНОЙ ПЕРЕДАЧИ РЕЧИ МЕТОДАМИ АНАЛИТИЧЕСКОГО И ИМИТАЦИОННОГО МОДЕЛИРОВАНИЙ

05 13 17-Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Сдано в набор 05 03 2007 Подписано к печати 19 03 2007 Формат бумаги 60x80 1/16 Объем 24 пл. Заказ Тираж 80 Типография РАПС, Москва, Октябрьский пер , д. 7.

ОСНОВНЫЕ СОКРАЩЕНИЯ И ОБОЗНАЧЕНИЯ

ВВЕДЕНИЕ

1 .ОБЗОР КРИТЕРИЕВ ОЦЕНИВАНИЯ КАЧЕСТВА РЕЧИ

1.1. Категории речи

1.2. Артикуляционные испытания

1.3. Объективные методы оценки разборчивости не 16 усиленной речи

1.4.Объективные методы оценки разборчивости усиленной

1.5. Сравнение объективных методов оценки разборчивости

1.6. Оценка качества речи по ГОСТу 50840

1.7.Выводы 37 2.ПРИЛОЖЕНИЕ КРИТЕРИЕВ КАЧЕСТВА ВОССТАНОВЛЕНИЯ РЕЧИ К ОЦЕНИВАНИЮ КАЧЕСТВА ЕЕ ПАКЕТНОЙ ПЕРЕДАЧИ

2.1. Особенности пакетной передачи речи (на примере IP- 38 телефонии)

2.2. Оценка качества восстановления речи по критерию отношения сигнал/шум

2.3. Оценка качества восстановления речи по критериям разборчивости

2.4. Оценка качества восстановления речи по критерию MOS

2.5. Оценка качества восстановления речи по критериям Е- 50 модели

2.6.Выводы 59 3 .АНАЛИТИЧЕСКОЕ ОЦЕНИВАНИЕ КАЧЕСТВА 60 ВОССТАНОВЛЕНИЯ РЕЧИ В IP-ТЕЛЕФОНИИ

3.1 Оценка качества IP-телефонии по критерию отношения 60 сигнал/ шум

3.2 Оценка качества IP-телефонии по критериям MOS и Е- 63 модели

3.3 Сопоставление оценок качества IP-телефонии 65 ЗАВыводы

4. ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ ПРИ ОЦЕНИВАНИИ КАЧЕСТВА ВОССТАНОВЛЕНИЯ РЕЧИ В IP-ТЕЛЕФОНИИ 74 4.1 Сопоставление оценок качества восстановления речи в IP-телефонии, полученных с использованием имитационного и аналитического моделирований

4.2. Сопоставление оценок качества восстановления активного состояния речи в IP-телефонии, полученных с использованием имитационного и аналитического моделирований

4.3. Сопоставление оценок качества восстановления звуковых файлов эталонных слоговых таблиц с использованием имитационного и аналитического моделирования потери пакетов и процесса восстановления

4.4. Выводы

5. СОПОСТАВЛЕНИЕ ОБЪЕКТИВНЫХ И СУБЪЕКТИВНЫХ ОЦЕНОК КАЧЕСТВА РЕЧИ ПРИ АНАЛИТИЧЕСКОМ И ИМИТАЦИОННОМ МОДЕЛИРОВАНИИ ЕЕ ПАКЕТНОЙ 83 ПЕРЕДАЧИ

5.1 Сопоставление объективных и субъективных оценок качества восстановления звуковых файлов эталонных слоговых таблиц при имитационном и аналитическом моделированиях потери пакетов 83 и процесса восстановления

5.2. Сопоставление зависимостей слоговой разборчивости от отношения сигнал/шум, полученных с использованием объективных и субъективных методов оценивания качества восстановления речи

5.3. Выводы

Актуальность темы. Развитие современных телекоммуникационных технологий и, в частности, IP-телефонии, связано с пакетной передачей речевой информации [1,35-43,58-60,67-75,81,84,85]. При этом на приемной стороне возможно возникновение коротких пауз в речи вследствие потери речевых пакетов в IP-сетях из-за невозможности переспрашивания. Плохое качество каналов связи и перегрузки в сетях приводят к частым потерям речевых пакетов, что, в свою очередь, вызывает ухудшение разборчивости, а иногда и полную невозможность речевого общения.

Искажение речевой информации, вызванное потерей речевых пакетов, зависит от типа кодеков, применяемых в шлюзах IP-сети. От потери пакетов качество речи в большей степени зависит при использовании низкоскоростных кодеков по сравнению с высокоскоростными кодеками. Принято считать, что в IP-телефонии хорошего качества допустимый уровень потери пакетов может составлять 1-3%, причем меньшее значение относится к низкоскоростным кодекам, а большее - к высокоскоростным.

Для сравнительной оценки качества передаваемой речевой информации разработаны различные методы.

Одним из них является метод MOS (Mean Opinion Score), характеризующий усредненный показатель мнений о качестве и представленный в Рекомендациях ITU-T Р.800 и Р.830 [8].

Другим методом оценки является использование единиц рейтинга R (Quality Rating) по сто балльной шкале. Международным союзом электросвязи была предложена Е-модель, описанная в рекомендации ITU-T G.107 [9], для расчета рейтинга R. Между MOS и R существует зависимость, представленная в [9].

Традиционным является метод, использующий критерий отношения сигнал/шум (ОСШ) на выходе воспроизводящего устройства и разборчивости [52-54,76,79].

Как будет показано ниже, существуют замечания, касающиеся как определения показателя R в Рекомендациях ITU-T, так и по поводу существенной несогласованности оценок качества пакетной передачи речи, предоставляемых критериями MOS и Е-модели и критериями ОСШ и разборчивости.

В связи с изложенными проблемами развития телекоммуникационных технологий анализ различных критериев оценки качества пакетной передачи речевой информации методами аналитического и имитационного моделирования представляется важной и актуальной научно-технической задачей.

Цель работы состоит в совершенствовании методики и критериев оценивания качества пакетной передачи речи путем использования аналитического и имитационного моделирований, выяснении физической сути различных подходов, используемых для оценки качества и выработке необходимых рекомендаций для практического применения используемых методов.

Реализуется следующая последовательность решения задач диссертационной работы:

1.Аналитический обзор критериев оценивания качества речи и их приложений к оцениванию качества пакетной передачи речевой информации.

2.Аналитическое оценивание качества восстановления речи в IP-телефонии по критерию отношения сигнал/ шум и критерию MOS и Е-модели.

3.Оценивание качества восстановления речи в IP-телефонии на основе использования имитационного моделирования процессов потери пакетов речи и процессов ее восстановления.

4.Сопоставление объективных и субъективных оценок качества речи при аналитическом и имитационном моделировании ее пакетной передачи.

Исходная основа диссертации. Диссертация основывается на результатах:

- фундаментальных работ теории информации В.А.Котельникова, Н.Винера, К. Шеннона и др.

- теоретических и прикладных исследований по цифровой обработке и передаче непрерывных речевых со общений Дж. Беллами, А.И.Величкина, М.Д.Венедиктова, Г.В.Вемяна, В.Н.Гордиенко, Г.В.Горелова, А.Г.Зюко, Г.В. Кузнецова, М.В. Назарова, В.А.Лёвина, И.А.Лозового, Н.И.Пилипчук, О.Н.Ромашковой (Луковой), И.А.Шалимова, А.Ф. Фомина и др.

- теоретических и прикладных исследований цифровых средств и систем передачи информации Л.А.Баранова, Л.Рабинера, А.П.Мановцева, В.П.Яковлева и др.

Методы исследования. В работе использованы методы теории вероятностей, математического анализа, статистические методы обработки экспериментальных данных.

Научная новизна. Степень научной новизны диссертации определяется тем, что она развивает теорию восстановления речевых сообщений при их пакетной передаче при комплексном использовании аналитического и имитационного моделирований, объективных и субъективных оценок качества речи.

Практическая ценность разработанных в диссертации математического аппарата и методов имитационного моделирования заключена в предоставленной возможности получения объективных результатов оценки качества речи, использованных при анализе и проектировании конкретных цифровых систем пакетной передачи речевой информации.

5.3. Выводы

1 .При сопоставлении (по критериям разборчивости и класса качества) объективных и субъективных оценок качества восстановления звуковых файлов эталонных слоговых таблиц в условиях имитационного и аналитического моделирования потери пакетов и процесса восстановления, определена достаточно высокая степень точности используемых методов аналитического моделирования и достаточно высокая степень точности оценок, получаемых при определении качества IP-телефонии по критериям отношения сигнал/ шум и разборчивости.

Относительная разность объективных оценок разборчивости, полученных в результате имитационного и аналитического моделирования составляет от 6,1% (при значении 3% вероятности потери пакета) до 14,4% (при значении 10% вероятности потери пакета).

Относительная разность объективной и субъективной оценок разборчивости, полученных в результате имитационного моделирования составляет от 1,04% (при значении 3% вероятности потери пакета) до 23,8% (при значении 10% вероятности потери пакета).

2. Сопоставлением аналитической и субъективной оценок слоговой разборчивости определена достаточная степень точности известной аналитической зависимости разборчивости речи от отношения сигнал/шум на выходе воспроизводящего устройства. Относительная разность этих оценок уменьшается по мере уменьшения отношения сигнал/шум с 0,2% (при ОСШ=9,1 дБ) до 14,5% (при ОСШ=5,7 дБ). Степень точности становится недостаточной при не используемых на практике значениях отношения сигнал/шум, соответствующих неудовлетворительному качеству воспроизведения речи.

ЗАКЛЮЧЕНИЕ

На основании выполненных исследований получены следующие результаты и выводы.

1. При исследовании систем пакетной передачи речи с применением высокоскоростных кодеков не применима методика, использующая систему критериев «MOS - рейтинг R»; методика, использующая систему критериев «разборчивость - отношение сигнал/шум» предоставляет адекватные оценки качества.

2. В Е-модели Рекомендации ITU-T G.107 используется рейтинг R (Quality Rating), который по своей сути является отношением сигнал/шум по мощности. В рекомендациях ITU-T G.107, G.108 это обстоятельство не фиксируется. Ни R, ни базовый коэффициент Ro (который в той же рекомендации ITU-T G.107 в начале определяется как отношение сигнал/шум по мощности в децибелах) не выражаются в децибелах, как и ряд остальных поправочных коэффициентов в составе рейтинга R.

3. Е-модель использует весьма грубую аппроксимацию зависимости отношения сигнал/шум от вероятности потери пакета. Кроме того, мощность шумов, вызванных потерей пакетов, предполагается зависящей от мощности сигнала. В результате при исследовании систем пакетной передачи речи с применением высокоскоростных кодеков использование системы критериев «MOS - рейтинг R» приводит к завышению практически в три раза оценки допустимой вероятности потери пакета.

Хорошее качество IP-телефонии при использовании высокоскоростных кодеков обеспечивается при вероятности потери пакета рп <0,03. Система критериев «MOS - рейтинг R» Е-модели дает оценку хорошего качества (MOS=3,5 и R= 68) при рп=0,1.

Для низкоскоростных кодеков использование системы критериев «MOS - рейтинг R» напротив приводит к занижению оценки допустимой вероятности потери пакета.

4. Практически точную оценку допустимого значения вероятности потери пакета при исследовании систем пакетной передачи речи с применением высокоскоростных кодеков предоставляет методика, основанная на системе критериев «разборчивость - отношение сигнал/шум».

Хорошее качество IP-телефонии при использовании высокоскоростных кодеков обеспечивается при рп <0,03. При значении рп =0,03 оценка отношения сигнал/шум составляет ОСШ=12,22 дБ при известной нижней границе ОСШ=12дБ градации хорошего качества.

5. При сопоставлении оценок качества IP-телефонии (по критерию ОСШ), полученных с использованием имитационного и аналитического моделирований показана высокая степень их совпадения. Относительная разность оценок составляет 1,1% для рп =0,01 при моделировании отбраковки одиночных пакетов. При моделировании с учетом отбраковки нескольких пакетов подряд относительная разница составляет 3,2% (для рп =0,01).

При имитационном моделировании нет необходимости в специальном учете отбраковки пакетов на интервалах пассивного состояния речи. При одном и том же механизме отбраковки для исходной реализации речевого сигнала и реализации, полученной из исходной путем удаления фрагментов пассивного состояния речи относительная разность оценок качества (по критерию ОСШ) составила 0,06% (для рп=0,01).

6. При сопоставлении объективных и субъективных оценок (по критериям разборчивости и класса качества) качества восстановления звуковых файлов эталонных слоговых таблиц в условиях имитационного и аналитического моделирования потери пакетов и процесса восстановления, определена достаточно высокая точность используемых методов аналитического моделирования и достаточно высокая степень точности оценок, получаемых при определении качества IP-телефонии с применением системы критериев «разборчивость - отношение сигнал/шум».

Относительная разность объективных оценок разборчивости, полученных в результате имитационного и аналитического моделирования составляет 6,1% (при рп=0,03). Относительная разность объективной и субъективной оценок разборчивости, полученных в результате имитационного моделирования составляет 1,04% (при рп =0,03).

7. При комплексном использовании методов имитационного моделирования и артикуляционных измерений определена достаточно высокая точность известной аналитической зависимости разборчивости речи от отношения сигнал/шум на выходе воспроизводящего устройства. Относительная погрешность составляет 0,2% при ОСШ=9,1 дБ. Точность становится недостаточной в области не используемых на практике значений ОСШ, соответствующих неудовлетворительному качеству воспроизведения речи.

1. Горелов Г.В. Алгоритм Burst aloha в статистическом уплотнении аудио-информационных сигналов. "ЛОКСЕТЬ 90", Рига, 1990.- с.38-41.

2. Горелов Г.В. Качество воспроизведения речи в стохастических цифровых системах передачи.//Автоматика и вычислительная техника. 1993 .-N5. с.40-43.

3. Горелов Г.В., Казанский Н А., Лукова О. Н. Методика оценки качества пакетной передачи речи в интегральных цифровых сетях. Электросвязь, № 9. 1992, с. 31-33.

4. Горелов Г.В., Ромашкова О.Н., Чан Туан Ань. Качество управления речевым трафиком в телекоммуникационных сетях. М.: Радио и связь, 2001 5.ISO/TR 4870: 1991: Acoustics. The construction and calibration of speech intelligibility tests.

5. Горелов Г.В., Казанский H.A., Лукова О.Н.Оценка качества различных методов восстановления речи в цифровых сетях с коммутацией пакетов речи и данных. Автоматика и вычислительная техника. 1993. N4 с.77-78

6. ITU-T Recommendation G.107 (07/2002). The E-Model, a computational model for use in transmission planning.

7. ETSI ETR 250 (07/1996). Transmission and Multiplexing (TM); Speech communication quality from mouth to ear for 3,1 kHz handset telephony across networks.

8. ITU-T Recommendation G.108 (09/99): Application of the E-model: A planning guide.

9. ITU-T Recommendation G.113 Appendix I (05/2002): «Provisional planning values for the equipment impairment factor Ie and packet-loss robustness factor Bpl. Transmission impairments.

10. Вемян Г.В. Передача речи по сетям электросвязи. М.: Радио и связь, 1985.

11. Пчелинцев А.В. Разработка методики оценки качества восстановления речи на фоне шумов, коррелированных с речевым сообщением. Диссертация на соискание ученой степени кандидата технических наук. Москва. 2003.

12. CCITT Contribution Com.XII-N. Study period, vol. V, Q 1S/XII, Annex 3,4.

13. Горелов Г.В., Моторина Е.Г., Подворный П.В., Карпов А.В. Качество IP-телефонии по радиолинии, организованной по технологии Radio-Ethernet с использованием триаксиального излучающего кабеля. Автоматика, связь, информатика.- 2005.-№7.-С.15.

14. Карпов А. В. и др. Актуальные вопросы исследования телекоммуникационных систем и сетей.//Advances in Electrical and Electronic Engineering. Словакия Жилина.-2006.-№3

15. Моторина Е.Г. Качество IP-телефонии при мобильном доступе стандарта IEEE 802.11 Radio-Ethernet с использованием излучающего кабеля. Диссертация на соискание ученой степени кандидата технических наук. Москва. 2006.

16. How Delay and Packet Loss Impact Voice Quality in VoIP. Choon Shim, Liehue Xie, Bryan Zhang, C.J. Sloane. http://www.qovia.com. 2003

17. Левин В.А.Система информационного взаимодействия на железнодорожном транспорте с применением 1Р-телефонии. Диссертация на соискание ученой степени кандидата технических наук Москва-2003.

18. Defense standard 00-25 (part 9)/Issue 1. Human factors for designers of equipment. Part 9: Voice communication.

19. ANSI S3.2-1989. Method for Measuring the Intelligibility of Speech over Communications System.

20. ISO/TR 4870:1991: Acoustics. The construction and calibration of speech intelligibility tests.

21. Sami Lemmetty. "Master's Thesis: Review of Speech Synthesis Technology". HELSINKI UNIVERSITY OF TECHNOLOGY. Laboratory of Acoustics and Audio Signal Processing. 1999

22. ANSI S3.14-1977 (R 1997) American National Standard for Rating Noise with Respect to Speech Interference.

23. ISO/TR 3352 -1974. Acoustics Assessment of noise with respect to its effect on the intelligibility of speech.

24. Каргашин В. JI. «Совершенствование методических принципов оценки защищенности помещений от утечки речевой информации». Специальная техника №

25. IEC 60268-16 Ed. 1.0 b-1988: Sound system equipment. Part 16: The objective rating of speech Intelligibility.

26. Железняк В. К., Макаров Ю. К., Хорев А. А., «Некоторые методические подходы к оценке эффективности защиты речевой информации». Специальная техника № 6. М-2000.

27. Кученков Е. Б. «Подходы к разработке методики оценки защищенности ВТСС». Специальная техника №1. М-2002.

28. IEC 60849 Ed. 1.0 b-1989: Sound systems for emergency purposes.

29. ANSI S3.5-1969 American National Standard Methods for the Calculation of the Articulation Index.

30. J. S. Bradely, C. Wang. "Speech privacy in open-plan offices: I-Systematic measurements." Acoustic society of America. Meeting in Chicago. 2001.

31. Галичский К. Компьютерные системы в телефонии. СПб. BHV-Санкт-Петербург, 2002

32. Беллами Д.К. Цифровая телефония, М. Эко-трендз, 2004

33. Байрен Дж. Передача речи по сетям Frame Relay // Сети и системы связи. 1996. № 7.

34. Берлин А.Н. Устройства, системы и сети коммутации. — СПб.: Петеркон, 2003.

35. Галичский К, Компьютерные системы в телефонии. Серия «Мастер систем». — СПб.: ВНУ-Санкт-Петербург, 2002.

36. Голъдштейн Б.С., ПтчукА.В., Суховщкий A.J1. IP-Телефония. — М.: Радио и связь, 2001.

37. Рабинер J1.P., Шафер Р.В. Цифровая обработка речевых сигналов М.Радио и связь -1981.-496.

38. Горелов Г.В. Телекоммуникационные технологии на железнодорожном транспорте. М.: УМК МПС РФ, 1999. -576 с.

39. Горелов Г.В. Нерегулярная дискретизация сигналов. М.: Радио и связь, 1982.-256 с.

40. Горелов Г.В., Каргулин С.Г., Рогов М.А. К оценке качества передачи речи в стандарте GSM. Информационно-управляющие системы на железнодорожном транспорте Харьков 1997, N1, с.30-33

41. Горелов Г.В., Казанский Н.А. Математические сообщений модели доставки к мобильным абонентам в сотовых и телефонных сетях связи. ПФИС-91. Часть 1, Новосибирск 1991 с. 88-95

42. Лукова О.Н. Анализ качества стохастической цифровой передачи речевой информации. Методика и ее использование при разработке информационных систем. Диссертация, на соискание ученой степени канд. тех. наук. М. МИИТ.1994. 149 с.

43. Горелов Г.В., Лукова О.Н. Влияние алгоритмов поиска на качество передачи речи по сети с коммутацией пакетов. Обработка сигналов в системах двусторонней телефонной связи. М.- Пушкино.1994 с.136-138.

44. Горелов Г.В., Лукова О.Н., Чан Куок Тхинь. Влияние порога задержек на качество передачи в пакетных сетях ARPANET. Обработка сигналов в системах двусторонней телефонной связи. М.- Пушкино.1994 с. 139-140.

45. Горелов Г.В., Ромашкова О.Н. Influence of Russian, Spanish and Vietnamese Speech Characteristics on Digital Information Transmission Quality ISIE'96 Варшава 1996 с. 311-313

46. Горелов Г.В. ,Ромашкова О.Н. Методы аналитической оценки качества речи в цифровых системах передачи. .ГУЖЕЛ'97 Белград 1997 с.132-135.

47. Горелов Г.В. ,Ромашкова О.Н., Чан Туан Ань, Лам Куанг Шон. Об оптимизации процедуры предыскажения, дискретизации и восстановления сигнала. Информационно-управляющие системы на железнодорожном транспорте Харьков 1999. N2 с. 30-35

48. Горелов Г.В., Ромашкова О.Н., Лам Куанг Шон. Анализ фильтрации нерегулярно дискретизированного сигнала ПТСПИ'99 с. 180-184

49. Горелов Г.В., Ромашкова О.Н. Сопоставление оценок качества фильтрации и интерполяции нерегулярно дискретизированного сигнала 1УЖЕЛ'99 Белград 1999 с. 63-65

50. Горелов Г.В., Ромашкова О.Н., Иваний Ю.Б. Качество фильтрации при пуассоновском распределении интервала в потоке отсчетов на входе восстанавливающего фильтра. Информационно-управляющие системы на железнодорожном транспорте Харьков 2000 N4 с. 68-75

51. Горелов Г.В., Кочнов JI.JL, Пчелинцев А.В., Пчелинцева Н.М. К оценке качества полосного вокодера. Обработка сигналов в системах телефонной связи. 1998 с. 71-74

52. Горелов Г.В., Казанский Н.А., Лукова О.Н.Оценка качества связи в сетях с пакетной передачей речи при воздействии случайных прерываний обслуживания. Автоматика и вычислительная техника. 1993. N1 с. 69-71

53. Горелов Г.В., Казанский Н.А., Лукова О.Н.Оценка качества различных методов восстановления речи в цифровых сетях с коммутацией пакетов речи и данных. Автоматика и вычислительная техника. 1993. N4 с. 77-78.

54. Быков С.Ф., Журавлев В.И., Шалимов И.А. Цифровая телефония. М. Радио и связь, 2003

55. Гольдштейн Б.С. Системы коммутации. — СПб.: БХВ Петербург, 2003.

56. Запорожченко Н.П., Карташевский В.Г. и др. Цифровые АТС для сельской связи. — М.: Эко Трендз, 2003.

57. Горелов Г.В., Иванов А.В.Устройство для передачи и приема информации АС СССР 1520571 Бюлл. 41, 1989.

58. Горелов Г.В., Иванов А.В.Многоканальное устройство с импульсно-кодовой модуляцией и временным уплотнением каналов АС СССР 1561202 Бюлл. 16,1990.

59. Горелов Г.В., Иванов А.В., Лукова О.Н. Устройство для передачи и приема информации АС СССР 1837348 Бюлл.32, 1993.

60. Горелов Г.В., Иванов А.В.Оценка величины искажений квантования в условиях статистического уплотнения первичной ЦСП. Исследование и разработка современных радиоэлектронных элементов и устройств. Рига, 1989 с.87.

61. Горелов Г.В., Иванов А.В. Оценка качества передачи речевого сигнала при статистическом уплотнении первичной ЦСП. Исследование и разработка современных радиоэлектронных элементов и устройств. Рига, 1989 с. 88.

62. Горелов Г.В., Лукова О.Н.Иванов А.В.Устройство статистического уплотнения каналов связи системы передачи с ИКМ. Автоматика, телемеханика и связь 1992 N4 с. 13-14.

63. Горелов Г.В. Качество воспроизведения речи в стохастических цифровых системах передачи.//Автоматика и вычислительная техника. 1993. -N5. с. 40-43.

64. Берлин А.Н. Устройства, системы и сети коммутации. СПб. Петеркон, 2003.

65. Ситняковский И.В., Мейкшан В.И. ,Маглицкий Б.Н. Цифровая сельская связь; Под ред. Бенедиктова М.Д. М. Радио и связь, 1994. -248 с.

66. Баркун М.А., Ходасевич О.Р. Цифровые системы синхронной коммутации. — М.: Эко Трендз, 2001.

67. Гитин В.Я., Кочановский Л.Н. Волоконно-оптические системы передачи. — М.: Радио и связь, 2003.

68. Голъдштейн Б.С., Фрейнкман В.А. СаП-центры и компьютерная телефония. — СПб.: БХВ-Петербург, 2002.

69. Росляков А.В., Самсонов М.Ю., Шибаева И.В. 1Р-телефония. — М.: Эко -Трендз, 2001.

70. Крестьянинов С.В. и др. Интеллектуальные сети и компьютерная телефония. —М.: Радио и связь, 2001

71. Лагутенко О.И. Современные модемы. — М.: Эко Трендз, 2002.

72. Величкин А.И. Теория дискретной передачи непрерывных сообщений.-М. Сов. радио 1970-296 с.

73. Горелов Г.В., Толмачев П.Н. , Бахтиярова Е.А. К оценке качества восстановления речевого сообщения при статистическом уплотнении первичной цифровой системы передачи//ВКСС Connect 2006, №2, с. 94-97

74. Горелов Г.В., Ромашкова О.Н. Modelling of Speech Information Probability Characteristics for Analysis of Speech Digital Transmission Quality. TEMPT'96 София 1996 c. 104-111.

75. Величкин А.И. Передача аналоговых сообщений по цифровым каналам связи. М.: Радио и связь, 1983.

76. Transmission performance characteristics of pulse code modulation channels. ITU-T Recommendation G.712. (Previously CCITT Recommendation)

77. Назаров M.B., Прохоров Ю.Н. Методы цифровой обработки и передачи речевых сигналов, М.: Радио и связь, 1985. -176 с.

78. Горелов Г.В., Кинтана М. Квантование по уровню при статистическом уплотнении цифровой системы передачи. Радиотехника 1992 N3 с. 3-5.

79. Горелов Г.В., Толмачев П.Н., Бахтиярова Е.А. Качество передачи речи при уплотнении первичной цифровой системы передачи, Казахстан

80. Прокис Дж. Цифровая связь: Пер. с англ. — М.: Радио и связь, 2000.

81. Феер К. Беспроводная цифровая связь: Пер. с англ. / Под ред. В.И. Журавлева. — М.: Радио и связь, 2000.

82. А.В. Карпов, И.С. Качур. "Статистическое и аналитическое определение качества пакетной передачи речи". Статьи аспирантов кафедры "Радиотехника и электросвязь". http://www.miit.ru/institut/isute/faculties/re/articles 1 .htm

83. Карпов А.В. "Правомочность использования Е-модели ITU-T при определении качества пакетной передачи речи". Статьи аспирантов кафедры "Радиотехника и электросвязь". http://www.miit.ru/institut/isute/faculties/re/articles 1 .htm

84. Горелов Г.В., Карпов А.В., Качур И.С., «Сопоставление аналитических и статистических оценок качества пакетной передачи речи», ВКСС Connect 2005, №2 стр. 138-141.

85. Горелов Г.В., Бахтиярова Е.А., Карпов А. В. «Вероятностные характеристики речевого трафика». Мир Транспорта. -2007, -№1, с 22-25.