автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Моделирование и автоматизация тестирования процессов передачи мультимедийных потоков на основе комплексной оценки задержек их воспроизведения

На правах рукописи

Забровский Анатолий Леонидович

МОДЕЛИРОВАНИЕ И АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ ПРОЦЕССОВ ПЕРЕДАЧИ МУЛЬТИМЕДИЙНЫХ ПОТОКОВ НА ОСНОВЕ КОМПЛЕКСНОЙ ОЦЕНКИ ЗАДЕРЖЕК ИХ ВОСПРОИЗВЕДЕНИЯ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат

диссертации на соискание ученой степени кандидата технических наук

5 ДЕК 2013

Петрозаводск - 2013

005543166

Работа выполнена на кафедре теории вероятностей и анализа данных ФГБОУ ВПО «Петрозаводский государственный университет»

Научный руководитель:

доктор технических наук, профессор Рогов Александр Александрович

Официальные оппоненты:

Лисицына Любовь Сергеевна,

доктор технических наук, профессор ФГБОУ ВПО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики», заведующая кафедрой компьютерных образовательных технологий

Богоявленский Юрий Анатольевич,

кандидат технических наук, доцент, ФГБОУ ВПО «Петрозаводский государственный университет», заведующий кафедрой информатики и математического обеспечения

Ведущая организация:

ФГБОУ ВПО «Московский государственный индустриальный университет»

Защита состоится «26» декабря 2013 г. в 16:00 часов на заседании диссертационного совета Д 212.190.03 на базе ФГБОУ ВПО «Петрозаводский государственный университет» по адресу: 185910, г. Петрозаводск, пр. Ленина, 33.

С диссертацией можно ознакомиться в научной библиотеке Петрозаводского государственного университета.

Автореферат разослан < м ноября 2013 г.

Ученый секретарь диссертационного совета

Р. В. Воронов

Общая характеристика работы

Актуальность темы исследования

Достоверная информация о возможностях удаленных клиентов принять мультимедийный поток без задержек требует больших организационных и временных затрат. Применение информационных технологий и математического моделирования позволяет автоматизировать тестирование и получение информации от удаленных пользователей для дальнейшей ее оценки. Выбор битовых скоростей трансляции мультимедийных потоков напрямую влияет на качество воспроизведения потока на стороне клиента.

На сегодняшний день существуют методы адаптивного или динамического переключения битовых скоростей потоков. Однако недостатком этих методов является то, что администратор системы видеотрансляций не может использовать их для тестирования способности удаленных пользователей получать мультимедийный поток с заданной скоростью. Использование таких методов требует создания многочисленных потоков с разными битовыми скоростями, при этом в определенных случаях мультимедийные потоки с малыми битовыми скоростями неприемлемы для проводимого мероприятия.

Таким образом, оценка качества получения мультимедийных потоков удаленными пользователями, рассматриваемая в данном диссертационном исследовании, является актуальной. Степень разработанности темы исследования

Современные методы тестирования способности удаленных клиентов получить мультимедийный поток с необходимым качеством в первую очередь основываются на анализе состояния сетевого канала. Во многих случаях тестирование потока либо совсем не производится, либо происходит по следующему сценарию: удаленные пользователи получают от администратора ссылку на веб-страницу, где осуществляется тестовая трансляция мультимедийного потока с какой-то одной битовой скоростью. После этого пользователи могут запустить видеоплеер, посмотреть изображение и самостоятельно сделать вывод о качестве принимаемого потока. Время, в течение которого пользователи заходят на веб-страницу, является произвольным и не может точно характеризовать состояние загрузки сетевого канала. Существующие сервисы и программные решения для тестирования удаленных точек сети не используют информацию от видеоплееров удаленных клиентов. Таким образом, тестирование в данном случае не дает правильной оценки возможности удаленных клиентов получить мультимедийный поток с нужным качеством.

Цель работы

Автоматизация тестирования мультимедийных потоков на основе комплексной оценки задержек их воспроизведения для определения способности удаленного пользователя принимать мультимедийный поток с заданной битовой скоростью.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести анализ существующих методов тестирования удаленных клиентов.

2. Разработать имитационную модель системы передачи мультимедийных потоков в реальном режиме времени, учитывающую факторы, влияющие на задержки воспроизведения.

3. Провести эксперименты по эмулированию мультимедийных потоков с различными влияющими факторами.

4. Разработать численный метод оценки параметров воспроизведения мультимедийного потока и алгоритм его использования на реальных данных.

5. Реализовать разработанный критерий в программной системе.

6. Разработать веб-сервис для тестирования удаленных пользователей.

7. Использовать результаты работы на практике при организации видеотрансляций Петрозаводского государственного университета.

Методология и методы исследования. Методы и технологии имитационного моделирования, математические методы планирования экспериментов, методы и средства инженерии программного обеспечения, \УеЬ-технологии.

Объект исследования. Процессы передачи мультимедийных потоков, передаваемых в реальном режиме времени.

Предмет исследования. Моделирование и автоматизация тестирования процессов передачи мультимедийных потоков.

Научная новизна

• Имитационная модель, эмулирующая значения факторов, влияющих на задержки воспроизведения мультимедийных потоков, транслируемых в реальном режиме времени, которая впервые позволила исследовать значения состояния воспроизведения мультимедийных потоков видеоплеера.

• Новый критерий комплексной оценки задержек воспроизведения мультимедийных потоков, применение которого позволило моделировать и автоматизировать процесс тестирования как в проводных, так и в беспроводных \\^-Р1-сетях.

• Новый алгоритм для быстрого тестирования удаленных точек сети, использующий численные методы анализа параметров воспроизведения мультимедийного потока.

Теоретическая и практическая значимость

• Предложенный метод, а также критерий комплексной оценки задержек воспроизведения мультимедийных потоков реализованы в веб-сервисе, доступ к которому открыт для всех желающих. Удаленные пользователи, используя разработанное программное приложение для

тестирования качества воспроизведения мультимедийных потоков, получают более точную оценку по сравнению с существующей методикой.

• Система имитационного моделирования значений факторов, влияющих на задержки воспроизведения мультимедийных потоков, транслируемых в реальном режиме времени, расширяет возможности разработки новых критериев оценки качества, а также может использоваться в образовательном процессе для наглядной демонстрации влияния различных факторов на воспроизведение видеопотока.

• Веб-сервис возможно использовать для рационализации расположения беспроводных точек доступа, применяемых для передачи мультимедийных потоков.

Степень достоверности

Достоверность результатов проведенных исследований подтверждается

совпадением результатов моделирования и реальных данных.

Положения, выносимые на защиту

• Критерий комплексной оценки задержек воспроизведения мультимедийных потоков, способствующий выбору битовых скоростей для потоков.

• Имитационная модель системы передачи мультимедийных потоков в реальном режиме времени, учитывающая факторы, влияющие на задержки воспроизведения, позволяет эмулировать реальный процесс передачи мультимедийных потоков.

• Программный комплекс, реализующий предложенную модель и численные методы и предназначенный для удаленного тестирования пользователей.

Апробация работы

Результаты диссертационного исследования докладывались и обсуждались

на следующих конференциях и семинарах:

1. VII Всероссийская научно-практическая конференция «Информационная среда вуза XXI века» (Петрозаводск, 2013).

2. XLIV международная научная конференция аспирантов и студентов «Процессы управления и устойчивость» (Санкт-Петербург, 2013).

3. Выступление на семинаре факультета Department of Photonics Engineering, Технический университет Дании (Копенгаген, Дания, 2012).

4. Научно-методическая конференция «Университеты в образовательном пространстве региона: опыт, традиции и инновации» (Петрозаводск, 2012).

5. Выступление на конференции DIVERSE 2012 (Левен, Бельгия, 2012).

6. Выступление на семинаре Networking research group, Helsinki Institute for Information Technology (Хельсинки, Финляндия, 2012).

7. Выступление на семинаре факультета Faculty of Computing, University of Latvia (Рига, Латвия, 2012).

8. Доклад в Media and Learning Unit, Католический университет Левена (Левей, Бельгия, 2012).

По результатам выполненных исследований и разработок опубликовано 10 статей в научных журналах, в том числе 3 публикации в изданиях, входящих в перечень ВАК.

Разработанный программный комплекс был использован в процессе тестирования точек сети в рамках гранта Программы стратегического развития на 2012-2016 гг. «Университетский комплекс ПетрГУ в научно-образовательном пространстве Европейского Севера: стратегия инновационного развития».

Программы для ЭВМ, входящие в состав программного комплекса, зарегистрированы в Объединенном фонде электронных ресурсов «Наука и образование» (ОФЭРНиО) № 19332 от 27.06.2013.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, библиографического списка (128 наименований) и имеет объем 105 страниц машинописного текста, включая одну страницу приложений, содержит 35 рисунков и 10 таблиц.

Содержание работы

Во введении содержится обоснование актуальности темы диссертационного исследования, сформулированы цель и задачи, научная новизна, практическая значимость работы, указаны основные положения, выносимые на защиту, а также описание структуры диссертационной работы.

В первой главе представлен обзор литературы и исследованы существующие способы передачи образовательных мультимедийных потоков. В данной главе вводится понятие качества восприятия Quality of Experience (QoE) и рассматриваются различные факторы, от которых оно зависит. Приводятся особенности и способы проведения тестирования удаленных пользователей.

Существующие программы и сервисы тестирования сетевого соединения не позволяют самостоятельно выбрать битовую скорость запрашиваемого мультимедийного потока, а также наглядно увидеть процесс воспроизведения получаемого потока от определенного сервера. В свою очередь, для выбора наиболее подходящей битовой скорости мультимедийного потока для существующего канала пользователя необходимо проведение тестирования удаленного пользователя именно с требуемой битовой скоростью. Также очень важно получение администратором информации о параметрах качества воспроизведения мультимедийного потока от видеоплеера клиента.

В представленном диссертационном исследовании рассматриваются определенные факторы, влияющие на появление задержек в воспроизведении

мультимедийного потока, передаваемого в реальном режиме времени по протоколу Real Time Messaging Protocol (RTMP). Для построения системы имитационного моделирования была разработана и исследована схема передачи мультимедийного потока, максимально приближенная к реальным условиям, которая представлена на рис. 1. С помощью программы видеокодера мультимедийный поток формируется из видеофайла или другого источника данных, кодируется и отсылается на медиасервер в реальном режиме времени. В зависимости от настроек видеокодера на нем могут создаваться потоки с разными битовыми скоростями.

Поток передается по сети на компьютер пользователя и далее воспроизводится в видеоплеере. В процессе передачи мультимедийного потока от сервера до пользователя на него могут влиять различные сетевые факторы, а также оказывать влияние загрузка оперативной памяти и процессора компьютера, на котором осуществляется воспроизведение потока в видеоплеере. Основные сетевые факторы: потери пакетов, сетевая задержка, полоса пропускания сетевого канала, джиттер.

Видеокодер Медиасервер Сеть Компьютер Видеоплеер

Видеофайл -Кодек: Н.264 -Разрешение: 640x360 -Количество кадров а секунду: 25 -Частота ключевых кадров: 5 сек.

Рис. 1. Схема передачи мультимедийного потока

Во второй главе описывается разработанная система имитационного моделирования значений факторов, влияющих на задержки воспроизведения мультимедийных потоков, транслируемых в реальном режиме времени. Данная система предназначена для исследования и тестирования новых мультимедийных сервисов и систем, а также для проверки создаваемых критериев оценки воспроизведения мультимедийных потоков. Схема системы имитационного моделирования представлена на рис. 2.

экспериментом

Рис. 2. Система имитационного моделирования Основные элементы системы:

• Видеокодер (WireCast).

• Медиасервер.

• Сетевой эмулятор (WANem).

• Веб-интерфейс управления.

• Flash-плеер и компьютер клиента.

• База данных.

Видеокодер WireCast предназначен для передачи на сервер мультимедийных потоков с разными битовыми скоростями в реальном режиме времени.

В качестве медиасервера применяется программное обеспечение Adobe Flash Media Server, которое использует для передачи мультимедийных потоков в режиме реального времени протокол RTMP. Разработанная система имитационного моделирования может также использовать Wowza Media Server.

Сетевой эмулятор Wide Area Network Emulator (WANem) установлен и настроен на сервере, который расположен между медиасервером и клиентом. Для того, чтобы сетевой мультимедийный трафик передавался не напрямую от сервера к клиенту, а через WANem, были прописаны соответствующие маршруты в таблицах маршрутизации медиасервера и компьютера клиента.

Загрузка процессора на компьютере клиента реализуется с помощью запуска процессов архивирования мультимедийных файлов большого размера. Загрузка оперативной памяти до определенного уровня достигается за счет загрузки в нее файлов.

Управление экспериментом реализовано с помощью веб-интерфейса, состоящего из РНР-сценариев, хранящихся на веб-сервере. Функционал данного элемента системы обеспечивает просмотр списка проведенных экспериментов в веб-браузере с возможностью получения детальной информации о каждом проделанном эксперименте. Информация по каждому эксперименту выводится в виде интерактивных графиков, отражающих изменения различных значений параметров воспроизведения мультимедийного потока (рис. 3).

Эксперимент 42

25 20 Размер ^ буфера, сек 10 5 0 --------------------------------------------—-

) 8 16 24 32 40 48 56 64 72 80 88 Время от начала експерименте, с«к

Рис. 3. Размер буфера Flash-плеера в секундах

Также в этот элемент входит веб-интерфейс настройки и запуска сетевого эмулятора WANem. Веб-интерфейс управления позволяет добавлять описания эксперимента в базу данных. При этом существует разработанное стандартное описание экспериментов по умолчанию, в котором необходимо только указать значения эмулируемых сетевых факторов будущего эксперимента.

Для запуска эксперимента необходимо выбрать и загрузить через веб-интерфейс управления HTML-страницу со встроенным Flash-плеером. Сразу после загрузки данной страницы интернет-браузером Flash-плеер начинает автоматически отсылать значения состояния воспроизведения мультимедийного потока в удаленную базу данных Mysql. Компьютер, на котором запускается Flash-плеер, обозначается как компьютер клиента и предназначен для визуального мониторинга качества воспроизводимых мультимедийных потоков. Параллельно с визуальным наблюдением экспериментатором воспроизведения мультимедийного потока Flash-плеер отправляет свои собственные значения состояния воспроизведения мультимедийного потока в удаленную базу данных. В созданной системе в качестве видеоплеера используется Strobe Media Playback - это свободно распространяемый Flash-плеер с открытым исходным кодом. Для экспериментов видеоплеер был запрограммирован таким образом, чтобы перед началом воспроизведения мультимедийного потока он накапливал

буфер данных, равный десяти секундам, и затем начинал отображение видеопотока.

Последовательность проведения эксперимента состоит из следующих шагов: в первую очередь в веб-интерфейсе управления создаются эксперимент и его описание, которые сохраняются в таблице experiments базы данных Mysql. Описание эксперимента включает в себя информацию об эмулируемых сетевых параметрах, характеристиках передаваемого потока и др. Все операции взаимодействия с базой данных осуществляются через веб-интерфейс управления.

На следующем шаге происходит настройка видеокодера. В настройках видеокодера устанавливается битовая скорость транслируемого мультимедийного потока. В качестве источника сигнала на входе видеокодера используется образовательное видео, созданное для экспериментов. Продолжительность видео составляет 182 секунды.

Через веб-интерфейс сетевого эмулятора WANem задаются значения сетевых параметров, которые будут выступать в роли влияющих факторов.

После этого необходимо запустить трансляцию мультимедийного потока с видеокодера на сервер и загрузить HTML-страницу со встроенным Flash-плеером. Время проведения эксперимента чуть больше или равно продолжительности видеофайла.

По окончании проведения эксперимента с помощью веб-интерфейса управления можно посмотреть графики изменения значений параметров воспроизведения мультимедийных потоков.

В третьей главе представлен критерий оценки задержек воспроизведения мультимедийных потоков, позволяющий определять величину битовой скорости потока, для которого не будут возникать задержки в процессе его воспроизведения. Под задержками понимается нарушение плавного воспроизведения мультимедийного потока видеоплеером, а также его остановка.

В табл. 1 представлены шесть влияющих факторов, воздействие которых было исследовано в ходе проведенных в данной работе экспериментов. Третья колонка таблицы указывает на место, в котором происходило эмулирование того или иного фактора, влияющего на мультимедийный поток.

Таблица 1

Влияющие факторы

Фактор Название фактора Место воздействия

задержка сеть

потеря пакетов сеть

джиггер сеть

пропускная способность сеть

загрузка процессора клиентский компьютер

*6 загрузка оперативной памяти клиентский компьютер

Представленные в табл. 1 факторы оказывают влияние на значения состояния мультимедийного потока, воспроизводимого видеоплеером, такие как:

• у1с1еоВиГГегВу1еЬеп§1Ь - размер видеобуфера в байтах;

• (корресШгатез - количество потерянных или отброшенных видеокадров;

• сиггеп1РР8 - количество воспроизводимых кадров в секунду и т. д.

всего отслеживалось 17 параметров воспроизведения мультимедийного потока.

На рис. 4 представлена наглядная схема обработки результатов экспериментов.

- с1горре<1Ргате5

- сиггстНРЯ и др.

Всего 17 значений

Рис. 4. Анализ данных о задержках мультимедийного потока

Для разработки критерия оценки задержек воспроизведения мультимедийных потоков использовалась система имитационного моделирования, представленная во второй главе. Были проведены эксперименты двух типов:

1. Без каких-либо влияющих факторов на передаваемый поток. При проведении данного типа экспериментов исследовались значения, которые описывают систему в условиях, максимально приближенных к идеальным. Влиянием факторов х1,х2,хз,х4,х5 и х6 в данном случае можно пренебречь.

2. С эмуляцией влияния различных сетевых факторов на поток. Сюда также включаются эксперименты по исследованию влияния загрузки процессора и памяти на стороне клиента. Именно влияющие факторы используются в экспериментах второго типа.

Эксперименты проводились для потоков с разными битовыми скоростями:

• 148 Кбит/с (100 Кбит/с видео и 48 Кбит/с аудио);

• 248 Кбит/с (200 Кбит/с видео и 48 Кбит/с аудио);

• 548 Кбит/с (500 Кбит/с видео и 48 Кбит/с аудио);

• 1048 Кбит/с (1000 Кбит/с видео и 48 Кбит/с аудио);

• 1548 Кбит/с (1500 Кбит/с видео и 48 Кбит/с аудио).

При этом максимальная полоса пропускания сетевого канала для всех экспериментов была ограничена величиной 2048 Кбит/с.

На основании проведенных экспериментов были сформированы две выборки: обучающая и контрольная. Обучающая выборка включала данные по 129 экспериментам, а контрольная — по 268. Обучающая выборка содержит данные, полученные как в реальных условиях, так и при эмулировании.

В ходе проведения экспериментов производилась визуальная оценка качества воспроизводимого мультимедийного потока на клиентском компьютере. Данная оценка отражает мнение эксперта о качестве мультимедийного потока и имеет 2 уровня: хорошее (нет задержек) и плохое (есть задержки). Если во время просмотра потока появлялись какие-либо задержки, качество потока считалось как «плохое», в ином случае -«хорошее». Поток считается хорошего качества (помечается как «хорошее»), если в течение Техр = 182 секунд не было никаких задержек воспроизведения. Кроме визуальной оценки осуществлялась автоматическая передача значений параметров воспроизведения потока самим видеоплеером в удаленную базу данных каждые две секунды. С учетом того что продолжительность эксперимента Техр равна или чуть больше 182 секунд, для каждого эксперимента была автоматически создана минимум 91 запись в таблице базы данных. Длительность экспериментов по эмулированию значений сетевых влияющих факторов Wi-Fi-сети составляла 120 с.

Полученные на обучающей и контрольной выборках результаты обобщены в табл. 2. Два первых столбца табл. 2 характеризуют модельные изменения влияющих факторов.

Таблица 2

Обучающая и контрольная выборки

Условия Значения влияющих Количество Число

эксперимента факторов •кспериментов совпадении

Обучающая выборка

Идеальные условия - 15 15

Эмуляция потери пакетов 2, 4, 8, 12, 16 % 25 25

Эмуляция сетевой задержки 200, 400, 600, 800, 1000 мс 25 24

Загрузка процессора - 15 15

Загрузка процессора и памяти - 15 15

Сетевая задержка: 60 мс.

Эмуляция сетевой задержки. Джиттер: 5 %

потери пакетов и джиттера Потери пакетов: 1-15 %. 34 34

Всего: 129 Совпадений:128

Контрольная выборка

Эмуляция сетевой задержки и Сетевая задержка: 50,100,150 мс

потери пакетов Потери пакетов: 0,1, 2, 3 % 60 60

Реальные условия

(видеотрансляция ПетрГУ) - 6 6

Сетевая задержка: 2,12,25, 37 мс

Эмуляция сетевых Джиттер: 1, 5,100,150 мс

параметров \ЛЛ-Рисети Потери пакетов: 0, 2, 4,6,8% 202 201

Всего: 26S Совпадений: 267

После анализа полученных данных были выбраны наиболее информативные характеристики: Tstart, Fmln, Fdrop, Bmin.

• Tstart - время начала воспроизведения. Время, при котором первое значение количества воспроизводимых видеокадров в секунду больше 24.

• Fmin — минимальное количество кадров в секунду, которое было зафиксировано в течение воспроизведения мультимедийного потока. Стандартное значение количества кадров в секунду FPS = 25 для оригинального потока, но в некоторых случаях оно может уменьшаться, например, если процессор компьютера загружен и не успевает отображать все кадры, соответственно, происходит потеря кадров.

• Fdrop — максимальный скачок потери кадров (за одно измерение), который был зафиксирован в течение воспроизведения мультимедийного потока.

• Bmin - минимальный размер буфера в секундах, который был зафиксирован в течение всего воспроизведения мультимедийного потока.

То есть:

Tstart = /1О1 , Х-2, Х3, Х4, Х5, Fmin ~~ Ш1

х6);

Fdrop = f3(.xl>x2-x3-x4>x5>x6)-

®тт — Л(*1>*2»*3<х4<*5»*б)-

Для экспериментов видеоплеер был запрограммирован таким образом, чтобы перед началом воспроизведения видеопотока он накапливал буфер данных В5(аг( =10 секунд и затем начинал отображение видеопотока. Если буфер видеоплеера не успевал заполниться полностью за это время, то время начала воспроизведения Т5Мг( увеличивалось. Параметры Рт!п, РаГОр, В,™п вычислялись с двадцатой секунды после нажатия кнопки проигрывания видеоплеера с интервалом в две секунды. В случае если воспроизведение видеопотока не начиналось спустя 20 секунд после нажатия кнопки проигрывания, качество потока считалось плохим.

В параграфе 3 главы 3 описано решение задачи оценки появления задержек воспроизведения мультимедийного потока по этим четырем характеристикам. Для решения этой задачи использовались методы дискриминантного анализа. Была найдена функция

у = Рт1п, Яс(гор, Вт1п),

которая принимает положительные значения, когда качество видеопотока хорошее (без задержек), и отрицательные значения в противоположном случае.

С математической точки зрения задачу можно описать следующим образом. Существуют два класса принадлежности объектов К1 и К2. Класс К1 содержит объекты хорошего качества, а класс К2 - плохого качества. Обозначим результаты эксперимента через

2 — ^'тП17!< ^гип)'

тогда

фРшЫ. Рагор. > 0, если г

< 0, если 2 £ К2.

Было обнаружено, что дискриминантная функция вида:

_ _^тш ' &тЫ__

у ~ ТЛаП • + ТЛаП + 2(25-""<»> ~

обладает требуемым качеством. Вид функции подбирался исходя из физических соображений исследуемого процесса.

Приведенный критерий показал на 129 экспериментах из обучающей выборки 128 совпадений. Один эксперимент из 129, оцененный с помощью разработанного критерия, в ходе обучающей выборки был определен как

эксперимент с задержками, а визуальная оценка показала, что данный поток воспроизводился без задержек. В то же время в данном эксперименте наблюдается значение Fdrop — 1 2- поэтому можно предположить, что задержка потока была пропущена экспериментатором в ходе проведения эксперимента. В ходе проведения 268 экспериментов контрольной выборки результаты, полученные с помощью критерия оценки, совпали с визуальным наблюдением в 267 экспериментах. В 202 экспериментах из 268 контрольной выборки проводилось эмулирование влияющих факторов Wi-Fi-сети. Один эксперимент был оценен как с задержками, хотя визуальная оценка экспериментатором не выявила никаких задержек. В свою очередь, в данном эксперименте наблюдаются значения Fdrop — 2 и Вщм — 7, что говорит о шансе появления задержек в ходе воспроизведения мультимедийного потока. Значение критерия для этого эксперимента -2.

Значения предлагаемого критерия, оцененные на основании результатов экспериментов, принадлежат отрезку [-5, 17].

Из числителя данной формулы видно, что если одно из значений Fmin или Bmin принимает значение, равное нулю, то функция принимает значение, равное -5, что означает плохое качество потока. Это можно объяснить тем, что чем меньше минимальный размер буфера видеоплеера Bmin, тем больше шансов того, что появятся задержки воспроизведения; то же самое касается и минимального количества кадров Fmin, воспроизводимого в секунду видеоплеером. Если загрузка процессора или памяти на приемном оборудовании имеет значения, близкие к максимальным величинам, то неизбежно будут возникать потери кадров при декодировании, и как следствие - появление задержек.

В знаменатель формулы входят три параметра: Tstart,Fdrop и Fmin, которые влияют на результирующее значение формулы в разной степени. Чем больше значения характеристик Tstart и Fdrop, тем больше шансов появления задержек.

В четвертой главе описывается веб-сервис Multimedia Quality Network (MQN) и веб-приложение Multimedia Quality Tester (MQT), предназначенное для тестирования способности удаленных пользователей принимать мультимедийные потоки по протоколу RTMP в реальном режиме времени с определенными битовыми скоростями. Для определения способности клиентов получать тот или иной поток используется критерий комплексной оценки задержек воспроизведения мультимедийного потока. После прохождения тестирования на веб-сервисе MQN пользователь получает информацию о том, поток с какой битовой скоростью наиболее подходит для его сетевого канала и устройства воспроизведения.

Для того чтобы пользователю оценить возможность своего компьютера или мобильного устройства получать мультимедийный поток с определенной битовой скоростью в некоторой точке сети, необходимо проделать шаги, представленные на рис. 5:

• Зайти на домашнюю страницу сервиса MQN по адресу http://mqnetwork.com и в приложении MQT выбрать сервер, до которого будет производиться тестирование. Для этого необходимо нажать на картинку глобуса. По умолчанию тестирование производится до сервера, находящегося в России в Петрозаводском государственном университете.

• Выбрать битовую скорость потока. В данный момент приложение MQT позволяет проводить тестирование для трех мультимедийных потоков с битовыми скоростями 148, 548 и 1548 Кбит/с.

• Нажать кнопку «Начать тест» и подождать три минуты до завершения теста. Во время прохождения тестирования во Flash-плеере будет воспроизводиться мультимедийный поток с выбранной битовой скоростью. Примерное время, оставшееся до завершения тестирования, пользователь может оценить с помощью шкалы Progress, находящейся внизу, под видеоплеером. Также длительность тестирования пользователей может задаваться администратором.

После завершения теста пользователю выводится его результат. Возможны два варианта оценки качества воспроизведения мультимедийного потока приложением MQT, хорошее и плохое. Плохая оценка, в свою очередь, делится на два варианта:

• Возможны проблемы во время воспроизведения.

• Качественное воспроизведение видео для выбранной битовой скорости потока невозможно.

По завершению тестирования пользователю предоставляется возможность отправить результат тестирования системному администратору по электронной почте. Также пользователь может отправить результаты тестирования на свою электронную почту. Электронное письмо включает в себя результат пройденного тестирования, а также графики основных значений параметров воспроизведения мультимедийного потока видеоплеером. Если во время тестирования наблюдались задержки воспроизведения потока, пользователю рекомендуется пройти тестирование заново, но уже с меньшей битовой скоростью.

Веб-сервис MQN использовался для тестирования сетевых каналов школ республики Карелия.

Апробация работы веб-приложения MQT проводилась с использованием беспроводной Wi-Fi-сети Петрозаводского государственного университета, развернутой в учебном корпусе физико-технического факультета. Было проведено 30 экспериментов, в ходе которых все результаты проведенных тестирований совпали с визуальным наблюдением.

Multimedia Quality Network

Выбрать битовую скорость потока и нажать кнопку «Начать тест»

и 100 Кбит/сек

500 Кбит/сек

1500 Кбит/сек

НАЧАТЬТЁСТ

Администратор

Рис. 5. Процесс тестирования удаленных пользователей

Пользователь

- открытие веб-сайта 1. Веб-сайт 2. Процесс тестирования 3. Результат тестирования

■ аыбор сервера http://mqnetwork.com

В заключении представлен свод результатов, полученных в ходе исследований в рамках диссертационной работы.

Заключение

Основными результатами диссертационного исследования являются:

1. Разработанный критерий комплексной оценки задержек воспроизведения мультимедийных потоков, который позволяет определять битовую скорость потока, удовлетворяющую конечного пользователя. Определение битовой скорости потока основано на анализе значений параметров воспроизведения, полученных от видеоплеера удаленного пользователя.

2. Система имитационного моделирования значений факторов, влияющих на задержки воспроизведения мультимедийных потоков, транслируемых в реальном режиме времени. Данная система предназначена для исследования и тестирования новых мультимедийных сервисов и систем, а также проверки создаваемых критериев оценки воспроизведения мультимедийных потоков. Предложенный численный метод автоматизирует расчет качества принимаемого мультимедийного потока.

3. Разработанный веб-сервис реализует предложенную модель и численные методы и предназначен для удаленного тестирования пользователей. После прохождения тестирования на веб-сервисе МС^

пользователь получает информацию о том, какая битовая скорость потока наиболее подходит для его сетевого канала и устройства воспроизведения.

4. Веб-сервис MQN использовался для тестирования сетевых каналов учебных заведений районов республики Карелия. В настоящий момент веб-сервис MQN применяется в Петрозаводском государственном университете для определения способностей удаленных пользователей принимать мультимедийные потоки с заданными битовыми скоростями.

Публикации по теме диссертации

В изданиях, входящих в Перечень ведущих рецензируемых научных журналов и изданий, утвержденных ВАК Министерства образования и науки РФ:

1. Забровский, A. JI. Критерий оценки качества образовательных мультимедийных потоков, транслируемых в реальном режиме времени / А. Л. Забровский ; [гл. ред. А. Ф. Титов] // Труды Карельского научного центра РАН. Серия : Математическое моделирование и информационные технологии. - 2013. - Вып. 4, № 1. - С. 26-32.

2. Забровский, А. Л. Моделирование сетевых помех мультимедийных потоков беспроводной Wi-Fi сети / А. Л. Забровский, А. И. Арикайнен, Е. А. Петров // Современные проблемы науки и образования. - 2013. - № 5. - URL: http://www.science-education.ru/lll-10355 -(16.09.2013).

3. Забровский, А. Л. Система моделирования сетевых помех мультимедийных потоков / А. А. Рогов, А. Л. Забровский // Информационно-управляющие системы : научный журнал. — 2013. — № 3. - С. 42-46.

Другие публикации:

4. Забровский, А. Л. Инструменты для тестирования способности удаленных пользователей принимать мультимедийный поток с определенным битрейтом. / А. Л. Забровский, Е. А. Петров // Информационная среда вуза XXI века : материалы VII Междунар. науч.-практ. конф. Петрозаводск, 23-27 сент. 2013 г. - Петрозаводск, 2013.-С. 84-86.

5. Забровский, А. Л. Оценка качества мультимедийных потоков, передаваемых в реальном режиме времени / А. Л. Забровский, А. И. Арикайнен // Процессы управления и устойчивость : труды 44-й междунар. науч. конф. аспирантов и студентов / под ред. Н. В. Смирнова, Т. Е. Смирновой. - Санкт-Петербург, 2013. - С. 385-388.

6. Забровский, А. Л. Качество образовательных мультимедийных потоков, передаваемых в реальном режиме времени в IP сети / А. J1. Забровский // Университеты в образовательном пространстве региона: опыт, традиции и инновации : материалы науч.-метод. конф. Петрозаводск, 22-23 нояб. 2012 г. / ПетрГУ. - Петрозаводск, 2012. - Ч. 1. - С. 213-215. - URL: http://petrsu.ru/files/2012/ll/f7109_9.pdf -(11.09.2013).

7. Забровский, А. Л. Критерий оценки качества образовательных мультимедийных потоков, транслируемых в реальном режиме времени / А. Л. Забровский // Проблемы техники и технологии телекоммуникаций : XIII Междунар. науч.-техн. конф. ; Оптические технологии в телекоммуникациях : материалы X Междунар.науч.-техн.конф. г. Уфа, 20-22 нояб. 2012 г. / М-во образования и науки РФ, ФГБОУ ВПО "Уфимский гос. авиационный технический ун-т" [и др.]. -Уфа, 2012.-С. 73-74.

8. Забровский, А. Л. Система интерактивного обучения в Интернете / А. Л. Забровский // Университеты в образовательном пространстве региона : опыт, традиции и инновации : материалы науч.-метод. конф., посвященной 70-летию Петрозавод. гос. ун-та (16-17 февраля 2010 г.) / Федер. агентство по образованию, Гос. образоват. учреждение высш. проф. образования Петрозав. гос. ун-т ; отв. ред. А. В. Воронин . - Петрозаводск, 2010. - С. 249-251.

9. Забровский, А. Л. Система интерактивного обучения в сети Интернет / А. Л. Забровский // Учен. зап. Петрозавод. гос. ун-та. Сер.: Естественные и технические науки. - 2009. - № 9. - С. 63-65.

10. Забровский, А. Л. Интерактивные сервисы в образовании / А.Л. Забровский // Методология и методика эффективного использования информационных и коммуникационных технологий в образовании : материалы Междунар. науч.-практ. Интернет-конференции. -Екатеринбург, 2009. - С. 124-126.

Подписано в печать 19.11.2013. Формат 60x84 Чк. Бумага офсетная. Печать офсетная. Уч.-изд.л. 1,0. Тираж 100 экз. Изд. № 436.

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования ПЕТРОЗАВОДСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Отпечатано в типографии Издательства ПетрГУ 185910, г. Петрозаводск, пр. Ленина, 33

Петрозаводский государственный университет

04201453888

На правах >укописи

Забровский Анатолий Леонидович

МОДЕЛИРОВАНИЕ И АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ ПРОЦЕССОВ ПЕРЕДАЧИ МУЛЬТИМЕДИЙНЫХ ПОТОКОВ НА ОСНОВЕ КОМПЛЕКСНОЙ ОЦЕНКИ ЗАДЕРЖЕК ИХ ВОСПРОИЗВЕДЕНИЯ

Специальность: 05.13.18 «Математическое моделирование, численные методы и комплексы программ»

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор А.А. Рогов

Петрозаводск - 2013

/

Оглавление

Введение.............................................................................................................................4

Глава 1. Особенности организации трансляций мультимедийных потоков в реальном режиме времени..............................................................................................10

1.1. Протоколы потоковой передачи данных..........................................................11

1.2. Медиасерверы......................................................................................................14

1.3. Видеокодеры........................................................................................................15

1.4. Видеоплееры........................................................................................................18

1.5. Трансляция мультимедийных потоков в образовании....................................18

1.6. Видеотрансляции................................................................................................23

1.6.1. Образовательное видео ПетрГУ..................................................................23

1.7. Схема передачи мультимедийного потока.......................................................24

1.8. Качество обслуживания......................................................................................25

1.9. Качество восприятия услуг................................................................................27

1.10. Связь QoEcQoS................................................................................................29

1.11. Субъективные и объективные методы оценки качества передачи видеопотоков..............................................................................................................30

1.12. Методы тестирования подключения удаленных пользователей.................32

1.13. Эмуляторы сетевых помех...............................................................................37

Выводы........................................................................................................................39

Глава 2. Система имитационного моделирования значений факторов, влияющих на задержки воспроизведения мультимедийных потоков...............................................41

2.1. Создание системы имитационного моделирования........................................41

2.1.1. Видеокодер Wirecast.....................................................................................42

2.1.2. Веб-интерфейс управления..........................................................................45

2.1.3. База данных MySQL.....................................................................................46

2.1.4. Сетевой эмулятор WANem..........................................................................47

2.1.5. Flash-плеер и компьютер клиента...............................................................49

2.1.6. Эмулирование загрузки процессора и памяти...........................................51

2.2. Подготовка и проведение экспериментов в системе имитационного моделирования............................................................................................................52

2.2.1. Специальные условия и требования организационного, технического и

технологического характера..................................................................................53

Выводы........................................................................................................................54

Глава 3. Комплексная оценка задержек воспроизведения мультимедийных потоков ...........................................................................................................................................55

3.1. Влияющие факторы............................................................................................55

3.2. Проведение экспериментов................................................................................56

3.2.1. Эмулирование сетевых факторов................................................................58

3.2.2. Эмулирование загрузки памяти и процессора...........................................60

3.2.3. Эмулирование сетевых факторов беспроводной Wi-Fi-сети...................60

3.3. Обработка результатов экспериментов............................................................64

3.3.1. Настройки Flash-плеера................................................................................67

3.3.2. Алгоритмы расчета характеристик Tstart, Fmin, Fdrop, Bmin..............67

3.3.3 Величины значений характеристик воспроизведения...............................69

3.4. Корреляционный анализ.....................................................................................69

3.5. Критерий комплексной оценки задержек воспроизведения мультимедийных потоков........................................................................................................................70

Выводы........................................................................................................................74

Глава 4. Программный комплекс тестирования...........................................................76

4.1. Веб-сервис Multimedia Quality Network............................................................76

4.2. Веб-приложение Multimedia Quality Tester......................................................78

4.3. Flash-плеер.....................................!.....................................................................79

4.4. Набор PHP-сценариев.........................................................................................81

4.5. Веб-сервер Apache и база данных MySQL.......................................................81

4.6. Веб-интерфейс управления................................................................................82

4.7. Медиасервер........................................................................................................82

4.8. Работа с приложением MQT..............................................................................83

Выводы........................................................................................................................87

Список используемых сокращений...............................................................................90

Приложение 1. Свидетельство о регистрации............................................................106

Введение

Актуальность темы исследования

Достоверная информация о возможностях удаленных клиентов принять мультимедийный поток без задержек требует больших организационных и временных затрат. Применение информационных технологий и математического моделирования позволяет автоматизировать тестирование и получение информации от удаленных пользователей для дальнейшей ее оценки. Выбор битовых скоростей трансляции мультимедийных потоков напрямую влияет на качество воспроизведения потока на стороне клиента.

На сегодняшний день существуют методы адаптивного или динамического переключения битовых скоростей потоков [19]. Однако недостатком этих методов является то, что администратор системы видеотрансляций не может использовать их для тестирования способности удаленных пользователей получать мультимедийный поток с заданной скоростью. Использование таких методов требует создания многочисленных потоков с разными битовыми скоростями, при этом в определенных случаях мультимедийные потоки с малыми битовыми скоростями неприемлемы для проводимого мероприятия.

Таким образом, оценка качества получения мультимедийных потоков удаленными пользователями, рассматриваемая в данном диссертационном исследовании, является актуальной.

Степень разработанности темы исследования

Современные методы тестирования, способности удаленных клиентов получить мультимедийный поток с необходимым качеством в первую очередь основываются на анализе состояния сетевого канала. Во многих случаях тестирование потока либо совсем не производится, либо происходит по следующему сценарию: удаленные пользователи получают от администратора ссылку на веб-страницу, где осуществляется тестовая трансляция мультимедийного потока с какой-то одной битовой скоростью. После этого пользователи могут запустить видеоплеер, посмотреть изображение и

самостоятельно сделать вывод о качестве принимаемого потока. Время, в течение которого пользователи заходят на веб-страницу, является произвольным и не может точно характеризовать состояние загрузки сетевого канала. Существующие сервисы и программные решения для тестирования удаленных точек сети не используют информацию от видеоплееров удаленных клиентов. Таким образом, тестирование в данном случае не дает правильной оценки возможности удаленных клиентов получить мультимедийный поток с нужным качеством.

Цель работы: автоматизация тестирования мультимедийных потоков на основе комплексной оценки задержек их воспроизведения для определения способности удаленного пользователя принимать мультимедийный поток с заданной битовой скоростью.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести анализ существующих методов тестирования удаленных клиентов.

2. Разработать имитационную модель системы передачи мультимедийных потоков в реальном режиме времени, учитывающую факторы, влияющие на задержки воспроизведения.

3. Провести эксперименты по эмулированию мультимедийных потоков с различными влияющими факторами.

4. Разработать численный метод оценки параметров воспроизведения мультимедийного потока и алгоритм его использования на реальных данных.

5. Реализовать разработанный критерий в программной системе.

6. Разработать веб-сервис для тестирования удаленных пользователей.

7. Использовать результаты работы на практике при организации видеотрансляций Петрозаводского государственного университета.

Научная новизна

• Имитационная модель, эмулирующая значения факторов, влияющих на задержки воспроизведения мультимедийных потоков, транслируемых в

реальном режиме времени, которая впервые позволила исследовать значения параметров воспроизведения мультимедийных потоков видеоплеера.

• Новый критерий комплексной оценки задержек воспроизведения мультимедийных потоков, применение которого позволило моделировать и автоматизировать процесс тестирования как в проводных, так и в беспроводных \\^-Рьсетях.

• Новый алгоритм для быстрого тестирования удаленных точек сети, использующий численные методы анализа параметров воспроизведения мультимедийного потока.

Теоретическая и практическая значимость работы

• Предложенный метод, а также критерий комплексной оценки задержек воспроизведения мультимедийных потоков реализованы в веб-сервисе, доступ к которому открыт для всех желающих. Удаленные пользователи, используя разработанное программное приложение для тестирования качества воспроизведения мультимедийных потоков, получают более точную оценку по сравнению с существующей методикой.

• Система имитационного моделирования значений факторов, влияющих на задержки воспроизведения мультимедийных потоков, транслируемых в реальном режиме времени, расширяет возможности разработки новых критериев оценки качества, а также может использоваться в образовательном процессе для наглядной демонстрации влияния различных факторов на воспроизведение видеопотока.

• Веб-сервис возможно использовать для рационализации расположения беспроводных точек доступа, применяемых для передачи мультимедийных потоков.

Методология и методы исследования. Методы и технологии имитационного моделирования, математические методы планирования экспериментов, методы и средства инженерии программного обеспечения, ,\¥еЬ-технологии.

Объект исследования. Процессы передачи мультимедийных потоков, передаваемых в реальном режиме времени.

Предмет исследования. Моделирование и автоматизация тестирования процессов передачи мультимедийных потоков. Положения, выносимые на защиту

• Критерий комплексной оценки задержек воспроизведения мультимедийных потоков, способствующий выбору битовых скоростей для потоков.

• Имитационная модель системы передачи мультимедийных потоков в реальном режиме времени, учитывающая факторы, влияющие на задержки воспроизведения, позволяет эмулировать реальный процесс передачи мультимедийных потоков.

• Программный комплекс, реализующий предложенную модель и численные методы и предназначенный для удаленного тестирования пользователей.

Степень достоверности. Достоверность результатов проведенных исследований подтверждается совпадением результатов моделирования и реальных данных.

Апробация работы. Результаты диссертационного исследования докладывались и обсуждались на следующих конференциях и семинарах:

1. VII Всероссийская научно-практическая конференция «Информационная среда вуза XXI века» (Петрозаводск, 2013).

2. XLIV международная научная конференция аспирантов и студентов «Процессы управления и устойчивость» (Санкт-Петербург, 2013).

3. Выступление на семинаре факультета Department of Photonics Engineering, Технический университет Дании (Копенгаген, Дания, 2012).

4. Научно-методическая конференция «Университеты в образовательном пространстве региона: опыт, традиции и инновации» (Петрозаводск, 2012).

5. Выступление на конференции DIVERSE 2012 (Левен, Бельгия, 2012).

6. Выступление на семинаре Networking research group, Helsinki Institute for Information Technology (Хельсинки, Финляндия, 2012).

7. Выступление на семинаре факультета Faculty of Computing, University of Latvia (Рига, Латвия, 2012).

8. Доклад в Media and Learning Unit, Католический университет Левена (Левен, Бельгия, 2012).

По результатам выполненных исследований и разработок опубликовано 10 статей в научных журналах, в том числе 3 публикации в изданиях, входящих в перечень ВАК.

Разработанный программный комплекс был апробирован в процессе тестирования удаленных точек сети в рамках гранта Программы стратегического развития на 2012-2016 гг. «Университетский комплекс ПетрГУ в научно-образовательном пространстве Европейского Севера: стратегия инновационного развития».

Программы для ЭВМ, входящие в состав программного комплекса, зарегистрированы в Объединенном фонде электронных ресурсов «Наука и образование» (ОФЭРНиО) № 19332 от 27.06.2013.

Структура и объем работы

Во введении содержится обоснование актуальности темы диссертационного исследования, сформулированы цель и задачи, научная новизна, практическая значимость работы, указаны основные положения, выносимые на защиту, а также описание структуры диссертационной работы.

В первой главе представлен обзор литературы и исследованы существующие способы передачи образовательных мультимедийных потоков. В данной главе вводится понятие качества восприятия Quality of Experience (QoE) и рассматриваются различные факторы, от которых оно зависит. Приводятся особенности и способы проведения тестирования мультимедийных потоков.

Во второй главе описывается разработанная система имитационного моделирования значений факторов, влияющих на задержки воспроизведения мультимедийных потоков, транслируемых в реальном режиме времени.

Приводится подробное описание всех основных элементов системы имитационного моделирования.

В третьей главе представлен критерий оценки задержек воспроизведения мультимедийных потоков, позволяющий определять величину битовой скорости потока, для которого не будут возникать задержки в процессе его воспроизведения.

В четвертой главе описывается веб-сервис Multimedia Quality Network (MQN) и веб-приложение Multimedia Quality Tester (MQT), предназначенное для тестирования способности удаленных пользователей принимать мультимедийные потоки по протоколу RTMP в реальном режиме времени с определенными битовыми скоростями.

В заключении формируются результаты диссертационного исследования.

Глава 1. Особенности организации трансляций мультимедийных потоков в реальном режиме времени

Мультимедийные потоки в режиме реального времени сегодня активно транслируются через сеть Интернет. Мультимедийный поток может включать в себя видео- и аудиоданные как вместе, так и по отдельности [81]. На рисунке 1.1 представлена схема трансляции мультимедийного потока от источника до удаленного пользователя. Главной особенностью трансляций в реальном режиме времени можно назвать то, что от создания потока до его проигрывания на стороне клиента проходит относительно немного времени [106, 109]. Как только поток доходит до клиента, он воспроизводится на экране устройства, например на мониторе ПК. В данном случае пользователю нет необходимости загружать и сохранять мультимедийный поток на жесткий диск своего компьютера или мобильного устройства.

Рис. 1.1. Трансляция мультимедийного потока

Передача мультимедийных потоков в реальном режиме времени применяется в образовании и бизнесе. Видеотрансляции конференций, лекций и других мероприятий становятся обыденным делом. Во время воспроизведения мультимедийного потока удаленные пользователи, как правило, имеют возможность задавать вопросы организаторам мероприятия и получать ответы с помощью инструментов обратной связи. В роли организаторов мероприятий могут быть учителя, преподаватели, инструктора и т. д.

Для создания онлайн-трансляции необходимо иметь три основных элемента системы: видеокодер, медиасервер и приложение видеоплеер на стороне клиента. Взаимодействие представленных элементов осуществляется с помощью сети передачи данных. Установка и настройка системы трансляций мультимедийных потоков в реальном режиме времени требует определенных технических знаний со стороны администратора.

Трансляции образовательных потоков зачастую организуются с применением подходов, задействованных в ОТТ-технологиях [34], которые используют открытый Интернет для предоставления видеоуслуг. В ОТТ-технологиях доставка видео и аудио широкому спектру устройств обеспечивается без прямого соприкосновения с провайдерами связи, в отличие от услуг IPTV [108]. Услуги IPTV предоставляются в администрируемых сетях провайдеров услуг связи, в которых осуществляется постоянный контроль характеристик сети и трафика. Одним из успешн