автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Исследование и разработка методов хранения и доступа к данным в серверах мультимедиа

кандидата технических наук
Косяков, Михаил Сергеевич
город
Санкт-Петербург
год
2005
специальность ВАК РФ
05.13.13
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Исследование и разработка методов хранения и доступа к данным в серверах мультимедиа»

Автореферат диссертации по теме "Исследование и разработка методов хранения и доступа к данным в серверах мультимедиа"

На правах рукописи

Косяков Михаил Сергеевич

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ ХРАНЕНИЯ И ДОСТУПА К ДАННЫМ В СЕРВЕРАХ МУЛЬТИМЕДИА

Специальность 05.13.13 - Телекоммуникационные системы и компьютерные сети

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2005 г.

Работа выполнена в Санкт-Петербургском государственном университете информационных технологий, механики и оптики

Научный руководитель:

доктор технических наук, профессор Алиев Тауфик Измаилович

Официальные оппоненты:

доктор технических наук, профессор Мелехин Виктор Федорович

кандидат технических наук, доцент Елтышев Борис Константинович

Ведущая организация:

ОКБ «Электроавтоматика»

Защита диссертации состоится «15» марта 2005 года в {¡Т^ на заседании диссертационного совета Д.212.227.05 при Санкт-Петербургском государственном университете информационных технологий, механики и оптики по адресу: 197101, Санкт-Петербург, ул. Саблинская, д. 14

С диссертацией можно ознакомится в библиотеке Санкт-Петербургского государственного университета информационных технологий, механики и оптики.

Автореферат диссертации разослан февраля 2005 г.

Ученый секретарь диссертационного совета

Поляков Владимир Иванович

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Стремительный рост объема цифровых неструктурированных данных и развитие "еЪ-технологий привели к появлению систем сетевого доступа к разнообразным источникам информации, таким как периодические и литературные издания, корпоративные и публичные цифровые библиотеки, приложения Ке^ч-Оп-БетаМ, ^Иео-Оп-Бетат! интерактивное телевидение и т.д. Отличительной чертой подобных приложений является то, что они обеспечивают доступ к мультимедийной информации, включающей в себя как текстовые данные и графические изображения (текст-ориентированные данные), так и цифровые аудио/видео данные (потоковые данные).

Типичная архитектура рассматриваемых систем подразумевает использование серверов мультимедиа, обеспечивающих централизованное хранение информации, предоставляющих доступ к текст-ориентированным данным и реализующих потоковое воспроизведение аудио/видео файлов через высокоскоростные каналы связи. Для хранения данных и обслуживания запросов, предписывающих их чтение/запись, в таких серверах чаще всего используется дисковая подсистема ввода/вывода. При этом обращения к дисковой подсистеме выполняются на несколько порядков медленнее, чем к другим подсистемам памяти, и ее производительность становиться доминирующим фактором в общей производительности указанных систем. В то же время, дисковая подсистема является наиболее дорогим компонентом современного хранилища данных. Для увеличения производительности и более эффективного использования ресурсов сервера используются различные методы размещения файлов на наборе дисков и алгоритмы дискового планирования. Однако различия в характеристиках традиционных текст-ориентированных и аудио/видео данных приводят к различным методам хранения и доступа к данным каждого типа.

Таким образом, для управления данными с различными характеристиками и требованиями к их считыванию/записи требуются новые эффективные методы размещения файлов и алгоритмы дискового планирования, предназначенные для работы с данными обоих типов. В связи с этим, становится актуальной задача исследования и разработки методов хранения и доступа к данным в серверах мультимедиа.

В серверах мультимедиа обслуживание запросов к текстовым данным не должно влиять на качество воспроизведения цифровой аудио/видео информации и, наоборот, воспроизведение аудио/видео файлов не должно вызывать значительных задержек считывания текстовых данных. Поэтому для контроля перегрузок требуется построение специальных методов управления допуском, осуществляющих допуск нового клиента на обслуживание только при условии сохранения гарантий на качество обслуживания для всех клиентов.

Для этой цели необходимо в реальном времени оценивать качество обслуживания клиентов при различных нагрузках. В связи с этим, также актуальной становится задача разработки аналитического метода расчета предельной нагрузки, возлагаемой на дисковую подсистему сервера мультимедиа, при заданных ограничениях на показатели качества обслуживания.

Цель диссертационной работы состоит в анализе существующих методов размещения данных и алгоритмов дискового планирования с использованием методов математического моделирования, определении способов повышения производительности серверов мультимедиа за счет увеличения производительности их дисковой подсистемы и разработке аналитического метода расчета предельной нагрузки при заданных ограничениях на стохастические показатели качества обслуживания.

Основные направления исследования.

1. Разработка моделей и анализ эффективности работы дисковой подсистемы при использовании различных алгоритмов дискового планирования и методов размещения текст-ориентированных и потоковых данных для случаев раздельного обслуживания запросов каждого типа.

2. Оценка погрешности разработанных аналитических моделей с использованием методов имитационного моделирования, и, в некоторых случаях, путем экспериментальных исследований.

3. Разработка и исследование метода дискового планирования, определяющего порядок обслуживания запросов к данным обоих типов и позволяющего увеличить производительность подсистемы ввода/вывода сервера мультимедиа в рамках требуемого качества обслуживания.

4. Разработка аналитического метода расчета предельной нагрузки, возлагаемой на дисковую подсистему сервера мультимедиа интегрированной архитектуры, при заданных ограничениях на стохастические показатели качества'обслуживания для управления допуском клиентов на обслуживание.

Методы исследования основаны на положениях теории вычислительных систем, математическом аппарате теории массового обслуживания, теории вероятностей, математической статистики и технологии имитационного моделирования.

Научная новизна. В работе получены следующие научные результаты, которые выносятся на защиту.

1 Аналитические модели, позволяющие оценивать эффективность работы дисковой подсистемы ввода/вывода при использовании различных алгоритмов дискового планирования и методов размещения текст-ориентированных и потоковых данных для случаев раздельного обслуживания запросов каждого типа.

2. Обоснование преимуществ предложенного для использования в серверах мультимедиа способа размещения текст-ориентированных и потоковых данных на наборе дисков.

3. Метод смешанного динамического дискового планирования FCFS с дисциплиной обслуживания LOOK очереди запросов к диску, определяющий порядок обслуживания запросов к данным обоих типов.

4. Аналитический метод расчета предельной нагрузки, возлагаемой на дисковую подсистему сервера мультимедиа интегрированной архитектуры, при заданных ограничениях на стохастические показатели качества обслуживания.

Практическая значимость работы.

1. Разработанные аналитические модели работы дисковой подсистемы для случаев раздельного обслуживания запросов каждого типа могут применяться в задачах определения оптимальной конфигурации дисковой подсистемы и при контроле нагрузки для обеспечения требуемого качества обслуживания клиентов.

2. Предложенный для применения способ размещения данных на наборе дисков позволяет достичь более высокой эффективности использования ресурсов серверов мультимедиа и увеличения производительности.

3. Применение разработанного метода смешанного динамического дискового планирования FCFS с дисциплиной обслуживания LOOK очереди запросов к диску позволяет обеспечить наибольшую производительность дисковой подсистемы сервера мультимедиа в рамках требуемого качества обслуживания.

4. На основе разработанного аналитического метода расчета предельной нагрузки, возлагаемой на дисковую подсистему сервера мультимедиа, при заданных ограничениях на стохастические показатели качества обслуживания становиться возможной реализация метода управления допуском клиентов на обслуживание, гарантирующего заданное качество обслуживания.

Внедрение результатов. Результаты диссертационной работы использованы Представительством АО «ОРК Софтвер Ист», г. Санкт-Петербург при разработке собственной корпоративной цифровой библиотеки, а также компанией ООО «Квантел» при построении центров хранения данных. Предложенные аналитические модели внедрены в курс лекций «Моделирование» кафедры вычислительной техники (ВТ) Санкт-Петербургского государственного университета информационных технологий, механики и оптики (СПбГУ ИТМО) для студентов специальности 2201 -«Вычислительные машины, комплексы, системы и сети», а разработанные имитационные модели используются при выполнении лабораторных работ.

Апробация работы. Основные положения диссертационной работы докладывались на первой всероссийской научно-практической конференции «Опыт практического применения языков и программных систем имитационного моделирования в промышленности и прикладных разработках»

ИММОД 2003 (г. Санкт-Петербург, 2003), XXXI и XXXII конференциях профессорско-преподавательского состава СПбГУ ИТМО (г. Санкт-Петербург, 2002 и 2003), семинарах кафедры Вычислительной Техники (ВТ) СПбГУ ИТМО «Модели и методы исследования вычислительных систем и сетей» (г. Санкт-Петербург, 2002,2003 и 2004).

Публикации. Основные результаты диссертационной работы отражены в 7 публикациях, в числе которых 2 статьи во всероссийском журнале «Известия вузов. Приборостроение».

Структура и объем работы. Диссертационная работа состоит из четырех глав, введения, заключения, списка литературы, включающего 139 наименований. Общий объем работы - 168 страниц. Диссертация содержит 45 рисунков, 16 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы, формулируется цель исследований, научная новизна и практическая значимость основных результатов, дается краткое содержание глав работы.

В первой главе проводится сравнительный анализ методов хранения и доступа к обычным текст-ориентированным данным и методов, характерных для работы с потоковыми данными. Проанализированы способы организации файловой системы сервера мультимедиа, предназначенного для работы с данными обоих типов. В результате проведенного анализа делается вывод о преимуществе интегрированного подхода, предоставляющего ресурсы сервера для совместного использования данными обоих типов. По сравнению с файловыми системами раздельной архитектуры подобный подход обеспечивает лучшую производительность и позволяет более эффективно использовать ресурсы сервера.

Вводится понятие области допустимой нагрузки как области допустимых значений интенсивности входящего потока запросов к текст-

ориентированным данным и числа N одновременно воспроизводимых аудио/видео файлов, которые могут быть поддержаны сервером с заданным качеством обслуживания. Анализ границы области допустимой нагрузки сервера интегрированной архитектуры показал, что для достижения поставленной цели требуется исследование методов хранения и доступа к данным каждого типа в отсутствии нагрузки к данным другого типа и определение методов, позволяющих увеличивать предельно допустимые для заданного качества обслуживания значения и Кроме того,

требуется решение задачи разработки и исследования метода дискового планирования, определяющего порядок обслуживания запросов к данным обоих типов и позволяющего увеличить производительность подсистемы ввода/вывода сервера мультимедиа, а также задачи разработки аналитического

метода расчета предельной нагрузки при заданных ограничениях на показатели качества обслуживания.

В работе рассматривается циклический метод доступа к потоковым данным, когда для каждого из воспроизводимых потоков за каждый цикл считывается очередной фрагмент данных, достаточный для воспроизведения в течение всей длительности данного цикла. Невыполнение операций считывания к концу цикла приводит к возникновению разрыва в потоке воспроизведения. Поэтому в качестве стохастического показателя качества обслуживания запросов к потоковым данным рассматривается вероятность тою, что за К циклов воспроизведения потока данных количество разрывов превысит заданное значение При требовании определенного качества

обслуживания клиентов на указанный показатель налагается соответствующее ограничение:

В качестве показателя качества обслуживания для запросов к текст-ориентированным данным в работе рассматривается вероятность того, что время пребывания запроса в подсистеме ввода/вывода Т0 превысит заданное значение При этом требование к качеству обслуживания

запросов к потоковым данным объединяется с требованием качества обслуживания запросов к текстовым данным, т.е. также требуется ограничение вероятности Рд: ^

Оба указанных требования к качеству обслуживания определяют область допустимой нагрузки сервера мультимедиа.

При циклическом методе доступа с точки зрения сервера мультимедиа периодически формируются требования выполнить заданный объем работ к определенному сроку. Соответственно, при считывании аудио/видео данных в качестве характеристики оперативности дисковой подсистемы может служить вероятность нарушения указанного требования:

Р(о» = >Т),

где Тя - время считывания всех запрашиваемых за цикл фрагментов для N потоков, а Г- длительность цикла воспроизведения.

Для оценки оперативности дисковой подсистемы при доступе к текст-ориентированным данным используется значение среднего времени пребывания запросов в подсистеме ввода/вывода Ы(Т1).

В качестве характеристики производительности рассматривается площадь области допустимой нагрузки. При исследовании методов хранения и доступа к данным каждого типа в отсутствии нагрузки к данным другого типа в качестве характеристик производительности рассматриваются соответственно предельные для заданного качества обслуживания значения и В

качестве критерия эффективности для каждого из случаев рассматривается

значение соответствующей характеристики производительности при заданных ограничениях на показатели качества обслуживания.

Во второй главе разрабатываются аналитические модели работы дисковой подсистемы ввода/вывода для методов поблочного чередования и экстентного размещения текст-ориентированных данных совместно с такими алгоритмами дискового планирования как FCFS и LOOK. С помощью построенных моделей проводится исследование указанных методов.

При использовании метода поблочного чередования файлы разбиваются на блоки фиксированного размера SU, которые затем распределяются по набору дисков в циклическом порядке. В работе рассматривается смежное размещение блоков, принадлежащих одному файлу и расположенных на одном диске, что приводит к уменьшению накладных расходов, связанных со временем позиционирования читающих головок. Таким образом, каждый запрос, поступивший в дисковую подсистему, разбивается на подзапросы, которые направляются на обслуживание к соответствующим дискам и обслуживаются каждым диском независимо. При этом время пребывания запроса TD в дисковой подсистеме будет определяться наибольшим из времен пребывания его подзапросов. Количество дисков, обслуживающих один запрос, обозначим через Рг.

Для нахождения среднего времени пребывания запросов M(TD) при использовании алгоритма дискового планирования FCFS в работе вычисляется

среднее значение и дисперсия времени пребывания подзапросов в

предположении, что подзапросы равномерно распределяются среди дисков, и что каждый диск может рассматриваться как система M/G/1.

При использовании алгоритма дискового планирования LOOK расстояние, преодолеваемое механизмом позиционирования накопителя на магнитных дисках (НМД), зависит от количества запросов в очереди НМД. В свою очередь, длина очереди зависит от времени обслуживания, определяемого в том числе дистанцией позиционирования. Таким образом, возникает циклическая зависимость. Для нахождения решения предлагается воспользоваться итеративным алгоритмом при начальном допущении о наименьшем значении времени обслуживания, соответствующем перемещению считывающих головок на один цилиндр. В процессе итеративного расчета используются формулы вычисления среднего значения и дисперсии времени пребывания подзапросов для случая алгоритма FCFS.

Для оценки среднего времени пребывания запросов M(TD) предлагается воспользоваться асимптотическим выражением нахождения максимума из случайных величин, имеющих нормальное распределение:

М(Ттр) + р(ТтрфоЕРг ,Рг> 3.

Для оценки значения стохастического показателя качества обслуживания PD применяется неравенство Чебышева

В случае экстентного метода размещения данных каждый запрашиваемый файл образует непрерывный экстент и целиком располагается на одном диске. Поэтому количество дисков, обслуживающих один запрос, Рг = 1, а средняя длина блока данных, считываемых с одного диска, будет соответствовать средней длине запрашиваемых файлов. Остальные выражения остаются в силе.

Для оценки погрешностей построенных аналитических моделей были разработаны соответствующие имитационные модели. При этом использовался язык имитационного моделирования GPSS и встроенный в систему GPSS World алгоритмический язык PLUS. Моделирование проводилось при использовании значений структурных параметров современных НМД IBM UltraStar 36ГБ. Рассматривались простейший, эрланговский и гиперэкспоненциальный входящие потоки запросов с интенсивностью и коэффициентов вариации к

Относительные погрешности определения среднего времени пребывания M(TD) и предельно допустимой интенсивности входящего потока при

заданном качестве обслуживания pD для экстентного метода размещения данных приведены в таблице.

Таблица

Относительные погрешности аналитических моделей_

Дисковое планирование Относ, погрешность М(7в) Относ, погрешность Л<и>вд

V = 1 1 > v 2 0,25 V 22 V = 1 1 > V > 0,25 viS

FCFS 7% 55% > 50% 15% 30% > 50%

LOOK 15% 44% > 50% 27% 40% > 50%

Представленные результаты верны при значениях интенсивности входящего потока меньших 80% от предельного для данной нагрузки и при требовании к качеству обслуживания Для метода поблочного

чередования результаты аналогичны.

С использованием предложенных моделей исследуется влияние длины блока SU на эффективность работы дисковой подсистемы. Полученные результаты свидетельствуют о том, что в современных условиях распараллеливание операций считывания текст-ориентированных данных ведет к уменьшению эффективности работы дисковой подсистемы ввода/вывода. Поэтому экстентный метод размещения данных совместно с алгоритмом дискового планирования LOOK обеспечивает наименьшее среднее время пребывания запросов в подсистеме ввода/вывода и наибольшую производительность при любых интенсивностях и вне зависимости от типа входящего потока (рис. 1). В случае равномерного распределения нагрузки по набору дисков экстентный метод обеспечивает по крайней мере 50%

увеличение производительности в сравнении с методом поблочного чередования.

v-0,25

МОЬf МС. 180 -9- ГЦйяоч ч»рвд FCfS ----p-.-f—I

Экст FCfS 1

то [WSIVL чрц LOOK Зет LOOK i •

XV I : ■

12а ! '

too : i

да i i / •

а / i '

« I У i /

20 01 02 03 * 4 05 C£ 0.7 08 0

МРЬГ

МС. 1BD

-е- Побяоч. wpu FCF8 -« Зет FCFS О- Поб*«ч «рм, LOOK Эвт LOOK

] Л ■

Т И :

01 02 ИЗ 04 05 OS 07 0В OB

Рис. 1. Зависимость среднего времени пребывания М^) от интенсивности Я

Л,ж.'

При помощи имитационных моделей проводится сравнительный анализ рассматриваемых методов в условиях неравномерного распределения нагрузки по набору дисков. Исследуется влияние размера буфера на эффективность работы дисковой подсистемы при использовании различных методов хранения и доступа к данным. При этом рассматривается алгоритм замещения страниц Perfect-LFU. Из полученных результатов следует, что экстентный метод является более чувствительным к неравномерному распределению нагрузки по набору дисков. В то же время для дисковых подсистем с экстентным методом размещения данных и алгоритмом дискового планирования LOOK увеличение размера буфера обеспечивает рост производительности в два раза более быстрый, чем для систем с методом поблочного чередования данных.

В связи с этим делается вывод о предпочтении применения экстентного метода размещения текст-ориентированных данных совместно с алгоритмом дискового планирования LOOK в серверах мультимедиа, ориентированных в основном на чтение данных.

В третьей главе разрабатываются аналитические модели работы дисковой подсистемы ввода/вывода при использовании методов размещения аудио/видео файлов согласно постоянному шагу данных и согласно постоянному шагу времени совместно с циклическим методом доступа и алгоритмом дискового планирования LOOK. С помощью построенных моделей проводится исследование указанных методов.

При использовании метода размещения аудио/видео файлов согласно постоянному шагу данных фрагменты, соответствующие времени воспроизведения Т, разбиваются на блоки фиксированного размера SU, которые затем распределяются по набору дисков в циклическом порядке. В этом случае блоки данных, принадлежащие компрессированному мультимедийному файлу, будут иметь различную длительность воспроизведения вследствие изменения

степени сжатия в пределах одного и того же файла. Поэтому при использовании циклического метода доступа извлечение фрагмента, соответствующего фиксированному времени воспроизведения Т, приведет к необходимости считывания переменного числа блоков.

В силу независимости запрашиваемых фрагментов различных потоков, блоки, считываемые за цикл для всех воспроизводимых потоков, будут распределены по набору дисков неравномерно. В связи с этим, время Тя считывания всех запрашиваемых за цикл фрагментов будем определять как время считывания наибольшего количества блоков располагающихся на одном диске. В дальнейшем такой диск будем называть «наиболее нагруженным». В работе определяется распределение количества блоков Л^д,, считываемых с «наиболее нагруженного» диска. Исходя из распределения Л^, вычисляется преобразование Лапласа плотности распределения времени Тн:

где SU - длина блока, Seek - верхняя граница суммарного времени позиционирования при считывании Wflmax) блоков, Rot - время оборота диска, В - скорость считывания данных.

Для оценки значения вероятности Рш характеризующей оперативность подсистемы ввода/вывода, предлагается воспользоваться границей Чернова:

Р^Р^П^тш^бО),

где h{ff) = e'erMTii(ff), Мт>/(в)-Т^(-в) - производящая функция моментов для TN.

В случае метода размещения аудио/видео файлов согласно постоянному шагу времени каждый фрагмент, соответствующий времени воспроизведения Т, целиком размещается на одном диске, и фрагменты, принадлежащие одному файлу, распределяются в циклическом порядке по набору НМД. Таким образом, независимо от различий в степени сжатия и в требованиях к скорости передачи данных воспроизводимых потоков, для считывания фрагмента каждого потока в течение периода Т задействован ровно один диск. При этом нагрузка, возлагаемая на каждый диск, циклически перемещается по набору НМД при переходе от одного периода к другому. Поэтому для анализа работы подсистемы ввода/вывода достаточно рассмотреть воспроизведение D - количество дисков) потоков, фрагменты которых в течение одного цикла считываются одним диском. Общее количество воспроизводимых потоков

N = , а время TN считывания всех запрашиваемых за цикл фрагментов

определяется наибольшим из времен [

считывания фрагментов

г-й группы потоков Гл = тахДТ^) Вероятность Р/оИ превышения длительности периода Г временем Тя будет определяться выражением

где Рг1-РйМ' - вероятность того, что считывание фрагментов, принадлежащих ьй группе, завершится в срок

В предположении того, что случайная величина, описывающая время считывания одного фрагмента, имеет Гамма-распределение с параметрами а и Д получаем преобразование Лапласа плотности распределения времени Тм

ще Seek, - верхняя граница суммарного времени позиционирования при считывании Nt фрагментов, i = 1, D

Для оценки значения вероятности Рй(е' = Р(7"л > Т), как и прежде, предлагается воспользоваться границей Чернова

Для каждого из методов размещения потоковых данных с помощью полученного значения Piale вычисляется значение вероятности Рс характеризующее качество воспроизведения аудио/видео файлов

Оценка погрешностей предлагаемых аналитических моделей проводилась по отношению к разработанным на языке GPSS имитационным моделям Распределение длин считываемых фрагментов определялось как Гамма-распределение с параметрами, соответствующими распределению длин фрашентов аудио/видео файлов стандарта MPEG-2

На рис 2 представлены зависимости вероятности Р;„„ от числа одновременно воспроизводимых потоков N, полученные для метода размещения аудио/видео файлов согласно постоянному шагу данных при SU=225кБ

Рис 2 Зависимость вероятности Р|л от числа воспроизводимых потоков N

Результаты моделирования показали, что относительная погрешность аналитической модели по сравнению с имитационной не превышает 12% при вычислении оптимального размера блока Яишт, обеспечивающего наибольшую производительность дисковой подсистемы, и 5% при нахождении предельно допустимого количества одновременно воспроизводимых потоков ^РЕД Для метода размещения аудио/видео файлов согласно постоянному шагу времени результаты аналогичны

С помощью разработанных моделей проводится исследование влияния различных параметров на оптимальную длину блока SUОпТ. Полученные результаты свидетельствуют о том, что задача выбора оптимальной длины блока для серверов, обеспечивающих хранение и доступ к текст-ориентированным данным, и серверов, обеспечивающих работу с потоковыми данными, должна решаться по-разному.

Проводится сравнительный анализ рассматриваемых методов размещения данных Из полученных результатов следует, что метод размещения аудио/видео файлов согласно постоянному шагу времени обеспечивает увеличение производительности дисковой подсистемы примерно на 60% по сравнению с методом размещения согласно постоянному шагу данных и повышает эффективность работы с потоковыми данными различных типов. Кроме того, указанный метод обеспечивает наилучшую масштабируемость дисковой подсистемы ввода/вывода при заданном качестве воспроизведения аудио/видео файлов (рис. 3).

300 а» РИ.-0.1

-е-Л««ПНШ|Щ»И о- Иютчц жим (Пост иягарпмм) Амшмг мдш {Пост наг »¿»ими) -О Ишп*ц надо* {Пост и»г деимк) Амыит 1МД44Ь(ПоСТ Ц*ГД№«»ш) /в 'о я

200

150 100 50 „ У Я' ** а- % _

12 3 4 5 6 7 В 9 10

Рис 3 Зависимости предельно допустимого количества одновременно воспроизводимых потоков от числа дисков Б

Таким образом, на основе проведенных исследований делается вывод о предпочтении применения в серверах мультимедиа метода размещения аудио/видео файлов согласно постоянному шагу времени.

В четвертой главе описываются и анализируются методы дискового планирования, определяющие порядок обслуживания запросов к текст-

ориентированным и потоковым данным для серверов мультимедиа с файловой системой интегрированной архитектуры. Предлагается и исследуется метод смешанного динамического дискового планирования FCFS с дисциплиной обслуживания LOOK очереди запросов к НМД, позволяющий увеличить производительность дисковой подсистемы ввода/вывода в рамках требуемого качества обслуживания. Для данного случая разрабатывается аналитический метод определения предельной нагрузки при заданных ограничениях на стохастические показатели качества обслуживания Рс и PD

Основываясь на результатах, полученных в предыдущих главах, рассматривается экстентное размещение текст-ориентированных данных и размещение аудио/видео файлов согласно постоянному шагу времени воспроизведения. Это позволяет рассматривать единственный диск для анализа работы подсистемы ввода/вывода. При этом входящий поток запросов к аудио/видео данным можно представить как неординарный, когда в начале каждого цикла формируется Np запросов для воспроизведения N, аудио/видео файлов, принадлежащих i-й группе обслуживания. В качестве входящего потока запросов к текст-ориентированным данным, как и прежде, будем рассматривать ординарный поток без последействия с интенсивностью соответствующей i-Й группе обслуживания запросов к потоковым данным.

Схема функционирования дисковой подсистемы ввода/вывода для рассматриваемого случая представлена на рис. 4.

НТЕКСТ I___Н___ НВЫХ

Ni

]-НДИСК/ I—J

НТЕКСТ - накопитель запросов к текстовым данным Н - накопитель к |-му виску НВЫХ - выходной накопитель

Рис. 4. Схема функционирования дисковой подсистемы ввода/вывода

Из рис. 4 следует, что построение метода дискового планирования, определяющего порядок обслуживания запросов к текстовым и потоковым данным, подразумевает выбор трех дисциплин аз следующих категорий:

• Дисциплина обслуживания запросов в течение цикла. В течение каждого цикла запросы различных типов могут обслуживаться вне зависимости от их типа (смешанное обслуживание) или же назначаться на обслуживание на отдельные подпериоды, специально выделенные для запросов конкретного типа (раздельное обслуживание).

• Дисциплина ограничения числа запросов, выбираемых на обслуживание. В течение каждого цикла может быть обслужено только ограниченное количество запросов каждого типа. При этом количество назначенных на обслуживание запросов к потоковым данным N, должно

определяться с помощью метода управления допуском в зависимости от интенсивности входящего потока и при заданных требованиях к качеству обслуживания. В свою очередь, для запросов к текстовым данным указанное ограничение определяется либо статически, согласно стохастической модели оценки качества обслуживания для заданных параметров нагрузки, либо динамически в зависимости от фактического времени обслуживания запросов в каждом цикле. В последнем случае количество запросов к текстовым данным, назначенных на обслуживание, будет меняться от цикла к циклу в зависимости от фактического времени обслуживания запросов в каждом цикле.

• Дисциплина обслуживания очереди запросов. Порядок обслуживания запросов, находящихся в очереди НТЕКСТ, и запросов, находящихся в очереди к НМД, будет определяться выбором соответствующей дисциплины. В качестве дисциплин обслуживания очереди запросов рассматриваются алгоритмы FCFS и LOOK.

Для сравнительного анализа различных комбинаций представленных дисциплин были разработаны соответствующие имитационные модели. Полученные результаты свидетельствуют о том, что дисциплина FCFS выбора запросов из очереди НТЕКСТ позволяет получить практически 20% увеличение производительности подсистемы ввода/вывода по сравнению с дисциплиной LOOK. Применение динамического ограничения числа запросов, выбираемых на обслуживание, приводит к 30% увеличению производительности по сравнению со статическим ограничением. Таким образом, исходя из представленных результатов и результатов проведенного в работе качественного анализа, делается вывод о предпочтении применения в серверах мультимедиа интегрированной архитектуры метода смешанного динамического дискового планирования FCFS с дисциплиной обслуживания LOOK очереди запросов к диску. В дальнейшем в работе рассматривается именно этот метод дискового планирования.

В соответствии с рассматриваемым методом размещения данных размер размещаемого на одном диске фрагмента аудио/видео файла зависит от длительности цикла обслуживания Т. Отсюда следует, что величина Т будет являться важным параметром, который определяется на этапе создания файловой системы: дальнейшее изменение его значения потребует остановки сервера и полного перераспределения потоковых данных. В связи с этим, в работе производится анализ влияния длительности цикла Г на производительность подсистемы ввода/вывода.

На рис. 5 представлены графики, определяющие границу области допустимой нагрузки при различных значениях продолжительности цикла обслуживания Т. Требуемое время пребывания Тр= 2 С.

Из полученных результатов следует, что оптимальное значение продолжительности цикла Гопгг, позволяющее максимизировать производительность подсистемы ввода/вывода, зависит только от требуемого

времени пребывания запросов к текстовым данным Т^,ар и составляет около 115% от Т^а. При этом граница области допустимой нагрузки имеет практически линейную форму для значений Т, находящихся в диапазоне от 50% до 115% от ТЦ" отклонение не превышает 3% от значений предельной

1 ПРЕД

интенсивности Л, и предельного количества одновременно

воспроизводимых потоков Л?™", полученных при использовании рассматриваемого метода дискового планирования в отсутствии нагрузки к потоковым и текстовым данным соответственно.

Зярег 1 5прщ 1

Л, , с л, , с.

Рис. 5. Граница области допустимой нагрузки при различных значениях длительности

цикла Т

Исходя из результатов проведенного в работе анализа границы области

допустимой нагрузки можно заключить, что для оценки предельной нагрузки

при заданных ограничениях на показатели качества обслуживания Рс и Р

„ „ , ПРЕД/ м ПРЕД-.

можно воспользоваться линеинои зависимостью л, (М, ), проходящей

через точки (0, Х,ПРС^) и (М,ПЩЦ, 0), соответствующие раздельному

обслуживанию запросов каждого типа. Поэтому для аналитической оценки

границы области допустимой нагрузки достаточно найти значения и

К™вд для случаев раздельного обслуживания запросов каждого типа.

Поставленная задача может быть решена с помощью соответствующих

моделей, предложенных во второй и третьей главах. Согласно полученным

результатам, для значений длительности цикла Т, находящихся в диапазоне от

50% до 115% от Тр"р, относительная погрешность подобного расчета не будет

превышать 30% от значений предельно допустимой интенсивности Л,ппи

КПРЕЦ

полученных для случаев раздельного обслуживания запросов каждого типа.

Таким образом, на основе предлагаемого подхода становиться возможной реализация метода управления допуском клиентов на обслуживание, гарантирующего определенное качество обслуживания клиентов.

Для сравнения раздельной и интегрированной архитектур построения файловых систем серверов мультимедиа проводится анализ эффективности работы дисковой подсистемы ввода/вывода для каждого из случаев. Полученные результаты свидетельствуют о том, что интегрированная архитектура файловой системы позволяет серверу мультимедиа поддерживать большее количество клиентов, работающих с данными одного типа при малых нагрузках к данным другого типа, по сравнению с раздельной архитектурой построения файловых систем. Более широкая область допустимой нагрузки сервера будет обеспечивать его лучшую производительность при пульсирующих («взрывных») нагрузках, часто встречающихся в реальности. Кроме того, сервер мультимедиа с файловой системой интегрированной архитектуры обеспечивает более высокую и сравнимую эффективность работы подсистемы ввода/вывода для запросов к текстовым данным в большей части области допустимой нагрузки сервера раздельной архитектуры. При этом предложенный для сервера интегрированной архитектуры метод дискового планирования обеспечивает беспрерывное воспроизведение аудио/видео файлов во всей области допустимой нагрузки сервера раздельной архитектуры.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработаны аналитические модели, позволяющие оценивать

эффективность работы дисковой подсистемы ввода/вывода для случаев раздельного обслуживания запросов к текст-ориентированным и потоковым данным при использовании следующих методов хранения и доступа:

• поблочного чередования и экстентного размещения текст-ориентированных данных совместно с алгоритмами дискового планирования FCFS и LOOK;

• размещения аудио/видео файлов согласно постоянному шагу данных и согласно постоянному шагу времени совместно с циклическим методом доступа и алгоритмом дискового планирования LOOK.

2. Для оценки погрешностей аналитических моделей разработаны имитационные модели, описывающие работу дисковой подсистемы сервера мультимедиа при использовании соответствующих методов размещения данных и алгоритмов дискового планирования. Показано, что при определении предельных значений нагрузочных параметров для заданного ограничения на качество обслуживания погрешность аналитических моделей не превышает 27% для случая обслуживания запросов к текст-ориентированным данным и 5% для случая обслуживания запросов к потоковым данным.

3. Выполнен сравнительный анализ рассматриваемых методов размещения и алгоритмов дискового планирования для текст-ориентированных данных в условиях равномерного и неравномерного распределения нагрузки по набору дисков. Получено, что экстентный метод размещения текст-

ориентированных данных совместно с алгоритмом дискового планирования LOOK обеспечивает наименьшее среднее время пребывания и наибольшую производительность при любых интенсивностях и вне зависимости от типа входящего потока. В случае равномерного распределения нагрузки по набору дисков экстентный метод обеспечивает по крайней мере 50% увеличение производительности в сравнении с методом поблочного чередования.

4. Выполнен сравнительный анализ рассматриваемых методов размещения потоковых данных. Получено, что метод размещения аудио/видео файлов согласно постоянному шагу времени обеспечивает увеличение производительности дисковой подсистемы примерно на 60% по сравнению с методом размещения согласно постоянному шагу данных и повышает эффективность работы с потоковыми данными различных типов. Кроме того, указанный метод обеспечивает наилучшую масштабируемость дисковой подсистемы ввода/вывода при заданном качестве воспроизведения аудио/видео файлов.

5. Проанализирована задача определения оптимальной длины блока файловой системы при использовании метода размещения аудио/видео файлов согласно постоянному шагу данных и метода поблочного чередования для текст-ориентированных данных. Показано, что задача выбора оптимальной длины блока для серверов, обеспечивающих хранение и доступ к текст-ориентированным данным, и серверов, обеспечивающих работу с потоковыми данными, должна решаться по-разному. Проведенные исследования показали перспективность применения в серверах мультимедиа интегрированной архитектуры метода размещения аудио/видео файлов согласно постоянному шагу времени и экстентного метода размещения для текст-ориентированных данных.

6. Предложен и исследован метод смешанного динамического дискового планирования FCFS с дисциплиной обслуживания LOOK очереди запросов к диску, определяющий порядок обслуживания запросов к данным обоих типов и обеспечивающий наибольшую производительность подсистемы ввода/вывода в рамках требуемого качества обслуживания. Для предложенного метода дискового планирования разработан аналитический метод расчета предельной нагрузки при заданных ограничениях на стохастические показатели качества обслуживания. Определен диапазон изменения параметров, при котором относительная погрешность предложенного метода не превышает 30% от значений предельно допустимой интенсивности и предельного числа одновременно воспроизводимых потоков, полученных для случаев раздельного обслуживания запросов каждого типа. На основе предлагаемого подхода становиться возможной реализация метода управления допуском клиентов на обслуживание, гарантирующего заданное качество обслуживания.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Косяков М.С. Аналитические модели накопителей на магнитных дисках для различных типов нагрузки // Известия вузов. Приборостроение. 2003. Т. 46. № 2. С. 58-63.

2. Косяков М.С. Методы моделирования накопителей на магнитных дисках с опережающим считыванием // В кн.: Современные технологии: Сборник научных статей. / Под ред. САКозлова и В.О.Никифорова. СПб: СПб ГИТМО (ТУ), 2002. С. 210-218.

3. Косяков М.С. Сравнение методов организации дискового пространства файловых серверов // В кн.: Сборник докладов первой всероссийской научно-практической конференции «Опыт практического применения языков и программных систем имитационного моделирования в промышленности и прикладных разработках» ИММОД 2003, СПб, 23-24 октября 2003, Т. 1. С. 114-120.

4. Косяков М.С, Алиев Т.И. Сравнение архитектур построения серверов мультимедиа // В кн.: Научно-технический вестник СПб ГИТМО (ТУ). Выпуск 10. Информация и управление в технических системах. / Под ред. ЮАГатчина. СПб: СПб ГИТМО (ТУ), 2003. С. 77-85.

5. Косяков М.С, Лукин А.А. Моделирование работы дисковой подсистемы ввода/вывода при различных методах размещения данных // Известия вузов. Приборостроение. 2004. Т. 47. № 5. С. 30-36.

6. Косяков М.С., Петров А.А. Исследование особенностей дискового планирования серверов мультимедиа // В кн.: Сборник докладов первой всероссийской научно-практической конференции «Опыт практического применения языков и программных систем имитационного моделирования в промышленности и прикладных разработках» ИММОД 2003, СПб, 23-24 октября 2003, Т. 1.С. 121-127.

7. Петров А.А., Косяков М.С, Алиев Т.И. Оптимизация работы дисковой подсистемы сервера мультимедиа // В кн.: Научно-технический вестник СПб ГИТМО (ТУ). Выпуск 10. Информация и управление в технических системах. / Под ред. ЮА.Гатчина. СПб: СПб ГИТМО (ТУ), 2003. С. 99-107.

Об', а - р£/3

Тиражирование и брошюровка выполнены в Центре «Университетские телекоммуникации». Санкт-Петербург, Саблинская ул., 14. Тел (812)233-46-69

\

Тираж 100 экз. „ (

2 2 ?мо 2295

Оглавление автор диссертации — кандидата технических наук Косяков, Михаил Сергеевич

ВВЕДЕНИЕ.

Глава 1. ПРИНЦИПЫ ОРГАНИЗАЦИИ ФАЙЛОВЫХ СИСТЕМ СЕРВЕРОВ МУЛЬТИМЕДИА.

1.1. Методы обеспечения непрерывного воспроизведения потоковых данных.

1.1.1. Методы нахождения количества отсчетов, считываемых за один цикл.

1.1.2. Методы дискового планирования.

1.1.3. Алгоритмы управления допуском.

1.2. Методы размещения данных.

1.2.1. Методы организации дискового пространства.

1.2.2. Методы размещения файлов на нескольких дисках.

1.3. Парадигмы файловых систем.

1.4. Методы построения мультимедийных файловых систем.

1.4.1. Файловые системы раздельной архитектуры.

1.4.2. Файловые системы интегрированной архитектуры.

1.5. Показатели эффективности сервера мультимедиа.

1.5.1. Показатели качества обслуживания.

1.5.2. Характеристики оперативности и производительности.

1.6. Выводы.

Глава 2. ИССЛЕДОВАНИЕ МЕТОДОВ ХРАНЕНИЯ И ДОСТУПА К ТЕКСТ-ОРИЕНТИРОВАННЫМ ДАННЫМ.

2.1. Параметры и характеристики моделирования.

2.2. Разработка моделей для метода поблочного чередования данных.

2.2.1. Аналитические модели для алгоритмов дискового планирования FCFShLOOK.

2.2.2. Проверка адекватности аналитических моделей.

2.3. Исследование влияния длины блока на эффективность дисковой подсистемы.

2.4. Разработка моделей для метода экстентного размещения данных.

2.4.1. Аналитические модели для алгоритмов дискового планирования FCFShLOOK.

2.4.2. Проверка адекватности аналитических моделей.

2.5. Сравнительный анализ методов хранения и доступа к текст-ориентированным данным.

2.5.1. Равномерное распределение нагрузки по набору дисков.

2.5.2. Неравномерное распределение нагрузки по набору дисков.

2.6. Выводы.

Глава 3. ИССЛЕДОВАНИЕ МЕТОДОВ ХРАНЕНИЯ И ДОСТУПА К ПОТОКОВЫМ ДАННЫМ.

3.1. Параметры и характеристики моделирования.

3.2. Разработка моделей для метода размещения файлов согласно постоянному шагу данных.

3.2.1. Аналитическая модель для циклического метода доступа и алгоритма дискового планирования LOOK.

3.2.2. Проверка адекватности аналитической модели.

3.3. Исследование влияния длины блока на эффективность дисковой подсистемы.

3.4. Разработка моделей для метода размещения файлов согласно постоянному шагу времени.

3.4.1. Аналитическая модель для циклического метода доступа и алгоритма дискового планирования LOOK.

3.4.2. Проверка адекватности аналитической модели.

3.5. Сравнительный анализ методов хранения и доступа к потоковым данным.

3.6. Выводы.

Глава 4. РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДА ДИСКОВОГО ПЛАНИРОВАНИЯ ДЛЯ СЕРВЕРОВ МУЛЬТИМЕДИА ИНТЕГРИРОВАННОЙ АРХИТЕКТУРЫ.

4.1. Принципы организации методов дискового планирования.

4.1.1. Дисциплины обслуживания запросов в течение цикла.

4.1.2. Дисциплины ограничения числа запросов, выбираемых на обслуживание.

4.1.3. Дисциплины обслуживания очереди запросов.

4.2. Исследование методов дискового планирования.

4.2.1. Сравнительный анализ методов дискового планирования.

4.2.2. Анализ влияния длительности периода на производительность подсистемы ввода/вывода.

4.2.3. Анализ и аналитическое описание границы области допустимой нагрузки.

4.3 Сравнительный анализ архитектур построения мультимедийных файловых систем.

4.4 Выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ.

Введение 2005 год, диссертация по информатике, вычислительной технике и управлению, Косяков, Михаил Сергеевич

Актуальность темы. Стремительный рост объема цифровых неструктурированных данных и развитие Web-технологий привели к появлению систем сетевого доступа к разнообразным источникам информации, таким как периодические и литературные издания, корпоративные и публичные цифровые библиотеки, приложения News-On-Demand, Video-On-Demand, интерактивное телевидение и т.д. Отличительной чертой подобных приложений является то, что они обеспечивают доступ к мультимедийной информации, включающей в себя как текстовые данные и графические изображения (текст-ориентированные данные), так и цифровые аудио/видео данные (потоковые данные). При этом предоставляемый пользователю мультимедийный документ может состоять из данных нескольких типов, объединенных в единое интерактивное представление. Например, одновременно с прослушиванием аудио записи пользователь должен иметь возможность просматривать изображения и текстовые комментарии, интересующие его согласно выбранной тематике.

Типичная архитектура рассматриваемых систем подразумевает использование серверов мультимедиа, обеспечивающих централизованное хранение информации, предоставляющих доступ к текст-ориентированным данным и реализующих потоковое воспроизведение аудио/видео файлов через высокоскоростные каналы связи. Для хранения данных и обслуживания запросов, предписывающих их чтение/запись, в таких серверах чаще всего используется дисковая подсистема ввода/вывода. При этом обращения к дисковой подсистеме выполняются на несколько порядков медленнее, чем к другим подсистемам памяти, и ее производительность становиться доминирующим фактором в общей производительности указанных систем. В то же время, дисковая подсистема является наиболее дорогим компонентом современного хранилища данных. Для увеличения производительности и более эффективного использования ресурсов сервера используются различные методы размещения файлов на наборе дисков и алгоритмы дискового планирования.

Подобные методы, обеспечивающие работу с обычными текст-ориентированными данными, представлены и исследованы в работах таких ученых, как С.А. Майоров, О.И. Авен, Я.А. Коган, D.A. Patterson, P.M. Chen, Т. Teorey, Т.В. Pinkerton, E.G. Coffman, С. Ruemmler и др. Однако методы хранения и доступа к потоковым данным должны существенно отличаться от традиционных, поскольку аудио/видео файлы обладают двумя отличительными характеристиками.

1. Непрерывное воспроизведение в реальном времени. В отличие от обычных текст-ориентированных данных аудио или видео данные состоят из последовательности отсчетов (таких как видеокадры или отсчеты аудиопотока), имеющих смысл только в случае непрерывного воспроизведения в реальном времени. Для этого система должна предоставить пользователю очередной фрагмент потоковых данных не позже момента завершения воспроизведения предыдущего фрагмента. В свою очередь организация доступа к текст-ориентированным данным обычно не требует жестких сроков завершения дисковых операций и направлена на увеличение пропускной способности системы.

2. Высокие скорости передачи и большие размеры аудио/видео файлов. Типичный размер аудио или видео файла значительно превосходит размеры текстовых файлов и графических изображений, что приводит к различию эффективных методов организации дискового пространства для данных каждого типа. Кроме того, воспроизведение цифрового аудио или видео потока требует высоких скоростей считывания. При этом для потоковых данных характерен периодический и последовательный доступ, в то время как доступ к текстовым данным обычно непредсказуем.

Это послужило толчком к разработке специфических методов размещения аудио/видео файлов на наборе дисков и методов их воспроизведения в реальном времени. Подобные методы работы с потоковыми данными представлены в работах авторов DJ. Gemmell, P.V. Rangan, Н.М. Vin, D.D. Kandlur, D. Anderson, C.L. Liu, J.W. Layland, A.L. Narasimha Reddy, S. Ghandeharizadeh и др. Однако указанные методы не предусматривают работу с текстовыми данными и графическими изображениями и опираются на свойства периодичности и последовательности доступа к потоковым данным для увеличения пропускной способности сервера.

Таким образом, для управления данными с различными характеристиками и требованиями к их считыванию/записи требуются новые эффективные методы размещения файлов на наборе дисков и алгоритмы дискового планирования, предназначенные для работы с данными обоих типов. В связи с этим, становится актуальной задача исследования и разработки методов хранения и доступа к данным в серверах мультимедиа.

В серверах мультимедиа обслуживание запросов к текстовым данным не должно влиять на качество воспроизведения цифровой аудио/видео информации и, наоборот, воспроизведение аудио/видео файлов не должно вызывать значительных задержек считывания текстовых данных. Поэтому для контроля перегрузок требуется построение специальных методов управления допуском, осуществляющих допуск нового клиента на обслуживание только при условии сохранения гарантий на качество обслуживания для всех клиентов. Для этой цели необходимо в реальном времени оценивать качество обслуживания клиентов при различных нагрузках. В связи с этим, также актуальной становится задача разработки аналитического метода расчета предельной нагрузки, возлагаемой на дисковую подсистему сервера мультимедиа, при заданных ограничениях на показатели качества обслуживания.

Цель диссертационной работы состоит в анализе существующих методов размещения данных и алгоритмов дискового планирования с использованием методов математического моделирования, определении способов повышения производительности серверов мультимедиа за счет увеличения производительности их дисковой подсистемы и разработке аналитического метода расчета предельной нагрузки при заданных ограничениях на стохастические показатели качества обслуживания.

Основные направления исследования.

1. Разработка моделей и анализ эффективности работы дисковой подсистемы при использовании различных алгоритмов дискового планирования и методов размещения текст-ориентированных и потоковых данных для случаев раздельного обслуживания запросов каждого типа.

2. Оценка погрешности разработанных аналитических моделей с использованием методов имитационного моделирования, и, в некоторых случаях, путем экспериментальных исследований.

3. Разработка и исследование метода дискового планирования, определяющего порядок обслуживания запросов к данным обоих типов и позволяющего увеличить производительность подсистемы ввода/вывода сервера мультимедиа в рамках требуемого качества обслуживания.

4. Разработка аналитического метода расчета предельной нагрузки, возлагаемой на дисковую подсистему сервера мультимедиа интегрированной архитектуры, при заданных ограничениях на стохастические показатели качества обслуживания для управления допуском клиентов на обслуживание.

Методы исследования основаны на положениях теории вычислительных систем, математическом аппарате теории массового обслуживания, теории вероятностей, математической статистики и технологии имитационного моделирования.

Научная новизна. В работе получены следующие научные результаты, которые выносятся на защиту.

1. Аналитические модели, позволяющие оценивать эффективность работы дисковой подсистемы ввода/вывода при использовании различных алгоритмов дискового планирования и методов размещения текст-ориентированных и потоковых данных для случаев раздельного обслуживания запросов каждого типа.

2. Обоснование преимуществ предложенного для использования в серверах мультимедиа способа размещения текст-ориентированных и потоковых данных на наборе дисков.

3. Метод смешанного динамического дискового планирования FCFS с дисциплиной обслуживания LOOK очереди запросов к диску, определяющий порядок обслуживания запросов к данным обоих типов.

4. Аналитический метод расчета предельной нагрузки, возлагаемой на дисковую подсистему сервера мультимедиа интегрированной архитектуры, при заданных ограничениях на стохастические показатели качества обслуживания.

Практическая значимость работы.

1. Разработанные аналитические модели работы дисковой подсистемы для случаев раздельного обслуживания запросов каждого типа могут применяться в задачах определения оптимальной конфигурации дисковой подсистемы и при контроле нагрузки для обеспечения требуемого качества обслуживания клиентов.

2. Предложенный для применения способ размещения данных на наборе дисков позволяет достичь более высокой эффективности использования ресурсов серверов мультимедиа и увеличения производительности.

3. Применение разработанного метода смешанного динамического дискового планирования FCFS с дисциплиной обслуживания LOOK очереди запросов к диску позволяет обеспечить наибольшую производительность дисковой подсистемы сервера мультимедиа в рамках требуемого качества обслуживания.

4. На основе разработанного аналитического метода расчета предельной нагрузки, возлагаемой на дисковую подсистему сервера мультимедиа, при заданных ограничениях на стохастические показатели качества обслуживания становиться возможной реализация метода управления допуском клиентов на обслуживание, гарантирующего заданное качество обслуживания.

Внедрение результатов. Результаты диссертационной работы использованы Представительством АО «ОРК Софтвер Ист», г. Санкт-Петербург при разработке собственной корпоративной цифровой библиотеки, а также компанией ООО «Квантел» при построении центров хранения данных. Предложенные аналитические модели внедрены в курс лекций «Моделирование» кафедры вычислительной техники (ВТ) Санкт-Петербургского государственного университета информационных технологий, механики и оптики (СПбГУ ИТМО) для студентов специальности 2201 - «Вычислительные машины, комплексы, системы и сети», а разработанные имитационные модели используются при выполнении лабораторных работ.

Апробация работы. Основные положения диссертационной работы докладывались на первой всероссийской научно-практической конференции «Опыт практического применения языков и программных систем имитационного моделирования в промышленности и прикладных разработках» ИММОД 2003 (г. Санкт-Петербург, 2003), XXXI и XXXII конференциях профессорско-преподавательского состава СПбГУ ИТМО (г. Санкт-Петербург, 2002 и 2003), семинарах кафедры Вычислительной Техники

ВТ) СПбГУ ИТМО «Модели и методы исследования вычислительных систем и сетей» (г. Санкт-Петербург, 2002, 2003 и 2004).

Публикации. Основные результаты диссертационной работы отражены в 7 публикациях, в числе которых 2 статьи во всероссийском журнале «Известия вузов. Приборостроение».

Структура и объем работы. Диссертационная работа состоит из четырех глав, введения, заключения, списка литературы, включающего 139 наименований. Общий объем работы - 168 страниц. Диссертация содержит 45 рисунков, 16 таблиц.

Краткое содержание работы.

В главе 1 проводится сравнительный анализ методов хранения и доступа к обычным текст-ориентированным данным и методов, характерных для работы с потоковыми данными. Проанализированы подходы к организации файловой системы сервера мультимедиа, предназначенного для работы с данными обоих типов. Вводится понятие качества обслуживания для 4 запросов к текст-ориентированным и потоковым данным. Определяются стохастические показатели качества обслуживания и характеристики оперативности и производительности. Выделены направления исследования.

В главе 2 разрабатываются аналитические модели работы дисковой подсистемы ввода/вывода при использовании методов поблочного чередования и экстентного размещения текст-ориентированных данных совместно с такими алгоритмами дискового планирования как FCFS и LOOK. С использованием предложенных моделей исследуется влияние длины блока файловой системы на эффективность работы дисковой подсистемы. Проводится сравнительный анализ указанных методов в условиях равномерного и неравномерного распределения нагрузки по набору дисков. Определены метод размещения текст-ориентированных данных и алгоритм дискового планирования, повышающие производительность подсистемы ввода/вывода.

В главе 3 разрабатываются аналитические модели работы дисковой подсистемы ввода/вывода при использовании методов размещения аудио/видео файлов согласно постоянному шагу данных и согласно постоянному шагу времени совместно с циклическим методом доступа и алгоритмом дискового планирования LOOK. С помощью построенных моделей проводится сравнительный анализ указанных методов и исследуется влияние различных параметров на эффективность работы дисковой подсистемы. Определены метод размещения аудио/видео файлов и алгоритм доступа к данным, повышающие производительность подсистемы ввода/вывода. Рассматриваются методики определения оптимальной длины блока файловой системы для серверов, обеспечивающих хранение и доступ к текст-ориентированным данным, и серверов, обеспечивающих работу с потоковыми данными. Для серверов мультимедиа интегрированной архитектуры определен предпочтительный метод размещения данных обоих типов.

В главе 4 описываются методы дискового планирования, определяющие порядок обслуживания запросов к текст-ориентированным и потоковым данным. С помощью построенных имитационных моделей проводится их сравнительный анализ. Предлагается и исследуется метод дискового планирования, позволяющий увеличить производительность дисковой подсистемы ввода/вывода в рамках требуемого качества обслуживания. Для данного случая разрабатывается аналитический метод определения предельной нагрузки при заданных ограничениях на стохастические показатели качества обслуживания. Проводится анализ эффективности работы дисковой подсистемы ввода/вывода для случаев раздельной и интегрированной архитектур построения файловых систем серверов мультимедиа.

Заключение диссертация на тему "Исследование и разработка методов хранения и доступа к данным в серверах мультимедиа"

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработаны аналитические модели, позволяющие оценивать эффективность работы дисковой подсистемы ввода/вывода для случаев раздельного обслуживания запросов к текст-ориентированным и потоковым данным при использовании следующих методов хранения и доступа:

• поблочного чередования и экстентного размещения текст-ориентированных данных совместно с алгоритмами дискового планирования FCFS и LOOK;

• размещения аудио/видео файлов согласно постоянному шагу данных и согласно постоянному шагу времени совместно с циклическим методом доступа и алгоритмом дискового планирования LOOK.

2. Для оценки погрешностей аналитических моделей разработаны имитационные модели, описывающие работу дисковой подсистемы сервера мультимедиа при использовании соответствующих методов размещения данных и алгоритмов дискового планирования. Показано, что при определении предельных значений нагрузочных параметров для заданного ограничения на качество обслуживания погрешность аналитических моделей не превышает 27% для случая обслуживания запросов к текст-ориентированным данным и 5% для случая обслуживания запросов к потоковым данным. Полученные предельные погрешности разработанных аналитических моделей позволяют применять их для определения оптимальной конфигурации дисковой подсистемы ввода/вывода и при контроле нагрузки для обеспечения требуемого качества обслуживания клиентов.

3. Выполнен сравнительный анализ рассматриваемых методов размещения и алгоритмов дискового планирования для текст-ориентированных данных в условиях равномерного и неравномерного распределения нагрузки по набору дисков. Получено, что экстентный метод размещения текст-ориентированных данных совместно с алгоритмом дискового планирования LOOK обеспечивает наименьшее среднее время пребывания и наибольшую производительность при любых интенсивностях и вне зависимости от типа входящего потока. В случае равномерного распределения нагрузки по набору дисков экстентный метод обеспечивает по крайней мере 50% увеличение производительности в сравнении с методом поблочного чередования.

4. Выполнен сравнительный анализ рассматриваемых методов размещения потоковых данных. Получено, что метод размещения аудио/видео файлов согласно постоянному шагу времени обеспечивает увеличение производительности дисковой подсистемы примерно на 60% по сравнению с методом размещения согласно постоянному шагу данных и повышает эффективность работы с потоковыми данными различных типов. Кроме того, указанный метод обеспечивает наилучшую масштабируемость дисковой подсистемы ввода/вывода при заданном качестве воспроизведения аудио/видео файлов.

5. Проанализирована задача определения оптимальной длины блока файловой системы при использовании метода размещения аудио/видео файлов согласно постоянному шагу данных и метода поблочного чередования для текст-ориентированных данных. Показано, что задача выбора оптимальной длины блока для серверов, обеспечивающих хранение и доступ к текст-ориентированным данным, и серверов, обеспечивающих работу с потоковыми данными, должна решаться по-разному. Проведенные исследования показали перспективность применения в серверах мультимедиа интегрированной архитектуры метода размещения аудио/видео файлов согласно постоянному шагу времени и экстентного метода размещения для текст-ориентированных данных.

6. Предложен и исследован метод смешанного динамического дискового планирования FCFS с дисциплиной обслуживания LOOK очереди запросов к диску, определяющий порядок обслуживания запросов к данным обоих типов и обеспечивающий наибольшую производительность подсистемы ввода/вывода в рамках требуемого качества обслуживания. Для предложенного метода дискового планирования разработан аналитический метод расчета предельной нагрузки при заданных ограничениях на стохастические показатели качества обслуживания. Определен диапазон изменения параметров, при котором относительная погрешность предложенного метода не превышает 30% от значений предельно допустимой интенсивности и предельного числа одновременно воспроизводимых потоков, полученных для случаев раздельного обслуживания запросов каждого типа. На основе предлагаемого подхода становиться возможной реализация метода управления допуском клиентов на обслуживание, гарантирующего заданное качество обслуживания.

Библиография Косяков, Михаил Сергеевич, диссертация по теме Телекоммуникационные системы и компьютерные сети

1. Авен О.И., Турин Н.Н., Коган Я.А. Оценка качества и оптимизация вычислительных систем. - М.: Наука, 1982. 464 с.

2. Авен О.И., Коган Я.А. Управление вычислительным процессом в ЭВМ. -М.: Энергия, 1978. 240 с.

3. Вычислительные машины и системы. Учебник для вузов / Под ред. Ефремова В.Д., Мелехина В.Ф. М.: Высшая школа, 1993. 292 с.

4. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: Наука, 1966. 432 с.

5. Клейнрок Л. Теория массового обслуживания. М.: Машиностроение, 1979. 432 с.

6. Косяков М.С. Аналитические модели накопителей на магнитных дисках для различных типов нагрузки // Известия вузов. Приборостроение. 2003. Т. 46. №2. С. 58-63.

7. Косяков М.С. Методы моделирования накопителей на магнитных дисках с опережающим считыванием // В кн.: Современные технологии: Сборник научных статей. / Под ред. С.А.Козлова и В.О.Никифорова. СПб: СПб ГИТМО (ТУ), 2002. С. 210-218.

8. Косяков М.С., Алиев Т.И. Сравнение архитектур построения серверов мультимедиа // В кн.: Научно-технический вестник СПб ГИТМО (ТУ). Выпуск 10. Информация и управление в технических системах. / Под ред. Ю.А.Гатчина. СПб: СПб ГИТМО (ТУ), 2003. С. 77-85.

9. Ю.Косяков М.С., Лукин А.А. Моделирование работы дисковой подсистемы ввода/вывода при различных методах размещения данных // Известия вузов. Приборостроение. 2004. Т. 47. № 5. С. 30-36.

10. Кузьминский М. О менеджерах логических томов в ОС UNIX // Открытые системы. 1996. № 6 // URL: http://www.osp.ru/os/! 996/06/11 .htm13.0лифер Н.А., Олифер В.Г. Сетевые операционные системы. 1-е изд. -СПб.: Питер, 2004. 544 с.

11. Основы теории вычислительных систем. / Майоров С.А., Новиков Г.И., Алиев Т.И., Махарев Э.И., Тимченко Б.Д. М.: Высшая школа, 1978. 408 с.

12. Сергеева Н., Павлов Л. Корпоративные цифровые библиотеки // Открытые системы. 1997. № 3 // URL: http://www.osp.ru/os/! 997/03/68.htm

13. Советов Б.Я., Яковлев С.А. Моделирование систем, 3-е изд. М.: Высшая школа, 2001. 343 с.

14. Таненбаум Э. Современные операционные системы. 2-е изд. СПб.: Питер, 2002. 1037 с.

15. Фарли М. Сети хранения данных, 2-е изд. М.: Лори, 2003. 1037 с.

16. Флоридо Х.С. Журнальные файловые системы // Открытые системы. 2001. № 9 // URL: http://www.osp.ru/os/200l/09/028.htm

17. Черный В. Серверы MediaStreamer как инструмент в решениях IBM // Открытые системы. 1997. № 4 // URL: http://www.osp.ru/os/1997/04/69.htm

18. Шрайбер Т.Дж. Моделирование на GPSS. М.: Машиностроение, 1980. 592 с.

19. Anderson D., Osawa Y., Govindan R. A file system for continuous media // ACM Transactions on Computer Systems. November 1992. Vol. 10. № 4. P.311-337.

20. Barham P. A Fresh Approach to File System Quality of Service // Proceedings of NOSSDAV'97, St. Louis, Missouri, May 1997. P.l 19-128.

21. Bennett J.C.R., Zhang H. Hierarchical Packet Fair Queuing Algorithms // Proceedings of SIGCOMM'96, August 1996. P. 143-156.

22. Berson S., Ghandeharizadeh S., Muntz R., Ju X. Staggered Striping in Multimedia Information Systems // Proceedings of ACM SIGMOD, May 1994. P.79-90.

23. Best S. JFS Overview // IBM Corp. 2000 // URL: http://www-106.ibm.com/developerworks/library/l-jfs.html

24. Bitterer A. et al. Digital Library for Windows NT: Building a Collection Treasury Application // IBM Corp., IBM Red Book SG24-5555-00. 1998 // URL: http://www.redbooks.ibm.com

25. Breslau L. et al. Web Caching and Zipf-like Distribution: Evidence and Implications // Proceedings of IEEE Infocom '99, New York, NY, March, 1999. P.126-134.

26. Card R., Ts'o Т., Tweedie S. Design and implementation of the second extended filesystem // Proceedings to the First Dutch International Symposium on Linux, 1994 // URL: http://web.mit.edu/tytso/www/linux/ext2intro.html

27. Chang E., Zakhor A. Cost Analyses for VBR Video Servers // Proceedings of IS&T/SPIE International Symposium on Electronic Imaging: Science and Technology, San Jose, California, January 1996.

28. Chang E., Zakhor A. Variable Bit Rate MPEG Video Storage on Parallel Disk Arrays // Proceedings of SPIE Conference on Visual Communication and Image Processing, Chicago, Illinois, September 1994. P.47-60.

29. Chen H.J., Little T. Storage Allocation Policies for Time-Dependent Multimedia Data // IEEE Transactions on Knowledge and Data Engineering. October 1996. Vol. 8. № 5. P.855-864.

30. Chen P.M., Lee E.K. Striping in a RAID Level 5 Array // Proceedings of the ACM SIGMETRICS Conference, 1995. P.136-145.

31. Chen P.M., Patterson D.A. Maximizing Performance in a Striped Disk Array // Proceedings of the 17th International Symposium on Computer Architecture (SIGARCH), 1990. P.322-331.

32. Christel M., Stevens S., Wactlar H. Informedia Digital Video Library // Proceedings of the Second ACM International Conference on Multimedia, Video Program, New York, October, 1994. P.480-481.

33. Coffman E.G., Hofri M. On the Expected Performance of Scanning Disks 11 SLAM Journal of Computing. February 1982. Vol. 10. №> 1. P.60-70.

34. Coffman E.G., Klimko L.A., Ryan B. Analysis of Scanning Policies for Reducing Disk Seek Times // SIAM Journal of Computing. September 1972. Vol. 1. № 3. P.269-279.

35. De Jonge W., Kaashoek M.F., Hsieh W.C. The Logical Disk: A New Approach To Improving File Systems // Proceedings of the 14th Symposium on Operating Systems Principles, 1993. P. 15-28.

36. Downey A.B. The structural cause of file size distributions // Proceedings of the 9th International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems (MASCOTS'Ol), USA, August 2001. P.361-370.

37. Ebbers M. et al., Image and Workflow Library: Capacity Planning and Performance Tuning for Visuallnfo and Digital Library Servers // IBM Corp., IBM Red Book SG24-4974-01. 1999 // URL: http://www.redbooks.ibm.com

38. Evans К.М., Kuenning G.H. A Study of Irregularities in File-Size Distributions // International Symposium on Performance Evaluation of Computer and Telecommunication Systems (SPECTS '02), San Diego, California, July 2002.

39. Ferrari D., Verma D.C. A scheme for real-time channel establishment in wide-area networks // IEEE Journal on Selected Areas in Communications. April 1990. Vol. 8. № 3. P.368-379.

40. Geist R., Daniel S. A Continuum of Disk Scheduling Algorithms // ACM Transactions on Computer Systems. February 1987. Vol. 5. № 1. P.77-92.

41. Gemmell D.J., Christodoulakis S. Principles of delay sensitive multimedia data storage and retrieval // ACM Transactions on Information Systems. 1992. Vol. 10. № 1. P.51-90.

42. Gemmell D.J., Han J. Multimedia network file servers: multi-channel delay sensitive data retrieval // Multimedia Systems. 1994. Vol. 1. № 6. P.240-252.

43. Gemmell D.J., Vin H.M., Kandlur D.D., Rangan P.V., Rowe L. Multimedia Storage Servers: A Tutorial and Survey // IEEE Computer. May 1995. Vol. 28.5. P.40-49.

44. Ghandeharizadeh S. et al. Mitra: A Scalable Continuous Media Server // Multimedia Tools and Applications Journal, Kluwer Academic Publishers. July 1997. Vol. 5. № 1. P.79-108.

45. Ghandeharizadeh S., Muntz R. Design and Implementation of Scalable Continuous Media Servers // Parallel Computing, Elsevier. 1998. Vol. 24. P.91-122.

46. Gibson G.A. et al. Filesystems for Network-Attached Secure Disks // CMU SCS Technical Report CMU-CS-97-118. July 1997 // URL: http://www.pdl.cmu.edu/NASD

47. Gibson G.A. et al. NASD Scalable Storage Systems // Proceedings of USENIX 1999, Linux Workshop, Monterey, CA, June 9 11, 1999 // URL: http://www.pdl.cmu.edu/NASD

48. Gotlieb C.C., MacEwen G.H. Performance of moveable-head disk storage systems // Journal of the ACM. October 1973. Vol. 20. № 4. P.604-623.

49. Gray J. (Ed.) The Benchmark Handbook for Database and Transaction Processing, 2nd edition. Morgan Kaufmann, San Mateo, 1993 // URL: http://www.benchmarkresources.com/handbook

50. Gribble S.D., Brewer E.A. System Design Issues for Internet Middleware Services: Deduction From a Large Client Trace // Proceedings of the 1997 USENIX Symp. On Internet Technologies and Systems, December 1997. P.207-218.

51. Hagerup Т., Rub C. A Guided Tour of Chernoff Bounds // Information Processing Letters. 1989. Vol. 33. P.305-308.

52. Hard disk drive specification. Ultrastar 36LZX, Models: DDYS-T36950, DDYS-T18350, DDYS-T09170. Revision 2.1 // IBM Corp. June 2000.

53. Hasenstein M. The Logical Volume Manager (LVM) // SuSE Inc. 2001 // URL: http://www.sistina.com/lvm

54. Haskin R.L. The Shark Continuous Media File Server // Proceedings of the IEEE Computer Society International Conference, COMPCON'93, February 1993. P.12-17.

55. Haskin R.L. Tiger Shark A Scalable File System for Multimedia // IBM Journal of Research and Development. March 1998. Vol. 42. № 2. P.185-197.

56. Haskin R.L., Schmuck F. The Tiger Shark File System // Proceedings of the IEEE Computer Society International Conference, COMPCON'96, February 1996. P.226-231.

57. Haskin R.L., Stein F.B. A System for the Delivery of Interactive Television Programming // Proceedings of the IEEE Computer Society International Conference, COMPCON'95, March 1995. P.209-216.

58. Hauptmann A.G., Witbrock M. Informedia: News-on-Demand Multimedia Information Acquisition and Retrieval // Intelligent Multimedia Information Retrieval, Ed.: Maybury M.T., AAAI Press, 1997. P.213-239.

59. Hitz D., Lau J., Malcolm M. File System Design for a NFS File Server Appliance // Proceedings of the 1994 Winter Usenix, San Francisco, CA, 1994. P.235-246.

60. Hofri M. Disk Scheduling: FCFS vs. SSTF Revisited // Communication of the ACM. November 1980. Vol. 23. № 11. P.645-653.

61. Holton M., Das R. XFS: A Next Generation Journalled 64-bit Filesystem with Guaranteed Rate I/O // Silicon Graphics Inc. 1996 // URL: http://www.sgi.com/Technology/xfs-whitepaper.html

62. Jardetzky P.W. Network File Server Design for Continuous Media, PhD thesis // University of Cambridge, Computer Laboratory, August 1992. 112 p.

63. Jones Т., Koniges A., Yates R.K. Performance of the IBM General Parallel File System // Proceedings of the 14th International Parallel and Distributed Processing Symposium (IPDPS'OO), Cancun, Mexico, May 2000. P.673-683.

64. Kienzle M.G., Dan A., Sitaram D., Tetzlaff W. Using tertiary storage in video-on-demand servers // Proceedings of the IEEE Computer Society International Conference, COMPCON'95, 1995. P.225-233.

65. Kim H., Lee J., Suh J., Chon K. A Measurement Study of Storage Resource and Contents on a High-Performance Research and Education Network // Proceedings 6th IEEE International Conference, HSNMC 2003, Estoril, Portugal, July 2003. P. 108-117.

66. Kim M.Y., Tantawi A.N. Asynchronous Disk Interleaving: Approximating Access Delays // IEEE Transactions on Computers. 1991. Vol. 40, № 7, P.801-810.

67. Krunz M., Hughes H. A Traffic Model for MPEG-Coded VBR Streams // Proceedings ACM SIGMETRICS International Conference on Measurement and Modeling of Computer Systems, Ottawa, Canada, May 1995. P.47-55.

68. Lee E.K., Katz R.H. An Analytic Performance Model of Disk Arrays // Proceedings of the International Conference on Measurement and Modeling of Computer Systems (ACM SIGMETRICS), 1993. P.98-109.

69. Lee K.O., Yeom H.Y. Deciding round length and striping unit size for multimedia servers // Proceedings of the 4th International Workshop on Multimedia Information Systems (MIS'98), Istanbul, Turkey, September 1998. P.33-44.

70. Lee M.H. et al. Storage Hierarchy Design in Video-On-Demand Servers // Proceedings of SPIE Storage and Retrieval for still image and video databases IV, Vol. 2670, 1996. P.300-307.

71. Leung K.K., Eisenberg M. A single-server queue with vacations and non-gated time-limited service // Performance Evaluation. 1991. Vol. 12. P. 115-125.

72. Leung K.K., Lucantoni D.M. Two vacation models for token-ring networks where service is controlled by timers // Performance Evaluation. 1994. Vol. 20. P.165-184.

73. Liu C.L., Layland J.W. Scheduling Algorithms for Multiprocessing in a Hard-Real Time Environment // Journal of the ACM. January 1973. Vol. 20. P.46-61.

74. Martin C., Narayan P.S., Ozden В., Rastogi R., Silberschatz A. The Fellini Multimedia Storage Server // Multimedia Information Storage and Management, Ed: S. Chung, Kluwer Academic Publishers. 1996. P. 117-146.

75. McKusic M.K., Joy W.N., Leffler S.J., Fabry R.S. A Fast File System for UNIX // ACM Transactions on Computer Systems. August 1984. Vol. 2. № 3. P.181-197.

76. McVoy L., Klieman S. Extent-like Performance from a UNIX File System // Proceedings of Summer USENIX Conference, Annaheim, CA, June 1990. P.137-144.

77. Mullender S.J., Tanenbaum A.S. Immediate Files // Software Practice and Experience. April 1984. Vol. 14. P.365-368.

78. Narasimha Reddy A.L., Wyllie J. Disk Scheduling in Multimedia I/O System // Proceedings of the ACM Multimedia'93, Anaheim, CA, August 1993. P.225-234.

79. Narasimha Reddy A.L., Wyllie J. I/O Issues in a Multimedia System // Computer. 1994. Vol. 27. № 3. P.69-74.

80. Nerjes G., Muth P., Weikum G. Stochastic Performance Guarantees for Mixed Workloads in a Multimedia Information System // Proceedings of the IEEE International Workshop on Research Issues in Data Engineering, Birmingham, UK, April 1997. P. 131-140.

81. Nerjes G., Muth P., Weikum G. Stochastic Service Guarantees for Continuous Data on Multi-Zone Disks // Proceedings of the 16th Symposium on Principles of Database Systems, Tucson, USA, May 1997. P. 154-160.

82. Park A., English P. A Variable rate strategy for retrieving audio data from secondary storage // Proceedings of the International Conference on Multimedia Information Systems'91. Singapore, January 1991. P.135-146.

83. Patterson D.A., Gibson G., Katz R. A Case for Redundant Arrays of Inexpensive Disks (RAID) // Proceedings of the ACM SIGMOD International Conference on Management of Data, 1988. P.109-166.

84. Rangan P.V., Vin H.M. Designing File Systems for Digital Video and Audio // Proceedings of the 13th Symposium on Operating Systems Principles (SOSP'91), Operating Systems Review, October 1991. Vol. 25. № 5. p.81-94.

85. Rangan P.V., Vin H.M. Efficient Storage Techniques for Digital Continuous Multimedia // IEEE Transactions on Knowledge and Data Engineering. August 1993. Vol. 5. № 4. P.564-573.

86. Rowe L.A. et al. A Distributed Hierarchial Video-On-Demand System // Berkeley Multimedia Research Center. October 1995 // URL: http://www.bmrc.berkeley.edu/

87. Ruemmler C., Wilkes J. An introduction to disk drive modeling // IEEE Computer. March 1994. Vol. 27. № 3. P. 17-28.

88. Sandberg R. et al. Design and Implementation of the Sun Network File System // Proceedings of the 1985 Summer Usenix, June, 1985. P. 119-130.

89. Sanuki Т., Asakawa Y. Design of a Video-Server Complex for Interactive Television // IBM Journal of Research and Development. March 1998. Vol. 42. №2. P. 199-218.

90. Saroiu S., Gummadi K.P., Dunn R.J., Gribble S.D., Levy H.M. An Analysis of Internet Content Delivery Systems // Proceedings of the 5th Symposium on Operating Systems Design and Implementation (OSDI 2002), December 2002. P.315-328.

91. Scheuermann P., Weikum G., Zabback P. "Disk cooling" in parallel disk systems // IEEE Data Engineering. September 1994. Vol. 17. № 3. P. 14-28.

92. Scheuermann P., Weikum G., Zabback P. Data Partitioning and Load Balancing in Parallel Disk Systems // The VLDB Journal. February 1998. Vol. 7. P.48-66.

93. Schmuck F., Haskin R.L. GPFS: A Shared-Disk File System for Large Computer Clusters // Proceedings of the Conference on File and Storage Technologies (FAST'02), 2002. P.231-244.

94. Shenker S. Fundamental Design Issues for the Future Internet // IEEE Journal of Selected Areas in Communications. September 1995. Vol. 13. P.l 176-1188.

95. Shenoy P., Goyal P., Rao S., Vin H.M. Design Considerations for the Symphony Integrated Multimedia File System // Multimedia Systems. October 2003. Vol. 9. № 4. P.337-352.

96. Shenoy P., Goyal P., Rao S., Vin H.M. Symphony: An Integrated Multimedia File System // Proceedings of ACM/SPIE Multimedia Computing and Networking 1998 (MMCN'98), San Jose, January 1998. P. 124-138.

97. Shenoy P., Goyal P., Vin H.M. Architectural Considerations for Next Generation File Systems // Proceedings of the ACM Multimedia'99, November 1999. P.457-468.

98. Shenoy P., Vin H.M. Cello: A Disk Scheduling Framework for Next-generation Operating Systems // Proceedings of ACM SIGMETRICS Conference, Madison, WI, June 1998. P.44-55.

99. Shenoy P., Vin H.M. Multimedia Storage Servers // In Readings in Multimedia Computing, Ed.: Jeffay K., Morgan Kaufmann Publishers, 2001.

100. Solomon D.A., Russinovich M.E. Inside Microsoft® Windows® 2000, 3rd edition. Microsoft Press, Redmond, WA, 2000. 944 p.

101. Suzuki H. et al. Storage hierarchy for video-on-demand systems // Proceedings of SPIE Storage and Retrieval for Image and Video Databases II, Vol.2185, 1994. P.198-207.

102. Sweeney A. et al. Scalability in the XFS File System // Proceedings of the USENIX 1996 Annual Technical Conference, San Diego, С A, 1996. P.l-14.

103. Takagi H. Queueing Analysis: A Foundation of Performance Analysis, Volume 1: Vacation and Priority Systems. North Holland, Amsterdam, 1991.

104. Teorey Т., Pinkerton T.B. A comparative analysis of disk scheduling policies // Communications of the ACM. March 1972. Vol. 15. № 3. P.177-184.

105. Tewari R., Dias D., Mukherjee R. Real-Time Issues for a Clustered Multimedia Server // Research Report RC-20020, IBM Thomas J. Watson Research Center, Yorktown Heights, NY, April 1995.

106. Tewari R., Dias D., Mukherjee R., Vin H. Design and Performance Tradeoffs in Clustered Multimedia Servers // Proceedings of the 1996 International Conference on Multimedia Computing and Systems, IEEE Computer Society, Tokyo, June 1996. P.144-150.

107. Tobagi F.A., Pang J., Baird R., Gang. Streaming RAID: A Disk Storage System for Video and Audio Files // Proceedings of ACM Multimedia'93, Anaheim, CA, August 1993. P.393-400.

108. Trautman P. Scalability and Performance in Modern Filesystems // Silicon Graphics Inc. 2000 // URL: http://www.sgi.com/pdfs/2668.pdf

109. Uysal M., Alvarez G.A., Merchant A. A Modular Analytical Throughput Model for Modern Disk Arrays // Proceedings of the 9th International

110. Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems (MASCOTS-2001), August 2001. P.183-192.

111. Vanel L. et al. AIX Logical Volume Manager, from A to Z: Introduction and Concepts // IBM Corp., IBM Red Book SG24-5432-00. 2000 // URL: http://www.redbooks. ibm. com

112. VERITAS File System Administrator's Guide // VERITAS Software Corp. 2002.

113. Vernik M., Venkatramini C., Chiueh T. Adventures in Building the Stony Brook Video Server // Proceedings of ACM Multimedia, 1996. P.287-295.

114. Vin H.M., Goyal A., Goyal A., Goyal P. An Observation-Based Admission Control Algorithm for Multimedia Servers // Proceedings of the 1st IEEE International Conference on Multimedia Computing and Systems (ICMCS'94), Boston, May 1994. P.234-243.

115. Vin H.M., Goyal A., Goyal P. Algorithms for Designing Large-Scale Multimedia Servers // Computer Communications. March 1995. Vol.18. № 3. P.l 92-203.

116. Vin H.M., Goyal P., Goyal A., Goyal A. A Statistical Admission Control Algorithm for Multimedia Servers // Proceedings of the ACM Multimedia'94, San Francisco, October 1994. P.33-40.

117. Vin H.M., Rangan P.V. Designing a Multi-User HDTV Storage Server // IEEE Journal on Selected Areas in Communications. January 1993. Vol. 11. № 1. P.153-164.

118. Vin H.M., Rao S., Goyal P. Optimizing the Placement of Multimedia Objects on Disk Arrays // Proceedings of the IEEE International Conference on Multimedia Computing and Systems (ICMCS'95), Washington, D.C., May 1995. P.158-165.

119. Vin H.M., Shenoy P. Storage Architectures for Digital Imagery, Image Databases, Search and Retrieval of Digital Imagery. Ed.: Castelli V., Bergman L.D. John Wiley and Sons, Inc. New York, 2000.

120. Vogels W. File system usage in Windows NT 4.0 I I Proceedings of the 17th SOSP, Kiawah Island, December 1999. P.93-109.

121. Weikum G., Zabback P., Scheuermann P. Dynamic File Allocation in Disk Arrays // Proceedings of the SIGMOD International Conference on Management of Data, 1991. P.406-415.

122. Wilhelm N. An anomaly in disk scheduling: a comparison of FCFS and SSTF seek scheduling using an empirical model for disk accesses // Communication of the ACM. January 1976. Vol. 19. № 1. P. 13-17.

123. Worthington B.L., Ganger G.R., Patt Y.N. Scheduling Algorithms for Modern Disk Drives // Proceedings of ACM SIGMETRICS'94, May 1994. P.241-251.

124. Yang J., Zhuang Y., Li Q. Multi-Modal Retrieval for Multimedia Digital Libraries: Issues, Architecture and Mechanisms // Proceedings of International Workshop on Multimedia Information Systems (MIS), Capri, Italy, 2001. P.81-88.

125. Yee J., Varaiya P. Models and performance of real-time disk access policies // Computer Communications. 1995. Vol. 18. № 10. P.725-741.

126. Yu P.S., Chen M.S., Kandlur D.D. Grouped Sweeping Scheduling for DASD-based multimedia storage management // Multimedia Systems Journal. 1993. Vol. 1. P.99-109.

127. Zhao W., Ramamritham K., Stankovic J.A. Preemptive Scheduling Under Time and Resource Constraints // IEEE Transactions on Computers. August 1987. Vol. 36. № 8. P.949-960.

128. Zurschmeide J.B. IRIX Advanced Site and Server Administration Guide // Silicon Graphics Inc. 1992. Chapter 8. P.241-288.