автореферат диссертации по электронике, 05.27.01, диссертация на тему:Модернизация архитектуры системы на кристалле для снижения энергопотребления в декодерах потоковых видеоданных

004615438

ПУЧКОВ ГРИГОРИЙ АНАТОЛЬЕВИЧ ^^/

МОДЕРНИЗАЦИЯ АРХИТЕКТУРЫ СИСТЕМЫ НА КРИСТАЛЛЕ ДЛЯ СНИЖЕНИЯ ЭНЕРГОПОТРЕБЛЕНИЯ В ДЕКОДЕРАХ ПОТОКОВЫХ ВИДЕОДАННЫХ

Специальность: 05.27.01 -Твердотельная электроника, радиоэлектронные компоненты, микро- и наноэлектроника, приборы на

квантовых эффектах

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

Москва - 2010

-2 ЛЕК 2010

004615438

Работа выполнена в институте радиотехники и электроники Российской академии наук им. В.А. Котельникова и в ООО НПК «СенсорИС», г. Москва

Научный руководитель: доктор физико-математических наук,

профессор

Гергель Виктор Александрович

Официальные оппоненты: доктор технических наук,

Джиган Виктор Иванович,

кандидат технических наук, Манохин Геннадий Александрович.

Ведущая организация:

ОАО «Российские космические системы», г. Москва

Защита диссертации состоится на заседании

диссертационного совета Д 850.012.01 при ГУП НИЦ «СПУРТ» по адресу: 124460 г. Москва, Зеленоград, 1-й Западный проезд д.4. С диссертацией можно ознакомиться в библиотеке ГУП НПЦ «СПУРТ».

Автореферат разослан 20Ю года.

Ученый секретарь диссертационного совета кандидат технических наук, с.н.с. • Петров В.Г.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

Сегодня характеристики аппаратуры записи и воспроизведения цифрового видео сигнала очень высоки, а развитие медийных технологий стремительно продолжается. Реализация все более сложных алгоритмов сжатия видео и звука (МРЕО-1,2,4, Н.261-264) и увеличение разрешения обрабатываемых кадров вплоть до изображений высокой четкости подразумевает увеличение количества памяти и качества вычислительных ресурсов для повышения производительности конечных устройств записи и воспроизведения цифрового видео.

Уровень развития современных полупроводниковых технологий позволяет реализовать на едином кристалле ядро сложной вычислительной системы, включающей высокопроизводительный процессор и набор специализированных аппаратных вычислительных блоков, реализующих конвейер скоростной обработки потоковых данных в виде системы на кристалле (СНК).

Уменьшение линейных размеров транзисторов и уменьшение напряжения перепадов логических уровней способствует снижению энергии, потребляемой логическими блоками, находящимися непосредственно на кристалле обработки. Однако компактные схемы памяти реализуются на отдельном кристалле по специализированным технологиям с низкими токами утечки.

Затраты энергии на передачу одного бита информации к внешней памяти остаются на прежнем уровне. При общем увеличении разрешения кадра примерно в пять раз количество постоянно передаваемой во внешнюю память информации увеличивается более чем в десять раз, что приводит к существенно большему расходу энергии. Так, в современной системе обработки видео, затраты энергии на передачу. данных во внешнюю память становятся наиболее значимыми среди всех других составляющих общего расхода энергии.

Экономия энергии в устройствах обработки цифрового видео актуальна не только для увеличения времени работы от батарей, но также по причине выделения тепла при нагреве аппаратуры, из-за чего требуется применять специальные конструктивно-технические методы охлаждения, что увеличивает массогабаритные показатели.

Для принципиального снижения затрат энергии при передаче информации к памяти возможны следующие подходы в построении системы:

1. Объединить на одном кристалле вычислительный конвейер обработки и массив памяти для кадров.

2. Реализовать переменную скорость работы внешней памяти и конвейера обработки в зависимости от загрузки.

3. Использовать принципиально новые интерфейсы для передачи информации к памяти (скоростные дифференциальные линии, оптическая связь).

Детальный анализ упомянутых подходов показывает, что:

1. Требуемый размер массива памяти для системы декодирования видеоданных составляет десятки мегабайт. Кристалл конвейера обработки объединенный с массивом памяти будет иметь значительные размеры, что резко снижает выход годных, ухудшает тепловые режимы и показатели надежности работы схемы. Из-за сильных токов утечки субмикронных транзисторов проблематично в рамках единой технологии реализовать скоростные вычислительные блоки и компактные системы памяти.

2. Проблематика реализации переменной скорости самого конвейера обработки обусловлена непредсказуемостью объема передаваемых данных, что делает аппаратуру контроля и управления крайне сложной. Такой системой тяжело управлять.

3. Использование принципиально новых интерфейсов для передачи информации в память представляется перспективным в будущем во многих отношениях, но пока еще это не получило широкого развития. Сейчас это требует использования дополнительной аппаратуры преобразования, что только удорожает систему и повышает ее потребление энергии.

Для снижения энергопотребления декодера потоковых видеоданных возможен и другой подход, а именно периодическое уменьшение рабочих частот при обращении к внешней памяти, сохраняя постоянной скорость работы конвейера обработки данных. Этот подход приемлем и для решения задачи кодирования потоковых видеоданных. Работа такой системы будет прогнозируема, что не усложнит контроль над ней. При выборе модели работы конвейера обработки необходимо стремиться к уменьшению и упорядочиванию

обращений к внешним компонентам - общей внешней памяти, что невозможно без глобальных схемотехнических модернизаций на разных архитектурных уровнях построения системы обработки. Поэтому соответствующая модернизация архитектуры системы на кристалле декодирования потоковых видео данных, несомненно, является актуальной задачей.

В данной диссертационной работе проанализированы варианты реализаций существующих МРЕО-2 видео-декодеров и предложено новое модернизированное высокопроизводительное архитектурное решение, обеспечивающее уменьшение потребляемой энергии на 1013%.

Объектом диссертационного исследования являются структуры декодеров потоковых видеоданных.

Предметом диссертационного исследования являются методы проектирования, архитектура и схемотехника специализированных систем на кристалле для обработки потоковых видеоданных.

Цель работы

Целью работы являются:

1. Разработка экономичной архитектуры СНК декодирования потоковых видеоданных для портативных применений.

2. Увеличение общей производительности системы обработки за счет применения новых архитектурных решений и использования дополнительных сложнофункциональных блоков (СФ).

3. Выявление способов равномерного распределения и уменьшения вычислительной нагрузки на аппаратные блоки системы.

4. Разработка методов упорядочивания и минимизация пиковых нагрузок на общие ресурсы системы обработки.

5. Комплексная минимизация энергопотребления системы.

Для достижения поставленной цели необходимо решить следующие

задачи:

1. Провести анализ существующих архитектур построения систем декодирования потоковых видеоданных. Подробно исследовать существующие модели работы конвейеров обработки потоковых данных различных уровней и выявить их характерные особенности, достоинства и недостатки с точки зрения построения энерго-экономичного устройства.

2. Определить наиболее критичные участки конвейеров обработки видеоданных с точки зрения использования аппаратных вычислительных ресурсов, организации и хранения передаваемых данных и соответствующих энергозатрат. Предложить пути более эффективного их построения. Сравнить энергозатраты для различных моделей обработки при обращении к памяти.

3. Предложить схемы и методы совместной работы вычислительных блоков, использующих обращения к общей памяти, ориентированные на компактную низкопотребляющую реализацию системы, позволяющие структурировать, упорядочить и минимизировать обращения к общим разделяемым ресурсам памяти.

4. Создать экспериментальный программно-аппаратный комплекс для проведения экспериментов и анализа работы вычислительных блоков системы.

5. Провести эксперименты, анализирующие работу различных архитектур обработки потоковых видеоданных и их элементов и сравнить предложенные методы и способы реализации с уже существующими аналогами.

Научная новизна

1. Разработан алгоритм динамического изменения скорости доступа к памяти, основанный на'свойствах последовательности потоковых видеоданных, позволяющий регулярно уменьшать скорость работы внешней памяти на предопределенные временные периоды. (Патент №2367001).

2. Разработан способ и алгоритм динамически выбираемого арбитража, комбинирующий выделение временных окон и непрерываемых временных интервалов, позволяющий корректировать количество передаваемых данных в каналах без изменения приоритетов.

3. Разработан новый способ ускоренного вычисления потоковых данных, повышающий скорость обработки и обеспечивающий снижение количества команд. (Патент №2380738).

Практическая значимость

1. Разработан новый алгоритм адаптивного подбора скорости при работе с внешней памятью, позволяющий поддерживать скорость обменов в соответствии с текущей загрузкой. Его применение уменьшает энергопотребление системы декодирования видео на 10-13%.

2. Применение алгоритма динамически-выбираемого арбитража при обращении к памяти в многопотоковой системе позволяет временно снижать тактовую частоту общей шины без потери непрерывности транзакций и без увеличения размеров буферов временного хранения данных.

3. Алгоритмы адаптивного подбора скорости и динамически-выбираемого арбитража повышают производительность системы декодирования видеопоследовательностей за счет упрощения и упорядочивания схемы доступа при обращении к памяти в многопотоковой системе.

4. Разработанный способ и реализующий его «Блок ускоренной обработки потоковых данных» существенно упрощает и ускоряет на 30% работу центрального процессора системы видеообработки при начальном декодировании сжатого битового потока.

5. Предложенные алгоритмы адаптивного подбора скорости и динамически-выбираемого арбитража, а также «Блок ускоренной обработки потоковых данных» нашли применение в разработанном в ООО НПК «СенсорИС» устройстве «Мультимедийная система на кристалле «Термит».

Внедрение результатов работы

Результаты работ внедрены в ООО НПК «СенсорИС» при разработке проекта «Мультимедийная система на кристалле «Термит» и в ООО «НПП «Цифровые решения» в НИР «Исследования и разработка отечественной высокопроизводительной системы кодирования, передачи, приема и декодирования мультимедийной информации». Разработанные методы внедрены в учебный процесс кафедры СМ-5 «Автономные информационные и управляющие системы» МГТУ им. Баумана в дисциплинах «Схемотехническое проектирование микроэлектронных устройств» и «Вычислительные машины, системы и сети», что подтверждается соответствующими актами.

На защиту выносится следующее

1. Алгоритм динамического изменения скорости доступа к общей внешней памяти в системах декодирования. Он позволяет регулярно уменьшать скорость работы внешней памяти на предопределенные временные периоды при обработке I и Р кадров, что уменьшает энергопотребление системы декодирования видеоданных.

2. Способ и алгоритм динамически выбираемого арбитража при доступе к памяти в многопотоковой системе обработки данных, комбинирующий выделение временных окон и непрерываемых временных интервалов.

3. Усовершенствованный способ и реализующий его «Блок ускоренной обработки потоковых данных», упрощающий и ускоряющий работу центрального процессора системы обработки видеоданных при начальном декодировании сжатого битового потока.

4. Новое алгоритмическое, математическое, логическое и схемотехническое обеспечение устройств динамического выбора скорости работы внешней памяти, арбитража и блока ускорения вычисления потоковых аудио- видеоданных, реализуемое в системах на кристалле.

Апробация работы

Результаты диссертационной работы докладывались и обсуждались на международных и всероссийских научно-технических конференциях:

• 47-я научная конференция МФТИ, Москва, 2004.

• VII международная конференция. «Цифровая обработка сигналов и ее применение -БЗРА 2005». Москва, 2005.

• 50-я научная конференция МФТИ, Москва, 2007.

• 7-я международная научная конференция. «Телевидение: передача и обработка изображений». ЛЭТИ им В. И. Ульянова (Ленина), Санкт-Петербург, 2009.

• Годовое собрание научного совета по новым материалам при МААН. Секция по проблемам функциональных материалов электронной техники. ИРЭ РАН им. В.А. Котельникова, Москва, 28-30 сентября 2010.

Публикации

Основные результаты диссертационной работы опубликованы в 12 печатных работах. Из них 3 опубликованы в научно-технических журналах из перечня ВАК Минобрнауки. Получено 2 патента по теме диссертации.

Личный вклад

Все выносимые на защиту результаты и положения, составляющие содержание диссертационной работы разработаны и получены лично автором или при его непосредственном участии. Интерпретация основных научных результатов осуществлялась вместе с соавторами публикаций.

Структура и объем диссертации

Диссертация состоит из введения, четырех глав, заключения, списка литературы из 55 наименований и приложений. Общий объем работы без учета приложений составляет 121 страницу, 33 рисунка и 13 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается тема диссертации, ее актуальность и практическая значимость, формулируется цель работы, приводятся положения, выносимые на защиту, кратко излагается содержание работы.

В первой главе Рассмотрены основные этапы компрессии и декомпрессии видеоданных в стандартах МРЕв-1,2,4, Н.261, Н.262, Н.263, Н.264. [1,2] Рассмотрена структура и особенности работы системы декодирования. Приведена общая архитектура систем декодирования потоковых видео данных (Рис.1).

Выход восстановл

Рисунок 1. Общая структура декодера видеоданных

Детально исследованы системные модели работы конвейеров макроблочного и блочного[3] уровней обработки потоковых видеоданных. Выявлены их характерные особенности, достоинства и недостатки с точки зрения использования аппаратных вычислительных ресурсов, организации и хранения передаваемых данных и соответствующих энергозатрат. Оценена структура энергозатрат системы обработки для различных моделей работы. Выявлено, что:

1. Макроблочная модель проще в реализации и программировании системы, т.к. использует более высокий уровень абстрактного описания, но требует больших размеров буферов для временного хранения данных и использует длинные пакетные пересылки при обращении к общей памяти. Количество передаваемых по внешней шине данных для обработки макроблока при компенсации движения кратно макроблоку.

2. Реализация блочной модели конвейера декодирования использует более низкий уровень абстракции — уровень описания

блоков. При этом требуется меньший размер буферов для временного хранения данных. При обращении к общей памяти используются короткие пакетные пересылки. Количество передаваемых по внешней шине данных для обработки макроблока при компенсации движения кратно блоку. Дополнительных передач данных меньше не менее чем в два раза. Для обеспечения очередности передачи данных к общей внешней памяти, к арбитру шины накладываются дополнительные требования [4,5].

3. Значительные затраты энергии при работе СНК приходятся на:

• обращения к общей внешней памяти системы,

• работу больших внутренних буферов памяти промежуточного хранения данных,

• распространение тактового сигнала по кристаллу в бездействующих блоках,

• программные реализации частей алгоритмов.

Рассмотрены существующие методы снижения потребления энергии, проанализировано их возможное применение при построении СНК декодера видеоданных.

Существует вычислительная модель системы декодирования видеоданных, позволяющая регулировать тактовую частоту всего конвейера декодирования в зависимости от количества кодированных в изображении данных [6]. Установлены существенные сложности при применении этой схемы: количество данных в изображении тяжело предсказать, следовательно, точное значение устанавливаемой тактовой частоты трудно выбрать заранее.

Цели этой модели - увеличение степени использования ресурсов и уменьшение потребляемой энергии очень трудно достичь. В итоге, модель масштабирования тактовой частоты работы всего конвейера редко применяется в промышленных реализациях устройства обработки видеоданных.

Для разработки модернизированной архитектуры СНК декодера видеоданных с низким энергопотреблением предлагается:

1. Минимизировать и упорядочить передаваемые данные по внешней шине к общей памяти.

2. Уменьшить тактовую частоту работы при обращении к внешней памяти на определенные интервалы времени. Частоту работы внутреннего конвейера предлагается не изменять.

3. Уменьшить размер внутренних буферов промежуточного хранения данных.

4. Обеспечить стабильную работу внешней шины при передаче данных. Разработать и интегрировать в систему декодирования арбитр шины, гарантирующий своевременную доставку данных аппаратным блокам обработки при временном изменении скорости работы внешней шины.

5. Модернизировать работу центрального процессора при выполнении программных задач декодирования битового потока.

Во второй главе изложена разработка алгоритмов динамического изменения скорости доступа к общей внешней памяти системы декодирования видео, динамически выбираемого арбитража, комбинирующего выделение временных окон и непрерываемых временных интервалов, а также разработка блока ускоренной обработки битового потока.

Проводится изучение структуры и объема потоков данных на общей шине системы обработки видеоданных прежде всего с точки зрения затрат энергии при работе системы на кристалле. Высокая скорость работы внешней памяти гораздо более существенно влияет на энергопотребление, чем работа с внутренней памятью на кристалле [7], что обусловлено более высокими емкостями длинных линий связи и более высокими перепадами логических уровней. Обычно в системах декодирования видеоданных выбор тактовой частоты делается исходя из требований производительности для «наихудшего случая» среди всех стадий конвейера декодирования.

Анализ структуры потока данных к внешней памяти при декодировании показывает, что количество переданных данных к/из памяти при обработке опорных (-1), предсказанных однонаправленных (-Р) и предсказанных двунаправленных (-В) данных значительно различается [3], что видно из рисунка 2.

л

X

s

1 0.8 ю

§ 0.6

JO

с

g 0.4

о

л

X

<J>

с

4> H

o

0.2

Видеопоследовательность mobi!e.m2v {15Mbps)

ащтшм

ШИЩЩ

1

число MB

l-кадр {u=0.54) P- кадр (u=0.71) В- кадр (u=0,86)

Рисунок 2. Степень использования шины при обработке I, Р и В кадров

Различие в количестве передаваемых данных, регулярная структура MPEG-2 кодированного потока; состоящего из IPBB или IPBBPBBPBB последовательностей кадров [2], а также одинаковое время использования памяти при обработке I, Р и В кадров, позволили сделать предположение о возможности уменьшения скорости работы внешней памяти и, как следствие, уменьшении потребляемой энергии при обработке I и Р кадров.

Детальный анализ работы SDRAM памяти [8] показывает, что изменение скорости работы самой памяти SDRAM можно производить при соблюдении определенных правил (завершение передачи пакета данных на странице, затем инициализация микросхемы памяти на другую скорость). При уменьшении скорости работы памяти потребляемая мощность снижается пропорционально квадрату частоты [8]. Это показано на рисунке 3 и в таблице 1.

о

125 133 143 166 183 200

МГц

Blddl Bldd2 □ Idd3

Рисунок 3. Изменения потребляемого тока в основных режимах микросхемы памяти SDRAM для разных тактовых частот работы* *Для 32-х разрядных микросхем SDRAM MT48LC2M32B2 (512КХ32 бит X 4 банка)

Таблица 1. Потребляемый ток микросхемой памяти SDRAM*

Потребляемый ток (тА)для режима: TaKTOF (ая част тга паботы iMFiA

125 133 143 166 183 200

Активный режим Чтение или запись Busrt=2 CAS latence=3: (Iddl) Режим 1 110 120 130 150 190 200

Режим ожидания в активном режиме. Транзакций нет: (Idd2) Режим 2 30 40 50 60 70 80

Активный режим Продолжительный пакетный доступ на Чтение или Запись CAS latence=3: (Idd3) Режим 3 139 149 160 180 260 280

Установлено, что для всех типов обрабатываемых кадров имеет значение разрядность внешней шины и особенности используемой памяти. Для учета влияния этих факторов введен коэффициент влияния на шину kim. Для 32-х разрядной внешней шины к памяти SDRAM и конвейера декодирования, использующего блочную модель обработки kim<0.1. Для расчетов реальной системы принят kim = 0.1, т.к. максимальная пиковая нагрузка (по статистике моделирования) не превышает 10% от полной пропускной способности шины.

Пропорциональное и точное количество данных при обработке I, Р и В кадров известно (для примера приводятся данные для MP@ML MPEG-2 [2]), что позволяет произвести расчет относительного времени пребывания микросхемы памяти SDRAM в одном из трех режимов работы и, как следствие, общего потребляемого тока.

Очевидно, что приведенное время использования всех режимов при обработке любого из типов кадра равно единице:

Ки+К21+К31 = 1 (1)

К1Р + К2Р + Кзр = 1

+к2в в

Приведенные времена пребывания микросхемы памяти SDRAM обозначены соответственно как:

1. в активном режиме чтения/записи (режим 1) Кц, К1Р, KiB,

2. в активном режиме ожидания при отсутствии транзакций (режим 2) К21, К2Р, Кгв,

3. в активном режиме продолжительного пакетного доступа при чтении или записи (режим 3) K3i, КЗР, Кзв.

Производительность реальной системы при обработке -I, -Р и -В кадров [3]:

П1 = 0,54; ПР = 0,71; Пв = 0,86; (2)

Тогда, относительное время нахождения реальной шины в режиме ожидания (режим 2):

K2I = 1 — TJ7 х (Ки + К31); (3)

К2Р=1-ПРХ(К,Р+КЗРУ,

К2В^1-ПВХ(К]В+КЗВ)-,

что для выбранных производительностей составляет:

К21 = 0,46; К2Р = 0,2 9;К2В = ОД 4; (4)

Так как точное количество передаваемых данных при обработке разных типов кадров известно, то для уменьшения простоев предлагается уменьшить тактовую частоту работы внешней шины. Тогда при обработке -I кадра:

^ЫИтах = (ТГ" 1 + ^т)Х^с1кВ

при обработке -Р кадра:

$р (6)

^с1кРтах = ( с ^ + ^т ) ЫкВ ¿В

Где: в! - полное количество передаваемых данных при обработке I кадра, - полное количество передаваемых данных при обработке Р

кадра и Ьв - полное количество передаваемых данных при обработке максимального В кадра, к;т - коэффициент влияния на шину, учитывающий разрядность и особенности используемой памяти, Есид -тактовая частота работы системы при обработке В-кадров. Значения производительности (2) изменятся

^ (7)

сШ

/Г

гт тт у с1кВ = о 855-11Р 11 Р(ихО р

Гс1кР

Время нахождения в режиме ожидания (4) также уменьшится

К21 =1-^x^ + ^)5 (8)

^2/(125) = 0,136;

К2Р=1-Прх(К1Р + КЗР)-

^(166)= 0,145;

что приведет к пропорциональному уменьшению потребляемого тока

Л(125) = Дг(125) Х Х -^¿1(125) + К31 X 5) ) + -^2/(125) Х -^И2(125)> ^

при обработке I кадра,

1р(\66) ~ Др(16ф Х(^1РХ^¿1(166) + Кзр X 1МЗ(Ш)) + К2р(^щ Х^2(16С)' ^^ при обработке Р кадра.

Формулировка алгоритма динамического изменения скорости доступа к общей внешней памяти:

В системе декодирования видеоданных с общей внешней памятью возможно осуществлять периодические снижения тактовой частоты внешней шины при декодировании -I и -Р кадров. Величина снижения тактовой частоты пропорциональна уменьшению количества общих передаваемых данных. Общее количество передаваемых данных и величина снижения тактовой частоты учитывают разрядность внешней шины и используемую в системе декодирования модель конвейера обработки.

Для 32-х разрядной шины к общей внешней памяти конвейера декодирования МРЕв-2 МР@МЪ системы на кристалле, при обработке I и Р- кадров тактовая частота работы внешней шины может быть уменьшена до:

При работе конвейера обработки блочного уровня каждому процессу выделяется временной слот для передачи данных в базисе блоков. Всего общую очередь образуют пять процессов:

1. чтение кадра для воспроизведения,

2. запись восстановленных данных в память кадра,

3. чтение опорных данных для компенсации движения,

4. запись сжатого потока в буфер,

5. чтение сжатого потока из буфера.

Для гарантии непрерывности общего процесса декодирования выдача восстановленных кадров для воспроизведения должна обладать высшим приоритетом [9]. Приоритетность процессов определяется как: 1 (высший), 2, 3,4 и 5(низший).

Строгое аналитическое описание [10] возможности установления очередности на шине по схеме с фиксированным приоритетом задается формулой:

Модель (12) подразумевает идеальные условия без учета потерь или иных накладных расходов, связанных с действием операционной

0,565 хгс!кв; рс1кРпж = 0,823

(11)

ыкр шах

(12)

системы или временем отклика аппаратуры. Добавлением составляющих, характеризующих накладные расходы системы, а именно:

• блокирующий эффект, Вь (Ыоскц^) представляющий время задержки от начала до завершения т,-, которое возникает из-за выполнения более высокоприоритетных задач,

• накладные расходы (первого типа) О] (оуегЬеа^) возникают из-за выполнения собственно самой задачи как, например переключение контекста или возникновение прерывания,

• накладные.расходы (второго типа) Огег (оуегЬеас1ГеО не являются прямым атрибутом задачи, но являются частью затрат системы, таких как реализация арбитража и таймера.

Общая модель очередности доступа к общей шине с фиксированными приоритетами с учетом накладных затрат приобретает вид:

(13)

mm

(Ht<D,

j^Cj+Oj м t

j

О,

+ -

ref

t

T

ref

t

Vi:l<i<n

Эта модель учитывает при анализе параметры реальной микросхемы: периоды перезарядки DRAM, эффект изменения периода выполнения задачи, эффект применения различных режимов транзакций в задаче.

Для достижения высокой пропускной способности и упрощения системы, модель очередности (13) ограничивается следующими допущениями:

1. на шине к памяти транзакции всех задач являются равнозначными (не преимущественными),

2. с целью реализации преимуществ свойств страничного режима для пересылки данных в/из динамическую память используются передачи данных в пакетном режиме (burst),

3. каждый процесс ввода/вывода сопряжен только с одной задачей, а характеристики задачи не изменяются на протяжении времени,

4. уровень приоритета каждого процесса ввода/вывода статичен. Из-за вышеприведенных ограничений, мы имеем модель

очередности реального времени для входных и выходных процессов на шине памяти для равноприоритетной схемы передачи небольших пакетов. Для MPEG-2 декодирования видео, требуется набор из пяти процессов ввода/вывода ть ...,т5 с уровнями приоритетов Pi, ...,Р5, где

Р[ > Р2 >...> Р5. Если неравенство (13) верно, то любая задача т; не должна выполняться дольше отведенного ей времени.

Для любой пересыпки данных время возврата должно укладываться в сценарий очередности доступа с фиксированным приоритетом.

Исходя из конкретной реализации аппаратных блоков определяется конечная схема очередности работы на шине и ее допустимые отклонения. Для конвейера уровня обработки блоков часто используется схема (рисунок 4), позволяющая достаточно просто обслуживать короткие запросы.

Декодир-е, , , , , | , ! в&кторов 7"}----с.........5.........¡-.................у".....ВвИВ1"("'

движения ' > ! , Л . „

гч» блОблок! ¡блок2 блокЗ 'блок4 блокЗ МВп+-|

уЦ} )*•', ^»"1" 1 ИВЯМу «..'¿»'.К

Е2ЛОМ

I

ЮСТ* }•■ МС* }■•

I

Доступ I кОИАМ^

Т

I блОблок'1 1блок2 ¡блокЗ блок4 блок5 ] ; I

,'блокО ,'блок1 |блок2 .блокЭ ;блок4 ]блок&; }

|6лок0 »блок-1 ;блок2 [блокЗ ;блок4 )6лок5 , | ' '*= - | I...... Г . " !' ' '"Г______тк2тжж т|\А/4

I I I I ! » г »

(Время)

шш запись сжатого потока в буфер внешней памяти Ешз считывание данных из буфера в дек, слов перш, длины нага чтений данных в дисплейный буфер шш декодирование заголовка макроблока

вычисление векторов движения и адресов опорных блоков

Рчп : чтение опорных блоков для компенсации движения блока N \А/п: запись восстановленного блока N в кадровый буфер * ; время вычисления блока данных в аппаратном устройстве зависит от количества данных, алгоритма и архитектуры схемы

Рисунок 4. Поблочный доступ процессов декодирования к общей внешней памяти для конвейера уровня обработки блоков

Следует особенно отметить, что вышеуказанные схемы арбитража на шине к общей внешней памяти и их вариации, обеспечивающие

непрерывность работы конвейера декодирования, ориентированы на постоянную скорость работы шины. Попытка изменения скорости работы шины нарушит непрерывность работы общего процесса декодирования и выдачи восстановленных данных.

Для обеспечения непрерывности процесса декодирования в СНК с общей внешней памятью требуется новая схема арбитража, учитывающая временное изменение скорости работы общей внешней шины. Требуется более точная подстройка арбитража на шине к реальным скоростям работы и алгоритмам блоков (времена ввода, вычисления и выдачи данных). В работе предлагается ввести в схему обработки приоритета любого порта обязательные временные окна (рисунок 5):

1. непрерываемого доступа (timeout),

2. исключенного доступа (защитное окно - «30»).

Непрерываемые и защитные окна в многопотоковой системе

Помер

Шр?

портА

высш

ttopfC

порто

1Шрт:£

СНИМИ

REQA

ДОКА RSQ& АСК8 R8QC

ACNSS

rase»

REQE АСК6:

непрерыв, доступ А защитное окно А

непрерыв. доступ В

50В

простой 50

Рисунок 5. Непрерываемые и защитные окна в системе с общей шиной

Данный способ арбитража позволяет удобно оценивать и гибко регулировать загрузку портов доступа, переназначить приоритет и выявить ошибки по количеству обменов. При простоях аппаратура управления может снизить тактовую частоту работы общей внешней памяти, тем самым экономя энергию, что крайне важно для систем с автономным питанием.

Использование данного алгоритма подразумевает постоянную работу системы обработки на кристалле на постоянной скорости, а работа арбитра и общей шины памяти осуществляется на минимально необходимой при данной загрузке скорости.

Задача разбора битового потока может быть реализована как отдельно аппаратно, так и программно - вместе с процессором управления конвейера декодирования.

Аппаратная реализация данной задачи в виде отдельного блока требует постоянных внешних вычислений выбираемого количества сдвигов и числа выдаваемых бит, что загружает центральный процессор вычислениями, а, кроме того, результирующие данные немедленно требуются для дальнейшей работы программы.

Относительно невысокая скорость работы и обилие сложных логических связей с конвейером декодирования делает программную реализацию задачи более предпочтительной и удобной с точки зрения построения и управления всей системы. Групповые битовые сдвиги и анализ наличия флагов условий удобно реализуется в арифметически-логическом устройстве процессора обработки и управления. Основные требования для реализации задачи обработки битового потока сводятся к следующим логическим действиям:

1. загрузка 32-х битных слов в первый и второй регистры общего назначения (РОН1 и РОН2),

2. условная склейка РОН1 и РОН2 в единый 64-х разрядный регистр (РОН1_2),

3. выборка от 0 до 32 разрядов с указанным смещением от 0 до 31 знакомест от старшего разряда РОН1_2 и выдача указанной группы бит, с дополнением ее нулями до полного байта (полных байтов),

4. смещение оставшейся части РОН1_2 с заполнением освободившейся части новыми считанными данными,

5. сравнение группы бит с целью поиска старт кода. Извлечение старт-кода и следующих за ним данных (работа с 64-х битным словом).

Вариант реализации устройства разбора битового потока возможен с использованием 32-х разрядных регистров общего назначения стандартного процессора. Для реализации склейки, сдвига, считывания и загрузки новых данных в регистры требуется минимум 3 шага:

1 шаг загрузка старшего регистра (РОН1) и реализация смещения на заданное количество бит, выборка указанного количества бит,

2 шаг загрузка младшего регистра (РОН2), выборка указанного количества бит,

3 шаг склейка результатов выборки из старшего и младшего регистров (это и есть выдаваемый результат), возможное перенесение оставшейся части данных в РОН1 (или переназначение РОН) и подгрузка новых данных в младшую часть.

Необходимость минимум в трех шагах обусловлена невозможностью одновременной выборки из РОН1 и РОН2 для всех возможных значений сдвига и количества выбираемых бит.

В целях сокращения количества исполняемых команд для программной реализации блока обработки битового потока.. предлагается использовать дополнительный блок к процессору управления (рисунок 6), позволяющий включать регистры старшего и младшего слова так, что они составляют один единый регистр удвоенного слова, на который распространяется особая команда длинного сдвига и выборки указанного количества бит. Догружать при этом требуется только младшую часть (регистр младшего слова).

Реализация подобной схемы объединения регистров возможна путем модернизации системы команд процессора обработки и управления, введением в нее новой команды и добавлением сопроцессорного блока аналогично блоку MAC (умножитель с накопителем), когда промежуточная разрядность результата работы блока превышает разрядность вычислений процессора.

Результаты сравнения разработанного устройства обработки битового потока "с известными реализациями, показывают, что предложенное решение содержит меньший объем аппаратуры, за счет использования уже имеющихся в системе регистров (регистры РОН в АЛУ), и кроме того, при его работе функции склейки и сдвига выполняются за два, а не за три такта, что сокращает программный код и время обработки битового потока на треть (33%), что существенно способствует снижению потребляемой энергии.

Рисунок 6. Дополнительный блок к процессору управления для ускорения обработки битового потока

Краткие выводы по главе 2. Предложенные схемы и методы совместной работы вычислительных блоков позволяют упорядочить и минимизировать обращения к общим разделяемым ресурсам - к памяти системы. Разработаны алгоритм адаптивного подбора скорости при работе с внешней памятью и алгоритм динамически-выбираемого арбитража при обращении к памяти в многопотоковой системе, ориентированные на компактную низкопотребляющую реализацию системы. Представленный блок ускорения вычисления потоковых данных позволяет на треть ускорить выборку необходимой битовой последовательности при значительном сокращении программного кода, что также позволяет снизить энергопотребление.

В третьей главе рассмотрена интеграция разработанных методов и схем в систему декодирования видеоданных.

Интеграция метода динамического изменения скорости доступа к общей памяти требует дополнительно других тактовых частот при передаче данных во время обработки I и Р кадров, в то время как тактовая частота работы основного конвейера остается неизменной. Одновременное наличие в системе разных тактовых частот требует существенных изменений в системе синхронизации.

Проведен анализ построения и особенностей работы синхрогенераторов в системе обработки в ходе которого выбран синхрогенератор с петлевым аналоговым фильтром в контуре обратной связи как отвечающий требованиям экономичности и быстродействия при перестройке выходных частот.

Предложена архитектура системы обработки с дополнительным вторым синхрогенератором, работающим на исходной опорной частоте. Вычислены наборы коэффициентов умножения и деления частоты синхрогенераторов, позволяющие внешней шине переходить на другую тактовую частоту за один такт, что не вносит задержек в работу общей шины. Для контроля правильности работы алгоритма динамически-выбираемого арбитража с окнами непрерываемого и исключенного доступа и сигнализации всей системы об отклонениях и сбоях введен монитор отклонений - набор аппаратных счетчиков каждого канала для подсчета тактов работы, переданных данных, обслуженных и не обслуженных запросах и простоях. По его информации система может дополнительно подстраивать параметры работы арбитра и тактовой частоты внешней шины. Схема разработанного контроллера внешней памяти с интегрированным арбитром представлена на рисунке 7.

Представлена интеграция блока ускоренной обработки битового потока в управляющий процессор системы на кристалле декодирования видео. Разобраны особенности системы команд и специальные команды длинного сдвига.

Контрольные и управляющие регистры, доступные центральному просессору

Загрузка/переключение коэффициентов деления тактовой частоты

Считывание ' статистики активности на шине

Шина общего доступа ]

Загрузка/переключение значений временных окон и временных интервалов

Шинный арбитр

Шина активна Запрос шины от N Подтв. шины для N

Запрос шины от 1 Подтв. шины для 1

Внешняя память

Рисунок 7. Контроллер внешней памяти, реализующий метод динамического изменения скорости и включающий в себя арбитр с выделением временных окон и защитных интервалов. .

В четвертой главе проводится сравнение работы системы на кристалле декодирования потоковых видеоданных с использованием алгоритмов адаптивного подбора скорости и динамически-выбираемого арбитража при обращении к общей внешней памяти для разных типов последовательностей обрабатываемых кадров. Критерием сравнения является потребление тока микросхемой внешней памяти без применения вышеуказанных алгоритмов и с их применением. На

рисунке 8 представлена гистограмма значений потребляемого тока микросхемой памяти, а также средний суммарный ток при обработке последовательностей кадров 1РВВ и 1РВВРВВРВВ.

Тип кадра 1потр(тА) было 3 1потр(тА) стало

Рисунок 8. Выигрыш в потреблении тока при работе алгоритмов динамического изменения скорости и арбитража с выделенными окнами для последовательностей кадров 1РВВ (1ср1) и 1РВВРВВРВВ (1ср2). Детальные значения потребляемого тока приведены в таблице 2

Таблица 2. Потребляемый микросхемой памяти SDRAM ток при обработке кадровых последовательностей типа IPBB и (IPBBPBBPBB), среднее значение потребляемого тока.

Измер парам. i Р В В Р В В Р В В Icpl 1ср2

1потр (шА) было 183 218 248 248 218 248 248 218 248 248 224 232

1потр (шА) стало 121 161 248 248 161 248 248 161 248 248 194 209

Сравнивается работа блока ускорения вычисления потоковых данных при обработке входного сжатого битового потока с работой аналогичных существующих блоков разбора потока на базе специализированных процессоров обработки видеоданных. Сравнение проводится по критерию количества процессорных команд и длины кода на декодированный блок данных.

Сравнение работы исходной системы декодирования и системы, использующей алгоритмы динамического изменения скорости и арбитража с выделенными окнами и блок ускоренной обработки битового потока, показало, что непрерывность процесса декодирования видеоданных не нарушается. А экономия энергии при доступе к внешней памяти составляет 13,2% для последовательности кадров 1РВВ или 10,0% для последовательности кадров 1РВВРВВРВВ.

В приложении приведены акты внедрения результатов данной диссертационной работы в различных организациях.

ЗАКЛЮЧЕНИЕ

По результатам, полученным в диссертационной работе, можно сделать следующие выводы:

1. целенаправленная модернизация и организация архитектуры системы обработки видеоданных действительно позволяет уменьшить энергопотребление на десятки процентов;

2. разработанный алгоритм динамического изменения скорости доступа к общей внешней памяти в системе на кристалле декодирования потоковых видеоданных позволяет уменьшать скорость работы внешней памяти;

3. разработанный алгоритм арбитража, комбинирующий выделение непрерываемых временных интервалов и защитных окон в многопотоковой системе обработки видеоданных упрощает и упорядочивает схему доступа к памяти на разных скоростях;

4. совместное использование метода динамического изменения скорости доступа и метода арбитража, комбинирующего выделение непрерываемых временных интервалов и защитных окон при доступе к общей внешней памяти в системе на кристалле декодирования потоковых видеоданных позволяет снижать тактовую частоту работы внешней шины от 18 до 43% при декодировании односторонне предсказанных и опорных кадров, без нарушения непрерывности процесса декодирования;

5. внедрение метода арбитража с непрерываемыми временными интервалами и защитными окнами в системе на кристалле декодирования видеоданных позволяет реализовать метод динамического изменения скорости работы шины при доступе к общей внешней памяти без увеличения размеров буферов промежуточного хранения данных;

6. разработанный блок ускоренной обработки потоковых данных, работающий совместно с процессором управления, позволяет на треть ускорить выборку необходимой битовой последовательности при значительном сокращении программного кода;

7. проведенное исследование и сравнение результатов работы существующих систем обработки и системы на кристалле обработки потоковых видеоданных, использующей предложенные алгоритмы, показывает, что при использовании предложенных алгоритмов динамического изменения скорости и арбитража с выделенными окнами и блока ускоренной обработки битового потока, экономия энергии при доступе к внешней памяти составляет:

• 13,2% для последовательности кадров IPBB,

• 10,0% для последовательности кадров IPBBPBBPBB для видеодекодера MP@ML MPEG-2;

8. разработанная модернизированная архитектура системы на кристалле для обработки потоковых видеоданных использована в проекте «Мультимедийная система на кристалле «Термит»;

9. получено два патента на изобретения.

Список цитируемой литературы:

1. Tiejun Ни, Di Wu, "Design of Single Scalar DSP based H.264/AVC Decoder". Reg nr: LiTH-ISY-EX-3579-2005 Linkoping 2005.

2. ISO/IEC JTC1 CD 13818, Generic Coding of Moving Pictures and Associated Audio, International Organization for Standardization, 1994.

3. Nien-Tsu Wang. "Processing and Storage Models for MPEG-2 Main Level and High Level Video Decoding A Block-Level Pipeline Approach." Computer Engineering in the School of Engineering of Santa Clara University, 2003.

4. Katcher D. I, Arakawa H, Strosnider J. K, "Engineering and Analysis of Fixed Priority Schedulers," IEEE Trans, on Software Engineering, Vol. 19, No. 9, pp. 920-934, Sep. 1993.

5. Kettler К. A, Strosnider J. K, "Scheduling Analysis of the Micro Channel Architecture for Multimedia Applications", Proc. of the Int. Conf. on Multimedia Computing and Systems, pp. 403-414, May, 1994.

6. Kim J.M, Chae S.I, "New MPEG 2 Decoder Architecture Using Frequency Scaling," IEEE Int. Symp. Circuit and System, Vol.4, pp.253256, May 1996.

7. Адамов Ю. Ф., Шевченко E. А. Проблемы энергетической эффективности // Электросвязь. 2007. - №7.

8. MICRON-Semiconductors, "SDRAM memory specification",2001.

9. Fautier T, "VLSI Implementation of MPEG Decoder," IEEE Int. Symp. on Circuits and Systems, tutorial paper, May 1994.

10. Lehoczky J, Sha L, and Ding Y, "The Rate Monotonic Scheduling Algorithm: Exact Characterization and Average Case Behavior," IEEE Real Time Systems Symposium, 1989.

Основное содержание диссертации опубликовано в следующих

работах:

1. Пучков Г. А. Методика распределения ресурсов СНК при декодировании потоковых аудиоданных// Современные проблемы фундаментальных и прикладных наук. XLVII научная конференция. Тезисы докладов часть V. 26-27 ноября 2004, МФТИ, Москва -С.112-114

2. Пучков Г.А. Уменьшение накладных расходов для систем декодирования звука на базе СНК// VII международная конференция «Цифровая обработка сигналов и ее применение-DSPA 2005». Тезисы докладов часть I. 16-18 марта 2005. Москва -С.146-148

3. Пучков Г.А. Ускорение работы системы на кристалле при обработке потоковых аудиоданных// Электросвязь. 2006. - №4. - С. 50-51

4. Пучков Г.А. Адаптивное управление скоростью работы внешней памяти// Современные проблемы фундаментальных и прикладных наук. 50-я Научная конференция. Тезисы докладов часть V. 22-23 ноября 2007, МФТИ, Москва - С. 115-118

5. Пучков Г.А., Тулупов М.П. Непрерываемые и защитные временные окна при доступе к памяти в многопотоковой системе// Современные проблемы фундаментальных и прикладных наук. 50-я Научная конференция. Тезисы докладов часть V. 22-23 ноября 2007, МФТИ, Москва- С. 118-119

6. Пучков Г.А., Ефремов Н.В., Тишин А.Ю. Устройство обработки битовых потоков в системах сжатия/восстановления аудио- и видеоданных. Патент №2380738 //Заявка на патент № 2008126766 в ФГУ ФИПС РОСПАТЕНТ. Москва 03 июля 2008 года.

7. Пучков Г.А. Система доступа к памяти с адаптивно подстраиваемой скоростью работы. Патент на изобретение №2367001 //Заявка на патент № 2007145032 в ФГУ ФИПС РОСПАТЕНТ. Москва 06 декабря 2007 года.

8. Пучков Г.А. Организация работы видеосистемы с внешней памятью// Электросвязь. 2008. - №8. - С. 46-47

9. Пучков Г.А. Способ арбитража при доступе к памяти в системе видеообработки //Телевидение: передача и обработка изображений. 7-я Международная научная конференция. Труды конференции. 2930 июня 2009, ЛЭТИ им В. И. Ульянова (Ленина), Санкт-Петербург-С. 133-135

10. Андрианов М.Н, Бумагин А.В, Гондарь А.В, Калашников К.С, Прудников А.А, Пучков Г.А, Руткевич А.В, Стешенко В.Б. Устройство компрессии видеоданных// Заявка на выдачу патента № 2009142692 в ФГУ ФИПС РОСПАТЕНТ. Москва 19 ноября 2009 года.

11. Андрианов М.Н, Бумагин А.В, Гондарь А.В, Калашников К.С, Прудников А.А, Пучков Г.А, Стешенко В.Б. Методы повышения помехоустойчивости передачи данных по цифровым каналам связи в условиях релеевских замираний// Цифровая обработка сигналов. 2009,-№4.

12. Андрианов М.Н, Бумагин А.В, Гондарь А.В, Калашников К.С, Прудников А.А, Пучков Г.А, Стешенко В.Б. Методы кодирования изображений в системах промышленной автоматизации и робототехники// Промышленная автоматизация. 2010. -№3.

Подписано в печать: 9.11.2010

Заказ № {{(?. Тираж (00 экз. Уч.-изд. л. . Формат 60x84 1/16 Отпечатано в типографии МИЭТ (ТУ). 124498, Москва, МИЭТ

Введение.

Глава 1. Сравнительный анализ современных архитектур построения систем декодирования потоковых видео данных.

1.1. Введение. Методы и стандарты компрессии видео (МРЕО-1,2,4, Н.261, Н.262, Н.263, Н.264). Основные определения.

1.2. Обзор процесса декодирования МРЕО-2 видео.

1.3. Структура и особенности работы системы декодирования потоковых видеоданных. Общая архитектура декодера.

1.4. Макроблочная модель работы конвейера декодирования.

1.5. Блочная модель работы конвейера декодирования.

1.6. Особенности работы конвейера декодирования с памятью.

1.7. Анализ затрат энергии при работе СнК декодера потоковых видеоданных

1.8. Выводы по главе 1. Постановка задачи диссертационной работы.

Глава 2. Разработка алгоритма динамического изменения скорости? при работе с внешней памятью и способа арбитража, обеспечивающего непрерывную работу внутреннего конвейера обработки данных, пр»и изменении скорости доступа к внешней памяти в системе декодирования видео. Разработка блока ускоренных вычислений потоковых данных

2.1. Разработка алгоритма динамического изменения скорости при работе с внешней памятью системы декодирования видео.

2.1.1. Анализ и выявление возможных этапов обработки, позволяющих понизить скорость обращений к общей внешней памяти.

2.1.2. Анализ работы. ЗВКАМ-памяти. Анализ потребления тока при доступе к памяти на разных скоростях работы конвейера декодирования видеоданных.

2.1.3. Формулировка алгоритма динамического изменения скорости работы общей внешней памяти

2.2. Разработка способа арбитража; комбинирующего выделение непрерываемых временных интервалов и защитных окон.

2.2.1. Описание очередности доступа на-внешнюю шину.

2.2.2. Специфика использования блочной схемы обработки для модели очередности с фиксированным приоритетом

2.2.3 . Разработка способа арбитража в системе с общей памятью, дополненного защитными интервалами и непрерываемыми временными окнами .;.

2.2.4. Работа временных окон и защитных интервалов.

2.3. Разработка блока ускоренной обработки потоковых данных.

2.3.1. Анализ структуры извлекаемых слов и операций, выполняемых устройством разбора битового потока.

2.3;2. Варианты реализации устройства разбора битового потока. Работа, процессора над извлечением слова. Последовательность исполняемых команд.

2.3.3. Возможность минимальной реализации задачи. Разработанный блок ускоренной обработки потоковых данных.

2.4. Выводы по главе 2.

Разработка алгоритма адаптивного изменения скорости работы общей внешней памяти.

Глава 3. Интеграция разработанных- методов, блоков и алгоритмов в структуру системы-декодера видео по стандарту МРЕС-2.

3.1. Интеграция метода адаптивного изменения скорости доступа и метода арбитража, с выделением непрерываемых временных окон и защитных интервалов при работе с общей внешней памятью системы на кристалле декодирования видео.

3.1.1. Основные компоненты системы. Особенности модернизации.

3.1.2. Обеспечение синхронизации при изменении тактовой частоты работы внешней шины. Работа устройств генераторов тактовой частоты.

Возможности реализации.

3.1.3; Переход внешней шины на другую тактовую частоту.

3.1.4. Реализация работы алгоритма адаптивного изменения скорости и арбитража, с выделением непрерываемых временных окон и защитных интервалов при доступе к общей внешней памяти.

3.2. Интеграция блока ускоренной обработки потоковых данных в систему на кристалле декодирования видеоданных.

3.2.1. Процессор для вычисления и управления работой системы на кристалле декодера видеоданных.

3.2.2. Особенности системы команд. Специальные команды длинного сдвига.

3.3. Выводы по главе.

Юлава* 4. Исследование эффективности применения алгоритма адаптивного1 изменения скорости? доступа.' к общей внешней памяти- и способа арбитража« с непрерываемыми временными^ интервалами и защитными окнами в системе на кристалле* декодированиял видеоданных. Эффект от внедрения блока ускоренной обработки битового потока.

4.1. Исследование применения» алгоритма адаптивного изменения скорости доступа к общей внешней памяти.

4.1.1. Исследование применения алгоритма адаптивного изменения скорости доступа к общей внешней памяти при обработке последовательностей компрессированных кадров 1РВВ.

4.1.2. Исследование применения алгоритма адаптивного изменения^ скорости доступа к общей внешней памяти при обработке последовательностей компрессированных кадров типа 1РВВРВВРВВ.

4.1.3. Исследование влияния разрядности внешней шины на организацию передачи и общее количество передаваемых данных на шине.

4.2. Исследование эффективности применения способа арбитража с непрерываемыми временными интервалами и защитными окнами в системе на кристалле декодирования видеоданных.

4.3. Эффект от внедрения блока ускоренной обработки потоковых данных в процессор обработки и управления системы на кристалле декодирования видеоданных.

Сегодня характеристики аппаратуры записи и воспроизведения цифрового видео сигнала очень высоки, а развитие медийных технологий стремительно- продолжается. Реализация все более сложных алгоритмов сжатия видео и звука (МРЕО-1,2,4, Н.261-264), а также увеличение разрешения обрабатываемых кадров вплоть до изображений высокой четкости подразумевает увеличение количества памяти и качества вычислительных ресурсов для повышения производительности конечных устройств записи и воспроизведения цифрового видео.

Уровень развития современных полупроводниковых технологий позволяет реализовать, на едином кристалле ядро сложной вычислительной системы, включающей- высокопроизводительный процессор и набор специализированных аппаратных вычислительных блоков, реализующих конвейер скоростной обработки потоковых данных в виде системы на кристалле (СнК).

Уменьшение линейных размеров транзисторов и уменьшение напряжения перепадов логических уровней способствует снижению энергии, потребляемой логическими блоками, находящимися непосредственно- на кристалле обработки. Однако компактные схемы памяти реализуются на отдельном кристалле по специализированным технологиям с низкими токами утечки.

Затраты энергии на передачу одного бита информации к внешней памяти остаются на прежнем уровне. При общем увеличении разрешения кадра примерно в пять раз, количество постоянно передаваемой во внешнюю память информации увеличивается более чем в десять раз, что приводит к существенно большему расходу энергии. Так, в современной системе обработки видео, затраты энергии на передачу данных во внешнюю память становятся наиболее значимыми среди всех других составляющих общего расхода энергии.

Экономия энергии в устройствах обработки цифрового видео актуальна не только для увеличения времени работы от батарей, но также по причине выделения тепла при нагреве аппаратуры, из-за чего требуется применять специальные конструктивно-технические методы охлаждения, что увеличивает массогабаритные показатели.

Для принципиального снижения затрат энергии при передаче информации к памяти возможны следующие подходы в построении системы:

1. Объединить на одном кристалле вычислительный конвейер обработки и массив памяти для кадров.

2. Реализовать переменную скорость работы внешней памяти и конвейера обработки в зависимости от загрузки.

3. Использовать принципиально новые интерфейсы для передачи информации к памяти (скоростные дифференциальные линии, оптические линии связи).

Детальный анализ упомянутых подходов показывает, что:

1. Требуемый размер массива памяти для системы декодирования видеоданных составляет десятки мегабайт. Кристалл конвейера обработки объединенный с массивом памяти будет иметь значительные размеры, что резко снижает выход годных, ухудшает тепловые режимы и показатели надежности работы схемы. Из-за сильных токов утечки субмикронных транзисторов проблематично в рамках единой технологии реализовать скоростные вычислительные блоки и компактные системы памяти.

2. Проблематика реализации переменной скорости самого конвейера обработки обусловлена непредсказуемостью объема передаваемых данных, что делает аппаратуру контроля и управления крайне сложной. Такой системой тяжело управлять.

3. Использование принципиально новых интерфейсов для передачи информации в память представляется перспективным в будущем во многих отношениях, но пока еще это не получило широкого развития. Сейчас это требует использования дополнительной аппаратуры преобразования, что только удорожает систему и повышает ее потребление энергии.

Для снижения энергопотребления декодера потоковых видеоданных возможен и другой подход, а именно периодическое уменьшение рабочих частот при обращении к внешней памяти, при постоянной скорости работы конвейера обработки данных. Этот подход приемлем так же и для решения задачи кодирования потоковых видеоданных. Работа такой системы будет прогнозируема, что не усложнит контроль над ней. При этом необходимо стремиться к уменьшению и упорядочиванию обращений к внешним компонентам - общей внешней памяти, что невозможно без глобальных схемотехнических модернизаций на разных архитектурных уровнях построения системы обработки. Поэтому соответствующая модернизация архитектуры системы на кристалле декодирования потоковых видео данных, несомненно, является актуальной задачей.

Целью работы является разработка модернизированной архитектуры СнК для снижения энергопотребления в декодерах потоковых видеоданных. Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести анализ существующих архитектур построения систем декодирования потоковых видеоданных. Подробно исследовать существующие модели работы конвейеров обработки различных уровней и выявить их характерные особенности, достоинства и недостатки с точки зрения построения энерго-экономичного устройства.

2. Для модернизации архитектуры СнК декодирования предложить решения наиболее значимых с точки зрения энергопотребления задач, а именно:

• разработать алгоритм уменьшения скорости передачи данных к внешним ресурсам памяти;

• разработать способ арбитража к общим ресурсам системы, обеспечивающего непрерывную работу внутреннего конвейера обработки данных при изменении скорости доступа к внешней памяти;

• разработать ускоренный метод вычислений потоковых данных для повышения производительности сложнофункциональных (СФ) блоков в системе обработки.

3. Создать экспериментальный программно-аппаратный комплекс для проведения экспериментов и анализа работы вычислительных блоков системы.

4. Провести эксперименты, анализирующие работу различных архитектур и элементов систем обработки потоковых видеоданных и сравнить предложенные методы и способы реализации с уже существующими аналогами.

Научная новизна

1. Предложена архитектура декодера потоковых видеоданных для реализации в СнК, имеющая постоянную скорость работы внутреннего конвейера обработки и изменяемую скорость доступа к внешней памяти.

2. Предложен алгоритм адаптивного изменения скорости доступа к памяти, основанный на свойствах последовательности потоковых видеоданных, который позволяет регулярно уменьшать скорость работы внешней памяти на предопределенные временные периоды. (Патент №2367001).

3. Предложен способ арбитража на общей шине, комбинирующий выделение непрерываемых временных интервалов и защитных окон, позволяющий корректировать количество передаваемых данных в каналах без изменения приоритетов.

4. Предложен новый способ ускоренного вычисления потоковых данных, повышающий скорость обработки и обеспечивающий снижение количества команд. (Патент №2380738).

Практическая значимость

1. Разработана модернизированная архитектура декодера потоковых видеоданных, имеющая постоянную скорость работы внутреннего конвейера обработки и изменяемую скорость доступа к внешней памяти. Она обеспечивает существенное снижение потребления энергии от 10% до 34 % для разных последовательностей кадров.

2. Разработан новый алгоритм адаптивного изменения скорости при работе с внешней памятью, позволяющий поддерживать скорость обменов в соответствии с текущей загрузкой. Его применение уменьшает энергопотребление системы декодирования видео МРЕв-2 МР@МЬ на 1013% для последовательностей кадров 1РВВРВВРВВ и 1РВВ соответственно.

3. Применение алгоритма динамически-выбираемого арбитража, комбинирующего выделение непрерываемых временных интервалов и защитных окон при обращении к памяти, позволяет временно снижать тактовую частоту общей шины без потери непрерывности транзакций и без увеличения размеров буферов временного хранения данных.

4. Алгоритмы адаптивного изменения скорости и динамически-выбираемого арбитража повышают производительность системы декодирования последовательностей видеоданных за счет упрощения и упорядочивания схемы доступа при обращении к памяти в многопотоковой системе.

5. Разработанный способ и реализующий его «Блок ускоренной обработки потоковых данных» существенно упрощает и ускоряет на 33% работу центрального процессора системы видеообработки при начальном декодировании сжатого битового потока.

6. Предложенные алгоритмы адаптивного изменения скорости и динамически-выбираемого арбитража, а также блок ускоренной обработки потоковых данных нашли применение в разработанном в ООО НПК «СенсорИС» устройстве «Мультимедийная система на кристалле «Термит».

Внедрение результатов работы

Результаты работ внедрены в ООО НГЖ, «СенсорИС» при разработке проекта «Мультимедийная система на кристалле «Термит» и в ООО «Hi 111 «Цифровые решения» в НИР «Исследования и разработка отечественной высокопроизводительной' системы кодирования; передачи, приема и декодирования мультимедийной информации». Разработанные методы внедрены в учебный процесс кафедры СМ-5 «Автономные информационные и управляющие системы» МГТУ им. Баумана1 в дисциплинах «Схемотехническое проектирование микроэлектронных устройств» и «Вычислительные машины, системы и сети», что подтверждается соответствующими- актами.

На защиту выноситсягследующее

1. Архитектура декодера потоковых видеоданных-для реализации-в СнК, имеющая постоянную скорость- работы внутреннего конвейера^ обработки и изменяемую.в зависимости'от количества передаваемых данных скорость доступа-к внешней памяти.

2. Алгоритм адаптивного изменения скорости доступа ю памяти, основанный на- свойствах последовательности, потоковых видеоданных, позволяющий снизить энергопотребление системы декодирования на 1013%.

3. Способ^ арбитража на1 общей шине, комбинирующий выделение непрерываемых временных интервалов и защитных окон. Данный способ арбитража в системе обработки видеоданных- упрощает и упорядочивает схему доступа к общей памяти на разных скоростях.

4. Способ* ускоренного. вычисления потоковых данных, повышающий' скорость ' начальной обработки в центральном, процессоре управления на1 33% и обеспечивающий при этом снижение на 33% количества команд по сравнению с аналогами.

5. Новое алгоритмическое, математическое, логическое и схемотехническое обеспечение устройств адаптивного изменения скорости доступа к памяти; арбитража комбинирующего выделение непрерываемых временных интервалов изащитных окон, способа и. реализующего его блока ускоренного вычисления потоковых данных, реализуемое в системах на кристалле.

Апробация работы

Результаты' диссертационной работы докладывались и обсуждались на международных и всероссийских научно-технических конференциях:

• 47-я научная конференция МФТИ; Москва, 2004 г.;

• VII международная конференция Цифровая обработка сигналов и ее применение (В8РА 2005). Москва, 2005 г.;

• . 50-я научная конференция МФТИ, Москва, 2007г.;.

• • 7-я международная научная конференция. Телевидение: передача и обработка изображений. ЛЭТИ.им В. И. Ульянова (Ленина), Санкт-Петербург, 2009г.;

• годовое собрание научного совета по новым материалам при МААН. Секция по проблемам функциональных- материалов электронной техники. ИРЭ РАН им. В.А. Когельникова, Москва, 28-30 сентября 2010г. . .

Публикации

Основные результаты диссертационной; работы опубликованы в 12 печатных работах. Из- них 3 опубликованы в научно-технических журналах из перечня ВАК Минобрнауки. По теме диссертации получены 2 патента.

Структура и объем диссертации

Диссертация-состоит из введения, четырех глав, заключения, списка литературы и приложений.

3.3. Выводы по главе

В данной главе рассмотрены особенности реализации:

• разработанного алгоритма адаптивного изменения скорости доступа к общей внешней памяти;

• способа арбитража с выделением непрерываемых временных интервалов и защитных окон при доступе к общей внешней памяти системы на кристалле декодера видеоданных;

• представлена интеграция блока ускоренной обработки битового потока в управляющий процессор системы на кристалле декодирования видео, разобраны особенности системы команд и специальные команды длинного сдвига.

Для построения архитектуры СнК для декодирования потоковых видеоданных детально разобраны особенности модернизации системы синхронизации, вычислены и обоснованы наборы коэффициентов умножения и деления синхрогенераторов, позволяющие внешней шине переходить на другую тактовую частоту за один такт, что не вносит задержек в работу общей шины. В систему предлагается ввести второй синхрогенератор, работающий на исходной опорной частоте, что не требует дополнительных выводов и внешних компонентов.

Глава 4. Исследование эффективности применения алгоритма адаптивного изменения скорости доступа к общей внешней памяти и способа арбитража с непрерываемыми временными интервалами и защитными окнами в системе на кристалле декодирования видеоданных. Эффект от внедрения блока ускоренной обработки битового потока

4.1. Исследование применения алгоритма адаптивного изменения скорости доступа к общей внешней памяти

4.1.1. Исследование применения алгоритма адаптивного изменения скорости доступа к общей внешней памяти при обработке последовательностей компрессированных кадров IPBB

Основная цель применения алгоритма адаптивного изменения скорости доступа к общей внешней памяти - добиться экономии в потреблении энергии. Будем исследовать работу системы декодирования именно с этой точки зрения.

В главе 2 были рассмотрены используемые режимы микросхемы памяти SDRAM, выведены формулы вычисления пребывания микросхемы в режимах: одиночной передачи, ожидания и пакетной передачи. Также выведены значения тактовых частот работы внешней шины при обработке 1-, Р- и В-кадров.

Рассчитав все приведенные времена пребывания микросхемы памяти SDRAM в разных режимах, можно вычислить значения потребляемого тока микросхемой памяти при использовании внешней шины.

Для последовательности кадров IPBB средний потребляемый ток будет вычисляться по формуле 2.10

1 N I =—У/.ср Nit тогда используя формулу 2.11

1, = ПГ (Ки ■ Iddx + К3, • 1МЪ)+К21 • Idd2; 1Р = Пр ■ (К1Р ■ Iddl + КЗР • Iddз) + К2Р • 1М2\ IВ ~ Пв ' В ' Лш + Кзв ' Idd3 ) + К2В • IJd2.

Для последовательности IPBB средний потребляемый ток будет вычисляться, используя формулу 2.12:

1Ср!Рвв = ~' (// +1р + 2- 1В ).

Для максимальной тактовой частоты 200МГц (по данным табл. 2.1.1 с применением формул 2.4 - 2.9) возможно вычислить потребляемый микросхемой памяти SDRAM ток при обработке 1-, Р- и В-кадров. Значения потребляемого тока при декодировании последовательности кадров типа IPBB, а также среднее его значение показаны в таблице 4.1.1.

Заключение

По результатам, полученным в диссертационной работе, можно сделать следующие выводы:

1. разработана модернизированная архитектура декодера видеоданных, имеющая внутренний конвейер обработки, работающий с постоянной скоростью и изменяющуюся скорость доступа к внешней памяти;

2. разработан алгоритм адаптивного изменения скорости доступа к общей внешней памяти в системе на кристалле декодирования потоковых видеоданных, который позволяет уменьшать скорость работы внешней памяти;

3. разработан способ арбитража, комбинирующий выделение непрерываемых временных интервалов и защитных окон в системе обработки видеоданных, который упрощает и упорядочивает схему доступа к памяти на разных скоростях;

4. совместное использование алгоритма адаптивного изменения скорости доступа и способа арбитража, комбинирующего выделение непрерываемых временных интервалов и защитных окон при доступе к общей внешней памяти в системе на кристалле декодирования потоковых видеоданных позволяет снижать тактовую частоту работы внешней шины от 18 до 43% при декодировании односторонне предсказанных и опорных кадров без нарушения непрерывности процесса декодирования;

5. внедрение способа арбитража с непрерываемыми временными интервалами и защитными окнами в системе на кристалле декодирования видеоданных позволяет реализовать алгоритм адаптивного изменения скорости работы шины при доступе к общей внешней памяти без увеличения размеров буферов промежуточного хранения данных;

6. разработан блок ускоренной обработки потоковых данных, работающий совместно с процессором управления, который позволяет на треть ускорить выборку необходимой битовой последовательности при сокращении на треть программного кода;

7. проведенное исследование и сравнение результатов работы существующих систем и системы на кристалле обработки потоковых видеоданных, реализующей предложенные алгоритмы и способы, показало, что при использовании предложенного алгоритма адаптивного изменения скорости, способа арбитража с непрерываемыми временными интервалами и защитными окнами и блока ускоренной обработки битового потока экономия энергии при доступе к внешней памяти составляет:

• 13,2% для последовательности кадров 1РВВ,

• 10,0% для последовательности кадров 1РВВРВВРВВ для видеодекодера МР@МЬ МРЕО-2;

8. разработанная модернизированная архитектура системы на кристалле для обработки потоковых видеоданных использована в проекте «Мультимедийная система на кристалле «Термит»;

9. получено два патента на изобретение.

1. Information technology—Coding of moving pictures and associated audio for digital storage media up to about 1.5 Mbit/s, ISO/IEC JTC1 IS 11172-2 (MPEG-1), 1993.

2. ITU-T Recommendation H.261, Video CODEC for audiovisual services at px64 kbit/s, 1993.

3. Information technology—Generic coding of moving pictures and associated audio, ISO/IEC JTC1 IS 13818-2 (MPEG-2), 1994.

4. ISO/IEC DIS 14496-2, Coding of Audio-Visual Objects, International Organization for Standardization, 1999.

5. ITU-T Recommendation H.263, Video coding for low bit rate communication, Version 2, 1998.

6. ISO/IEC 14496-10 and ITU-T Recommendation H.264. Advanced Video Coding, 2003.

7. B.G. Haskell, A. Puri and A.N. Netravali, Digital Video: An Introduction to MPEG-2, Chapman & Hall, 1997.

8. J.L. Mitchell, W. B. Pennebaker, С. E. Fogg and D. J. LeGall, MPEG Video Compression Standard, Chapman & Hall, 1996.

9. Bhaskaran V. Konstantinides K., "Image and Video Compression Standards Algorithms and Architectures," Kluwer Academic Publishers, Boston, MA, 1995.

10. N. Ahmed, T. Natarajan and K.R. Rao, "Discrete Cosine Transform," IEEE Trans, on Computers, Vol. C-23, pp. 90-94, Jan. 1974.

11. D.A. Huffman, "A Method for the Construction of Minimum Redundancy Codes," Proc. IRE, 40(9): 1098-101, Sep. 1952.

12. IEEE 1180-1990, IEEE standard specifications for the implementations of 8x8 inverse discrete cosine transform.

13. ISO/IEC 23002-l:2006(E) Information technology — MPEG video technologies. Part 1: Accuracy requirements for implementation of integer-output 8x8 inverse discrete cosine transform.

14. Jui-Hua Li and Nam Ling "Architecture and Bus Arbitration Schemes for MPEG-2 Video Decoder", IEEE Transactions on Video Technology, Vol.9, No. 5, pp. 727-736, Aug.1999.

15. C.-H. Lin et al., "The VLSI Design of MPEG2 Video Decoder," Proc. of Int. Conf. on Computer Systems Technology for Industrial Applications, 1996.

16. J.M. Kim and S.I. Chae, "New MPEG2 Decoder Architecture Using Frequency Scaling," IEEE Int. Symp. Circuit and System, Vol.4, pp.253256, May 1996.

17. Nien-Tsu Wang. Processing and Storage Models for MPEG-2 Main Level and High Level Video Decoding A Block-Level Pipeline Approach. Computer Engineering in the School of Engineering of Santa Clara University, 2003.

18. Nam Ling, Nien-Tsu Wang, and Duan-Juat Ho, "An Efficient Controller Scheme for MPEG-2 Video Decoder," IEEE Trans, on Consumer Electronics, Vol.44, No. 2, pp. 451-458, May 1998.

19. Nien-Tsu Wang, Chen-Wei Shih, Duan Juat Wong-Ho, and Nam Ling,th

20. MPEG-2 Video Decoder for DVD," The 8 Great Lakes Symposium on VLSI, pp. 157-160, Lafayette, LA, Feb. 18-21, 1998.

21. Nien-Tsu Wang and Nam Ling, "Architecture for Real-time HDTV Video Decoding," Tamkang Journal of Science and Engineering, Vol. 2, No. 2, pp. 53-60, Nov. 1999.

22. S.-I. Uramoto et al., "An MPEG2 Video Decoder LSI with Hierarchical Control Mechanism," IEICE Trans. Electron., Vol. E78-C, No. 12, pp. 1697-1708, Dec. 1995.

23. M. Winzker, P. Pirsch, and J. Reimers, "Architecture and Memory Requirements for Stand-Alone and Hierarchical MPEG2 HDTVDecoders with Synchronous DRAMs," IEEE Int. Symp. on Circuits and Systems, pp. 609-612, Apr. 1995.

24. M.N. Liu, "MPEG Decoder Architecture for Embedded Applications," IEEE Trans, on Consumer Electronics, Vol. 42, No. 4, pp. 1021-1028, Nov. 1996.

25. T. Takizawa, and M. Hirasawa, "An Efficient Memory Arbitration Algorithm for a Single Chip MPEG2 AV Decoder," IEEE Trans, on Consumer Electronics, Vol. 47, No. 3, pp. 660-665, Aug. 2001.

26. T. Demura et al., "A Single-Chip MPEG2 Video Decoder LSI," IEEE Int. Solid-State Circuits Conf. Digest of Technical Papers, pp. 72-73, Feb. 1994.

27. T. Fautier, "VLSI Implementation of MPEG Decoder," IEEE Int. Symp. on Circuits and Systems, tutorial paper, May 1994.

28. Ю. Ф. Адамов, E. А. Шевченко. Проблемы энергетической эффективности.// Электросвязь 2007. №7. - С. 48-51.

29. MICRON-Semiconductors, "SDRAM memory specification". PDF: 09005aef811celfe/Source: 09005aef811celd5 64MSDRAMx32.pmd -Rev. E; Pub. 2001.

30. Jui-Hua Li. Optimization of Queueing Performance and Design Variables in a Single-Bus Shared-Memory System with Application to MPEG-2 Video Decoder System. Computer Engineering in the School of Engineering of Santa Clara University, 2002.

31. C. L. Liu, and J. W. Layland, "Scheduling Algorithms for Multiprogramming in a Hard-Real-Time Environment," Journal of the ACM, No. 30, pp. 46-61, Jan. 1973.

32. J. Lehoczky, L. Sha, and Y. Ding, "The Rate Monotonic Scheduling Algorithm: Exact Characterization and Average Case Behavior," IEEE Real Time Systems Symposium, 1989.

33. D. I. Katcher, H. Arakawa, and J. K. Strosnider, "Engineering and Analysis of Fixed Priority Schedulers," IEEE Trans, on Software Engineering, Vol. 19, No. 9, pp. 920-934, Sep. 1993.

34. S. Sathaye, D. Katcher, and J. Strosnider, "Fixed Priority Scheduling with Limited Priority Levels", Tech Report CMU-CDS-92-7, Carnegie Mellon University, August, 1992.

35. K. A. Kettler and J. K. Strosnider, "Scheduling Analysis of the Micro Channel Architecture for Multimedia Applications", Proc. of the Int. Conf on Multimedia Computing and Systems, pp. 403-414, May, 1994.

36. S. Yagyu and H. Takagi, "Queueing model with input of MPEG frame sequence and interfering traffic", Proceedings ofSPIE, pp. 196-207, Aug 1999.

37. Nam Ling and Jui-hua Li "A Bus-Monitoring Model for MPEG Video Decoder Design", IEEE Transactions on Consumer Electronics, pp.526530, Aug. 1997.

38. Cohen Earl Т., Blomgren James S., Richter David E. Merge/mask, rotate/shift and boolean operations from two instruction set in a vectored mux on a dual-ALU.// US Patent 5,781,457.

39. Peleg Alexander D., Yaari Yaakov, Mittal Millind, Mennemeier Larry M., Eitan Benny. Processor for performing shift operations on packed data.// US Patent 5,818,739.

40. Lin Derrick Chu, Minocha Punit, Peleg Alexander D., Yaari Yaakov, Mittal Millind, Mennemeier Larry M., Eitan Benny. Method and apparatus for performing packed shift operations.// US Patent 6,901,420.

41. Пучков Г.А. Адаптивное управление скоростью работы внешней памяти.// Современные проблемы фундаментальных и прикладных наук. 50-я Научная конференция. Тезисы докладов часть V. 22-23 ноября 2007г., МФТИ, Москва.

42. Пучков Г. А. Методика распределения ресурсов СнК при декодировании потоковых аудиоданных.// Современные проблемы фундаментальных и прикладных наук. ХЬУИ Научная конференция. Тезисы докладов часть V. 26-27 ноября 2004г., МФТИ, Москва.

43. Пучков Г.А. Уменьшение накладных расходов для систем декодирования звука на базе СнК.// VII международная конференция «Цифровая Обработка Сигналов и ее применение-ББРА 2005». Тезисы докладов часть I. 16-18 марта 2005г., Москва.

44. Пучков Г.А. Ускорение работы системы на кристалле при обработке потоковых аудиоданных.// Электросвязь. 2006г. №4. - С. 50-51.

45. Пучков Г.А., Ефремов Н.В., Тишин А.Ю. Устройство обработки битовых потоков в системах сжатия/восстановления аудио- и видеоданных.// Патент №2380738.

46. Пучков Г.А. Система доступа к памяти с адаптивно подстраиваемой скоростью работы.// Патент №2367001.

47. Пучков Г.А. Организация работы видеосистемы с внешней памятью.// Электросвязь. 2008г. №8. - С. 46-47.

48. Пучков Г.А. Способ арбитража при доступе к памяти в системе видеообработки. //Телевидение: передача и обработка изображений. 7-я Международная научная конференция. Тезисы докладов. 29-30 июня 2009г., ЛЭТИ им В. И. Ульянова (Ленина), Санкт-Петербург.

49. Андрианов М.Н, Бумагин А.В, Гондарь А.В, Калашников К.С, Прудников А.А, Пучков Г.А, Руткевич А.В, Стешенко В.Б.- \

50. Устройство компрессии видеоданных.// Заявка на выдачу патента № 2009142692 в ФГУ ФИПС РОСПАТЕНТ. Москва 19.11.2009г.

51. Зарецкий М.М., Мовшович М.Е. Синтезаторы частоты с кольцомфазовой автоподстройки. JL: Энергия, 1974г. -255с.

52. Григорьев В.В., Дроздов В.Н., Сабинин Ю.А. (и другие). Импульсные системы автоподстройки частоты. JL: Энергоатомиздат, 1982 год.

53. Шевченко Е. А. Синхрогенератор с цифровой ФАПЧ, основанный на высокочастотном генераторе, управляемом цифровым кодом. // Диссертация на соискание ученой степени к.т.н. Москва, МИЭТ 2004 год.

54. Зайцев A.A. Нелинейное комбинированное управление в системе импульсной фазовой автоподстройки. //Сборник трудов МФТИ 2009 год, том 1, №2. С.48-53.