автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы улучшения параметров цифровой системы видеонаблюдения при передаче цветовой информации

На правах рукописи

Сухов Тимофей Михайлович

МЕТОДЫ УЛУЧШЕНИЯ ПАРАМЕТРОВ ЦИФРОВОЙ СИСТЕМЫ ВИДЕОНАБЛЮДЕНИЯ ПРИ ПЕРЕДАЧЕ ЦВЕТОВОЙ ИНФОРМАЦИИ

Специальность: 05.13.01 - Системный анализ, управление и обработка информации (технические науки)

Автореферат

диссертации на соискание ученой степени кандидата технических паук

Санкт-Петербург 2014

9 ОКТ 2014

005553266

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Балтийский государственный технический университет "ВОЕНМЕХ" им. Д. Ф. Устинова».

Научные руководители:

профессор

Кочин Леонид Борисович, кандидат технических паук, доцент

Официальные оппоненты:

Гоголь Александр Александрович, доктор технических паук, профессор, Санкт-Петербургский государственный университет телекоммуникаций им. проф. М. А. Бонч-Бруевича, советник ректора, заведующий кафедрой телевидения и метрологии

Кустов Денис Анатольевич, кандидат технических наук,

ЗАО «Научно-исследовательская производственная компания «Электрой», ведущий инженер направления

Ведущая организация:

ОАО «Научно-исследовательский институт телевидения»

Защита диссертации состоится « » декабря 2014 г. в 14 часов на заседании диссертационного совета Д 212.010.03 на базе Балтийского государственного технического университета "ВОЕНМЕХ" им. Д. Ф. Устинова по адресу: 190005, г. Санкт-Петербург, 1-я Красноармейская ул., д. 1.

С диссертацией можно ознакомиться в библиотеке БГТУ "Военмех" им. Д. Ф. Устинова и на сайте http://voenmeh.ru/science/dissertations.

Автореферат разослан « ^ » октября 2014 г.

Ученый секретарь

диссертационного совета Д 212.010.03, кандидат технических наук, доцент

Полосин Лев Леонидович доктор технических наук,

Петров Ю. В.

^ О

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Широкое распространение в настоящее время получили цифровые системы видеонаблюдения с передачей информации по проводным и беспроводным каналам связи. Для решения задач, связанных с обработкой, сжатием, передачей и приемом цветовой видеоинформации используют стандартные решения, которые по ряду характеристик не удовлетворяют потребителей. От системы передачи видеоинформации требуются следующие основные характеристики: высококачественная цветопередача, высокая степень сжатия видеоинформации, устойчивость сжатой видеоинформации к передаче по цифровым каналам связи с ошибками, высокая энергоэффективность и защита данных от несанкционированной модификации. В существующих системах видеонаблюдения чаще всего применяются кодеки на базе стандартов семейства MPEG (H.264/AVC, MPEG-2 и т.д.) и MJPEG. MPEG-кодеки обеспечивают высокую эффективность сжатия видеоданных, так как при помощи алгоритмов оценки и компенсации движения учитывают межкадровую зависимость отсчетов видеоинформации. Однако существующие алгоритмы обладают большой вычислительной сложностью. Кодеки на базе стандарта MJPEG учитывают только внутрикадровую зависимость отсчетов видеоинформации и, поэтому, обладают малой вычислительной сложностью, но при этом менее эффективны с точки зрения сжатия. В кодеках на базе стандартов семейства MPEG и MJPEG реализован принцип постоянной яркости, изначально ухудшающий четкость цветовых деталей видеоизображения при прореживании цветоразностных отсчетов (форматы разложения 4:2:2, 4:2:0 и пр.). Еще одна проблема стандартных цифровых систем видеопаблюдения - защита видеоданных от несанкционированной модификации (аутентификация видеоинформации). Существующая аппаратура видеонаблюдения не обладает стандартизованной системой защиты видеоинформации от несанкционированной модификации, и каждый производитель разрабатывает собственный алгоритм защиты видеоданных. Таким образом, тема исследования является актуальной.

Целью работы является исследование и разработка методов эиергоэффек-тивного сжатия и передачи видеоинформации с использованием трехмерного дискретного псевдокосинусного преобразования, принципа постоянной цветовой яркости и методов защиты видеопотока от несанкционированной модификации, направленных на повышение эффективности мобильных систем, а также методов, обеспечивающих повышение устойчивости сжатого потока видеоданных к ошибкам в каналах связи, с одновременным упрощением вычислительной сложности алгоритмов сжатия видеоинформации. Для достижения поставленной цели было необходимо решить следующие задачи:

1. Реализация в цифровой системе видеопаблюдения принципа постоянной цветовой яркости и его сравнение с принципом постоянной яркости;

2. Уменьшение количества операций при вычислении трехмерного дискретного косинусного преобразования;

3. Разработка методов защиты потока видеоданных от несанкционированной модификации;

4. Повышение помехоустойчивости потока видеоинформации, при работе в сетях с потерями информации.

Объектом исследования является цифровая система видеонаблюдения с использованием алгоритма сжатия цифрового потока видеоинформации на основе трехмерного дискретного косинусного преобразования.

Предметом исследования являются методы формирования цветовых сигналов на основе принципа постоянной цветовой яркости и методы создания помехоустойчивого алгоритма сжатия потока видеоинформации с возможностью иерархического кодирования (разбиения кодируемой видеоинформации на основной и дополняющие потоки), а также методы внедрения меток, подтверждающих достоверность потока видеоданных для защиты от несанкционированной модификации.

Методологическую и теоретическую основу исследования составили научные труды отечественных и зарубежных ученых в области теории цвета (JL Л. Полосин, В. В. Мешков и др.), теории информации (В. Д. Колесник, Б. Д. Кудряшов, Р. Галлагер, А. М. Яглом и др.), в области обработки и кодирования видеоинформации (H. Н. Шостацкий, И. И. Цуккерман, H. Н. Красиль-1ШКОВ, Д. Марпе, У. Прэтт и др.) и в области защиты информации (И. Н. Оков, А. П. Алферов).

Методы исследования. Поставленные задачи решены на основе теории цвета, теории информации, теории оптимизации и методов цифровой обработки сигналов.

Предложенные алгоритмы реализованы на языке программирования Си в среде программирования Microsoft Visual Studio 2005, Code Composer Studio 4.2.

Экспериментальные исследования проводились с помощью аппаратного модуля на базе процессора DaVinci (TMS320DM6446) и модуля перепрограммируемой логической интегральной схемы (ПЛИС) Kintex фирмы Xilinx.

Научная новизна диссертационной работы заключается в следующем.

1. Впервые предложены вещественная и целочисленная программные реализации, осуществляющие преобразование цветовой информации согласно принципу постоянной цветовой яркости для цифровых систем видеонаблюдения.

2. Разработаны новые тестовые таблицы для оценки цветовых преобразований.

3. Предложены новые методы сокращения количества вычислительных операций, основанные на применении дискретного псевдокосинусного преобразования, а также учитывающие трехмерные границы разрешающей способности зрительной системы человека в частотной области.

4. Разработан оригинальный метод контроля целостности потока видеоданных с использованием цифрового «водяного знака» для цифровой системы видеонаблюдения на основе трехмерного дискретного нсевдокосинусного преобразования.

5. Предложен новый метод повышения устойчивости потока видеоданных к воздействию ошибок за счет применения иерархического кодирования для цифровой системы видеонаблюдения на основе трехмерного дискретного псевдокосинусного преобразования.

Практическая значимость исследования. Предложенные в работе методы использованы при разработке цифровой системы передачи цветных изображений с повышенной цветовой четкостью и улучшенными алгоритмами сжатия потока цветовой видеоинформации.

Программная реализация принципа постоянной цветовой яркости позволила улучшить цветопередачу цифровой системы впдеонаблюдения, а также повысить четкость передаваемых цветных видеоизображений. За счет сокращения количества операций при вычислении трехмерного дискретного косинусного преобразования с учетом границ разрешающей способности зрительной системы человека удалось понизить энергопотребление цифровой системы видеонаблюдения. Методы внедрения и проверки цифровых «водяных знаков» позволили увеличить достоверность видеоинформации в цифровой системе видеонаблюдения. Иерархическое кодирование обеспечило повышение помехоустойчивости потока видеоданных при передаче но каналам связи с потерями информации.

Личный вклад. Включенные в диссертацию материалы получены лично автором или при его непосредственном участии: вещественная и целочисленная программные реализации принципа постоянной цветовой яркости, анализ цветовых преобразований, разработка испытательных цветовых таблиц, реализация дискретного нсевдокосинусного преобразования с сокращенным количеством вычислительных операций, разработка и реализация алгоритма внедрения и проверки цифровых «водяных знаков», реализация алгоритма иерархического кодирования.

Апробация результатов исследования. Основные результаты диссертационной работы докладывались на семинарах кафедры радиоэлектронных систем управления БГТУ, а также на следующих научно-технических конференциях:

• VI Международная конференция «Телевидение: передача и обработка изображений», Санкт-Петербург, 2008 г.;

• 63-я Научно-техническая конференция СПбНТОРЭС им. А. С. Попова, посвященная Дню радио, Санкт-Петербург, 2008 г.;

• 65-я Научно-техническая конференция СПбНТОРЭС им. А. С. Попова, посвященная Дню радио, Санкт-Петербург, 2010 г.;

• 12-я Международная конференция и выставка «Цифровая обработка сигналов и ее применение», Москва, 2010 г.;

• 3-я научно-техническая школа-семинар «Инфокоммуннкационные техно-логин в цифровом мире», Санкт-Петербург, 2014 г.

Внедрение результатов исследования. Разработанные алгоритмы цветовых преобразований и сжатия потока видеоданных с применением принципов иерархического кодирования были использованы в рамках ОКР в ЗАО «НПФ «ТИРС». Разработанные автором телевизионные испытательные таблицы внедрены в измерительную аппаратуру ОАО «НИИТ». Имеется два акта внедрения. Получен патент на изобретение.

Публикации по теме диссертационной работы. Основные результаты диссертации изложены в 17 печатных работах, из которых 5 опубликованы в научных журналах, входящих в перечень ВАК.

Основные положения, выносимые на защиту:

1. Принцип постоянной цветовой яркости для улучшения передачи цветовой информации в цифровых системах видеонаблюдения.

2. Новые цветовые таблицы, показывающие преимущества использования принципа постоянной цветовой яркости в цифровых системах видеонаблю-дення.

3. Способ сокращения количества операций при вычислении трехмерного дискретного косинусного преобразования, использующий дискретное псевдокосинусное преобразование, и, учитывающий границы разрешающей способности зрительной системы человека в частотной области.

4. Цифровые «водяные знаки» для проверки целостности и подтверждения подлинности видеоинформации, внедряемые в поток видеоданных трехмерного дискретного псевдокосинусного преобразования.

5. Иерархическое кодирование для повышения помехоустойчивости потока видеоданных трехмерного дискретного псевдокосинусного преобразования при работе в сетях с потерями информации.

Структура и объем работы. Диссертационная работа состоит из введения, пяти разделов, заключения, списка сокращений, списка литературы и трех приложений. Работа содержит 178 страниц машинописного текста, включая 53 рисунка и 15 таблиц. Список литературы содержит 99 источников.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цели, основные задачи, основные положения, выносимые на защиту, а также кратко изложено содержание работы но разделам.

В первом разделе рассмотрены общие принципы функционирования цифровых систем видеонаблюдения (ЦСВ). Приведены основные критерии ЦСВ. Кратко изложено содержание существующих стандартов сжатия потока видеоданных. Описана функциональная схема ЦСВ с использованием трехмерного дискретного косинусного преобразования (ДКП-3).

Общая схема обработки данных в кодеке на основе ДКП-3 представлена на рисунке 1.

Рисунок 1 — Общая схема кодека па основе ДКП-3

Типовой алгоритм работы кодека можно описать следующим образом. Данные поступают с видеосенсора в формате RGB, и над ними выполняется прямое цветовое преобразование, согласно принципу постоянной яркости (ПЯ), после

чего данные прореживаются в соответствии с одним из форматов прореживания (4:2:2, 4:2:0). Кадровый буфер копит кадры и формирует непересекающиеся кубы размером 8x8x8 отсчетов. Далее, выделяется один куб размерностью 8x8x8 отсчетов, который анализируется на «количество движения» внутри него. В зависимости от типа куба, полученного при анализе, выполняется двумерное дискретное косинусное преобразование (ДКП-2) по плоскостям и квантование, ДКП-3 и квантование или принимается решение о пропуске куба. Затем, выполняется статистическое кодирование и формирование сжатого потока видеоданных. Передатчик разбивает сжатый поток на пакеты и передает по каналу связи. Управление кодированием осуществляется подстройкой значения коэффициента квантования (С^Р) для каждого куба, в зависимости от требуемой скорости битового потока и числа переданных битов.

Далее, пакеты поступают в приемник, который осуществляет их сборку. Над принятым потоком проводится статистическое декодирование, далее восстановление и обратное ДКП, после чего блоки записываются в кадровый буфер. Для отображения из кадрового буфера извлекается каждый из восьми кадров по порядку, и производится обратное цветовое преобразование, согласно принципу ГШ. Описанная система взята за исходную для доработки с целью улучшения параметров при передаче цветовой видеоинформации.

Задачи диссертационной работы: 1) разработка методов для улучшения параметров ЦСВ на основе трехмерного дискретного косинусного преобразования; 2) повышение четкости передачи цветовой информации; 3) сокращение числа операций при вычислении дискретного косинусного преобразования; 4) создание нового метода контроля достоверности видеоданных; 5) повышение помехоустойчивости потока видеоданных при передаче по каналам связи с ошибками.

Второй раздел посвящен рассмотрению принципа постоянной цветовой яркости (ПЦЯ). В аналоговых, а позже и в цифровых телевизионных системах в основу цветового преобразования был положен принцип ПЯ, впервые сформулированный при разработке цветной вещательной системы ОТЭС.

Суть принципа ПЯ в следующем. Первичные цветовые сигналы телевизионной камеры Ец, Еа, Ев после нелинейных предыскажений для коррекции нелинейных характеристик кинескопов преобразуются в сигналы Е'н = Ед, Е'а = Щ, Е'в = Ев, где 7 = 0,45, из которых формируются сигналы цветовой передачи Еу, Ен_у, Е'в_у. Для опорного белого Сюоо уравнения связи между сигналами Ей, Ее, Ев и сигналами Е'у, Е'к у, Е'в у выглядят следующим образом:

Е'у = 0,299Е'п + 0,587Е'с + 0, ШЕ'В, Е'л^у = 0, 701Е'п — 0, 587Е'а — 0,114Е'В, Е'в-у= -0,299^-0,587^ + 0,886^.

Сигнал Е'у передает информацию о черно-белой составляющей изображения - яркости и называется яркостным сигналом. Этот сигнал обеспечивает совместимость черно-белых и цветных систем телевидения и передается в более широкой полосе частот по сравнению с сигналами Е'к_у, Е'в_у, так как для наблюдения черно-белых изображений необходима максимальная четкость. Сигналы Е'н_у и Е'в_у несут информацию о цветности изображения, то есть о цветовом тоне и насыщенности.

Практически принцип ПЯ в вещательных системах полностью не выполняется. Он обеспечивает точное воспроизведение яркости черно-белых изображений, но неточно воспроизводит яркость насыщенных цветов. В этом случае определенная доля яркости передается по каналу цветности. Другим существенным недостатком передачи цветовых сигналов по принципу ПЯ является ухудшение четкости ахроматических фрагментов изображения по мере увеличения насыщенности основных цветов. При передаче цветовой информации по вещательным каналам телевизионного тракта теряется до пяти градаций яркости на синем цвете и до трех градаций на красном цвете. Сочетания цветов, в состав которых входят красный и синий, также подвержены потерям по яркости.

Потеря числа градаций по яркости, вызванная преобразованием с использованием принципа ПЯ, недопустима во многих системах передачи видеоинформации. К таким системам относятся, например, специализированные ЦСВ, работающие в условиях низкой освещенности.

Альтернативным подходом к кодированию цвета может стать переход к применению принципа постоянной цветовой яркости (ПЦЯ).

В соответствии с принципом ПЦЯ из первичных цветовых телевизионных сигналов после гамма-коррекции вычисляют цветовую амплитуду передаваемого цвета. Для передачи информации о цветности формируются сигналы, отвечающие за насыщенность данного цвета красным (Е[) и синим (Е'2) первичными цветами телевизионной камеры, по формулам:

Е'с = + {Е'СУ + {Е'в)\ Е[ = Е'п/Е'с, Е'2 = Е'в/Е'с. (1)

Восстановление первичных цветовых сигналов происходит следующим образом:

Е'к = Е'СЕ[, Е'в = Е'СЕ'2, Е'с = ^(Е'СУ - {Е'КУ - (Е>в)*. (2)

Для качественного и количественного сравнения предложенных решений (реализация принципа ПЦЯ) потребовались новые тестовые цветовые таблицы, которые позволяют получить как субъективную, так и объективную оценку качества изображения.

Автором были созданы цифровые таблицы для телевидения стандартной четкости и высокой четкости, содержащие следующие элементы:

• испытательные элементы в виде кругов и прямых линий (сетка на обеих таблицах) для оценки геометрических искажений;

• градационный клин для контроля отображаемых градаций яркости;

• вертикальные полосы основных насыщенных цветов равной ширины для оценки качества воспроизведения цветов;

• цветовые переходы для оценки линейности характеристики канала цветности;

• штрихи с различным шагом для контроля разрешающей способности;

• зелено-пурпурные переходы для контроля разности усиления передачи сигналов яркости и цветоразностных сигналов.

Была проведена оценка с помощью субъективных и объективных экспертиз обработанных изображений с использованием преобразований, основанных на принципах ПЯ и ПЦЯ. Одним из тестовых изображений, помимо разработанных таблиц было изображение «Flower foveon», изображенное на рисунке 2. На рисунке приведены исходное цветное изображение «Flower foveon» (а), яркостная составляющая изображения по принципу ПЯ (б) и ПЦЯ (в).

а б в

Рисунок 2 - Изображение «Flower foveon»

Анализ результатов субъективных экспертиз позволил сделать вывод, что преобразование согласно принципу ПЦЯ обладает преимуществами перед'преобразованием с использованием принципа ПЯ.

Объективная оценка проводилась над изображениями, цветоразностные (цветовые) отсчеты которых квантовались разными коэффициентами. Графики на рисунке 3 показывают зависимость величины искажений восстановленных изображений (относительно оригинала) от коэффициента квантования. По приведенным графикам можно сделать вывод, что цветовое преобразование на основе принципа ПЦЯ при коэффициентах квантования больше 2, дает выигрыш на 6 дБ и более, на красном (а), зеленом (б) и синем (в) цветах.

60 60 60

50 40 % I 30 £ 20 10 U. \ "--ж. 50 40 % £30. £ 20 10 \ \ ■м 50 40 * 30 X 20 10 \

0 0

1 2 4 8 16 32 64 128 Коэффициент квантования —-ПЯ -•■- ПЦЯ 2 4 8 16 32 64 128 Коэффициент квантования —+ -ПЯ ПЦЯ 2 4 8 16 32 64 128 Коэффициент квантования —-ПЯ --■- ПЦЯ

а 6 в

Рисунок 3 - Графики зависимости PSNR от коэффициента квантования для изображения «Flower foveon»

Результаты объективного и субъективного методов оценки практически полностью совпадают.

Предложены методы программной реализации принципа ПЦЯ: вещественный и целочисленный. Вещественная реализация предполагает использование модуля работы с вещественными числами в ЦСВ. Вычисления производятся по формулам (1)-(2) с преобразованием входных и выходных значений в целые 8-разрядные числа. Целочисленная реализация пригодна для ЦСВ, не оснащенных блоком вещественных вычислений. Наиболее быстрой и простой целочисленной реализацией является табличный метод цветового преобразования. Однако, такая реализация требует порядка 64 МБайт оперативной памяти, при разрядности входных и выходных отсчетов 8 битов. Для сокращения числа хранимых отсчетов предлагается создать таблицу значений IV (целочисленное рассчитанное значение яркости) и обратных им 24-разрядных значений 1пу\У = 16777216/И/ (умножение на число 16777216 требуется для сохранения точности вычислений). Причем, для сокращения количества хранимых отсчетов, удобно разместить IV и \rivW в одном 32-разрядном беззнаковом числе следующим образом № _ ((цг х 224) \/ , где V — операция побитового «или», операцию умно-

жения на 224 можно реализовать как логический сдвиг влево на 24 разряда В таком случае кодирование осуществляется следующим образом. Значения ]У и \rivW извлекаются из массива, согласно индексу г = В, + С + В :

IV = (ш\¥Щ)/22А, 1пу\У = (\YWli] х 28)/28,

где \У1¥ — массив заранее просчитанных значений яркости для всех Д, в и В, операции умножения и деления на 28 можно представить в виде логических сдвигов влево'и вправо. Полученное значение ]¥ напрямую записывается в выходной ноток видеоданных. Величина \rivW используется для расчета 8-разрядных значений цветности и = (В х 1пу1У)/224 и V = (Д х 1пуИ0/224. Восстановление отсчетов осуществляется аналогичным образом. Преимущество применения оптимизированного подхода состоит в том, что для хранения массива \У\У требуется 2562 х 3 х 4 = 786432 байта (768 Кбайт) свободной памяти устройства кодирования.

В третьем разделе рассматриваются методы уменьшения числа операций при вычислении ДКП-3. Предложено расширить существующий подход псевдокосинусного преобразования на трехмерный случай и, тем самым, сократить сложность вычисления трехмерного преобразования. Дополнительно сократить объем вычислений позволяет учет границ разрешающей способности зрительной системы человека.

Реализация квантования без операции деления. Рассмотрим сначала процедуру квантования без операции деления. Предлагается выполнять квантование отсчета х по следующей формуле: Хч = (х ■ А(ЯР) + / ■ 2~ у2 . Восстановление выполняется следующим образом: хг = (Хд ■ В(ЯР))/2 ,, где

г е [0 0 51 = [0____, 31] - номер шага квантования, а множители А(ЯР)

и В (ЯР) задаются с учетом того, что А(ЯР) ■ В (ЯР) = 240, как показано в таб-

ЛШОстальные значения коэффициентов А(ЯР) и В (ЯР) для ЯР > 5 выбираются из условия, что 2А(ЯР + 6) = А($Р) и В(ЯР + 6) = 2В(ЯР). В связи с этим предлагается в памяти кодера и декодера хранить только значения коэффициентов А(ЯР) и В(ЯР), соответствующих 0 < ЯР < 5. При этом процедура

QP 0 1 2 3 4 5

q(QP) 2,5 2,8 3,2 3,5 4 4,5

л(0Р) 620 5537 492 439 391 348

ЩОР) fi7fi 3881 4351 4890 5481 6154 6914

квантования модифицируется следующим образом:

Х, = (х- A(qM) + / ■ 220+9e)/2020+9e, (3)

восстановление производится по следующей формуле:

хг = (X, ■ В(дм))/202О-9Е, (4)

где qM = QP mod 6, qE = |<Э-Р/6|, mod 6 - остаток от деления на число 6. В результате, квантование может быть реализовано с использованием операций умножения и арифметического сдвига.

Трехмерное дискретное псевдокосинусное преобразование. Для простоты изложения рассмотрим случай одномерного преобразования над вектором-столбцом длиной 8. Обозначим исходный вектор через х, а результат преобразования через X. Тогда дискретное косинусное преобразование можно вычислить следующим образом: X = Т • х, где Т - матрица коэффициентов косинусного преобразования.

С учетом ортогональности ДКП. ТТГ = I. результат обратного преобразования вычисляется следующим образом: = Тт • X.

Для реализации преобразования без умножений предлагается аппроксимировать матрицу Т матрицей

i8 8 8 8 8 8 8 8 ^

12 10 6 3 -3 -6 -10 -12

8 4 -4 -8 -8 -4 4 8

10 Q -3 о -12 О -6 о 6 я 12 О 3 О -10 я

О 6 —о -12 — о 3 о 10 о -10 — О -3 — о 12 о -6

4 -8 8 -4 4 8 -8 4

\з -6 10 -12 12 -10 6 -ЗУ

Матрица Н, с одной_стороны, близка к матрице Т, а с другой стороны, произведения Н ■ х и Нг • X можно вычислить без операций умножения/деления с использованием 32 операций сложения/вычитания и 10 операций арифметического сдвига. Для выполнения обратного преобразования необходимо учитывать, что Нт ■ В ■ Н = I, где О - диагональная матрица. В результате, прямое преобразование может быть вычислено следующим образом:

Х = Б Н х = (Н -х) <8>й, (5)

где й = Т) ё, ё - единичный вектор-столбец длиной 8, а знак ® обозначает поэлементное умножение. Обратное преобразование может быть вычислено как:

Щ. = Нг • X.

Как следует из (5) при вычислении прямого преобразования необходимо выполнить 8 умножений. Избежать этого можно путем переноса операции умножения на вектор <1 в процедуру квантования. Для этого в формуле (3) вместо множителя Л(дм) используется множитель А(дм,г) = Ж<7м) • который вычисляется заранее.

Распространяя описанный выше подход, трехмерное дискретное псевдокосинусное преобразование (ДПКП-3) может быть вычислено путем применения одномерного преобразования по строкам, столбцам и но «времени». При этом, при выполнении операции квантования необходимо использовать множитель «,.?! к), значение которого зависит от координат г, у, к коэффициента преобразования.

Число операций при вычислении Д(П)КП-3 можно сократить, не вычисляя частотные коэффициенты, лежащие за границами разрешающей способности зрительной системы человека, применив матрицы обнуления, показанные на рисунке 4.

_№=0_ _1у1_ _№=2_ _Н' 3

ХххххХХх хххххххо

ххххххоо

хххххххо ххххххоо

хххххооо ххххоооо

о о о о о

ххххххоо хххххооо

X X X X о

X X X X

о о о о о

о о о о о о о о о о о о о о

оооооооо

хххооооо

о о о о о

Рисунок 4 — Таблицы обнуления яркостных компонентов

В таблице 2 приведено число операций, необходимое для выполнения ДКП-3, ДПКП-3 и ДПКП-3 с априорным обнулением совместно с квантованием для куба 8x8x8.

Таблица 2 - Сравнение преобразований по числу вычислительных операций

Преобразование Умножения Деления Сложения и вычитания

ДКП-3 и квантование с делением 4608 512 11136

ДПКП-3 и квантование без деления 512 0 6144

ДПКП-3, квантование без деления и априорное обнуление 128 0 5248

Сравнивая число операций, указанных в таблице 2, можно сделать вывод, что преобразование ДПКП-3 с квантованием без деления и априорным обнулением

позволило сократить число умножений в 36 раз, число сложений и вычитаний в 2,1 раза, и отказаться от делений.

В четвертом разделе рассматриваются методы защиты цифрового потока видеоинформации от модификации. Проведен обзор методов стеганографической защиты информации. Разработан алгоритм аутентификации потока видеоинформации дискретного псевдокосинусного преобразования на основе внедрения цифрового «водяного знака» (ЦВЗ).

Для формирования у отправителя заверенного ЦВЗ электронного изображения на него накладывают изображения идентификатора источника электронного изображения (ЭИ), номера ЭИ и значения времени его формирования. Идентификатор источника ЭИ, номер ЭИ и значение времени его формирования преобразуют в соответствующие двоичные последовательности (ДП). ЭИ разделяют на М > 2 блоков, размером п х п х п пикселов, где п = 8. Затем над значениями яркости пикселов каждого то-го блока электронного изображения (БЭИ) выполняют ДПКП-3. Значения коэффициентов ДПКП т-го БЭИ квантуют но предварительно сформированной функции квантования и кодируют заменой на заранее сформированные соответствующие ДП кода Хаффмана.

Аутентификатор т-го БЭИ формируют из ДП т-го БЭИ путем конкатенации 5 < Бтах, где Бтах - наибольшее число двоичных последовательностей кода Хаффмана т-го БЭИ. Число 5 выбирают в интервале 1,2,..., Зтах двоичных последовательностей кода Хаффмана этого блока, ДП идентификатора источника ЭИ, ДП номера ЭИ, ДП номера т-го БЭИ и ДП значения времени формирования ЭИ. Затем ДП этого блока преобразуют с помощью предварительно сформированных выражений: криптографической функции аутентификации и двоичной последовательности секретного ключа (ДПСК) аутентификации.

Далее ЦВЗ т-го БЭИ вычисляют путем разделения аутентификатора т-го БЭИ на Т > 2 частей. В качестве г-й (г = 1,2,...,Т) части ЦВЗ т-го БЭИ выбирают ДП кода Хаффмана из предварительно сформированного множества встраиваемых ДП кода Хаффмана, номер которой соответствует г-й части аутентификатора гтг-го БЭИ. После этого, г-ю часть ЦВЗ т-го БЭИ встраивают в соответствии с ДПСК встраивания, для чего ее записывают после ДП кода Хаффмана т-го БЭИ, номер которого определяет ДПСК встраивания, и считают т-й БЭИ заверенным ЦВЗ.

Для проверки подлинности принятого получателем ЭИ из него выделяют двоичные последовательности кода Хаффмана т-го принятого БЭИ. Затем извлекают в соответствии с ДПСК встраивания части ЦВЗ каждого т-го принятого БЭИ, для чего их считывают по окончании двоичных последовательностей кода Хаффмана т-го принятого БЭИ, номера которых определяют ДПСК встраивания. Оставшиеся двоичные последовательности кода Хаффмана т-го принятого БЭИ декодируют заменой на соответствующие им предварительно сформированные квантованные коэффициенты ДКП т-го БЭИ, которые восстанавливают по предварительно сформированной функции восстановления. Затем над значениями коэффициентов ДПКП каждого т-го принятого БЭИ выполняют обратное трехмерное ДПКП и полученные значения яркости пикселов т-х принятых БЭИ объединяют в принятое ЭИ. Из принятого ЭИ считывают изображения идентификатора источника принятого ЭИ, номера принятого ЭИ и значения времени его формирования и преобразуют их в соответствующие ДП.

Для формирования аутентификатора т-го принятого БЭИ формируют ДП

т-го принятого БЭИ путем конкатенации 5 < 5тах оставшихся двоичных последовательностей кода Хаффмана этого блока, ДП идентификатора источника принятого ЭИ, ДП номера принятого ЭИ, ДП номера то-го принятого БЭИ и ДП значения времени формирования принятого ЭИ. Затем ДП т-го принятого БЭР1 преобразуют с помощью предварительно сформированных криптографической функции аутентификации и ДПСК аутентификации.

ЦВЗ т-го принятого БЭИ вычисляют путем разделения аутентификатора 771-го принятого БЭИ на Т > 2 частей. В качестве г-й (г = 1,2, ...,Т) части вычисленного ЦВЗ т-го принятого БЭИ выбирают ДП кода Хаффмана из предварительно сформированного множества встраиваемых ДП кода Хаффмана, номер которой соответствует г-й части аутентификатора т-го принятого БЭИ.

Соответствующие части вычисленного и извлеченного ЦВЗ т-го принятого БЭИ сравнивают и запоминают число 2 несовпадающих их частей, а тп-й принятый БЭИ считают подлинным, если Я < 2тах. Таким образом получен метод встраивания цифровых «водяных знаков», надежно защищающий ноток видеоданных.

В пятом разделе рассматривается алгоритм иерархического кодирования в кодеках с использованием ДПКП-3. Предлагаются схемы иерархического кодирования с масштабированием по кадровому разрешению, по кадровой скорости и по качеству. Иерархическое кодирование - адаптация видеоданных для различных потребностей и предпочтений конечных пользователей, а также неодинаковых возможностей приемной (декодирующей) аппаратуры и разных сетевых условий. Цель иерархического кодирования - порождение такого потока видеоданных, в котором содержатся один и более потоков разного уровня. При этом базовый иерархический ноток может быть декодирован стандартным декодером видеоинформации. С применением иерархического декодера видеоинформации в зависимости от аппаратной мощности декодирующей аппаратуры и (или) характеристик канала передачи данных можно декодировать базовый и расширяющий (расширяющие) слои иерархического потока видеоинформации. При этом повышается четкость и/или кадровая скорость принимаемых видеоизображений.

На рисунке 5 приведена обобщенная функциональная схема кодирования и декодирования разных уровней иерархической видеоинформации.

Иерархический кодер ДПКП

256 Кбит/сек -►

512 Кбит/сек

2048 Кбит/сек

Декодер ДПКП

Иерархический Декодер ДПКП

Иерархический Декодер ДПКП

0С1Г(Ж15Гц

С№®15 Гц

Ц 4С1Г(й)30Гц

Рисунок 5 — Функциональная схема иерархического кодирования и декодирования

Иерархическое кодирование особенно целесообразно, когда аппаратное устройство не способно декодировать большой объем видеоинформации. Второй причиной может стать ограничение пропускной способности канала связи: при получении базового потока можно уменьшить разрешение и/или кадровую скорость видеоинформации, при увеличении пропускной способности канала связи, качество декодированной видеопоследовательности будет улучшено за счет добавления пространственно-временной избыточности видеоинформации.

Для систем с использованием ДПКП-З имеется три вида иерархического кодирования: пространственное, временное и иерархическое кодирование с масштабированием по качеству.

При пространственном иерархическом кодировании видеоинформации кадры исходной видеопоследовательности уменьшаются в два (или более) раза, кодируются согласно базовой схеме кодирования, но на этапе получения квантованного спектра производится восстановление, и вычитание восстановленного набора изображений из исходной видеопоследовательности, после чего полученный разностный набор кадров кодируется согласно базовой схеме кодирования. Таким образом, на выходе иерархического кодера имеется базовый поток (уменьшенный по кадровому разрешению) и расширяющий ноток (состоит из разностных кадров видеопоследовательности). Сначала декодируют базовый слой, затем расширяющий.

Иерархическое кодирование с масштабированием по времени представляет собой, по сути, применение двух базовых кодеров ДПКП, причем кодер базового слоя принимает только нечетные кадры, а кодер расширяющего -только четные кадры. При сложении базового и расширяющего слоев иерархического потока изображение становится полнокадровым. Возможно увеличение числа расширяющих слоев.

При иерархическом кодировании по качеству отличие от базового кодера видеоинформации заключается в том, что из кодовых слов кода Хаффмана, полученных при статистическом кодировании, коэффициенты распределяются в базовый и расширяющий слои.

При оценке методов иерархического кодирования сделан вывод о том, что иерархическое кодирование с масштабированием по качеству не требует значительного увеличения объема оперативной памяти, и вычислительная сложность ограничивается только формированием потоков по отдельности, что является приемлемым для рассмотренных ограничений в применении к описанной ранее цифровой системе видеонаблюдения.

Функциональная схема системы видеонаблюдения с использованием ДПКП, принципа ПЦЯ и иерархическим кодированием потока показана на рисунке 6.

В заключении перечислены основные результаты, полученные в диссертационной работе.

В приложении приведены цветовые испытательные таблицы, результаты субъективных экспертиз.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Анализ существующих ЦСВ, построенных на таких стандартах, как MJPEG, JPEG-2000, MPEG-2, MPEG-4 Part 2, MPEG-4 Part 10 (H.264/AVC), позво-

Рисунок 6 - Схема иерархического кодирования для системы видеонаблюдения с использованием ДПКП и принципа ПЦЯ

лил выявить ряд существенных недостатков: низкая четкость видеоинформации; большой объем вычислений или маленький коэффициент сжатия потока видеоданных; отсутствие в стандартизованных ЦСВ надежных средств защиты потока видеоданных от несанкционированной модификации; недостаточная устойчивость стандартизованных ЦСВ к потерям пакетов видеоданных в канале связи.

Задача диссертационной работы состояла в разработке методов для улучшения параметров цифровой системы видеонаблюдения на основе трехмерного дискретного косинусного преобразования.

1. Достигнуто существенное улучшение четкости передаваемого изображения благодаря применению принципа ПЦЯ в качестве первичного преобразования цветовых сигналов.

2. Впервые предложены цветовые таблицы, обеспечивающие возможность как субъективной, так и объективной оценки цветовых преобразований.

3. С помощью таблиц и тестовых изображений впервые измерена степень искажений, вносимых преобразованиями при квантовании цветовых отсчетов видеоинформации.

4. Показано, что при значении коэффициента квантования выше 2, выигрыш преобразования согласно принципу Г1ЦЯ, по сравнению с ПЯ, по пиковому отношению сигнал-шум составляет до 25 дБ - па красном цвете, до 24 дБ - на синем цвете, и до 6 дБ - на зеленом цвете.

5. Разработаны оригинальные варианты программной реализации принципа ПЦЯ для вещественных и целочисленных аппаратных платформ. Показано, что целочисленная программная реализация позволяет выполнить вычисления в ЦСВ, не обладающих модулем обработки вещественных чисел. Однако, для хранения данных требуется 64 МБайт оперативной памяти устройства, что неприем-

лемо для некоторых ЦСВ. Применение оптимизированного метода вычислений позволило сократить требуемый объем оперативной памяти в 85 раз, по отношению к табличной реализации.

6. Выполнено сравнение числа вычислительных операций для различных преобразований. Показано, что преобразование ДПКП-3 с квантованием без деления и априорным обнулением требует меньшего числа умножений (до 36 раз), меньшего числа сложений п вычитаний (до 2,1 раза) и не требует делений, при этом пиковое отношение сигнал-шум исходных и обрабатываемых данных не более чем на 0, 8 дБ уступает «классическому» ДКП-3.

7. Исходя из анализа рассмотренных методов защиты видеоданных от несанкционированной модификации, выбран наиболее предпочтительный метод, основанный на внедрении и проверке цифрового «водяного знака» в поток видеоданных ДПКП-3. Установлено что, предложенный алгоритм не влияет на структуру потока сжатых данных и не модифицирует последовательность операций сжатия и восстановления видеоизображений, таким образом реализация алгоритма аутентификации не предполагает использования дополнительных аппаратных средств.

8. Проведено сравнение типов иерархического кодирования видеоинформации для кодеков на основе ДПКП-3 и выявлено, что наиболее энергоэффектпв-ным является иерархическое кодирование с масштабированием по качеству.

9. Экспериментально установлено, что система видеонаблюдення с применением иерархического кодирования с масштабированием но качеству порождает поток, сопоставимый по объему с потоком базовой системы видеонаблюдення без иерархического кодирования.

10. Экспериментально исследовано воздействие ошибки в канале связи, ведущее к потере пакетов потока данных ДПКП-3 с различными вероятностями потери пакета для системы с иерархическим кодированием и без него. Выигрыш но пиковому отношению снгнал-шум относительно базовой системы кодирования достигает при этом 0 дБ. Потеря пакетов, относящихся к базовому слою иерархического кодера, вносит искажения, сопоставимые с потерей пакетов потока базового кодера, что показывает эффективность иерархического кодирования по отношению к базовой схеме.

Получено два акта о внедрении результатов диссертационной работы от ОАО «НИИТ» и от ЗАО «НПФ «ТИРС».

Таким образом, можно утверждать, что поставленные в диссертации задачи решены.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации о изданиях, рекомендованных ВАК:

1. Сухов, Т. М. Сжатие видеоинформации па основе трехмерного дискретного пссвдо-косинусного преобразования для энергоэффективпых систем видеонаблюдення / Т. М. Сухов. Е. А. Беляев, Н. Н. Шостацкий // Компьютерная оптика. - 2010. -Том 34, ,\«2. - С. 2СО-272.

2. Сухов, Т. М. Использование принципа постоянной цветовой яркости для передачи видеоинформации / Т. М. Сухов, Е. А. Беляев // Известия вузов. Приборостроение. - 2011. -Том 1. - С. 55-59.

3. Сухов, Т. М. Сжатие цветовой информации с использованием аутентификации видеоданных в системах видсонаблюдсния / Т. М. Сухов // Вопросы радиоэлектроники. Сер. Техника телевидения. - 2013. - Вып. 2. - С. 70-79.

4. Сухов, Т. М. Об иерархическом кодировании в цифровой системе видеоиаблюдения / Т. М. Сухов // Информационно-управляющие системы. - 2014. - №09. - С. 50-02.

5. Сухов, Т. М. Реализация принципа постоянной цветовой яркости для систем кодирования видеоинформации / Т. М. Сухов // Известия вузов. Приборостроение. - 2014. - Том 7. -С. 00-63.

Патент

0. Сухов, Т. М. Способ формирования и проверки заверенного цифровым водяным знаком электронного изображения / И. Н. Оков, Т. М. Сухов, В. В. Цветков // Патент на изобретение № 2450354. Заявка № 2010150900. Приоритет изобретения 13.12.2010, зарегистрирован в Гос. реестре изобретений РФ 10.09.2012.

Другие статьи и материалы конференций:

7. Сухов, Т. М. Построение испытательных таблиц для цифрового широкоформатного телевидения высокой четкости / Т. М. Сухов // Материалы межвузовской научно-технической конференции студентов, аспирантов и молодых ученых «Системы управления и передачи информации», г. С.-Петерб.. 15 мая 2007 г. - СПб.: Типография БГТУ.

- 2007. - С. G2-G3.

8. Сухов, Т. М. Особенности электронных испытательных таблиц для цифрового телевидения / Т. М. Сухов // Материалы VI открытой научно-практичсской конференции учащихся, студентов н аспирантов «Информационные технологии в области науки и техники». Ч. II. г. С.-Петерб., 17-18 апреля 2008 г. - СПб.: ГОУ «СПбГДТЮ». - 2008. - С. 5-9.

9. Сухов, Т. М. Построение испытательной таблицы для цифрового телевидения / Т. М. Сухов, Ю. В. Фролов // 03-я Научно-техническая конференция, посвященной Дню радио: Труды конференции., г. С.-Петерб., аир. 2008. - СПб: Издательство СПбГЭТУ «ЛЭТИ».

- 2008. - С. 222-223.

10. Сухов, Т. М. Электронная испытательная таблица для цифрового телевидения / Т. М. Сухов, JI. Л. Полосин // Телевидение: передача и обработка изображений: Материалы 0-ой междунар. конф., г. С.-Петерб.. 30 июня - 1 июля 2008 г. - СПб.: нзд-во ООО «Инсаита», 2008.- С. 142-143.

11. Сухов, Т. М. Испытательная таблица для широкоформатного цифрового телевидения / Л. Л. Полосин, Т. М. Сухов // Вопросы радиоэлектроники. Сер. Техника телевидения. -2008. - Вып. 2. - С. 904)5.

12. Сухов, Т. М. Испытательная таблица для цифрового телевидения повышенной четкости с динамическими элементами / Л. Л. Полосин, А. А. Иванов, Т. М. Сухов // Вопросы радиоэлектроники. Сер. Техника телевидения. - 2009. - Выи. 2. - С. 103-107.

13. Сухов, Т. М. Использование трехмерного псевдо-косннусного преобразования для сжатия подвижных изображений / Т. М. Сухов, Е. А. Беляев // Труды Российского научно-технического общества радиотехники, электроники и связи имени А. С. Попова. Серия: цифровая обработка сигналов и ее применение, г. Москва, 31 марта - 2 апреля 2010 г. -М.: Рос. НТОРЭС им. А. С. Попова. - 2010. - Выпуск XII-2. - С. 139-142.

14. Сухов, Т. М. Иерархическое сжатие видеоинформации на основе трехмерного дискретного псевдо-косинусного преобразования / Е. А. Беляев, Т. М. Сухов // 05-я Научно-техническая конференция, посвященной Дню радио: Труды конференции., г. С.-Петерб., 19-20 мая 2010 г. - СПб: Издательство СПбГЭТУ «ЛЭТИ». - 2010. - С. 109-171.

15. Sukhov, Т. Scalable video coding based on three-dimensional discrete pseudo cosine transform / E. Belyacv and Liu Kai, Т. Sukhov // The 10th International Conference on Next Generation Wired/Wireless Advanced Networking. St. Petersburg, Russia, August 23-25, 2010.

- Publisher: Springer-Verlag. - 2010. - pp. 448-459.

16. Сухов, Т. M. Уменьшение вычислительной сложности цифрового кодирования телевизионных изображений па базе трехмерного ДКП с учетом модели зрительной системы человека / Т. М. Сухов, Е. А. Беляев // Proceedings of International Workshop Distributed Computer and Communication Networks. Theory and Applications (DCCN-2010). Moscow, Russia, October 26-28, 2010. - Moscow: R&D Company «Information and Networking Technologies». - 2010 - pp. 307-312.

17. Сухов, Т. M. Об использовании принципа постоянной цветовой яркости в системах видеонаблюдения / Т. М. Сухов // Сборник докладов 3-й научно-технической школы-семинара «Инфокоммуникациоиные технологии в цифровом мире», г. С.-Петерб., 21-22 ноября 2013 г. - СПб.: ООО «Технолнт». - 2013. - С. 18-19.

Подписано в печать 01.10.2014 г. Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 1,0. Тираж 100 экз. Заказ № 3569.

Отпечатано в ООО «Издательство "JIEMA"» 199004, Россия, Санкт-Петербург, 1-я линия В.О., д.28 тел.: 323-30-50, тел./факс: 323-67-74 e-mail: izd lema@mail.ru http://www.lemaprint.ru