автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка и исследование метода преобразования видеоданных для определения их подлинности и подтверждения целостности

005009030

Разработка и исследование метода преобразования видеоданных для определения их подлинности и подтверждения целостности

специальность 05.13.01 «Системный анализ, управление и обработка информации (в технике и технологиях)»

Автореферат диссертации на соискание ученой степени кандидата технических наук

2 0ЕЗ 1Ш

Санкт-Петербург 2012

005009030

Работа выполнена на кафедре вычислительных систем и сетей федерального государственного автономного образовательного учреждения высшего профессионального образования «Санкт-Петербургский государственный университет аэрокосмического приборостроения»

Научный руководитель:

Официальные оппоненты:

доктор технических наук, профессор Сергеев Михаил Борисович

доктор технических наук, профессор Красилышков Николай Николаевич

кандидат технических наук, доцент Красичков Александр Сергеевич

Ведущая организация: Федеральное государственное бюджетное

образовательное учреждение высшего профессионального образования «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики»

Защита состоится «¿/__» /-рёЬаЛЛ 2012 года в часой^С;'минут в аудитории 53-01 на заседании' диссертационного совета Д 212.233.02 при федеральном государственном автономном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный университет аэрокосмического приборостроения» по адресу: 190000, г. Санкт-Петербург, ул. Большая Морская, 67.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного университета аэрокосмического приборостроения.

Автореферат разослан «'/-' » (-¿/^ 2012 г.

Ученый секретарь диссертационного совета Д. 212.233.02

д-р техн. наук, профессор Л.А. Осипов

Общая характеристика работы

Актуальность работы. Видеоинформация является одним из ценнейших предметов современной жизни, основой функционирования распределенных систем мониторинга территорий, регистрации событий, ориентации и управления подвижными объектами с видеоканалом в обратной связи. Получение доступа к ней при использовании глобальных компьютерных сетей как коммуникационной среды, на которой строятся распределенные системы, стало невероятно простым. В то же время легкость и скорость такого доступа значительно повысили и угрозу нарушения безопасности видеоданных при отсутствии мер их защиты, а именно, -угрозу неавторизированного доступа, нарушения подлинности путем преднамеренного искажения и подмены, присвоения авторских прав на цифровые изображения и видеопотоки.

Преимущества представления и передачи данных в цифровом виде (легкость восстановления, высокая потенциальная помехоустойчивость, перспективы использования универсальных аппаратных и программных решений) могут быть перечеркнуты с легкостью, с которой возможны их похищение, подмена и модификация. Наиболее актуальной является задача разработки методов по преобразованию видеоинформации для подтверждения её подлинности в распределенных информационно-управляющих системах встраиваемого класса. Видеоисточник таких систем реализуется, как правило, на 1Р-видеосерверах, основной вычислительный ресурс и память которых заняты выполнением операций по захвату, оцифровке, формированию IP-пакетов и их передаче по сети.

Анализ показал, что большинство известных методов, использующих криптографические и стеганографические преобразования видеоинформации, представляемой по-кадрово в стандартах MPEG-1, MPEG-2, MPEG-4, требуют значительного вычислительного ресурса из-за больших объемов самой видеоинформации и не могут быть эффективно реализованы для таких приложений. Поэтому актуальной является задача разработки методов преобразования видеоинформации, альтернативных методам сокрытия (шифрации) информации и ориентированных на обеспечение сохранения ее подлинности и целостности с учетом особенностей цифрового представления изображений.

Анализ работ в области преобразования информации таких отечественных специалистов как Грибунин В.Г., Оков И.Н., Туринцев И.В., Смирнов М.В., Аграновский A.B., Мироновский Л.А. и другие определил следующие требования к разрабатываемым методам преобразования изображений:

1) цифровое изображение должно быть модифицировано таким образом, чтобы исключить изменение при визуальном контроле;

2) цифровое изображение должно быть устойчиво к искажениям, в том числе и умышленным. В процессе передачи изображение может претерпевать различные трансформации: уменьшение или увеличение размеров (разрешения), преобразование в другой формат, сжатие с потерей данных;

3) основные свойства цифрового изображения должны остаться неизмененными после произведенного цифрового преобразования. Анализ работ известных зарубежных ученых, таких, как Kahn D.,

Wang II.-J, Сох I.J., Bao Y.-L., Zcng W., Podilchuk С. I. и другие, показал, что:

- наиболее эффективной технологией преобразования видеокадров с целью подтверждения их подлинности является технология цифрового водяного знака (ЦВЗ);

- наиболее эффективным методом внедрения ЦВЗ является дискретное вейвлет-преобразование;

- сегодня не существует методов, выполняющих преобразование видеокадров с целыо защиты их подлинности и подтверждения целостности, и, главное, учитывающих ограниченность вычислительного ресурса источника этих данных в распределенных информационно-управляющих IP-системах.

Необходимо подчеркнуть, что в данной работе не разрабатываются сгеганографические средства встраивания данных для их последующей скрытой отправки. В работе разрабатывается и исследуется метод преобразования видеоданных, использующий стеганографические примитивы.

Целыо диссертационной работы является разработка и исследование метода преобразования видеоданных для защиты их подлинности и определения целостности с применением технологии цифрового водяного знака, обеспечивающего его качественное и визуально незаметное встраивание в кадры в реальном масштабе времени.

В связи с поставленной целыо в диссертационной работе стояли следующие задачи исследования:

- разработать и исследовать метод и скоростные алгоритмы внедрения и извлечения цифровых водяных знаков в кадры видеопотока;

- разработать метод определения мест искажения кадра на основе анализа извлеченного из него цифрового водяного знака;

- программно реализовать и исследовать совокупность алгоритмов внедрения и извлечения цифровых водяных знаков для практического подтверждения полученных результатов;

- исследовать и определить наиболее эффективные методы оценки качества преобразования изображения, основанные на анализе изображения как объекта математического преобразования и как объекта, визуально воспринимаемого зрительной системой человека.

Предметом исследовании является видеопоток, преобразованный по-кадрово в стандарте MPEG и передаваемый в реальном масштабе времени в цифровых открытых каналах связи.

Методы исследования. Проведенные исследования базируются на основных положениях теории дискретных преобразований, методах вычислительной математики, математического моделирования, математической статистики. В работе использованы методы дискретного вейвлет-преобразования изображений, объективные и субъективные метрики контроля качества цифровых изображений.

Научная новизна диссертационной работы заключается в следующем:

- предложен метод и исследован алгоритм преобразования видеокадров на основе внедрения цифровых водяных знаков, обеспечивающий защиту подлинности информации при визуально неразличимых искажениях исходного кадра;

- предложен метод локализации мест искажения кадра на основе анализа извлеченного из него цифрового водяного знака;

- определена совокупность метрик, обеспечивающих объективную оценку качества преобразования изображения, для использования при анализе результатов преобразования с искажениями, вносимыми внедрением ЦВЗ. Практическая ценность работы заключается в том, что предложенные

алгоритмы были реализованы в программной системе передачи видеопотоков по открытым сетям, позволяющей:

- уменьшить последствия преднамеренных искажений и виде подмены, повторения и искажения кадров видеонотока;

- обеспечить в реальном времени локализацию областей искажения или разрушения видеокадров из-за случайных и преднамеренных искажений при передаче по открытым каналам связи и сетям общего пользования;

- обеспечить сохранение авторских прав и интеллектуальной собственности на видеоматериалы при незаконном их копировании;

- оценить размер искажения видеоданных из-за помех в коммуникационных каналах распределенных информационно-управляющих систем.

Достоверность результатов работы обеспечивается строгостью применения математических моделей, непротиворечивостью полученных теоретических и практических результатов, а также внедрением разработанных алгоритмов, моделей и методов в практику.

Внедренне результатов диссертационной работы. Основные результаты диссертационной работы используются в учебном процессе на кафедре вычислительных систем и сетей и кафедре комплексной защиты информации ГУАП, использованы в макете системы, разработанной в рамках НИР «Исследование возможности создания защитного кодирования видеоинформации» (Шифр «Желе-ЗК»), выполненной в ЗАО «КБ Юпитер» (г. Санкт-Петербург) в 2009 г., а также в программной реализации системы передачи видеоинформации, созданной в рамках НИР «Разработка и исследование методов цифровой обработки изображений в системах потокового видео» (гос. per. № 01201057662) в 2010 г. Внедрения подтверждаются соответствующими актами. Программные реализации разработанных алгоритмов зарегистрированы в Объединенном фонде электронных ресурсов «Наука и образование», на них получены свидетельства о регистрации электронного ресурса№16551 и №16552. На утилиты внедрения и извлечения ЦВЗ получены свидетельства о государственной регистрации программ для ЭВМ №2011618156 и №2011618157.

Основные положения, выносимые на защиту:

- метод преобразования видеоданных, представляемых по-кадрово, для определения их подлинности и подтверждения целостности при передаче по коммуникационным каналам;

- алгоритм преобразования изображений в реальном масштабе времени, основанный на использовании ЦВЗ, обеспечивающий защиту их подлинности при визуально неразличимых вносимых искажениях в исходный кадр;

- алгоритм определения подлинности изображений, основанный на обнаружении и извлечении ЦВЗ из кадра с последующим определением степени его идентичности путем сравнения с эталоном;

- метод определения областей повреждения изображения, основанный на специфике встраивания элементов ЦВЗ в кадр и позволяющий визуально показать поврежденные участки изображения по изменениям извлеченного из него ЦВЗ;

- совокупность метрик, обеспечивающих объективную оценку качества преобразования изображения с различными искажениями, в том числе вносимыми внедрением ЦВЗ, и основанных на анализе изображения как объекта математического преобразования и как объекта, визуально воспринимаемого зрительной системой человека.

Апробация работы. Основные научные результаты работы обсуждались на научно-методических семинарах кафедры «Вычислительные системы и сети» ГУАП и докладывались на научных конференциях:

1) 61-ая научная сессия ГУАП (апрель 2008, Санкт-Петербург);

2) 62-ая научная сессия ГУАП (апрель 2009, Санкт-Петербург);

3) 63-ая научная сессия ГУАП (апрель 2010, Санкт-Петербург).

4) 64-ая научная сессия ГУАП (апрель 2011, Санкт-Петербург).

Публикации. Основные положения и выводы диссертационной работы

отражены в шести статьях, в том числе в двух статьях, опубликованных в журнале, входящем в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени доктора и кандидата наук, а также на сайте Объединенного фонда электронных ресурсов «Наука и образование».

Структура н объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка литературы из 81 наименования и четырех приложений. Общий объем основной части работы составляет 121 страницы, в том числе 53 рисунка и 12 таблиц.

Содержание диссертации

Во введении обосновывается актуальность темы, определяется цель и решаемые задачи, излагаются научная новизна, практическая ценность.

В первом разделе рассматриваются проблемы защиты информации. Из существующих методов защиты цифровой информации от фальсификаций и манипуляций одни предназначаются для подтверждения подлинности цифрового содержимого, другие, использующие различные типы шифрования, для сокрытия смысла передаваемой информации. При этом цифровое содержимое необходимо защищать на всех стадиях: при формирования и первичной обработке, на стадии передачи конечному потребителю, а также при временном или постоянном хранении.

Решение проблемы безопасности потоковой видеоинформации в сетях общего пользования коррелирует с родственными проблемами безопасности цифровой информации вообще, и, естественно, имеет и определенные особенности. Такие особенности определяются в первую очередь природой преобразуемого объекта - большого объема кадров изображений, формируемых в реальном масштабе времени со скоростью 25 кадров в секунду. Также необходимо учитывать то, что устройства, формирующие видеопоток, могут накапливать в локальном хранилище лишь небольшой объем информации, а затем могут передавать его получателю по каналам связи. Объективно наиболее уязвимым

звеном, с точки зрения возникновения искажений, в вышеописанной цепочке является именно процесс передачи данных.

В ходе исследования были выявлены следующие проблемы безопасности данных и, соответственно, определены возможные аспекты применения совокупности разрабатываемых в ходе диссертационной работы алгоритмов и методов:

- уменьшение последствий преднамеренных искажений (дезинформация, подделка, повтор);

- локализация областей разрушения изображений;

- сохранение интеллектуальной собственности (защита от незаконного копирования, воспроизведения и т. д.);

- оценка искажения из-за помех функционирования распределенных информационных систем.

Такие помехи функционирования систем как пропадание связи и прочие проблемы технического свойства легко решаются на протокольном уровне повтором передачи проблемного пакета. Проблемы интеллектуальной собственности необходимо рассматривать отдельно от исследуемой проблемы, т.к. они относятся к области права (нарушения прав собственности), но необходимо отметить, что доказательство фактов таких нарушений невозможно без однозначной и точной идентификации правообладателя спорного цифрового содержимого. Бесспорным идентификатором может служить, например, специальная метка - «водяной знак», который при необходимости можно «проявить» с применением заранее определенных технических и программных средств.

Цифровые водяные знаки имеют небольшой объем, однако, для их встраивания используются более сложные методы, чем для встраивания простых меток. В данной работе для маркировки изображений предлагается использовать цифровые водяные знаки в виде графического изображения, поскольку они несут смысловую нагрузку и являются целостным визуальным объектом - любое их разрушение будет заметно как при субъективном анализе («на глаз»), так и с применением объективных средств контроля.

Применительно к видеонотоку искажения могут означать следующие виды вмешательства:

- полная подмена кадра или группы кадров, связанных по смыслу;

- изменение изначального порядка следования кадров или групп кадров;

- частичная подмена некоторого фрагмента как в отдельном кадре, так и в каждом кадре из определенной смысловой группы кадров.

Именно в направлении определения подлинности и обеспечения целостности такой единицы видеопотока как отдельный кадр, в разделе проводится обзорное исследование для определения и оценки имеющегося теоретического и практического опыта российских и зарубежных ученых и специалистов в этой области, включая патентный поиск. В частности, освещены известные форматные и неформатные методы преобразования видеоинформации, приведены характеристики и описание двадцати одного метода и алгоритма, ориентированных на внедрение и поиск ЦВЗ. Сравнительный анализ показал, что минимальную вычислительную мощность (и соответственно, наименьшее время выполнения) имеет алгоритм быстрого вейвлет-преобразования Хаара.

Однако, для решения поставленной в работе задачи (внедрение ЦВЗ в видеопоток, формируемый при помощи 1Р-видеосервера на базе сигнального

процессора) на основе быстрого вейвлет-преобразования Хаара требуется разработка нового алгоритма, оптимизирующего преобразования по следующим параметрам:

- обеспечение скоростного внедрения ЦВЗ в виде цветного изображения;

- обеспечение устойчивости внедряемого ЦВЗ к сжатию и помехам;

- изменение схемы внедрения ЦВЗ для выполнения преобразований в формате целых чисел, что по сравнению с вычислениями и формате с плавающей точкой значительно уменьшит временные затраты и затраты по памяти;

- определение наиболее эффективных параметров ДВП (уровень декомпозиции и т.д.) для решения поставленной задачи.

Второй раздел посвящен теоретическим вопросам осуществления защиты видеоданных применительно к распределенным информационно-управляющим IP-системам с видеоканалом в обратной связи.

Существенным ограничением для эффективной реализации существующих алгоритмов внедрения ЦВЗ в таких системах является ограниченный вычислительный ресурс - IP-видеосерверы реализуются на базе цифровых сигнальных процессоров (ЦСП). Одной из основных и наиболее массовых областей применения ЦСП являются так называемые встраиваемые мультимедийные системы — мобильные телефоны, МРЗ-плееры, цифровые камеры, системы IP-телефонии и т.д. Обработка данных в подобных устройствах, как правило, включает в себя два аспекта — интенсивные математические вычисления, характерные для алгоритмов цифровой обработки сигналов, и операции управления, связанные с организацией пользовательского интерфейса, управления потоками данных, поддержкой операционной системы. Компании Analog Devices и Intel разработали архитектуру MSA (Micro Signal Architecture), совмещающую в себе оба упомянутых аспекта: достоинство 16-разрядного ЦСП и 32-разрядного м икроконтроллера.

Архитектура MSA зарекомендовала себя одинаково эффективно как в задачах цифровой обработки сигналов, так и в задачах управления. Практические аспекты разрабатываемых в диссертации алгоритмов и методов и особенности их программной реализации ориентированы на получившие широкое распространение в видеосистемах MSA-процессоры семейства Blackfin (ADSP-BF54x) компании Analog Devices. Так, например, процедуры внедрения ЦВЗ в кадры видеопотока используют периферийный модуль для аппаратного ускорения обработки видеопикселей - Pixel Compositor, который работает с входными потоками в формате YUV или RGB и может выполнять смешивание двух цифровых потоков изображения, преобразование цветовых пространств.

Для эффективного преобразования кадров видеопотока в реальном масштабе времени на MSA-процессорах предложены целочисленные реализации вейвлет-преобразования цифрового сигнала. Рассмотрены теоретические основы вейвлет-преобразования, непрерывного и дискретного вейвлет-преобразования, дискретного вейвлет-преобразования Хаара

Данные преобразования, являясь целочисленным, полностью обратимыми и не требующими от аппаратной платформы больших затрат памяти и вычислительного ресурса, выбраны в качестве основы разрабатываемых в диссертации встраиваемых в IP-сервер алгоритмов.

В третьем разделе приведено описание алгоритма формирования и внедрения ЦВЗ в последовательность видеокадров.

Вводится понятие целевого кадра видеопоследовательности как цветного кадра в формате BMI' с глубиной цвета 24 бита, который подобран из последовательности формируемых кадров по номеру, согласно заранее определенной частоте.

Процесс преобразования видеопоследовательности путем внедрения ЦВЗ показан в виде схемы алгоритма на рисунке 1.

Рисунок 1 - Схема алгоритма преобразования последовательности видеокадров

Основные этапы преобразования видеопоследовательности:

1) подбор целевого кадра в режиме реального времени;

2) вейвлет-преобразование целевого кадра 5 (получение низкочастотных коэффициентов 1к уровня к и всех высокочастотных коэффициентов //);

3) внедрение в детальные ВЧ-коэффициенты к-го уровня содержания цифрового водяного знака ОШ1 \ ее[0;г] из множества цифровых водяных знаков И1УМ = {й№М[,01¥М2.....В\УМ' \ по оригинальному алгоритму;

4) синтез изображения и нормализация полученных значений пикселей;

5) установка (замена) синтезированного кадра в последовательность передаваемых кадров на соответствующее ему место средствами 1Р-видеосервера.

Видеопоток, формируемый на 1Р-видеосервере и передаваемый по сети удаленному пользователю, сохраняется в виде последовательности видеофайлов. Для выполнения процедуры подтверждения подлинности принятой информации необходимо обнаружить цифровой водяной знак в видеопоследовательности.

Алгоритм извлечения ЦВЗ схож с алгоритмом внедрения ЦВЗ и представлен в виде схемы алгоритма на рисунке 2.

Рисунок 2 - Схема алгоритма проверки видеопоследовательности

Основные этапы реализации алгоритма извлечения ЦВЗ из принятого видеопотока и оценки его достоверности:

1) выбор целевого кадра по его номеру из последовательности принятых кадров согласно ранее определенной частоте внедрения на 1Р-видеосервере;

2) вейвлет-преобразование выбранного кадра (получение в т.ч. высокочастотных коэффициентов к-го уровня);

3) извлечение по специальному алгоритму из детальных коэффициентов к-го уровня информации, возможно являющейся цифровым водяным знаком £, и форматирование её в растровое изображение;

4) оценка достоверности принятого сегмента видеопотока (учитывая возможные ошибки передачи).

На рисунке 3 приведена укрупненная классификация методов измерения качества преобразования цифровых изображений.

Приведенное в разделе описание принципов измерения качества выполненного на 1Р-видеосервере преобразования изображения в кадре сводится как к незаметности внедрения ЦВЗ «на глаз», так и незначительному уровню изменений статистических характеристик модифицированных кадров относительно оригинальных. Если для аналоговых систем обработки видеоизображений возможна оценка качества пугем измерения частотного отклика системы на тестовый сигнал, то появление цифрового видео привело к необходимости применения новых методов оценки качества с использованием метрик. В работе приводятся и используются наиболее распространенные и эффективные метрики.

Наиболее распросграненным способом оценки качества изображений является субъективная экспертиза, заключающаяся в оценке абсолютного качества изображения по заранее определенной шкале или сравнительных оценок, позволяющих ранжировать набор конкретных изображений, т.е. расставить их в ряд по убыванию качества. Полученные оценки обрабатываются и усредняются. Обычно в роли экспертов выступают специалисты в области обработки цифровых изображений.

Объективные техники измерений основываются на математических моделях, которые удачно сочетаются с результатами субъективной оценки качества. В работе рассматриваются и применяются наиболее распространенные метрики, основанные на критериях, которые могут быть измерены объективно.

Измерение качества изображений

Субъективные методы («на глаз»)

Объективные методы (метрики)

Методы на основе математических оценок

Методы на основе моделирования особенностей зпительной системы человека

РвКК. МБЛП, Пека

БвМ, УОМ, N01

Рисунок 3 - Методы измерения качества преобразования изображений

Общепринятой величиной для оценки потерь при восстановлении изображений является метрика, называемая «пиковое отношение сигнал/шум» (РБШ). При этом, чем

больше значение PSNR, тем меньше было допущено потерь при модификации изображения и наоборот. Необходимо отметить, что число PSNR безразмерно. Величина PSNR часто используется для сравнения качества работы разных алгоритмов между собой. Обычно PSNR варьируется в пределах от 20 до 50, а величина 100 свидетельствует об идентичности сравниваемых изображений. Ввиду особенностей зрительной системы людей, глаз обычного человека может воспринимать изменения качества видеокадров со значениями PSNR примерно от 15 до 40.

Метрики PSNR (также как и MSAD, Delta и MSE) оценивают изображения по различным математическим критериям и не принимают во внимание особенности визуального восприятия человеком изображений, что, например, характерно для метрик SSIM и VQM. Популярная метрика SSIM Index основывается на измерении трёх компонент (сходности по яркости, по контрастности и структурного сходства) и объединения их значений в итоговый результат. Метрика VQM использует ДКП для точного соответствия человеческому восприятию: чем ярче блок, тем больше отклонение в этой области. В работе были рассмотрены и использованы все перечисленные выше метрики.

В четвертом разделе представлены результаты практического исследования программной реализации разработанных алгоритмов, выполняемых на ПК.

Внедрение ЦВЗ в оригинальный кадр с использованием цифрового преобразования всегда приводит к искажению результирующего кадра. Однако, если для изображения-контейнера величина искажения (изменение качества) существенно зависит от используемого алгоритма внедрения ЦВЗ и качества исходного изображения, то для самого ЦВЗ - от внесенных в изображение-контейнер искажений при передаче по коммуникационным каналам: случайных или намеренных.

Всего в процессе диссертационного исследования были проведены девять различных экспериментов с количеством данных, достаточных для статистически верных оценок и ориентированные на определение качества преобразования изображений (кадров), в т.ч. искусственно созданных, при внедрении ЦВЗ как предложенным в работе алгоритмом, так и с использованием аналогичных компьютерных программ; на выявление мест искажений изображения по измененному ЦВЗ; на определение устойчивости внедрённого ЦВЗ к сжатию с потерями или значительному зашумлению контейнера. Некоторые эксперименты были ориентированы на определение эффективных параметров и инструментов преобразования.

Эксперимент Ml проводился для подтверждения предположения о высоком качестве внедрения ЦВЗ в видеопоследовательность с использованием предложенного в работе алгоритма.

Для тестирования была создана видеопоследовательность из 1000 разных изображений-контейнеров (кадров) имеющих цифровое разрешение 1900x1200 пикселей и глубину цвета - 24 бита. Последовательность включала цветные (в т.ч. с преобладанием оттенков красных, синих, зеленых, желтых цветов; а также с резкими и плавными цветовыми переходами), черно-белые (в т.ч. с различными оттенками серого цвета и монохромные) кадры из наборов визуальных тем оформления для операционной системы Microsoft Windows и коллекций рисунков Microsoft Clip Art. Для внедрения в реальном времени были использованы 4 разных по форме и цветам ЦВЗ, каждый из которых внедрялся в 250 следующих подряд кадров. Образцы использованных ЦВЗ представлены на рисунке 4, а-г.

После преобразования сформированной тестовой последовательности кадров производилось сравнение исходных и результирующих кадров с ЦВЗ для выявления возможных искажений, вносимых преобразованием.

Субъективные способы анализа изображений изменений не выявили.

._sseiLffffl

пжпо lOiiQOp

Рисунок 4 - Цифровые водяные знаки, использовавшиеся в экспериментах

Объективный анализ был проведен с применением метрик OPSNR, APSNR, NQI, VQM, SSIM, Deita. MSE и MSAD с использованием полнофункциональной версии компьютерной программы «Elecard Video Quality Estimator» из пакета «Elecard StreamEye Tools 2.9.1». а также демонстрационной версии компьютерной программы «MSU Video Quality Measurement Tool». Анализ значений перечисленных выше метрик показал степень ухудшения качества сравниваемых исходного и преобразованного кадров. Минимальные, средние и максимальные значения каждой из метрик с указанием соответствующих номеров кадров, а также среднеквадратическое отклонение приведены в таблице 1.

Таблица 1 - Сводные показатели метрик для тестовой последовательности кадров1

Метрика Допустимое значение Минимальное значение Максимальное значение Среднее значение показателей Среднеквадратичное отклонение

Значение метрики № кадра Значение метрики № кадра

1 2 3 4 5 6 7 8

OPSNR >40 52.1365 4 59,5032 8 55,81985 1,388799

APSNR >40 52,1365 4 60,0775 6 56,107 1.424399

NQI < 1 0,729! 342 0,9991 177 0,8641 0,004374

VQM < 1 0,0406 2 0.1705 337 0,10555 0,000528

SS1M ~ 1 0.9975 838 0.9993 177 0.9984 0.00001

Delta <И! -0,1253 5 0.0736 919 -0.02585 0,000711

MSE < 1 0.0439 806 0.2912 849 0,16755 0,001570

MSAD < 1 0,0439 806 0.2912 849 0,16755 0,001571

Анализ результатов проведенных исследований показывает, что согласно средним значениям метрик ОР^Я и АРБ^ равным 55,81985 и 56,107 соответственно, а также учитывая незначительное среднеквадратическое отклонение равное 1,388799, подтверждается предположение, что предложенный алгоритм

1 Полная таблица значений всех указанных метрик для всех кадров тестовой видеопоследовательности приведена в приложении А диссертационной работы.

внедрения ЦВЗ в кадры практически не нарушает их статистических характеристик и не приводит к визуально различимым искажениям кадров.

Эксперимент №2 проводился с целью доказательства возможности определения достоверности принятого потока видеокадров предложенным в работе методом. При использовании рассматриваемой технологии передачи защищенных видеопотоков, на диске сервера сохраняются извлеченные образцы ЦВЗ (Е). Если изображение образца Е совпадает с эталонным образцом ЦВЗ (W), то это соответствует достоверности принятого сегмента видеопоследовательности. Если принятый образец Е частично или полностью разрушен, то принятый сегмент подвергался модификациям в процессе передачи. В этом случае участки ЦВЗ Е. не совпадающие с эталоном W\ показывают границы изменений в принятом кадре.

Мерой совпадения двух образцов ЦВЗ W, и Е, можно считать значение, например, метрики PSNR(W„Ei)- При сравнении двух абсолютно одинаковых изображений PSNR(WitEi) будет равен 100. Таким образом, все значения PSNR(Wj.Ei), значительно отличные от 100, показывают факт модификации. Аналогичные выводы можно сделать, применив другие метрики (VQM, SSfML NQI. MSE. MSAD, Delta), естественно учитывая их собственные допустимые значения.

Проведенный эксперимент заключатся в умышленной модификации средствами Photoshop кадра SN (рис. 5, а) после того, как он был преобразован с использованием ЦВЗ W). Для примера на рисунке 5, б приведено результирующее изображение SM, на котором изменен номер государственной регистрации автомобиля. После извлечения ЦВЗ из этого кадра на диске был сохранен образец £3. Значение PSNR(W„EJ равно 40,169, что говорит о значительном искажении извлеченного знака

В работе приведены результаты обработки полученного изображения с использованием других метрик, которые также свидетельствуют о значительном искажении.

Рисунок 5 - Оригинальное и измененное (5д./) изображения

Эксперимент №3 предусматривал применение разработанных алгоритмов преобразования изображений к некоторым сложным (искусственно созданным) изображениям: полностью белому рисунку; полностью черному рисунку; рисунку с плавным цветовым переходом синего цвета (градиент).

Значения метрик качества преобразования этих изображений приведены в таблице 2.

Результаты эксперимента подтверждают, что качество преобразования искусственных монотонных и градиентных изображений высоко. Субъективные методы оценки изображений также не выявили видимых глазом изменений.

В других экспериментах, подробно описанных в диссертационной работе, изучалось влияние на ЦВЗ некоторых видов шумов (однородный шум, шум по Гауссу и по Лапласу), изменение размеров преобразуемых изображений и сжатие с

14

потерями изображений-контейнеров. Результаты показали пределы эффективного использования представленных в работе алгоритмов, например, отсутствие достаточной стойкости внедренного ЦВЗ к сжатию с потерями или значительному зашумлению контейнера. Также были проведены сравнительные эксперименты по определению эффективных параметров ДВП, временных затрат на обработку разноразмерных изображений, подтвердившие правильность выбранных в работе инструментов и параметров преобразования кадров.

_____Таблица 2 - Значения метрик при обработке сложных изображений

Характеристика изображения

Полностью белое

Полностью черное

Плавный цветовой переход

Значения метрик

APSNR

51,3458

49,3683

55.7576

OPSNR

51.3458

49,3683

55,7576

NQI

0,2523

0,4959

0,5434

VQM

0,0891

0,16

0,0779

881М

0,9968

0,9997

0,9976

Delta

0,4836

0,0558

0,0396

Допустимые значения метрик

MSE

0,4836

0,5933

0,3234

MSAD

0,4836

0,5698

0,3234

>40 [ >40 | <1 | <1 j - 1 [ <| [| | ~ | < J

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В результате проведенных исследований были получены следующие

основные научные и практические результаты:

- обеспечивается возможность однозначного определения подлинности видеоинформации при её передаче через открытые сети с использованием технологии цифровых водяных знаков, что позволяет уменьшить последствия преднамеренных искажений видеоинформации в виде подмены, повторения и искажения кадров видеопотока, а также позволяет обеспечить сохранение авторских прав и интеллектуальной собственности;

- достигнуты высокие результаты преобразования изображений с внесением визуально неразличимых искажений при внедрении ЦВЗ, измеряемые объективными методами контроля качества преобразований;

- реализуется возможность локализации и визуализации области и масштаба искажения изображения, основанная на анализе извлеченного из него цифрового водяного знака, что позволяет оценить размер искажения видеоданных из-за вмешательства и помех в коммуникационных каналах распределенных информационно-управляющих систем;

- сформирована большая экспериментальная база результатов исследований на основании данных различных метрик объективной оценки качества преобразования изображений, учитывающих как математические модели, так и моделирующих особенности зрительной системы человека.

Личный вклад автора диссертационной работы заключается в:

- разработке метода и совокупности алгоритмов и программного обеспечения, обеспечивающих внедрение ЦВЗ в видеоизображения на 1Р-видеосервере для последующей передачи по сетям общего пользования и извлечения ЦВЗ из принятого видеоизображения с использованием ПК;

- разработке метода локализации изменений в кадрах-контейнерах с внедренным ЦВЗ;

- разработке методики по применению популярных метрик контроля качества преобразования изображений для определения подлинности видеопотока.

15

Публикации по теме диссертации

1. Григорьян А.К. Цифровые водяные знаки в неподвижном графическом изображении. Научная сессия ГУАП: Сб. докл.: в 3 ч. Ч. И. Технические науки / СПбГУАП. СПб., 2008. С.80-84.

2. Григорьян А. К., Григорьян К. А. Цифровые водяные знаки в потоковом видео. Научная сессия ГУАП: Сб. докл.: в 3 ч. Ч. II. Технические науки / СПбГУАП. СПб., 2009.

3. Григорьян А.К., Сергеев М.Б. Применение вейвлет-преобразования для внедрения ЦВЗ в видеоноток в режиме реального времени (при помощи аппаратной платформы на базе сигнального процессора). Научная сессия ГУАП: сб. докл.: в 3 ч. Ч. II. Технические науки / СПбГУАП. СПб., 2010.

4. Григорьяи А. К., Аветисова Н.Г. Методы внедрения цифровых водяных знаков в потоковое видео. Обзор. // Информационно-управляющие системы. СПб. 2010. №2. С. 38-45.

5. Григорьян А. К., Литвинов М. Ю. Применение вейвлет-преобразования для внедрения ЦВЗ в видеопоток в режиме реального времени // Информационно-управляющие системы. СПб. 2010. №4. С. 53-56.

6. Григорьян А.К., Литвинов M.IO. Метод внедрения устойчивых цифровых водяных знаков в графические изображения, не приводящий к визуально заметным искажениям преобразуемых изображений // Сайт Объединенного фонда электронных ресурсов «Наука и образование», http://ofemio.ni/itojfiles_ofemio/16551.doc (дата обращения: 01.02.2011).

7. Григорьян А.К., Литвинов М.Ю. Метод извлечения цифрового водяного знака из графического изображения с последующим определением участков возможных искажений и определением подлинности анализируемого изображения // Сайт Объединенного фонда электронных ресурсов «Наука и образование». http://ofemo.ni'rto_fües_ofcrnio/ 16552.doc (дата обращения: 01.02.2011).

8. Свидетельство о государственной регистрации программы для ЭВМ № 2011618156 «Утилита внедрения ЦВЗ в изображения» // Григорьян А.К., Сергеев A.M., Литвинов М.Ю., 2011 г.

9. Свидетельство о государственной регистрации программы для ЭВМ № 2011618157 «Утилита извлечения ЦВЗ из изображений» // Григорьян А.К., Сергеев A.M., Литвинов М.Ю. ,2011 г.

10. Григорьян А.К., Литвинов М.Ю., Сергеев М.Б. Об оценке достоверности и качества преобразования изображений при внедрении цифровых водяных знаков // Научная сессия ГУАП: Сб. докл.: в 3 ч. Ч. II. Технические науки / СПбГУАП. СПб., 2011.

Формат 60x84 1\16 .Бумага офсетная. _Тираж 100 экз. Заказ № 1._

Редакционно-издательский центр ГУАП 190000, Санкт-Петербург, Б. Морская ул., 67

61 12-5/1940

Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Санкт-Петербургский государственный университет аэрокосмического приборостроения»

Григорьян Амаяк Карэнович

Разработка и исследование метода преобразования видеоданных для определения их подлинности и подтверждения целостности

специальность 05.13.01 - «Системный анализ, управление и обработка информации (в технике и технологиях)»

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель д-р техн. наук, профессор Сергеев М.Б.

Санкт-Петербург 2012

Оглавление

Введение..................................................................................................................................4

Раздел 1. Проблемы защиты и методы преобразования видеоинформации..................12

1.1 Общие вопросы безопасности информации.......................................................14

1.2 Обзор форматных и неформатных методов сокрытия информации в графических изображениях........................................................................................18

1.3 Обзор запатентованных решений........................................................................34

1.4 Классификация и анализ известных методов и алгоритмов.............................37

1.5 Заключение............................................................................................................43

Раздел 2. Защита видеоданных в распределенных информационно-управляющих 1Р-системах................................................................................................................................44

2.1 Особенности аппаратной платформа 1Р-видеосервера......................................44

2.2 Особенности вейвлет-преобразования цифровых изображений......................49

2.3 Дискретное вейвлет-преобразование..................................................................54

2.4 Заключение.............................................................................................................57

Раздел 3. Внедрение и извлечение цифрового водяного знака в кадры видеопотока. Измерение качества внедрения...........................................................................................58

3.1 Алгоритм внедрения цифрового водяного знака в видеопоток......................58

3.2 Алгоритм извлечения ЦВЗ из принятых кадров................................................65

3.3 Объективные и субъективные методы измерения качества выполненных преобразований............................................................................................................71

3.4 Популярные метрики контроля качества преобразования изображений........74

3.5 Заключение.............................................................................................................77

Раздел 4. Практические результаты работы......................................................................78

4.1 Оценка качества внедрения ЦВЗ разработанными алгоритмами.....................78

4.2 Оценка достоверности принятого видеопотока.................................................92

4.3 Преобразование сложных изображений.............................................................94

4.4 Анализ робастности ЦВЗ...................................................................................... 95

4.5 Определение эффективных параметров работы разработанных алгоритмов... 99

4.6 Временные и вычислительные затраты на внедрение ЦВЗ............................102

4.7 Сравнительный анализ качества преобразования изображения разными

программами..............................................................................................................105

4.8 Заключение...........................................................................................................106

Заключение.........................................................................................................................107

Библиографический список..............................................................................................114

Приложения.........................................................................................................................122

Приложение А............................................................................................................122

Приложение Б............................................................................................................123

Приложение В............................................................................................................124

Приложение Г............................................................................................................127

Список используемых сокращений..................................................................................132

Введение

Видеоинформация является одним из ценнейших предметов современной жизни, основой функционирования распределенных систем мониторинга территорий, регистрации событий, ориентации и управления подвижными объектами с видеоканалом в обратной связи. Получение доступа к ней при использовании глобальных компьютерных сетей как коммуникационной среды, на которой строятся распределенные системы, стало невероятно простым. В то же время, легкость и скорость такого доступа значительно повысили и угрозу нарушения безопасности видеоданных при отсутствии мер их защиты, а именно, - угрозу неавторизированного доступа, нарушение подлинности путем преднамеренного искажения и подмены, присвоение авторских прав на цифровые изображения и видеопотоки [1].

Преимущества представления и передачи данных в цифровом виде (легкость восстановления, высокая потенциальная помехоустойчивость, перспективы использования универсальных аппаратных и программных решений) могут быть перечеркнуты с легкостью, с которой возможны их похищение, подмена и модификация. Наиболее актуальной является задача разработки методов по преобразованию видеоинформации для подтверждения её подлинности в распределенных информационно-управляющих системах встраиваемого класса. Видеоисточник таких систем реализуется, как правило, на 1Р-видеосерверах, основной вычислительный ресурс и память которых заняты выполнением операций по захвату, оцифровке, формированию 1Р-пакетов и их передаче по сети [1].

Преобразование может осуществляться различными способами. Общей чертой таких способов является то, что передаваемое сообщение встраивается в некий не привлекающий внимание объект, который затем открыто транспортируется (пересылается) адресату.

Исторически направление стеганографического преобразования информации было первым [2], но со временем во многом было вытеснено

криптографическими методами. Интерес к стеганографическим методам преобразования данных возродился в последние десятилетия и был вызван широким распространением технологий мультимедиа (что вполне закономерно, принимая во внимание указанные выше проблемы, связанные с определением подлинности информации). Не менее важным стало появление новых типов каналов передачи информации, что в совокупности с первым фактором дало новый импульс развитию и усовершенствованию существующих методов преобразования, способствовало возникновению новых методов, в основу которых были положены особенности представления информации в компьютерных файлах, вычислительных сетях и т.д. [3].

Анализ теоретических работ по преобразованию информации таких отечественных специалистов как Грибунин В.Г., Оков И.Н., Туринцев И.В., Смирнов М.В., Аграновский A.B., Мироновский JI.A. и других показал, что в настоящее время можно выделить три тесно связанных между собой и имеющих одни корни направления приложения стеганографии: сокрытие данных (сообщений), цифровые водяные знаки и заголовки.

Сокрытие данных, которые в большинстве случаев имеют большой объем, предъявляет серьезные требования к контейнеру: размер контейнера в несколько раз должен превышать размер встраиваемых данных. Данное направление объединяет стеганографические методы, реализующие незаметную передачу сообщений.

Цифровые водяные знаки используются для защиты авторских или имущественных прав на цифровые изображения, фотографии или другие оцифрованные произведения искусства. Основными требованиями, которые предъявляются к таким встроенным данным, являются надежность и устойчивость к искажениям. Цифровые водяные знаки имеют небольшой объем, однако, с учетом указанных выше требований, для их встраивания используются более сложные методы, чем для встраивания просто сообщений или заголовков.

Необходимо подчеркнуть, что в данной работе не разрабатываются стеганографических средств встраивания данных для их последующей скрытой отправки. В работе разрабатывается и исследуется метод преобразования видеоданных, использующий стеганографические примитивы, причем с использованием таких алгоритмов, которые ориентированы именно на качественное и визуально незаметное встраивание данных в видеопоток.

По результатам анализа были определены следующие требования к разрабатываемым методам преобразования изображений:

1) цифровое изображение должно быть модифицировано таким образом, чтобы исключить изменение при визуальном контроле;

2) цифровое изображение должно быть устойчиво к искажениям, в том числе и умышленным. В процессе передачи изображение может претерпевать различные трансформации: уменьшение или увеличение размеров (разрешения), преобразование в другой формат, сжатие с потерей данных;

3) основные свойства цифрового изображения должны остаться неизмененными после произведенного цифрового преобразования.

Анализ практических трудов зарубежных ученых Kahn D., Wang H.-J, Сох I.J., Bao Y.-L., Zeng W., Podilchuk С. I. и других, показал, что:

- наиболее эффективной технологией преобразования видеокадров с целью подтверждения их подлинности является технология цифрового водяного знака (ЦВЗ);

- наиболее эффективным методом внедрения ЦВЗ является дискретное вейвлет-преобразование;

- сегодня не существует методов, выполняющих преобразование видеокадров с целью защиты их подлинности и подтверждения целостности, и, главное, учитывающих ограниченность вычислительного ресурса источника этих данных в распределенных информационно-управляющих 1Р-системах.

Внедряемый цифровой водяной знак может представлять собой растровое цветное графическое изображение малого (по отношению к кадру-контейнеру) размера [4, 5]. ЦВЗ, внедренный в защищаемый кадр, полностью его покрывает. Строго говоря, в роли ЦВЗ может выступать любая последовательность байт требуемого объема, поскольку все операции осуществляются на битовом уровне. Существует ограничение максимального размера ЦВЗ, поскольку он рассчитывается исходя из уровня преобразования и размера целевого кадра. Минимального ограничения нет, но для полного покрытия кадров необходимо иметь ЦВЗ максимального (или близкого к максимальному) объёма.

Упомянутые выше исследования выявили необходимость разработки собственного алгоритма, выполняющего преобразование с целью определения подлинности, и, главное, учитывающего условия работы аппаратной системы с учетом её известных характеристик. Поставленная задача актуальна для передачи видеопотоков в распределенных информационно-управляющих 1Р-системах с видеоканалом в обратной связи, в которых 1Р-видеосервер реализуется на базе сигнального процессора, основной вычислительный ресурс и память которого заняты выполнением операций по захвату, оцифровке, формированию пакетов и их передаче по сети. Однако технологии, используемые для достижения цели диссертационной работы, могут быть применены и к другим автономным устройствам.

Поскольку размер цифрового водяного знака выбирается для полного покрытия целевого кадра, а изменение ЦВЗ свидетельствует об изменении исходного изображения, то также имеется практическая необходимость вычислить и визуально выделить область на исходном кадре, которая была подвергнута модификации.

Таким образом, целью является разработка и исследование метода преобразования видеоданных для защиты их подлинности и определения целостности с применением технологии цифрового водяного знака,

обеспечивающего его качественное и визуально незаметное встраивание в кадры в реальном масштабе времени.

Для достижения поставленной цели в ходе диссертационной работы необходимо решить следующие задачи:

- разработать и исследовать метод и скоростные алгоритмы внедрения и извлечения цифровых водяных знаков в кадры видеопотока;

- разработать метод определения мест искажения кадра на основе анализа извлеченного из него цифрового водяного знака;

- программно реализовать и исследовать совокупность алгоритмов внедрения и извлечения цифровых водяных знаков для практического подтверждения полученных результатов;

- исследовать и определить наиболее эффективные методы оценки качества преобразования изображения, основанные на анализе изображения как объекта математического преобразования и как объекта, визуально воспринимаемого зрительной системой человека.

Предметом исследования является видеопоток, представляемый по-кадрово в стандарте MPEG и передаваемый в реальном масштабе времени в цифровых открытых каналах связи.

Проведенные исследования базируются на основных положениях теории дискретных преобразований, методах вычислительной математики, математического моделирования, математической статистики. В работе использованы методы дискретного вейвлет-преобразования изображений, объективные и субъективные метрики контроля качества цифровых изображений.

Достоверность результатов работы обеспечивается строгостью применения математических моделей, непротиворечивостью полученных результатов, а также внедрением разработанных моделей и методов в практику.

Практическая ценность работы заключается в том, что на основе предложенных алгоритмов разработана программная система передачи видеопотоков по открытым сетям, позволяющая:

- уменьшить последствия преднамеренных искажений в виде подмены, повторения и искажения кадров видеопотока;

- обеспечить в реальном времени локализацию областей искажения или разрушения видеокадров из-за случайных и преднамеренных искажений при передаче по открытым каналам связи и сетям общего пользования;

- обеспечить сохранение авторских прав и интеллектуальной собственности на видеоматериалы при незаконном их копировании;

- оценить размер искажения видеоданных из-за помех в коммуникационных каналах распределенных информационно-управляющих систем.

Основные результаты диссертационной работы используются в учебном процессе на кафедрах «Вычислительные системы и сети» и «Комплексной защиты информации» ГУАП, использованы в макете системы, разработанной в рамках НИР «Исследование возможности создания защитного кодирования видеоинформации» (Шифр «Желе-ЗК»), выполненной в ЗАО «КБ Юпитер» (г. Санкт-Петербург) в 2009 г., а также в программной реализации системы передачи видеоинформации, созданной в рамках НИР «Разработка и исследование методов цифровой обработки изображений в системах потокового видео» (гос. per. № 01201057662) в 2010 г. Внедрения подтверждаются соответствующими актами. Программные реализации разработанных алгоритмов зарегистрированы в Объединенном фонде электронных ресурсов «Наука и образование», на них получены свидетельства о регистрации электронного ресурса №16551 [6] и №16552 [7]. На утилиты внедрения и извлечения ЦВЗ получены свидетельства о государственной регистрации программ для ЭВМ №2011618156 [8] и №2011618157 [9].

Рассматриваемая в данной работе проблема определения подлинности видеопотока является актуальной, поскольку применяемая технология цифровых водяных знаков имеет юридическую силу и применяется для подтверждения подлинной цифровой информации, позволяя определить и визуализировать факт и масштаб её искажения.

Научная новизна диссертационной работы заключается в следующем:

- предложен метод и исследован алгоритм преобразования видеокадров на основе внедрения цифровых водяных знаков, обеспечивающий защиту подлинности информации при визуально неразличимых искажениях исходного кадра;

- предложен метод локализации мест искажения кадра на основе анализа извлеченного из него цифрового водяного знака;

- определена совокупность метрик, обеспечивающих объективную оценку качества преобразования изображения, для использования при анализе результатов преобразования с искажениями, вносимыми внедрением ЦВЗ.

Основные положения, выносимые на защиту:

- метод преобразования видеоданных, представляемых по-кадрово, для определения их подлинности и подтверждения целостности при передаче по коммуникационным каналам;

- алгоритм преобразования изображений в реальном масштабе времени, основанный на использовании ЦВЗ и обеспечивающий защиту их подлинности при визуально неразличимых вносимых искажениях в исходный кадр;

- алгоритм определения подлинности изображений, основанный на обнаружении и извлечении ЦВЗ из кадра с последующим определением степени идентичности извлеченного ЦВЗ путем сравнения с эталоном;

- метод определения областей повреждения изображения, основанный на специфике встраивания элементов ЦВЗ в кадр и позволяющий визуально показать измененные (поврежденные) участки изображения по изменениям извлеченного из этого изображения ЦВЗ;

- совокупность метрик, обеспечивающих объективную оценку качества преобразования изображения с различными искажениями, в частности, вносимыми внедрением ЦВЗ, и основанных на анализе изображения как объекта математического преобразования и как объекта, визуально воспринимаемого зрительной системой человека.

Личный вклад автора диссертацио�