автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Нейросетевые сжимающие преобразования данных и алгоритмы создания цифровых водяных знаков в объектах мультимедиа графических и звуковых форматов

Митрофанова Елена Юрьевна

НЕЙРОСЕТЕВЫЕ СЖИМАЮЩИЕ ПРЕОБРАЗОВАНИЯ ДАННЫХ И АЛГОРИТМЫ СОЗДАНИЯ ЦИФРОВЫХ ВОДЯНЫХ ЗНАКОВ В ОБЪЕКТАХ МУЛЬТИМЕДИА ГРАФИЧЕСКИХ И ЗВУКОВЫХ ФОРМАТОВ

Специальность 05.13.17 - «Теоретические основы информатики»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Воронеж - 2014

г 2 МАЙ 2014

005548396

Работа выполнена в ФГБОУ ВПО «Воронежский государственный университет»

Научный руководитель: доктор технических наук, профессор Сирота Александр Анатольевич

Официальные оппоненты: Язов Юрий Константинович,

доктор технических наук, профессор,

Федеральное автономное учреждение «Государственный научно-исследовательский испытательный институт проблем технической защиты информации Федеральной службы по техническому и экспортному контролю», главный научный сотрудник

Балакин Александр Владимирович

кандидат технических наук, доцент,

ООО «Стэл ЮГ», г. Ростов-на-Дону, главный инженер

Ведущая организация Федеральное государственное бюджетное образовательное

учреждение высшего профессионального образования «Тамбовский государственный технический университет»

Защита состоится «01» июля 2014 г. в 1500 на заседании диссертационного совета Д 212.038 24 при ФГБОУ ВПО «Воронежский государственный университет» по адресу: 394006, г. Воронеж, Университетская пл., д. 1, ауд. 226.

С диссертацией можно ознакомиться в библиотеке и на сайте ФГБОУ ВПО «Воронежский государственный университет», http://www.science.vsu.ru.

Автореферат разослан «Д » мая 2014 г

Ученый секретарь

диссертационного совета с¿^/С^ Воронина Ирина Евгеньевна

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы. Развитие информационных систем и технологий, глобальных компьютерных сетей и средств мультимедиа стимулирует разработку новых методов анализа, хранения, воспроизведения и передачи информации К их числу относятся методы и средства обеспечения высоконадежной обработки данных в информационных структурах и системах, методы повышения надежности и безопасности использования информационных технологий. Одним из востребованных подходов в этой области является применение технологий, базирующихся на использовании методов компьютерной стеганографии, позволяющих незаметно встраивать необходимые данные в любые информационные массивы и объекты цифрового контента (ОЦК) (файлы аудио и видеоданных, файлы текстовых форматов, неподвижные изображения и пр.). Указанные технологии широко используются при решении задач создания защищенной связи и передачи информации, цифровых водяных знаков, камуфлирования программного обеспечения и т.д. Технологии цифровых водяных знаков (ЦВЗ) основаны на встраивании в цифровые объееты скрытых меток и используются для подтверждения авторского права по отношению к ОЦК, контролю их использования и распространения, подтверждения подлинности и надежности используемых копий программных средств и мультимедиа объектов.

Проблемой разработки методов встраивания и декодирования цифровых водяных знаков занимались многие отечественные и зарубежные ученые: В.Г. Грибунин, A.B. Балакин, В.А. Митекин, И В. Туринцев, А Н. Фионов, К. Качин (С. Cachin), Р. Андерсон (R. Anderson), X. Фарид (И. Farid), К. Салливан (К. Sullivan), Д. Фридрич (J. Fridrich), H. Провос (N. Provos) и др. Наиболее известные программные средства для реализации технологии ЦВЗ основаны на алгоритмах, полученных в рамках подобных исследований. В то же время в этой области имеется и много нерешенных проблем. Главной из них является проблема сохранения качества маркируемых при внедрении ЦВЗ файлов при их использовании по основному назначению в сочетании с устойчивостью встраиваемых меток к возможным преобразованиями контейнера (зашумлению, аффинным трансформациям, обрезке, цифро-аналоговому и аналогово-цифровому преобразованиям, сохранению в другом формате и пр ). К недостаткам большинства известных способов создания ЦВЗ также относятся: алгоритмической характер выполняемых преобразований, образующих конечное множество вариантов, которые могут быть идентифицированы, жесткая алгоритма зависимость от формата файла, трудоемкость вычисления цифровых водяных знаков, возможное заметное ухудшение качества маркируемого файла (например, изображения) при встраивании метки, и, в ряде алгоритмов, необходимость использования исходного (немаркированного) файла для извлечения ЦВЗ.

Одним из возможных подходов к дальнейшему развитию методов и технологий создания ЦВЗ является использование аппарата искусственных нейронных сетей (ИНС). При этом представляется перспективным возможность создания алгоритмов создания ЦВЗ на основе универсальных нейросетевых функциональных моделей преобразования информации. Подобный подход потенциально может обеспечить ряд преимуществ, а именно: возможность построения алгоритмов, не зависящих от типов и форматов ОЦК; повышение скрытности и устойчивости процедур встраивания и восстановления ЦВЗ, воспроизведение которых сторонними лицами будет затруднено; сходимость многих нейросетевых процедур обработки данных к статистически оптимальным. Таким образом, тема диссертации, посвященная разработке и исследованию нейросетевых функциональных преобразований, реализующих сжимающие отображения данных, и на их основе - алгоритмов создания цифровых водяных знаков для ОЦК графических и звуковых форматов, представляется актуальной.

Тема диссертации входит в план научно-исследовательских работ Воронежского государственного университета. Тема диссертации соответствует паспорту специальности 05.13.17 - «Теоретические основы информатики» по следующим областям исследований: разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений (п.5 паспорта специальности); разработка методов обеспечения высоконадежной обработки информации и обеспечения помехоустойчивости информационных коммуникаций для целей передачи, хранения и защиты информации; разработка основ теории надежности и безопасности использования информационных технологий (п. 11 паспорта специальности).

Целью работы является обоснование и исследование моделей и алгоритмов создания

цифровых водяных знаков, основанных на построении нейросетевых сжимающих преобразований, в интересах повышения скрытности и устойчивости, а также обеспечения универсальности алгоритмов создания ЦВЗ по отношению различным форматам объектов цифрового контента.

Объектом исследования являются информационные структуры и процессы, обеспечивающие создание и применение цифровых водяных знаков.

Предметом исследования являются нейросетевые модели и алгоритмы преобразования информации в интересах создания цифровых водяных знаков в объектах цифрового (электронного) контента.

Задачи исследования. Для достижения цели в работе рассматриваются и решаются следующие задачи.

1. Анализ известных методов и алгоритмов создания цифровых водяных знаков в объектах цифрового контента.

2. Проведение теоретических обоснований и исследований моделей преобразования данных, основанных на построении нейросетевых сжимающих отображений, обеспечивающих универсальный характер процесса создания цифровых водяных знаков в объекты-контейнеры различных классов.

3. Разработка и исследование нейросетевых функциональных моделей и алгоритмов преобразования данных, обеспечивающих реализацию процесса встраивания ЦВЗ в исходные объекты-контейнеры и их последующее извлечение при минимальном уровне искажений. Проведение экспериментальных исследований возможностей разработанных алгоритмов создания ЦВЗ для реальных контейнеров (файлов графических и звуковых форматов).

4. Разработка методик анализа статистической заметности и возможности восстановления встроенной последовательности ЦВЗ сторонним наблюдателем для оценки качества ЦВЗ в объектах графических форматов, а также обоснование рекомендаций относительно возможности использования разработанных алгоритмов. Разработка программных средств для моделирования предложенных алгоритмов создания ЦВЗ.

Методы проведения исследования. При решении исследований использовались методы и подходы современной теории информационных процессов и систем, а именно: методы теории статистических решений; методы теории вероятностей и математической статистики; технологии объектно-ориентированного программирования; теория случайных процессов и полей методы и технологии статистического имитационного моделирования; методы цифровой обработки и распознавания сигналов и изображений; аппарат искусственных нейронных сетей; методы компьютерной стеганографии, а также технологии проведения прямого компьютерного эксперимента, выполняемого по отношению к реальным объектам цифрового контента.

Основные результаты, выпосимые па защиту, и их научная новизна.

На защиту выносятся следующие результаты, впервые достаточно подробно развитые или полученные в настоящей работе.

1. Теоретические обоснования возможности построения гетероассоциативных и автоассоциативных нейросетевых сжимающих преобразований данных универсального типа и исследования их свойств.

2. Базовые нейросетевые функциональные модели преобразований данных, обеспечивающих встраивание ЦВЗ в исходные объекты-контейнеры различных классов и их последующее извлечение, а также закономерности, описывающие потенциальные характеристики качества ЦВЗ при использовании статистических эквивалентов объектов-контейнеров.

3. Алгоритмы создания цифровых водяных знаков для объектов, имеющих целочисленный формат представления данных, а также исследования возможности их применения для файлов графических и звуковых форматов.

4. Методики и результаты анализа статистической заметности и возможности восстановления встроенной последовательности ЦВЗ сторонним наблюдателем в объектах графических форматов, а также рекомендации относительно по использованию разработанных алгоритмов для решения различного класса задач.

5. Структура и алгоритмы функционирования многофункционального программного комплекса для встраивания и декодирования цифровых водяных знаков с использованием обоснованных нейросетевых функциональных моделей преобразования данных.

Научная новизна полученных результатов работы определяется следующим.

1. Доказана теорема о сходимости весовых коэффициентов двуслойной линейной нейронной сети гетероассоциативного типа с сокращенным числом нейронов в скрытом слое к компонентам собственных векторов, получаемых при решении обобщенной задачи на собственные значения, при обучении по совокупности реализаций статистически связанных входного и выходного векторов. Показано, что при обучении такой нейронной сети на выходе получается приближенное представление оптимальной (в классе линейных) оценки выходного вектора относительно наблюдения входного вектора в виде разложения по первым собственным векторам выборочной матрицы ковариации оценки с минимальной дисперсией остаточной ошибки.

2. Установлена целесообразность построения и использования универсальных сжимающих преобразований для стеганографического встраивания ЦВЗ в объекты-контейнеры различных типов с минимальным уровнем дисперсии вносимых искажений на основе искусственных двухслойных нейронных сетей прямого распространения. Обоснованы две новые схемы преобразования данных для создания ЦВЗ в объектах контейнерах различных классов, отличающиеся применением гетероассоциативного и автоассоциативного сжимающих отображений и специальной процедуры модификации «высокочастотной» составляющей фрагментов контейнера при встраивании ЦВЗ. На основе обработки данных, представленных в виде реализаций случайных полей (как аналогов изображений) получены зависимости для основных показателей качества контентно-независимых цифровых водяных знаков: дисперсии ошибки искажения контейнера, а также вероятности ошибки при восстановлении ЦВЗ.

3. Предложены и исследованы структуры алгоритмов встраивания ЦВЗ, представленных в виде двоичной последовательности, в файлы контейнеры, имеющие целочисленный формат представления данных (изображения, звук, видео), а также - алгоритмов восстановления ЦВЗ, основанных на применении процедур классификации фрагментов контейнера, реализуемых с использованием линейной или нелинейной нейронной сети прямого распространения. На основе анализа большого количества аналогичных экспериментальных данных установлены закономерности, описывающие потенциальные характеристики качества встраивания и восстановления ЦВЗ для объектов различных классов.

4 Предложенные методики оценки качества разработанных алгоритмов создания цифровых водяных знаков основаны на применении оригинальных схем преобразования контейнеров-изображений, реализующих воспроизведение процесса встраивания и специальный анализ данных для оценки статистической заметности встроенных меток и возможности их восстановления сторонним наблюдателем. При их использовании впервые получены экспериментальные оценки вероятности восстановления сообщения ЦВЗ в зависимости от наличия априорной информации относительно конфигурации фрагментов контейнера и модифицируемых участков изображения для различных типов алгоритмов создания меток.

Достоверность результатов работы. Результаты исследований, сформулированные в диссертации, получены на основе корректного использования взаимно дополняющих друг друга теоретических и экспериментальных методов исследований, совпадением результатов, полученных различными методами, между собой, а, в ряде частных случаев, с известными, наглядной физической трактовкой установленных закономерностей и соотношений. Анализ разработанных нейросетевых моделей и алгоритмов создания ЦВЗ проводился как с использованием статистических моделей, так и путем экспериментирования с естественными файлами-контейнерами.

В целом полученные в диссертации выводы и рекомендации формировались на основе всестороннего анализа результатов исследований, допускают ясное физическое истолкование, имеют понятную содержательную трактовку и совпадают в ряде частных случаев с известными результатами, полученными другими авторами.

Теоретическая н практическая ценность результатов диссертации. Теоретическая значимость результатов диссертационной работы заключается в том, что полученные результаты отвечают потребностям важного направления в области обработки и анализа цифровых сигналов и изображений - создания цифровых водяных знаков для объектов цифрового контента, имеющих графические и аудио форматы в интересах подтверждения авторских прав на объекты электронного (цифрового) контента, а также скрытого маркирования ОЦК. Полученные в диссертации зависимости для основных показателей качества ЦВЗ позволяют обоснованно выбрать

необходимый алгоритм обработки информации и сформировать рекомендации по его применению, а также определять эффективность эвристических алгоритмов на основе сравнения показываемых ими результатов с потенциально достижимыми. Выполненные теоретические обоснования и доказанные утверждения относительно свойств нейросетевых функциональных моделей и алгоритмов преобразований данных имеют общее значение и могут быть использованы для построения универсальных сжимающих отображений в системах цифровой обработки сигналов и изображений, распознавания образов и статистического анализа данных.

Результаты диссертационной работы имеют практическое значение для разработки специального математического и программного обеспечения в интересах создания цифровых водяных знаков как средств маркирования объектов цифрового (электронного) контента, обеспечивающих эффективный контроль использования объектов интеллектуальной собственности, а также для диагностики аудио- и графических данных.

Реализация результатов работы. Полученные в диссертации результаты реализованы: в ООО «Фото Технологии В» при выполнении НИОКР «Программное обеспечение для реализации новой информационной технологии защиты авторских прав на основе создания цифровых водяных знаков с использованием нейросетевых функциональных моделей преобразования данных» государственный контракт №8501р/13581 от 04.10.2010; в Воронежском государственном университете при выполнении гранта РФФИ в рамках научного проекта № 13-01-97507 р_центр_ а «Модели и методы для реализации новых информационных технологий создания цифровых водяных знаков для защиты объектов цифрового контента», 2013 г., а также НИР «Разработка моделей, методов и алгоритмов обработки информации для создания информационных технологий и систем нового поколения» № государственной регистрации 01201263910, 2011-2013 г г.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались: на XII, XIV Международных научно-технических конференциях «Кибернетика и высокие технологии XXI века» в 2011, 2013 годах; на XI, XII, XIV Международных конференциях «Информатика: проблемы, методология, технологии» в 2011, 2012 и 2014 годах.

Публикации. По теме диссертации опубликовано 10 работ, в том числе 3 статьи в изданиях, рекомендованных ВАК, а также свидетельство о регистрации программы. В опубликованных в соавторстве работах автору настоящей диссертации принадлежит доказательство выносимых на защиту теорем, проведение рассуждений, необходимых для решения поставленных задач, обоснование алгоритмов обработки информации, организация экспериментов для исследования алгоритмов, полученных теоретическим путем, анализ и интерпретация полученных результатов. При разработке программного комплекса для создания цифровых водяных знаков автору принадлежит личное участие в обосновании структуры комплекса, а также реализация нейросетевых алгоритмов создания ЦВЗ.

Объем и структура диссертационной работы. Диссертация состоит из введения, четырех разделов, заключения и списка литературы из 83 наименований. Объем диссертации составляет 179 страниц, включая 170 страницы основного текста, содержащего 51 рисунков, 11 таблиц и 9 страниц списка литературы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении к диссертации обоснована актуальность темы, сформулированы цель и задачи работы, результаты и положения, выносимые на защиту, их научная новизна, теоретическая и практическая значимость.

В первой главе диссертации рассматриваются основные положения современной компьютерной стеганографии и классификация методов компьютерной стеганографии, подробная классификация и результаты анализа известных алгоритмов встраивания ЦВЗ в объекты цифрового контента, применяемые алгоритмы создания ЦВЗ для данных графических форматов (изображений), основанных на модификации файлов в исходном представлении. Делаются выводы о перспективности применения нейросетевых технологий обработки информации для создания ЦВЗ.

Во второй главе проводятся теоретические обоснования возможности построения нейросетевых функциональных моделей и алгоритмов создания ЦВЗ при обработке данных, представленных в виде реализаций случайных векторов, отображающих фрагменты случайных процессов (как аналогов звуковых сигналов) или случайных полей (как аналогов изображений), а также исследования потенциальной эффективности выполняемой таким образом обработки.

Рассматривается общая постановка задачи стеганографического скрытия информации (ССИ). Пусть z,D,K есть множества возможных контейнеров, скрываемых сообщений и ключей, тогда процедура встраивания и извлечения сообщения может быть представлена в виде отображений вида F,: ZxDxK->Z, z = Ft(z,d,k\ zeZ, zeZ.t/eö. keK, - г||-> min,

Ftt:ZxK^>D, d=Ftt(z,k),dsn, ||i/ - <7|| -» min ,

где - исходный и заполненный контейнер; d,d — исходное и восстановленное сообщение. Далее в качестве контейнера без ограничения общности рассматривается реализация случайного поля, заданного на двумерной дискретной сетке (как аналога изображения), а в качестве ЦВЗ — двоичная последовательность с/'", р- 1,Р, где d"' е{-1,+1) — скалярная величина, несущая один бит информации.

Для построения нейросетевых функциональных моделей преобразования данных в интересах создания ЦВЗ в работе рассматриваются два типа универсальных сжимающих отображений, реализуемых на основе линейных НС прямого распространения: гетероассоциативное сжимающее отображение и (как частный случай) автоассоциативное сжимающее отображение. Архитектура нейронных сетей, которые могут быть использованы для сжатия данных, приведена на рис. 16 где z,eÄV| - входной вектор, у = z2 а К'' ' - требуемый на выходе целевой вектор Особенностью архитектуры сети является использование сокращенного числа нейронов М <N„M <W2 в скрытом слое по отношению к размерности входного и выходного векторов. При z, Ф z2 сеть является гетероассоциативной, а при z, = z2 — автоассоциативной.

а) б) в)

Рис. 1

Пусть геЛ'\ЛГ = АГ1 +ЛГ; - случайный вектор, представляющий некоторую область П изображения (фрагмент контейнера). Пусть для определенности математическое ожидание и матрица ковариации вектора г равны Л/[г] = 0, Л/[гг'] — Вектор Г всегда может быть представлен как составной г = гт2 )г, где г, е Я"' отображает некоторую подобласть фрагмента Ц, называемую входной частью, а -2 е ЯЛа - подобласть фрагмента, называемую выходной частью

иП2 =С2. В качестве обучающей выборки для построения НС, реализующей сжимающее отображение, будем использовать данные {г,р = \,1' входной и выходной частей совокупности фрагментов, рассматриваемые как реализации случайных векторов г,, г2.

Необходимо отметить, что векторы связаны соотношением:

:1=;1,+У = Н:,+У, Н = К,г,р-;„ М[У]=0, ЩУУт} = Н,г1-К,„/?;,',«„,, (1)

где г,п— имеет смысл оптимальной (в классе линейных) оценки относительно наблюдения г,;

V— стохастическая составляющая, некоррелированная с ят = М[1^[],

Л,„=А/1--г--П,Показано, что для однослойной НС (рис. 16), имеющей входных контактов и Л'! нейронов в выходном слое и матрицу весовых коэффициентов IV, после обучения по выборке объемом Р>Ы„Р>Ы, реализаций случайных векторов ,р = \,1' на выходе

формируется реакция, соответствующая структуре оптимальной оценке :2 по наблюдению г, в виде

Для двухслойной линейной сети, архитектура которой представлена на рис. 1а. в диссертации доказана следующая теорема: в результате обучения с минимизацией средней квадратичной

ошибки двухслойной линейной нейронной сети с архитектурой, представленной на рис. 1а и имеющей М < Ы^М < нейронов в скрытом слое по совокупности реализаций векторов объемом P>NI,P>N1 на выходе получается приближенное представление оценки вектора г, относительно наблюдения г, в виде разложения по первым М собственным векторам выборочной матрицы ковариации Д,Д;'Ди с минимальной дисперсией остаточной ошибки.

При доказательстве для элементов общая матрица весов сети =и""1У"', где IV"', матрицы весов первого и второго слоя в диссертации получены необходимые условия минимума целевой функции обучения НС по совокупности реализаций г,, г,

Е-- -п»Ук"-^{¿¿(^-í<i>■¡xw)' -

где г'" - реакция НС на входное воздействие г,"'. Необходимое условие ее минимума определяется системой уравнений:

-^ = 0, « = т = \М, = /) = №, т = \М.

Эти условия после выполнения определенных преобразований определяется системой матричных уравнений:

IV" =яй1и"1)7(»Л1>д„1и",>т)', Д.Д,,»'"" -Д,,«"»' =о. (2)

где Д,,, = ¡^"Ц, Л„ = Цг''"I- выборочные матрицы ковариации случайных векторов. Второе уравнение эквивалентно следующему:

К,'= , ь = V'"«, Д,,»"'11, (3)

где Ь — несимметричная, в общем случае, матрица размера МхМ, являющаяся произведением двух симметричных матриц: положительно определенной матрицы 0 = ({ГтЯ1иИ""1)' и, как минимум, неотрицательно определенной матрицы (7 = ИЛ"Я.1!К_!11Г"".

Математический анализ полученного решения, детально проведенный в диссертации, показывает, что (3) эквивалентно системе характеристических уравнений, при этом столбцы матрицы IV" являются линейными комбинациями первых м собственных векторов матрицы А = Л^'Д. При этом применение весовой матрицы !Г':| по отношению к вектору реакций на выходе первого слоя нейронов формирует на выходе вектор г2 в виде разложения первым М собственным векторам матрицы ковариации оценки :2, =Д,,. При обеспечении минимальной средней квадратичной ошибки в процессе обучения нейронной сети эти векторы обязательно соответствуют ее максимальным собственным значениям. Как следствие, показано, что для автоассоциативной нейронной сети (;,=;,=;), имеющей Л/ < Л', Л' = .V, = ,\'г нейронов в скрытом слое, после обучения по выборке объемом /'> N реализаций случайного вектора на выходе формируются реакции, эквивалентные разложению по первым М функциям базиса Карунена-Лоева выборочной матрицы ковариации вектора г .

Развиваемая в диссертации идея применения универсальных сжимающих отображений для встраивания ЦВЗ состоит в следующем. При использовании гетероассоциативного сжимающего отображения, как более общего случая, каждый фрагмент контейнера, используемый для встраивания элемента двоичной последовательности, разбивается на входную и выходную части. Соответственно, на вход нейронной сети, имеющей архитектуру, представленную на рис. 1а и выполняющей сжатие, подаются данные из одной части фрагмента контейнера; при этом на выходе формируется оценка данных другой части фрагмента, которые затем и подвергаются модификации путем, изменения амплитуды высокочастотной составляющей — собственного вектора, соответствующего минимальному собственному числу в разложении оценки г,. Это обеспечивает маскирование процесса встраивания, но требует использования дополнительно обученной нейронной сети, архитектура которой дана на рис. 16, определяющей корреляционные связи частей фрагмента для оценки (прогноза) значений выходной части фрагмента при известных значениях входной.

Область определения П (форма фрагмента контейнера) при выполнении сжимающих отображений может быть произвольной конфигурации. На рис.2 представлены примеры конфигурации фрагментов, подвергаемых модификации: это области прямоугольной формы, решетки случайной конфигурации внутри области прямоугольной формы и т.п. Серым цветом выделены пиксели входной часть фрагмента С2,, белым цветом — пиксели выходной части фрагмента П,, в которой происходит встраивание элементов ЦВЗ.

На основе приведенных обоснований может быть определена универсальная схема преобразования данных для создания и восстановления ССИ в контейнерах графических и звуковых форматов данных. Требуется с использованием функциональных возможностей нейронных сетей для любого фрагмента контейнера, представленного в виде вектора г е R", и встраиваемой последовательности данных deR' построить отображения

z t =F,(z ),z п =F(zi), = F(z, >,?j|,i0+(2, -i „), ||z -zj -> min,d = F (i), d e D, llrf——»■ min,

где оператор - реализует оптимальную выборочную оценку значений данных выходной части фрагмента при известных значениях входной части и обеспечивает подготовку вектора-контейнера к встраиванию данных; оператор Fr реализует приближенную оценку (прогноз) значений данных выходной части фрагмента на основе сжимающего отображения при известных значениях входной части; оператор F,„ - реализует модификацию выходной части при встраивании элементов ЦВЗ; оператор Fä - выполняет декодирование (восстановление) ранее скрытого сообщения на основе решения задачи классификации предъявляемого фрагмента контейнера для двух гипотез Я, dir) = -1,#, :d"> = +l.

Операторы Fe, Fc в общем случае могут быть реализованы на основе обучения нейронных сетей, архитектура которых приведена на рис. 1а и б. Обучение НС проводится по совокупности реализаций входного и целевого вектора {г,"",г,""}, р=\,Р. Непосредственное встраивание ЦВЗ в файл контейнер проводится на основе оператора Fm, имеющего алгоритмический характер и осуществляющего следующую последовательность преобразований.

После обучения НС, представленных на рис. 1а и б, на их входы для каждого фрагмента подается вектор z\'\p=\,P. Первая сеть (оператор Ft, рис. 1а) используется для точного прогнозирования выходной части фрагментов контейнера на основе соседних фрагментов контейнера в виде оценки z'f/ и для определения стохастической составляющей прогноза

V"' = z,'"-zm,",p= 1Р

Применение второй сети (оператор Fc, рис. 1а) обеспечивает выполнение индивидуального для данного набора данных сжимающее отображение с минимальной дисперсией ошибки. При этом каждый получаемый на выходе вектор ?ЗГ|(/,> , р - \,Р может быть представлен в виде

разложения по первым м собственным векторам <р.. / -1,.V/ выборочной матрицы ковариации оценки вектора z, относительно вектора z,

w-jiibvfbyr.

р=1

Тогда для любого г,"' получаемый на выходе вектор г2п(" можно представить в виде

м

где а,"1, 1 = 1,Л/- коэффициенты разложения по первым Л/<ЛГ2 собственным векторам /р„1 = \,М матрицы . С целью минимизации ошибки искажения контейнера при выполнении подобного разложения в диссертации используется сеть, в которой М = Ы7 -1, тогда %„'" будет отличаться от г,,"' только «высокочастотной» составляющей с малой дисперсией, соответствующей минимальному собственному числу выборочной матрицы ковариации. Далее определяется нормированный вектор

Ъ.-'М*'«.), гсг,,,«-»,,,«). г Р=\

Окончательное встраивание последовательности с!"' ,р = \,р (сообщения ЦВЗ) в контейнер на основе оператора р состоит в том, что для каждой области фрагмента, описываемого вектором г2' , с учетом добавления стохастической составляющей прогноза (оценки) г"' относительно наблюдения , проводится ее модификация на основе следующих соотношений:

- (Я = ~ +ата1г)<р^ + К<", ?,„<" = И^г,"",= , К<" = г,"' ,/> = 17' (4) где - амплитуда вносимого искажения.

Для декодирования ЦВЗ используется оператор Fd, который может быть реализован на основе НС, архитектура которой показана на рис. 1в. Для эффективного восстановления скрытых данных необходимо решить задачу классификации наблюдаемого вектора, в качестве которого может выступать вектор модифицированной выходной части фрагмента контейнера z или вектора фрагмента в полном объеме г = по его принадлежности к одному из двух классов,

характеризующихся математическими ожиданиями Я,: т. = атф Н,: т = -ат<р!1 и общей матрицей ковариации В рассматриваемом случае решающее правило получается путем обучения

простейшей однослойной линейной нейронной сети, структура которой приведена на рис.1 в. Такая сеть обучается для решения задачи классификации входного для нее вектора с целью выделения значения ранее скрытого в нем элемента последовательности с].

При использовании автоассоциативного сжимающего отображения, как более частного случая, форма фрагмента контейнера также может иметь произвольный вид, но при этом входная и выходная части совпадают. Здесь обработка данных существенно упрощается, так нет необходимости проводить оптимальную оценку (прогноз) значений данных выходной части фрагмента при известных значениях входной части оценку на основе оператора , поскольку

формально 2,""=72"'>=4';>, Ж=1, К"" = 0. Процесс встраивания двоичной последовательности в контейнер и ее последующее восстановление схематично может быть представлен в виде

= ? , г = Я'.Ц ,Д „,*/)+(*, — ), ||г.-г,|| ->тт,аГ = ^ (г ), 3 е Д, ->1шп

Структура нейронной сети, реализующая оператор , в общем виде приведена на рис. 1а Матрица весовых коэффициентов обозначена Щ,. Обучение нейронной сети проводится по совокупности реализаций входного и целевого вектора :2'р)}, р=\,Р.

Структура нейронной сети, реализующей оператор , в общем виде приведена на рис. 16. Для реализации алгоритма встраивания данных сначала проводится обучение сети, обеспечивающей первое (сжимающее отображение). Обучение проводится по совокупности реализаций входного и целевого вектора ,у1р) = 2°"}, р=\,Р так, чтобы минимизировать величину средней квадратичной ошибки представления входного вектора на выходе сети. Оператор встраивания Рт осуществляет обработку данных, предполагающую оценку нормированного собственного вектора по ранее описанной схеме и модификацию высокочастотной составляющей

каждого фрагмента контейнера. Для восстановления ЦВЗ и, соответственно, для реализации оператора также используется классификатор, архитектура которого показана на рис. 1в.

Первичный экспериментальный анализ проводился с использованием тестовых примеров, формируемых на основе генерации реализаций однородных случайных полей с заданной функцией пространственной корреляции, а также реальных цифровых изображений. На рис. 3 приведены типовые зависимости средней квадратичной ошибки искажения контейнера при использовании гетероассоциативного и автоассоциативного (средний график) сжимающих отображений и вероятности ошибки восстановления встраиваемой последовательности от относительной амплитуды ат = Ат/ су встраиваемой последовательности в (4). Функция корреляции поля задавались в данном случае в виде 1{(х,х',у,У) = гт2 ехр[-а(\х-х'\+\у-у'\]. Вероятность ошибки восстановления ЦВЗ при использовании автоассоциативного преобразования равна нулю, так как матрица ковариации в этом случае является вырожденной. Для автоассоциативнх

преобразований размер фрагмента, используемого для встраивания одного элемента последовательности ЦВЗ равен 5x5, для гетероассоциативных преобразований исходный размер фрагмента контейнера задается 6x6 при размере фрагмента, используемого для встраивания одного элемента последовательности ЦВЗ 4x4. На графиках используются следующие обозначения: ЭС)-оЬ — среднеквадратичная ошибка искажения контейнера при тестировании на данных, используемых для обучения нейронной сети; БСНв - среднеквадратичная ошибка искажения контейнера при тестировании на данных, не участвовавших в обучении нейронной сети. Рех-оЬ - оценка вероятности ошибки при восстановлении ЦВЗ, при тестировании на данных, используемых для обучения нейронной сети; РехЧБ - оценка вероятности ошибки при восстановлении ЦВЗ при тестировании на данных, не участвовавших в обучении нейронной сети; ОеИ-оЬ - абсолютная ошибка искажения контейнера при тестировании на данных, используемых для обучения нейронной сети; Ое1М5 - абсолютная ошибка искажения контейнера при тестировании на данных, не участвовавших в обучении нейронной сети., - теоретически рассчитанная вероятность ошибки на основе соотношений

Р„ = 1 -Ф(/?),р = 0,5^4^),Ф(*) = ■~ \е ><11

<2л

— рак

л, л,

Рис. 3

Необходимо отметить, что использование гетероассоциативного преобразования обеспечивает в данном случае не только меньший уровень искажения изображения, но и маскирование ЦВЗ за счет добавления стохастической составляющей V в (4). При этом соответственно увеличивается вероятность ошибки декодирования ЦВЗ. Указанный эффект проявляются в меньшей степени при увеличении коэффициента пространственной корреляции.

В третьей главе описываются предложенные универсальные алгоритмы преобразования данных в интересах решения задачи контентно-независимого встраивания и восстановления сообщений (ЦВЗ) в контейнерах, имеющих целочисленный формат представления данных, получены закономерности, описывающие потенциальные характеристики качества создаваемых ЦВЗ для объектов различных классов.

Для работы с файлами-контейнерами, имеющими целочисленный формат представления данных, необходимо определенным образом модифицировать базовые алгоритмы создания цифровых водяных знаков при реализации отображений автоассоциативного и гетероассоциативного типа. Проблема состоит в том, что данные, используемые для обучения

нейронной сети, а также параметры сети должны быть заданы в вещественном формате, тогда как входные и выходные данные, а также данные, используемые для модификации контейнера, при встраивании имеют целочисленное представление. В связи с этим в диссертации предложена специальная последовательность преобразований данных из исходного целочисленного представления в вещественное и обратно, выполняемая на всех этапах встраивания ЦВЗ.

Оценка качества рассмотренных алгоритмов создания ЦВЗ, проводилась с использованием реальных изображений. В качестве показателей эффективности использовались среднеквадратичная ошибка искажения контейнера, вероятность ошибки при восстановлении встроенного ЦВЗ и максимальная абсолютная ошибка искажения контейнера. Результаты работы полученного при этом нейросетевого алгоритма функционального встраивания последовательности ЦВЗ в реальные цветные изображения формата Ьтр для автоассоциативных преобразований представлены на рис. 4а и б, а для гетероассоциативных преобразований — на рис. 4в и г. Для автоассоциативных преобразований размер фрагмента, используемого для встраивания одного элемента последовательности ЦВЗ равен 5x5, для гетероассоциативных преобразований исходный размер фрагмента контейнера задается 7x7 при размере выходной части фрагмента, используемой для встраивания одного элемента последовательности ЦВЗ 5x5 .

в) г)

Рис.4

Анализ представленных зависимостей показывает, что в целом их характер совпадает с характером зависимостей, полученных при использовании статистических эквивалентов изображений, формируемых как реализации случайных полей.

Обобщенную схему встраивания информации в рамках описанного подхода удобно представить в нотации языка иМЦ приведенной на рис. 5а и б. Схема ССИ включают два основных этапа. На первом этапе производится формирование обучающих множеств, настраиваются параметры ИНС, происходит преобразование исходного вектора в вещественный формат данных, происходит процесс ее обучения (рис. 5а). На втором этапе выбирается подходящий контейнер и реализуется алгоритм встраивания (рис. 56). Схема извлечения информации дана на рис. 5в и г. Первоначально осуществляется обучение НС, предназначенной для восстановления скрытых данных (рис. 5в). Дальнейшее извлечение данных реализуется путем подачи в необходимом порядке элементов контейнера, содержащих встроенный ЦВЗ, на «восстанавливающую» нейронную сеть (рис. 5г). По схожей схеме реализуется процесс обработки информации для модели второго типа, основанной на применении гетероассоциативных преобразований.

В целом установлено, что при реализации предложенных вариантов моделей и алгоритмов создания ЦВЗ для цветных изображений в формате RGB обеспечивается относительная средняя квадратичная ошибка искажения фрагментов контейнера порядка Ю-4... 1(Г5. При этом для изображений в формате RGB обеспечивается вероятность ошибки восстановления элементов двоичной последовательности ЦВЗ порядка 1СГ1 при относительной амплитуде (по отношению к максимальному значению яркости пикселя) вносимого искажения ат = 0.005, и - порядка Ю-2 при амплитуде ат =0.035.

Файл «он напер

т

Маркируемый контейнер

1

Вектор z имеет цвпо^слвннов представление

Определение доступною

пространств« дпя скрыни, ыбор цифрового водяною ЯШ

Настройка архитектуры и параметров сети, реалитумщей сжимающее преоораюиание входных данных

Обучение нейронной сети

1

а)

Маркиро*анмый контейнер

т

Загрузка обученном сети, оооспочивакмцей подготовку кгнтсйнера к встраиванию дампы

Встраивание ЦВЗ

Маркированный контейнер

б)

Верифицируемый контейнер

Т

Настройте архитектуры и параметров сети дня и «лечения встроенных данных

Обучение нейронной с<

восстановление данных

А

Восстановленный цифровой водяной знак

в) г)

Рис. 5

С целью повышения устойчивости алгоритмов создания ЦВЗ к преобразованиям типа JPEG-компрессии с различными коэффициентами сжатия предложена их модификация. Она основана на использовании в качестве единичных элементов фрагментов файла-контейнера, для построения обучающих и целевых выборок, значений средней яркости в блоках пикселей размерностью. Рассмотрены адаптивные варианты построения алгоритма встраивания, основанные на выборе фрагментов для встраивания с учетом возможной ошибки искажения при отбрасывании высокочастотной компоненты.

Кроме того проводились аналогичные исследования алгоритмов создания ЦВЗ для аудиофайлов (WAV формата), которые показывают возможность скрытия больших объемы информации, за счет того, что выбранные форматы не предусматривают предварительной декомпрессии и последующего после скрытия сжатия (например, MPEG), при этом проведены исследования для сигналов разной битности и частоты дискретизации сигнала. При реализации предложенных

вариантов моделей и алгоритмов создания ЦВЗ для аудио-файлов обеспечивается относительная средняя квадратичная ошибка искажения фрагментов контейнера порядка Ю^.ЛО"8 при вероятности ошибки восстановления элементов двоичной последовательности ЦВЗ порядка КГ1...!О"2 в зависимости от частоты дискретизации сигнала.

В четвертой главе в интересах оценки качества цифровых водяных знаков на основе нейросетевых функциональных моделей преобразования данных разработаны и реализованы методика анализа возможности обнаружения факта встраивания ЦВЗ и методика анализа возможности восстановления встроенной последовательности ЦВЗ при воздействиях стороннего наблюдателя. При реализации разработанных методик предполагается, что стороннему наблюдателю известен алгоритм встраивания ЦВЗ, т.е. архитектура нейронных сетей, реализующих сжимающее преобразование того или иного вида для последующего встраивания, кроме того частично известна конфигурация фрагмента исходного файла-контейнера, используемого для встраивания элемента двоичной последовательности ЦВЗ.

Методика анализа возможности обнаружения факта встраивания ЦВЗ направлена на возможность выявления факта наличия или отсутствия ЦВЗ в анализируемом файле-контейнере на основе визуального и статистического анализа гистограммы полученных значений амплитуды «высокочастотной» составляющей в заданном диапазоне значений. Результаты проведенных исследований по оценки качества цифровых водяных знаков показывают, что при полностью известной конфигурации фрагмента исходного файла-контейнера и при известной архитектуре нейронной сетей возможно подтвердить или опровергнуть факт наличия встроенной последовательности ЦВЗ в исходном файле-контейнере.

Методика анализа возможности восстановления встроенной последовательности ЦВЗ при воздействиях стороннего наблюдателя направлена на возможность восстановления ранее встроенной последовательности ЦВЗ в зависимости от степени перекрытия области конфигурации фрагмента исходного контейнера, в который производилось встраивание последовательности ЦВЗ, и предполагаемой сторонним наблюдателем области конфигурации фрагмента анализируемого файла-контейнера.

В ходе проведенных исследований получены следующие результаты оценки вероятности ошибки восстановления ЦВЗ для преобразований автоассоциативного типа без вмешательства стороннего наблюдателя /'„„,, = 0.02 и вероятности ошибки восстановления ЦВЗ при вмешательстве стороннего наблюдателя Рот1 =0.47 (/"„„^ = 0.18, Рот1 =0.05, Роий = 0.01) при степени перекрытия предполагаемой и реальной конфигурации фрагмента контейнера 100% (60%, 30%, 10%) соответственно. Полученные результаты свидетельствуют о том, что для преобразований автоассоциативного типа воздействия стороннего наблюдателя могут частично уничтожить встроенную последовательность ЦВЗ в зависимости от степени перекрытия предполагаемой и реальной конфигурации фрагмента контейнера.

Для преобразований гетероассоциативного типа получены следующие результаты оценки вероятности ошибки восстановления ЦВЗ без вмешательства стороннего наблюдателя Р„ш1 =0.01 и вероятности ошибки восстановления ЦВЗ при вмешательстве стороннего наблюдателя Рп„,2 =0.09(/'т,2 = 0.08,/;,„,2 =0.03,рош2 =0 01) при степени перекрытия предполагаемой и реальной конфигурации фрагмента контейнера 100% (60%, 30%, 10%) соответственно. Для преобразований гетероассоциативного типа негативные воздействия стороннего наблюдателя оказывают весьма незначительное воздействие на встроенную последовательность ЦВЗ.

Следует отметить, что даже в случае полного совпадения реальной и предполагаемой конфигурация вероятность ошибки восстановления ЦВЗ после негативных воздействий существенно не увеличивается. Это связано с тем, что процесс встраивания последовательности ЦВЗ для гетероассоциативного типа основан на использовании дополнительной прогнозирующей сети, с помощью которой определяется стохастическая составляющая прогноза, а затем реализуется непосредственно процедура встраивания ЦВЗ. При воздействиях со стороны стороннего наблюдателя входная часть фрагмента контейнера, на основе которого реализуется прогнозирование выходной части остается неизменным, тем самым попытка удаления последовательности не разрушает ранее встроенный ЦВЗ.

Программный комплекс (рис. 6) для создания цифровых водяных знаков с использованием нейросетевых функциональных моделей преобразования данных в интересах защиты авторских

прав на объекты электронного контента реализован в среде Qt-4.6.0 и предназначен для работы в операционной системе Windows 7/Windows XP/Linux. В качестве языка разработки был выбран язык С++ как один из наиболее универсальных и легко переносимых на другие платформы. В рамках программного комплекса реализовано несколько вариантов алгоритмов создания ЦВЗ.

Рис. 6

Функциональные возможности разработанного программного комплекса позволяют решать следующие задачи: осуществлять надежное встраивание/извлечение цифровых водяных знаков в виде черно-белых пиктограмм в ряд файлов мультимедийных форматов (bmp, png, jpg, avi и пр.); осуществлять детальную настройку предложенных алгоритмов встраивания ЦВЗ с тем, чтобы минимизировать результирующие искажения заполненных контейнеров; создавать пользовательские ЦВЗ (черно-белые изображения); обеспечить удобство графического интерфейса, наглядность представления результатов работы алгоритмов встраивания и извлечения ЦВЗ.

В заключении сделаны общие выводы и сформулированы основные результаты, которые сводятся к следующему.

1. Рассмотрены и проанализированы результаты ранее выполненных исследований, посвященных вопросам создания цифровых водяных знаков в объектах цифрового контента.

2. Проведены теоретические обоснования, разработка и исследования нейросетевых функциональных моделей и алгоритмов преобразования данных, позволяющих реализовать процесс создания ЦВЗ в объектах цифрового (электронного) контента (файлы графических и аудио форматов) с минимальным уровнем искажения исходного контейнера.

3. Получены зависимости среднеквадратичной ошибки искажения контейнера, вероятности ошибки восстановления ЦВЗ, а также максимальной абсолютной ошибки искажения контейнера, описывающие потенциальные характеристики качества встраивания и восстановления ЦВЗ для реальных объектов различных классов.

4. Разработаны типовые методики для оценки качества алгоритмов встраивания последовательности ЦВЗ: методика анализа возможности обнаружения встроенного ЦВЗ и методика анализа возможности восстановления встроенной последовательности ЦВЗ при негативных воздействиях стороннего наблюдателя.

5. Разработаны программные средства для моделирования различных алгоритмов создания ЦВЗ с использованием нейросетевых функциональных моделей преобразования данных в интересах задачи подтверждения авторских прав на объекты цифрового контента.

Публикации результатов работы

1. Митрофанова, Е Ю. Сходимость весов двухслойной линейной нейронной сети при построении оптимальных оценок случайных векторов / Е Ю. Митрофанова, A.A. Сирота// Нейрокомпьютеры: разработка и применение. - 2011. - №7. - С. 39-48.

2. Митрофанова, Е Ю. Программный комплекс для создания цифровых водяных знаков как средства зашиты объектов электронного контента / Э.К. Алгазинов, М.А. Дрюченко, Е Ю. Митрофанова, A.A. Сирота//Информационные технологии. -2012. -№9. -С. 60-66.

3. Митрофанова, Е Ю. Нейросетевые технологии создания скрытых цифровых водяных знаков / Е Ю. Митрофанова, A.A. Сирота, М.А. Дрюченко// Нейрокомпьютеры: разработка и применение. -2012.-№10.-С. 13-20.

4. Митрофанова, Е Ю. Программный комплекс для создания цифровых водяных знаков с использованием искусственных нейронных сетей / Э.К. Алгазинов, М.А. Дрюченко, ЕЮ. Митрофанова, A.A. Сирота // Свидетельство о государственной регистрации программы для ЭВМ № 2012613096 от 30.03.2012 г. (Федеральная служба по интеллектуальной собственности, патентам и товарным знакам).

5. Mitrofanova, E.Yu. Digital Watermarking Based on Neural Network Technologies / M.A. Dryuchenko, E.Yu. Mitrofanova, A.A. Sirota // JCIT: Journal of Convergence Information Technology. -2013,- Vol. 8.-Issue 11. - PP. 616 - 624.

6. Митрофанова, Е Ю. Нейросетевые модели и алгоритмы стеганографического скрытия информации / ЕЮ. Митрофанова, A.A. Сирота, М.А. Дрюченко // Сборник трудов XI Международной научно-технической конференции «Информатика: проблемы, методология, технологии». - Воронеж, 2011. -Т.2. - С. 275-279.

7. Митрофанова, Е Ю. Нейросетевые модели и алгоритмы стеганографического скрытия информации в BMP-файлах / Е Ю. Митрофанова, A.A. Сирота, М.А. Дрюченко // Сборник трудов Международной научно-технической конференции «Кибернетика и технологии XXI века (С&Т 2011г.)- - Воронеж, 2011. -Т.1. - С. 48-54.

8. Митрофанова, Е Ю. Нейросетевые технологии создания цифровых водяных знаков в аудио-файлах / ЕЮ. Митрофанова, A.A. Сирота, М.А. Дрюченко // Сборник трудов XII Международной научно-технической конференции «Информатика: проблемы, методология, технологии». - Воронеж, 2012. -Т.1. - С. 361-362.

9. Митрофанова, Е Ю. Адаптивные алгоритмы создания цифровых водяных знаков на основе сжимающих отображений / Е Ю. Митрофанова, A.A. Сирота, М.А. Дрюченко // Сборник трудов Международной научно-технической конференции «Кибернетика и технологии XXI века (С&Т 2013г.). - Воронеж, 2013. -Т. 1. - С. 44-50.

10. Митрофанова, Е Ю. Нейросетевые функциональные модели преобразования данных и алгоритмы создания ЦВЗ при реализации сжимающих отображений гетероассоциативного типа / Е Ю. Митрофанова, A.A. Сирота, М.А. Дрюченко // Сборник трудов XIV Международной научно-технической конференции «Информатика: проблемы, методология, технологии». - Воронеж, 2014. -Т.2.-С. 165-170.

Работы JV: 1-3 опубликованы в изданиях, соответствующих перечню ВАК РФ.

Подписана в печать 22.04.14. Формат 60x84 '/,6. Усл. печ. л. 0,93. Тираж 100 экз. Заказ 379.

Отпечатано с готового оригинал-макета в типографии Издательского дома ВГУ. 394000, Воронеж, ул. Пушкинская, 3

Воронежский государственный университет

Митрофанова Елена Юрьевна

НЕЙРОСЕТЕВЫЕ СЖИМАЮЩИЕ ПРЕОБРАЗОВАНИЯ ДАННЫХ И АЛГОРИТМЫ СОЗДАНИЯ ЦИФРОВЫХ ВОДЯНЫХ ЗНАКОВ В ОБЪЕКТАХ МУЛЬТИМЕДИА ГРАФИЧЕСКИХ И ЗВУКОВЫХ ФОРМАТОВ

Специальность 05.13.17 - «Теоретические основы информатики»

Диссертация на соискание ученой степени кандидата технических наук

На правах рукописи

0420П59431

Научный руководитель

доктор технических наук, профессор А. А. Сирота

Воронеж, 2014

Содержание

Введение...........................................................................................................................4

1. Анализ известных методов и алгоритмов создания цифровых водяных знаков..............................................................................................................................17

1.1. Методы компьютерной стеганографии..........................................................18

1.2. Применение компьютерной стеганографии для создания цифровых водяных знаков...........................................................................................................30

2. Нейросетевые функциональные модели преобразования данных и их применение для разработки универсальных алгоритмов создания цифровых водяных знаков...............................................................................................................53

2.1. Теоретические обоснования возможности построения сжимающих преобразований данных на основе нейронных сетей персептронного типа........54

2.2. Восстановление параметров векторной регрессии при обучении нейронной сети по прямым и косвенным наблюдениям...........................................................56

2.3. Теорема о сходимости весов двухслойной линейной нейронной сети при построении оптимальных линейных оценок случайных векторов.......................62

2.4. Базовые алгоритмы создания цифровых водяных знаков при использовании в качестве контейнеров статистических эквивалентов сигналов и изображений................................................................................................................74

2.4.1. Нейросетевые функциональные модели преобразования данных и базовый алгоритм создания ЦВЗ при реализации отображений автоассоциативного типа........................................................................................75

2.4.2. Нейросетевые функциональные модели преобразования данных и базовый алгоритм создания ЦВЗ при реализации отображений гетероассоциативного типа....................................................................................87

3. Алгоритмы создания цифровых водяных знаков для объектов графических и звуковых форматов представления данных................................................................99

3.1. Модели и алгоритмы создания цифровых водяных знаков для цветных изображений................................................................................................................99

3.2. Модификации алгоритма создания ЦВЗ с целью адаптации по уровню ошибки искажения контейнера и противодействия преобразованиям JPEG.....109

3.3. Модели и алгоритмы создания цифровых водяных знаков для аудиофайлов........................................................................................................................121

4. Исследование характеристик цифровых водяных знаков для реальных объектов. Описание программного комплекса для создания цифровых водяных знаков.............................................................................................................130

4.1. Типовые методики оценки качества цифровых водяных знаков...............130

4.2. Программный комплекс для создания цифровых водяных знаков с использованием нейросетевых функциональных моделей преобразования данных в интересах защиты авторских прав на объекты электронного контента.....................................................................................................................150

Заключение.............

Список литературы

171

4

Введение

На современном этапе развитие информационных систем и технологий, глобальных компьютерных сетей и средств мультимедиа стимулирует разработку новых методов анализа, хранения, воспроизведения и передачи данных по каналам информационных коммуникаций. К их числу относятся методы и средства обеспечения высоконадежной обработки данных в информационных структурах и системах, методы повышения надежности и безопасности использования информационных технологий. В настоящий момент одним из востребованных подходов в этой области является применение технологий, базирующихся на использовании методов компьютерной стеганографии, позволяющих скрытно встраивать необходимые данные в любые информационные массивы и объекты цифрового контента (ОЦК) (файлы аудио и видеоданных, файлы текстовых форматов, неподвижные изображения и пр.). Указанные технологии широко используются при решении задач создания защищенной связи и передачи данных, аутентификации пользователей, создания цифровых водяных знаков и камуфлирования программного обеспечения. Технологии цифровых водяных знаков (ЦВЗ) успешно используются для решения задач подтверждения авторского права по отношению к ОЦК, контролю их использования авторизованными пользователями и другими лицами, подтверждения подлинности и надежности используемых копий программных средств и мультимедиа объектов.

Методы компьютерной стеганографии основаны на том, что процесс встраивания последовательности данных в исходных объект цифрового контента носит скрытый характер, при этом не нарушается целостность и функциональность ОЦК. Компьютерная стеганография базируется на двух принципах:

файлы, содержащие оцифрованное изображение или звук, могут быть до некоторой степени видоизменены без потери функциональности;

человеческие органы восприятия неспособны различить незначительные изменения в цвете изображения или качестве звука.

% i

Наибольшее распространение в компьютерной стеганографии получили методы, основанные на использовании избыточности современных мультимедиа файлов, позволяющие передавать достаточно большой объем скрываемой информации, сохраняя при этом высокий уровень качество ОЦК и возможность их использования по основному назначению.

В области компьютерной стеганографии известны работы отечественных ученых [1, 5, 6, 11, 19, 48] и, прежде всего, В. Г. Грибунина, A.B. Аграновского, A.B. Балакина, И. М. Окова, И. В. Туринцева, В. А. Хорошко, А. Д. Азарова, M. Е. Шелеста и др. Кроме того, вопросы стеганографического скрытия информации в свое время рассматривали зарубежные исследователи: Симмонс (G.J. Simmons), Д. Фридрич (J. Fridrich), Р. Андерсон (R. Anderson), В. Бендер (W. Bender), H. Моримото (N. Morimoto), К. Качин (С. Cachin), И. Питас (I. Pitas), X. Фарид (Н. Farid), К. Салливан (К. Sullivan) и другие [49, 51, 52, 60-62]. Результаты исследования стеганографических алгоритмов на устойчивость приводят в своих работах Д. Фридрич (J. Fridrich). Р. Попа (R. Popa), H. Джонсон (N. Johnson), С. Волошиновский (S. Voloshynovskiy) [54-56, 60, 80, 83]. Также необходимо отметить работы Б. Пфицманна (В. Pfitzmann), Б. Шнайера (В. Schneier) и С. Кравера (S. Craver) по вопросам согласования терминологии и формирования базовых стеганографических протоколов [57, 79, 81].

Как уже отмечалось, одно из важных направлений компьютерной стеганографии, получившее широкое распространение в последнее время, связано с применением технологий цифровых водяных знаков [5, 6, 7, 11, 21, 22, 48, 56, 82]. ЦВЗ представляют собой специальные метки, внедряемые в файл, в цифровое изображение или цифровой сигнал в целях контроля их правомерного использования. ЦВЗ делятся на два типа — видимые и невидимые. Видимые ЦВЗ довольно просто удалить или заменить. Для этого могут быть использованы графические или текстовые редакторы. Невидимые ЦВЗ представляют собой встраиваемые в компьютерные файлы метки, не воспринимаемые человеческим глазом или слухом. Для эффективного применения технологий ЦВЗ, необходимо выполнить ряд противоречивых требований, а именно: обеспечить аудио - и

визуальную незаметность сообщений, сохранить исходное качество исходного контейнера и, одновременно, обеспечить высокую достоверность извлечения сообщения с учетом возможных непреднамеренных и преднамеренных воздействий в канале передачи информации. Указанные противоречия не снимаются в полной мере в известных методах и алгоритмах создания ЦВЗ [6,8,11,19,48].

Проблемой разработки методов встраивания и декодирования цифровых водяных знаков занимались многие отечественные и зарубежные ученые [1,5, 11, 23, 49, 60]: В.Г. Грибунин, A.B. Аграновский, A.B. Балакин, В.А. Митекин, И.В. Туринцев, А.Н. Фионов, К. Качин (С. Cachin), Р. Андерсон (R. Anderson), X. Фарид (Н. Fand), К. Салливан (К. Sullivan), Д. Фридрич (J. Fridrich), H. Провос (N. Pravos) и др. Наиболее популярные программы для реализации технологии внедрения невидимых меток (MyPictureMarc, EIKONAmark 4.5.1, StegMark, SandMark, StegSign, StegSafe и пр.) основаны на алгоритмах, полученных в рамках подобных научных исследований. Так как методы создания цифровых водяных знаков начали разрабатываться совершенно недавно, то здесь имеется много нерешенных проблем.

Одной из них является проблема сохранения качества маркируемых при внедрении ЦВЗ файлов при их использовании по основному назначению в сочетании с устойчивостью встраиваемых меток к возможным преобразованиями контейнера (зашумлению, аффинным трансформациям, обрезке, цифро-аналоговому и аналогово-цифровому преобразованиям, сохранению в другом формате и пр.) и обеспечении достоверности дальнейшего восстановления ЦВЗ.

Кроме того, большинство известных алгоритмов создания ЦВЗ имеет один общий недостаток: используемые в данных алгоритмах процедуры встраивания информации в объекты, представленные в виде цифрового контента (файлы аудио и видеоданных, неподвижные изображения и пр.), реализуют строго определенные последовательности операций преобразования данных, образующие конечное множество вариантов, которые могут быть идентифицированы и вскрыты. Также, к недостаткам большинства известных

алгоритмов встраивания ЦВЗ также можно отнести жесткую зависимость от формата файла, трудоемкость вычисления цифровых водяных знаков, возможное заметное ухудшение качества маркируемого файла (например, изображения) при встраивании метки, и кроме того, в ряде алгоритмов для извлечения цифрового водяного знака необходимо иметь исходный (немаркированный) файл.

Для преодоления вышеперечисленных недостатков известных алгоритмов перспективной задачей представляется дальнейшее развитие и разработка новых технологий создания ЦВЗ, обладающих невысокой сложностью внедрения и детектирования, визуальной незаметностью, адаптируемостью и универсальностью, хорошей устойчивостью к различного рода искажениям и трансформациям защищаемого цифрового объекта, возможностью обнаружения цифровой метки без исходного немаркированного файла. В этом плане перспективным подходом, который может быть использован для реализации новых алгоритмов создания ЦВЗ является применение нейросетевых технологий обработки информации [13,43,55,74].

В работах [54,76] аппарат нейронных сетей при формировании последовательности ЦВЗ не используется, а применяется только для восстановления или обнаружения скрытой последовательности ЦВЗ. В работе [34] разработана модель предсказателя значений среднечастотных коэффициентов матрицы дискретных косинусных преобразований (ДКП), отличающаяся использованием аппарата искусственных нейронных сетей, позволяющая оценить искажения изображения в процессе внедрения в него ЦВЗ с учетом нелинейности зависимости значений ДКП коэффициентов.

В работах [15,24-28,72] рассматривался принципиальный подход, основанный на построении нейросетевых функциональных моделей преобразования данных, в рамках которого специально обученные нейронные сети используются для реализации скрывающих и восстанавливающих преобразований. Показано, что при использовании предложенных в этих работах алгоритмов обработки информации процесс встраивания данных в файл-контейнер носит существенно менее прозрачный характер, чем в большинстве

известных алгоритмов стеганографии. Данный подход позволяет, в частности, реализовать создание ЦВЗ в файлах данных вещественных форматов. Однако предложенные в [25,36] алгоритмы встраивания не является достаточно эффективными для защиты объектов, имеющих целочисленные форматы представления данных.

В целом необходимо отметить, что применение нейросетевых технологий обработки информации принципиально позволяет решить две проблемы, связанные с созданием ЦВЗ, а именно: реализовать функциональный подход к построению алгоритмов встраивания (кодирования) и извлечения (декодирования) ЦВЗ и, одновременно, обеспечить универсальный характер выполняемых при этом преобразований информации. Как показывают предварительные исследования, именно функциональный характер выполняемых с помощью нейронных сетей преобразований (в отличие от классического алгоритмического подхода) и применение искусственных нейронных сетей различных типов для реализации технологий цифровых водяных знаков, позволяет обеспечить меньшую «прозрачность» процесса встраивания и хороший компромисс между визуальной незаметностью, устойчивостью внедрения цифровых меток и объемом используемых вычислительных ресурсов.

Таким образом, тема диссертации, посвященная разработке и исследованию нейросетевых функциональных преобразований, реализующих сжимающие отображения данных, и на их основе - алгоритмов создания цифровых водяных знаков для ОЦК графических и звуковых форматов, представляется актуальной.

Тема диссертации входит в план научно-исследовательских работ Воронежского государственного университета по кафедре технологий обработки и защиты информации и непосредственно связана с научным направлением Воронежского государственного университета «Математическое моделирование, программное и информационное обеспечение, методы вычислительной и прикладной математики и их применение к фундаментальным и прикладным исследованиям в естественных науках».

Тема диссертации соответствует паспорту специальности 05.13.17 — «Теоретические основы информатики» по следующим областям исследований: разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений (п.5 паспорта специальности); разработка методов обеспечения высоконадежной обработки информации и обеспечения помехоустойчивости информационных коммуникаций для целей передачи, хранения и защиты информации; разработка основ теории надежности и безопасности использования информационных технологий (п.11 паспорта специальности).

Целью работы является обоснование и исследование моделей и алгоритмов создания цифровых водяных знаков, основанных на построении нейросетевых сжимающих отображений, в интересах повышения скрытности и устойчивости, а также обеспечения универсальности алгоритмов создания ЦВЗ по отношению различным форматам объектов цифрового контента.

Объектом исследования являются информационные структуры и процессы, обеспечивающие создание и применение цифровых водяных знаков.

Предметом исследования являются нейросетевые модели и алгоритмы преобразования информации в интересах создания цифровых водяных знаков в объектах цифрового (электронного) контента.

Задачи исследования. Для достижения цели в работе рассматриваются и решаются следующие задачи.

1. Анализ известных методов и алгоритмов создания цифровых водяных знаков в объектах цифрового контента.

2. Проведение теоретических обоснований и исследований моделей преобразования данных, основанных на построении нейросетевых сжимающих отображений, обеспечивающих универсальный характер процесса создания цифровых водяных знаков в объекты-контейнеры различных классов.

3. Разработка и исследование нейросетевых функциональных моделей и алгоритмов преобразования данных, обеспечивающих реализацию процесса

встраивания ЦВЗ в исходные объекты-контейнеры и их последующее извлечение при минимальном уровне искажений исходного контейнера. Проведение экспериментальных исследований возможностей разработанных алгоритмов создания ЦВЗ для реальных контейнеров (файлов графических и звуковых форматов).

4. Разработка методик анализа статистической заметности и возможности восстановления встроенной последовательности ЦВЗ сторонним наблюдателем для оценки качества ЦВЗ в объектах графических форматов, а также обоснование рекомендаций относительно возможности использования разработанных класса алгоритмов для решения различного класса задач. Разработка программных средств для моделирования предложенных алгоритмов создания ЦВЗ.

Методы проведения исследования. При решении исследований использовались методы и подходы современной теории информационных процессов и систем, а именно: методы теории статистических решений; методы теории вероятностей и математической статистики; технологии объектно-ориентированного программирования; теория случайных процессов и полей методы и технологии статистического имитационного моделирования; методы цифровой обработки и распознавания сигналов и и