автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.19, диссертация на тему:Разработка и исследование алгоритмов и методик идентификации цифровых устройств записи по создаваемым ими цифровым образам

На правах рукописи 004606207

Чумаченко Анатолий Борисович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ АЛГОРИТМОВ И МЕТОДИК ИДЕНТИФИКАЦИИ ЦИФРОВЫХ УСТРОЙСТВ ЗАПИСИ ПО СОЗДАВАЕМЫМ ИМИ ЦИФРОВЫМ ОБРАЗАМ

05.13.19 - Методы и системы защиты информации, информационная безопасность

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Ростов-на-Дону 2010

004606207

Работа выполнена в Научно-исследовательском институте физики Южного федерального университета

Научный руководитель: доктор физико-математических, наук,

с. н. с. Панченко Е. М. (г. Ростов-на-Дону)

Научный консультант: кандидат технических наук

Фёдоров В. М. (г. Таганрог)

Официальные оппоненты: доктор технических наук, доцент

Грищенко С. С. (г. Москва)

доктор технических наук, профессор Витиска Н. И. (г. Таганрог)

Ведущая организация: Институт проблем информатики

Российской академии наук (г. Москва)

Защита диссертации состоится «30» июня 2010 г. в 12 часов на заседании диссертационного совета Д 212.208.25 Южного федерального университета по адресу: 347928, Ростовская область, г. Таганрог, ул. Чехова, 2, ауд. И-347.

Отзывы на автореферат просьба направлять по адресу: 347928, Ростовская область, г. Таганрог, пер. Некрасовский, 44. Технологический институт Южного федерального университета в г Таганроге. Ученому секретарю диссертационного советаД212.208.25 Брюхомицкому Ю. А.

С диссертацией можно ознакомиться в Зональной научной библиотеке ЮФУ по адресу: 344007, г. Ростов-на-Дону, ул. Пушкинская, 148.

Автореферат разослан « __2010 г.

Ученый секретарь диссертационного

кандидат технических наук

совета Д 212.208.25

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Особенность проблемы защиты информации состоит в ее многогранности. Распространение цифрового представления медиа-контента и устройств для его воспроизведения привели к практически полному вытеснению аналоговой техники записи. Однако вместе с тем стало ясно, что в связи с простотой копирования информации в цифровом представлении и отсутствием деградации качества при её копировании, а также возможностью копирования медиа-информации из аналогового представления (analog-hole), неустранимой принципиально, актуальной является задача разработки новых методов как защиты медийных данных от несанкционированного копирования, так и средств встроенной защиты звукозаписывающей аппаратуры от использования в целях производства контрафактной продукции. Другой не менее актуальной задачей является задача установления происхождения цифровых образов, в частности, сложности с установлением авторства и подлинности цифровых фотографий, т. к. создание и манипуляция цифровыми образами аналоговых сигналов, в частности фотографическими изображениями, аудио- и видеозаписями при помощи широко доступного специализированного программного обеспечения достаточно просты. Проблемы, которые встают при установлении подлинности цифровых изображений включают установление фактов: действительно ли образ - оригинальный, либо он подвергался монтажу, был ли получен анализируемый образ при помощи устройства записи, предъявленного на экспертизу, модифицировались ли данные на носителе либо область данных файла образа после его создания? При этом отдельно следует отметить, что вопросы, связанные с возможностью идентификации цифровых устройств записи, по созданным ими цифровым образам, имеют очень большое значение при проведении сотрудниками правоохранительного блока оперативно-розыскной деятельности (ОРД). Так как установление фактов принадлежности между изъятыми в ходе ОРД цифровыми образами и конкретными образцам цифровых устройств записи позволило бы не только сузить круг подозреваемых, но и возможно выйти на лицо, совершившее преступление.

Наиболее распространенным методом защиты от несанкционированного копирования и обнаружения изменений является использование цифровых водяных знаков (ЦВЗ) - трудноудалимых меток, встраиваемых в защищаемый объект. В отличие от обычных водяных знаков, ЦВЗ могут быть не только видимыми, но и, как правило, - невидимыми. Однако, во многих случаях при создании цифровых мультимедийных данных, встраивание ЦВЗ средствами устройства записи реализовать невозможно. В качестве такого примера можно привести получение фотоснимка при помощи серийной фотокамеры, запись звука на цифровой диктофон, когда цифровой образ аналогового сигнала не

содержит ЦВЗ. Применение ЦВЗ подразумевает использование вычислительных устройств и специального программного обеспечения для их встраивания и анализа. Таким образом, несмотря на то, что ЦВЗ были предложены как инструмент, призванный обеспечить подлинность фотографий, большинство существующих фотографий их не содержит; такая ситуация сохранится и в обозримом будущем. Сами методы встраивания ЦВЗ начали разрабатываться сравнительно недавно, т. к. сама цифровая стеганография, как наука родилась буквально в последние годы, в связи с чем до настоящего времени имеется много неясных проблем, требующих своего разрешения. Следовательно, при отсутствии широко распространённого встраивания цифровых водяных знаков в цифровые контейнеры необходимо разработать алгоритмы, которые могут помочь в установлении подлинности цифровых фотографий. Аналогичные проблемы возникают и при анализе других цифровых мультимедийных данных, в частности, аудиофайлов, поэтому необходимы методики идентификации цифровых данных по особенностям, возникающим при их создании.

Целью работы диссертационной работы является разработка и исследование алгоритмов и методик идентификации цифровых мультимедийных данных, полученных с цифровых устройств записи, для установления происхождения цифровых данных и исследования их аутентичности.

Исходя из поставленной цели, определяется перечень задач исследования:

- выработка требования к системе аутентификации, эффективно решающей задачу распознавания предъявленных цифровых мультимедийных данных с целью установления их авторства и происхождения;

- разработка алгоритмов и методик выделения признаков, обусловленных программно-аппаратными решениями устройств, в частности, типами используемых сенсоров, модификациями алгоритмов постобработки данных при их преобразованиях в форматы представления;

- разработка алгоритмов и методик идентификации цифровых систем записи;

- проведение экспериментальных исследований оценки точности идентификации устройств записи аудио и визуальных данных.

Объектом исследования диссертации являются средства цифровой обработки сигналов, их анализа, заключающегося в усовершенствовании методик идентификации устройств цифровой записи в интересах обеспечения информационной безопасности объектов, в части - систем установления происхождения цифровых мультимедийных данных.

Методы исследования. В работе использованы основные положения теории цифровой обработки сигналов, спектрального анализа, теории цифровой фильтрации, а также методы распознавания образов, с использованием аппарата искусственных нейронных сетей.

Научная новизна. Разработаны алгоритмы и методики автоматизированной идентификации цифровой визуальной и аудио записи по создаваемым устройствами цифровым образам с учетом возможных искажений изображений и нестабильности частоты дискретизации аудиосигнала.

Практическая ценность работы. Разработанные алгоритмы и методики идентификации могут быть использованы при создании автоматизированных систем классификации цифровых изображений и звуковых данных по устройствам-источникам. На основе разработанных алгоритмов возможна идентификация устройств фото и аудиозаписи, а также отслеживание попыток нарушения авторских прав на медиа-произведения.

Достоверность полученных результатов подтверждается полнотой и корректностью теоретических обоснований и результатами проведённых экспериментов действующих моделей.

Основные научные результаты, выносимые на защиту:

1. Алгоритм и методики идентификации аппаратуры визуальной записи, позволяющей учитывать углы поворота изображения.

2. Алгоритм и методики идентификации цифровой аппаратуры, позволяющие учитывать нестабильность частоты дискретизации аудиосигнала.

3. Экспериментальные оценки основных характеристик разработанных и реализованных средств идентификации цифровых устройств записи.

Использование результатов. Полученные в ходе работы над диссертацией результаты были использованы:

- при проведении исследований по гранту РФФИ 08-07-00253-а «Разработка методов идентификации цифровых аудио и визуальных устройств записи по цифровому образу данных»;

- подразделениями Министерства внутренних дел по Республике Дагестан;

- подразделениями Управления ФСБ России по Республике Дагестан;

- войсковой частью 43573-Р (г. Москва).

Апробация. Полученные при работе над диссертацией результаты были представлены на:

1. Девятой международной научно-практической конференции «ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ - 2007», г. Таганрог.

2. Десятой международной научно-практической конференции «ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ - 2008», г. Таганрог.

3. Третьей Международной научно-технической конференции «Инфоком-муникационные технологии в науке, производстве и образовании» с целью выработки научно-практических рекомендаций по проблеме «Математическое моделирование в управлении, науке и технике», г. Ставрополь (2008).

4. Всероссийской конференции (с международным участием) «Проблемы информатизации общества», г. Нальчик (2009).

Публикации. По теме диссертации опубликовано 10 статей и тезисов докладов, из них 1 статья опубликована в журнале «Известия Таганрогского государственного радиотехнического университета (ТРТУ)», входящего в перечень, рекомендованный ВАК РФ для публикации результатов диссертационных работ.

Объём и структура диссертации. Диссертация состоит из введения, 4-х глав, заключения и списка литературы. Основной текст диссертации состоит из 150 страниц и включает 51 рисунок и 9 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность разработки методов защиты мультимедиа-информации и идентификации цифровых средств аудиозаписи и фиксации изображений, формулируется цель работы, необходимые для её решения задачи, определяется научная новизна и практическая ценность выносимых на защиту результатов работы.

В первой главе рассматриваются основные подходы к установлению происхождения цифровых мультимедиа-образов: методы на основе цифровых водяных знаков (ЦВЗ) и методы анализа особенностей формируемых изображений.

На основе особенностей носителей и краткого обзора процесса фиксации аналоговых образов в современных устройствах цифровой записи на примере цифровых фотокамер предлагается разделение методов идентификации аппаратуры записи по признакам участков канала записи, а именно, аналогового и цифрового, ввиду существенных особенностей, присущих каждому из них.

В главе рассмотрен метод формирования цифрового изображения по оцифрованной информации, считанной со светочувствительной матрицы фотокамеры, проведён обзор существующих методов идентификации на основе дефектов матриц и особенностей алгоритмов цветовой интерполяции.

Другой подход к идентификации цифровых устройств опирается на уникальность программно-аппаратных решений. Применённые производителями устройств записи схемы и алгоритмы обработки оцифрованных аналоговых данных, как правило, различаются в силу особенностей аппаратной базы, оптимизации алгоритмов, различий в подходах к оценке качества получаемых образов.

В связи с отсутствием литературных источников по методам идентификации устройств цифровой записи аудиосигналов, сделаны предположения о возможных причинах возникновения ошибок в записанных цифровых данных и предложены методы идентификации данной аппаратуры.

Таким образом, на основе обзора можно сделать следующее разделение по разработке методик идентификации цифровых устройств записи:

1. Цифровых устройств записи изображения, включающих в себя цифровые фотоаппараты различных типов и сканеры.

2. Цифровых аудиоустройств записи, включающих в себя звуковые платы и цифровые микрофоны.

Во второй главе рассмотрены алгоритмы и методики идентификации аппаратуры цифровой визуальной записи на примере фотоаппаратов и сканеров. При этом рассматриваются тракты записи изображений фотокамерами и сканерами, предлагается модель цифровых устройств записи изображений, выделены два класса признаков, по которым возможно производить идентификацию устройств:

1. Признаки аппаратной части - это отражения устойчивых во времени отклонений характеристик сенсора и последующих блоков обработки, включая АЦП, как отдельного устройства в полученном цифровом образе. В общем случае признаки сенсора позволяют идентифицировать конкретный экземпляр устройства. В частности, для цифровых камер таковыми являются дефекты и отклонения в пределах допусков отдельных светочувствительных элементов, дефекты элементов модуля светочувствительной матрицы в целом и т. д. Для сканеров изображений таковыми являются дефекты и неоднородности светочувствительных элементов линейки сканера, отклонения перемещения каретки сканера от линейного, неравномерность засветки и прижатия к стеклу оригинала и т. д.

2. Признаки алгоритмов постобработки. Цифровой образ, полученный на выходе АЦП цифровых камер и сканеров, подвергается постобработке. В цифровых камерах алгоритмом постобработки, оказывающим наибольшее влияние на полученное изображение, являются алгоритмы восстановления изображения из мозаичной структуры сенсора, повышения контурной резкости и шумоподавления. В цифровых сканерах получаемое изображение может проходить двухуровневую обработку - в самом сканере на основе калибровочных кривых, подавления следов пыли, и на уровне драйвера, где осуществляется повышение субъективного качества изображения.

В главе предлагаются алгоритмы и методики обработки изображений с целью выделения из них отличительных особенностей устройств, при помощи которых они были получены. Представлены алгоритмы формирования векторов признаков и методики их последующей классификации, позволяющие идентифицировать устройство записи по сформированному им цифровому образу. Ввиду того, что алгоритмы постобработки иногда являются общими для всех моделей одного производителя, для выявления эк-земплярно-уникальных признаков необходимо проводить идентификацию по параметрам аналогового участка, т. е. по первому классу признаков.

При разработке практически применимой методики идентификации фотокамер была использована система идентификации фотокамер и сканеров, включающая следующие модули:

- конвертер во входной формат системы;

- детектор факта модификации контейнера;

- формирователь вектора признаков;

- сохранения вектора в базе;

- поиска и извлечения из базы векторов;

- идентификации устройства.

В качестве входного формата для системы идентификации необходимо выбирать формат представления информации без потерь качества. Таким форматом является формат BMP с полноцветным представлением (24 бит/пиксель), в котором представимы все изображения и видеопотоки. Типовыми выходными форматами цифровых фотокамер, преобразуемыми в входной формат системы, являются форматы JPEG и TIFF.

Снижение количества кадров, необходимых для получения усреднённых значений пикселей, может быть достигнуто предварительным выделением из изображения высокочастотной части (шумов). Модели случайных процессов (сигналов) с заданными статистическими характеристиками обычно получают фильтрацией белого шума и с позиции минимального искажения полезного сигнала при максимальном подавлении шумов. Было установлено, что лучшие результаты даёт применение фильтра Винера с размерностью 5x5. В ходе экспериментальных исследований было также установлено, что фильтр Винера обеспечивает лучшую разделимость по сравнению с фильтром, основанным на вейвлет-преобразовании с адаптивным порогом фильтрации.

Применяемый принцип идентификации на основе значений коэффициента двумерной корреляции при повороте анализируемого снимка относительно исходного будет неэффективен вследствие ошибки синхронизации. Следовательно, перед идентификацией снимка необходимо установить факт применения и восстановить первоначальное изображение путем его обратного поворота и масштабирования.

Пример спектрограмм столбцов матрицы ВЧ-составляющей фрагмента изображения размерностью 1024x1024 пикселя, преобразованной по Радону, приведён на рис. 1. На рисунке видны максимумы при значениях углов поворота ВЧ-составляющей, кратных 90°. При переходе от угла 89° к углу 90° наблюдается появление максимумов в амплитудном спектре, а при дальнейшем изменении угла от 90° к 91° их пропадание. Подобное изменение характера амплитудного спектра даёт возможность установить точное значение угла поворота изображения.

Формирование отпечатка матрицы с последующей идентификацией производится согласно разработанным алгоритмам.

400 800 1200

Элемент разрешения по частоте

500 1000 1500

Элемент разрешения но частоте

Рис. 1. Спектрограммы проекций, соответствующих углам поворота 90° (а) и 91° (б) фрагмента изображения 1024x1024 пикселя

Для определения влияния изменения размера изображения (операции «ресайза») было также исследовано влияние коэффициента «ресайза», определяемого как отношение линейных размеров исходного изображения к результирующему, на возможность определения угла поворота изображения при помощи преобразования Радона.

На рис. 2 приведён двумерный график зависимости среднего амплитудного спектра от выбранной проекции преобразования Радона, применённого к изображению с начальным углом поворота в 10°, и от коэффициента «ресайза» изображения (меняющегося от 1 до 0,1 с шагом 0,1) при бикубическом алгоритме «ресайза».

я |

4 0-6

V £ -7

8 " Угол попорота

Рис. 2. Зависимость выраженности максимума от коэффициента масштабирования («ресайза») изображения и угла поворота

¡() Й Коэффициент

масштабирования

Устойчивый максимум при изменяющемся значении коэффициента соответствует выявленному углу поворота изображения. Из рисунка 2 видно, что после операции масштабирования с коэффициентом 0,1, что соответствует уменьшению линейных размеров изображения в 10 раз, максимум, по которому возможно установление угла поворота изображения, может быть выявлен.

На рис. 3 представлен алгоритм идентификации фотокамер с учетом преобразования Радона.

Получение идентифицируемого изображения /т

Выделение ВЧ-составляющеи изображения 1т:ИК1т) наложение весового окна Гаусса на ВЧ-составляющую изображения НЩт): СН1т-Саиз5(НЦ1т)).

Преобразование Радона над ВЧ-составляюшей: Кск/ОТ/т =Каёьп{СШт). Одномерное преобразование Фурье над матрицей ВЧ-составляюшей преобразованной по Радону: ГПЩмЮН1т), Получение индексов максимумов амплитудного спектоа

Поворот изображения на

разностный угол

Вычисление матрицы коэффициентов двумерной корреляции по скользящему окну отпечатка камеры Finger н ВЧ-составляюшей идентифицируемого изображения НЦ!т>: сс Matrix

Поиск превышения порогового значения Thres в матрице ccMatrix

Формирование идентифицирующего сканер набора признаков отличается от формирования признаков для идентификации цифровой фотокамеры.

В фотокамерах применяется двумерная светочувствительная матрица, в то время как в наиболее распространённых планшетных сканерах -линейка светочувствительных элементов, механически перемещаемая вдоль изображения. Планшетные сканеры построены по принципу плоской развертки, при которой считываемый оригинал располагается на плоском подвижном или неподвижном держателе и при сканировании осуществляется построчное считывание изображения. В качестве приемников в большинстве сканеров используются линейные приборы с зарядовой связью (ПЗС), на которые Рис. 3. Алгоритм идентификации камеры объектив или линза проеци-по отпечатку руют изображение строки.

Таким образом, несмотря на то, что идентификация как сканеров, так и фотокамер производится на основе двумерных матриц яркости, идентифицирующие признаки сканера и фотокамеры существенно отличаются. Как показали проведённые исследования, построение образа неоднородностей аналогично применяемому для идентификации камер в целом неэффективно. Причиной этого является намного меньший уровень шумов в сигналах, снимаемых с ПЗС-линеек по сравнению с таковыми для ПЗС и КМОП матриц цифровых камер. Это объясняется тем, что практически всеми моделями сканеров перед чистовым сканированием, а зачастую - и перед каждым сканированием для просмотра изображения и выделения границ области сканирования, выполняется аппаратная калибровка светочувствительной линейки по калибровочной мишени. При помощи калибровки эффективно устраняются смещения точек «черного» и «белого», подавляется эффект виньетирования оптической системы сканера, неравномерность засветки лампой оригинала.

Модель изображения, полученного при помощи сканера, можно представить в следующей форме. Пусть абсолютное количество фотонов, попадающее на площадь сенсора (пикселя) светочувствительной линейки в каждый момент времени, соответствует х., где i = l..m, т - разрешение светочувствительной линейки в пикселях. Обозначив дробовой шум как ц , аддитивный шум вследствие шумов чтения и т. д. как е., темновые токи как с , выходное значение сенсора у. может быть выражено в следующем виде:

=Д*,- + п) + с,. + е-

Значения f . очень близи к 1 и являются мультипликативным fixed pattern random noise (PRNU)-«myMOM», который в сканерах подавляется при калибровке, проходящей как во время включения, так и перед сканированием.

Ввиду того, что светочувствительная линейка одномерна, а двумерное изображение восстанавливается при перемещении данной линейки вдоль направления сканирования, значения f будут близки для пикселей одного и того же столбца (вдоль направления сканирования). Основное влияние не точность измерения оказывают непостоянство светового потока от лампы, работа механической части сканера, электромагнитные наводки.

Таким образом, пиксельный столбец одного из основных цветов изображения несет информацию о светочувствительности соответствующего элемента линейки. Для формирования оценки светочувствительности из каждого полноцветного немасштабированного изображения, полученного с идентифицируемого сканера, производилось выделение высокочастотной составляющей цветовых компонент при помощи фильтра Винера, аналогично фильтрации изображений с цифровых камер с последующим усреднением по всем изображениям выборки, на которой строится отпечаток сканера:

Z ^«с -Wiener(lk)

j _ к=I._

Затем находится оценка значения математического ожидания для каждого столбца пикселей: ^ RGB(i,j)

_ ¿=1..height

ßi'c" ~ height

Для полученных значений оценки математического ожидания ВЧ-состав-ляющей пиксельных столбцов длины L находится значение автокорреляции при сдвиге пиксельной строки в интервале сдвига от lsh е [-/,/]. Автокорреляция полученной одномерной матрицы является отпечатком сканера:

Ю*а> = ffi^RGB)' conj{fft{nRGB)).

Последовательность этапов при идентификации сканеров повторяет последовательность при идентификации фотокамер. При создании отпечатков сканеров необходимо выполнение тех же требований к использующимся изображениям, что и при построении отпечатков камер - отсутс-

твие постобработки либо идентичная постобработка всех изображений, использованных для построения базы. Идентификация сканера по отпечатку производится вычислением коэффициента одномерной корреляции между полученным после усреднения отпечатком и отпечатком, полученным с анализируемого сканера.

Для возможности идентификации изображений, к которым после получения была применена операция поворота, предложенный статистический метод был модифицирован с учетом специфики процесса формирования изображений в сканерах. Для обеспечения стойкости к атакам на детектор, заключающимся в повороте исходного изображения на малый угол, в составе методики предлагается алгоритм обнаружения и оценки угла поворота на основе преобразования Радона с анализом спектральных максимумов проекций.

В третьей главе разработан алгоритм и предлагается методика идентификации звуковых карт и цифровых микрофонов.

При анализе цифровых образов, получаемых с устройств цифровой записи звука, можно выделить две группы признаков, по которым можно идентифицировать устройства записи звука - признаки аппаратной части и признаки алгоритмов постобработки.

Упрощенная последовательность обработки аудиосигналов звуковой картой приведена на рис. 4.

-1|-и-,

Аналоговый участок Цифровой участок Аналоговый участок

Рис. 4. Обработка сигнала в звуковой плате

В случае с цифровым микрофоном структурная схема упрощается, так как остаётся только канал записи с микрофона.

При работе микрофонного усилителя возможны появления следующих типов искажений записываемого сигнала:

- погрешность, связанная с нелинейной зависимостью коэффициента усиления сигнала;

- погрешность, связанная с отклонением выходного значения микрофонного усилителя от нулевого значения.

Исследованием установлено, что имеется сдвиг речевого сигнала относительно нулевого уровня на определенный уровень, причем сдвиг меняется от экземпляра звуковой платы к экземпляру. Сдвиг нулевого уровня сигнала относительно нуля выхода звуковой карты № 1, использованной при проведении экспериментов, составляет для сигнала, записанного через линейный вход, 24 дБ, а для сигнала, записанного через микрофонный вход, 3 дБ. Для звуковой карты № 2 он же составляет 10 дБ, причем для второй звуковой карты сдвиг происходит в отрицательную область.

Из анализа литературных данных, погрешность коммутатора не превосходит 0,005 %, погрешности от остаточного напряжения на ключах коммутатора носит характер аддитивной случайной величины и, как правило, является настолько малой, что ею также можно пренебречь.

Таким образом, при записи сигнала через микрофонный вход во многих звуковых картах происходит сдвиг нулевого уровня сигнала относительно нулевого уровня выходного сигнала, причем анализ, проведенный для исследованных звуковых карт показал разброс от -ЗдБ до -ЗОдБ при сдвиге как в положительную, так и в отрицательную область относительно нулевого значения выходного сигнала тракта звуковой карты.

При записи сигнала через линейный вход, сдвиг нулевого уровня сигнала относительно нулевого уровня выходного уровня звуковой платы незначителен и не превышает уровня ЗдБ относительно максимального уровня выходного сигнала.

Погрешности сигма-дельта АЦП

Для оценки искажений сигма-дельта АЦП можно воспользоваться следующим приемом. Рассмотрим спектрограмму шумового аудиосигнала с гауссовым распределением и спектрограмму этого же сигнала, записанного с помощью звуковой карты. Ширина окна анализа выбрана равной 23 мсек. Как видно из рис. 5, при прохождении сигнала по тракту записи звуковой карты наблюдаются частотные искажения, выраженные в усилении и ослаблении частотных полос в сигнале. Такие искажения носят регулярный характер и индивидуальны для каждого исследованного образца звуковой карты.

Существенный вклад в набор идентифицирующих признаков вносят также внутренние и внешние наводки, определяемые аппаратно-программной конфигурацией и условиями эксплуатации.

Таким образом, для цифровых микрофонов и аудиокарты признаками аппаратной составляющей являются отклонения от средней АЧХ микрофона данного типа, внутренние наводки на аналоговую часть, отклонения характеристик АЦП, нестабильность генераторов тактовой частоты и т. д.

Рис. 5. Спектрограмма белого шума с гауссовым распределением а) и спектограмма шума после прохождения тракта записи звуковой карты б)

Признаки алгоритмов постобработки являются вторым классом признаков. В цифровых микрофонах и аудиокартах их вносят эквалайзинг (выравнивание АЧХ) при помощи цифровой фильтрации, подавление эхо-эффекта, адаптивная фильтрация.

Для идентификации цифровых устройств записи были исследованы три различные методики:

- идентификация по набору стационарных составляющих, присутствующих в сигнале;

- идентификация на основе векторов признаков, классифицируемых далее при помощи искусственных нейронных сетей;

- идентификация на основе смешанных гауссовых моделей. Для идентификации цифровых микрофонов на основе особенностей

тракта звукозаписи разработана следующая методика. В первую очередь производился поиск и идентификация стационарных составляющих и их гармоник. Для оценки стационарности применялось преобразование Табора, являющееся видом кратковременного преобразования Фурье (8ТРТ). На рис. 6 показана последовательность выполнения операций при выполнении методики идентификации цифровых микрофонов.

Однако применение преобразования Фурье к нестационарным сигналам, в частности речевым, не позволяет делать заключение о частотных характеристиках сигнала в данной временной области. Для анализа сигнала как в частотной, так и временной области используется кратковременное преобразование Фурье. Этот подход основан на предположении, что речевой сигнал слабо меняется на участках длиной порядка 10-25 мс, что позволяет разбивать сигнал на участки с последующим частотным анализом. Кратковременное преобразование Фурье можно интерпретировать как сглаженное Фурье-преобразование участка сигнала, попавшего в окно. Сравнение спектров сигналов, полученных с помощью прямоугольного окна и окна

14

Хемминга, что имеется как сходство сигналов (наличие равномерно расположенных пиков гармоник от основного тона, форман-тные пики и т. д.), так и различие, а именно, зашумленный пик, наличие гармоник от пиков основного тона и формантных пиков.

Из-за наличия пиков от гармоник основного тона и формант, как правило, в обработке речевых сигналов прямоугольное окно не используется, а тип окна определяется в зависимости от задач, решаемых в конкретном случае. Дальнейшим развитием кратковременного преобразования Фурье и использованием окон при спектральном исследовании сигналов, в том числе и речевых, является применение преобразования Габора, в котором роль оконной функции выполняет окно Гаусса.

Применение окна Гаусса сглаживает пики основного тона и формантные пики, удаляя гармоники из анализа. Степень сглаживания зависит от параметра а: чем больше данный параметр, тем сильнее сглаживание.

Ввиду стационарности сигналов для их однозначного описания достаточно двух величин - амплитуды и фазы. Для выделения амплитуды сигналов были протестированы поиск экстремумов, среднего значения и медианы по временной оси окон преобразования Габора. Наилучшие результаты (по превышению пиковыми значениями значений окрестности) были получены при использовании оценки среднего и медианного значений, при этом последнее показало большую стойкость при анализе окон сигналов с помехами (речь). Для исследования гармоник выделенных пиков в амплитудной области производился анализ также и фазовых компонент, в частности первой производной развернутой фазы. Пример первой производной фазового спектра и медианные значения первой производной фазы по гармоникам приведены на рис. 7.

При проведении экспериментов не было отмечено изменения расположения и количества новых гармоник (для каждого микрофона было протестировано более 300 записей). В отдельных случаях наблюдался синхронный сдвиг по частоте всех гармоник, вследствие чего при разработке алгоритма построения профиля, а также при идентификации микрофона было применено выравнивание по общим максимумам частотных элементов профилей микрофона и профиля, восстановленного из анализируемой

Рис. 6. Структура выполнения идентификации цифровых микрофонов

записи. Выравнивание производилось при помощи сдвига на величину смещения пика корреляционной функции профилей.

Оценка принадлежности рассматриваемого профиля к одному из микрофонов может быть произведена путём вычисления коэффициента двумерной корреляции матрицы профиля микрофона и анализируемого сигнала:

res = . '" " •

Модель звуковых плат, основанная на стационарных составляющих

Известно, что сигнал, записанный при помощи аналоговой техники, несёт особенности тракта звукозаписи, в частности, возникшие по разным

причинам стационарные составляющие. Для аналоговых диктофонов и магнитофонов они могут представлять собой наводки со стороны генераторов стирания и подмаг-ничивания, осветительной сети, другой работающей техники, акустического фона помещения (частоты строчной и кадровой развёрток телевизионных приёмников и т. п.).

В цифровой автономной звукозаписывающей технике участок от сенсора до АЦП, на котором присутствует аналоговый сигнал, как правило, минимизирован по длине и защищён от внешних наводок. Определяющий вклад в уровень стационарных составляющих в этом случае вносят внутренние наводки устройства и акустический фон помещения.

При проведении экспериментальных исследований было установлено, что в сигналах, записанных с микрофонных входов звуковых карт, спектрограммы которых приведены на рис. 8, присутствует множество стационарных составляющих. При получении спектрограмм были использованы следующие параметры: базис Фурье, длина окна - 8192 отсчёта, коэффициент перекрытия окон - 0,875, весовое окно Гаусса. Было установлено, что данные составляющие обладают рядом гармоник, их набор уникален для каждой

1 тШ '

1 150

я 2001'

е »шгЩ^^

I" 0 1000 2000 3000 4000

Элемент разрешения по частоте

ЕЙ'' ' '

В- я

Ч I' 0 Ш00 2000 3000 4000

:= Элемент разрешения по частоте

Рис. 7. Первая производная развёрнутой фазы и логарифм среднего значения дисперсии производной развёрнутой фазы

исследованной карты и стабилен во времени, но может с течением времени синхронно перемещаться по частоте, что позволяет использовать их в качестве идентифицирующих признаков. Для их обнаружения и оценки было применено преобразование Габора, являющееся видом кратковременного преобразования Фурье (STFT), а БПФ с весовыми окнами Хемминга и Ханна.

Построение спектрограмм, использованных для выделения стационарных составляющих, производилось следующим образом. Анализируемый участок sa речевого сигнала S разбивался на окна с перекрытием:

sa — {ipSj ...,^} .

wiftj = {swjnkn.(j_ ij-M+mWii/HM)

Swinlen(i-\)+2++winshiftii-\)-"'

S \

winlen(i-\)+winlen++ winshiß (/-1) h

. , ,r winlen . , ,.

winshijt =-, i = l..N ,

4

где s. - отсчёты сигнала, N- количество окон на интервале, winshift - сдвиг окна на шаге, зависящий от требований к локализации по времени (для оценки составляющих применялся сдвиг от 1.8 до % длины окна), winlen -длина окна. Перед выполнением ДПФ окно обрабатывается функцией Гаусса, Хемминга либо Ханна.

Вертикальные линии на сонограммах, приведённых на рис. 6, являются стационарными составляющими, внесёнными каналом записи. Для их однозначного описания достаточно двух величин - амплитуды и фазы.

Для выделения стационарных составляющих из фрагмента записи могут быть использованы следующие функции:

min - нахождение минимального значения столбца амплитудно-временного спектра (исходя из предположения о проявлении постоянных составляющих на фоне отсутствия сигнала записи);

median - нахождение медианного значения столбца амплитудно-временного спектра;

mean - среднее значение столбца спектрограммы. В ходе проведения экспериментов было установлено, что спектральные максимумы из участка речевого сигнала возможно выделить с наибольшим отношением «сигнал/шум» при помощи медианной фильтрации.

При проведении экспериментальных исследований применение весового окна Хемминга показало преимущества в отношении сигнал/шум по сравнению с окнами Ханна, Гаусса и Блекмена на всех проанализированных файлах, полученных при помощи звуковых карт. Превышение амплитуды наблюдалось на спектрограммах сигналов, как полученных с внешних, так и с внутренних звуковых карт.

Выделение стационарных составляющих в амплитудном спектре S сигнала производится в соответствии с алгоритмом:

smi = med(S(i: i + s)),

sv, = cr([S(i :/ + [_£/ 2- width / 2J), S(i+(_e / 2+ width / 2J: i + г)]), value(i) = sm,. + Злл, value(i) = value(i + e / 2 : end), fvalue(i) < S(i): i t peaks \value(i) > S(J) : i e peaks, где med- операция медианной фильтрации; a - среднеквадратичное отклонение; е - радиус окрестности поиска максимума; width - радиус выделяемых максимумов; peaks - множество обнаруженных максимумов.

г •>' а Щ-

О 1000 2000 3000 4000 5000 Frequency (Hz)

1000 2000 3000 4000 5000 Frequency (Hz)

2000 3000 4000 5000 Frequency (Hz)

Рис. 8. Примеры спектрограмм одного акустического сигнала, записанных при помощи разных звуковых карт (ось времени совпадает с осью ординат)

Для дополнительного исследования гармоник выделенных пиков в амплитудной области, а также для обнаружения гармоник, выделение которых в амплитудной области невозможно ввиду особенностей записанных сигналов (высокий уровень квазистационарных составляющих, удаление пауз) может производиться анализ фазового спектра. Для этого формируется массив фазовых составляющих phi* и производится анализ их производных

18

по оси времени. Для анализа изменений фазы целесообразно использовать первую и вторую производные развёрнутой фазы phi. В отсутствии максимумов значений первой производной фазового спектра для поиска гармоник может использоваться также его вторая производная.

При цифровой обработке сигнала в современных звуковых платах, акустический сигнал оцифровывается с помощью дельта-сигма преобразователей, представляющих систему последовательно включенных интегрирующих цепочек, прореживающего устройства и фильтров для устранения искажений. Акустический сигнал в данном случае рассматривается как результат работы некоторой системы фильтров, возбуждаемых импульсами, возникающими при работе остальной части схемы, параметры которых требуется найти. Поскольку параметры для каждой звуковой платы индивидуальны и зависят от использованных элементов, то, соответственно, и рассчитанные параметры будут иметь характерные распределения.

Для описания такой системы оцифровки сигнала возможно использование кепстрального анализа, различных форм представления (кепстрального анализа на основе Фурье преобразования, вычисление кепстральных коэффициентов на основе коэффициентов линейного предсказания).

С помощью коэффициентов линейного предсказания вычисляется сглаженный спектр сигнала, однако такой спектр сигнала зависит от интенсивности исследуемого сигнала, что затрудняет использование коэффициентов линейного предсказания в задачах распознавания.

Наиболее адекватно работу формирователей речевых сигналов описывают две модели: модель на основе гауссовских смешанных моделей и нейронные сети. Было проведено исследование работы этих моделей с проведением сравнения их эффективности для идентификации, обсуждение которой приведено ниже.

Основанием для рассмотрения возможностей гауссовских смешанных моделей в решении задачи распознавания явились две причины: интуитивное предположение того, что отдельные компоненты модели могут моделировать некоторое множество акустических признаков/событий и способность моделей гауссовых смесей очень точно аппроксимировать произвольные распределения, причём модели очень удобны для моделирования не только статистических характеристик голоса диктора, но и окружающей среды, канала звукозаписи.

При применении такой модели предполагается, что для входных данных х известно число гауссовских смесей, для определенности можно предположить, что их число равно М, тогда распределение Гаусса для i-ой смеси

запишется: ,,..,. 1 , 1, чг^-1, чЧ

/(х10 =-д ■ .из ехр(--(.г-/;,.) 2,, (х-»)).

Здесь х - это А/-мерный вектор случайных величин, D - размерность входных векторов данных х, /л - математическое ожидание компоненты /, ~~ ковариационная матрица компоненты /.

Можно предположить, что модель одной звуковой платы описывается вектором математических ожиданий и формой распределения (ковариационной матрицы) составляющих векторов модели. Для описания смешанной гауссовской модели необходимо определить следующие параметры: математическое ожидание, ковариационную матрицу и веса смесей для каждой компоненты, которые совместно записываются следующим образом: 5 = {//,.,£ ДМ=1,...М При реализации данной модели возникает две проблемы: выбор числа компонент вектора обучения и инициализация начальных параметров модели. Для обучения модель обучается с помощью ЕМ-алгоритма (Expectation Maximization), который начинается с оценки начальной модели и вычисляются новые параметры модели 3, такие, что р(х 19) > р(х | £). Новая модель затем становится начальной моделью для следующей итерации; процесс переоценки параметров повторяется, пока не будет достигнут некоторый порог сходимости. Этот алгоритм требует выбора начальных параметров. Инициализация параметров с помощью случайного выбора не гарантирует обнаружение глобального минимума и, кроме того, приводит к замедлению процесса обучения. Поэтому обычно используют предварительное разбиение на классы с помощью алгоритма fc-средних. В качестве меры отклонения в данном алгоритме используется среднеквадратичное отклонение:

При обучении модели с помощью ЕМ-алгоритма в блоке оценки правдоподобия вычисляются новые параметры модели. Процесс обучения требует порядка 10 итераций для нахождения эффективных значений параметров модели. В режиме тестирования высказывания оценка правдоподобия попадает в блок принятия решения, где сравнивается с пороговым значением. Если оценка больше значения порога, то считается, что данный звуковой сигнал сформирован данной звуковой платой.

Экспериментальная оценка параметров системы идентификации Для выбора оптимального числа компонент векторов признаков и длины анализируемых аудиоданных был проведен ряд экспериментов. Для определения числа компонент для анализа были выбраны аудиоданные (файлы с записью голоса диктора) с временем звучания порядка 10 сек и проведено исследование данных, представленных в виде кепстральных векторов различной длины, а также конкатенации кепстра и дельта-кепстра.

Было установлено, что использование дельта-кепстра повышает устойчивость системы распознавания к аддитивному шуму и уменьшает величи-

ну ошибок распознавания в среднем в два раза. Длина вектора признаков для надежной идентификации была принята равной 50.

Для моделирования распознавания звуковых плат по их цифровому образу были использованы нейронные сети, а именно, многослойные персептро-ны. При разработке моделирования системы идентификации звуковой платы, нейронная сеть после обучения хранит параметры соответствующие данной звуковой платы, являясь, таким образом, ее моделью. Эксперименты проведенные с нейронной сетью показали, что наилучшие результаты могут быть достигнуты при двух скрытых слоях с 50 нейронами в каждом слое. Были выбраны оптимальные функции активации и функции обучения.

Для устранения изменения частоты дискретизации проводилось выравнивание по общим максимумам частотных элементов профилей микрофона и профиля, восстановленного из анализируемой записи. Выравнивание производилось при помощи сдвига на величину смещения пика корреляционной функции профилей.

В четвёртой главе рассмотрены результаты тестирования разработанных методик идентификации. Для экспериментальных исследований была выбрана среда вычислений MATLAB. Платформой для проведения исследования являлся IBM-совместимый компьютер со стандартной аппаратной конфигурацией на базе операционной системы Windows ХР. На основе предложенных в третьей главе методик идентификации звуковых карт и цифровых микрофонов, была проведена экспериментальная оценка точности идентификации, а также оценены ошибки первого и второго рода. Было проведено сравнение точности данных при использовании гауссовс-кой смешанной модели и нейросетевого метода их идентификации.

Экспериментальная оценка гауссовской смешанной модели идентификации. Для выбора оптимального числа компонент векторов признаков и длины анализируемых аудиоданных был проведен ряд экспериментов. Было установлено, что использование дельта-кепстра повышает устойчивость системы распознавания к аддитивному шуму и уменьшает величину ошибок распознавания в среднем в два раза.

Анализ показал, что значения ошибок, начиная с длины анализируемого участка равной 10 сек., практически не меняется.

Экспериментальная оценка модели идентификации на основе нейронных сетей. Описание создания экспериментальной базы звуковых данных было приведено в главе 3. Исследованы входные векторы двух модификаций: кепстральные коэффициенты звуковых данных и вектор представляющий сумму кепстра и дельта кепстра. Идентификация звуковых плат происходила по следующей схеме, изображенной на рис. 9.

Для оптимальной идентификации экспериментально находилась длина интервала, на котором вычислялись кепстральные коэффициенты. Анализ

Первичный аудиосигнал

Нормализация первичного сигнала

Вычисление признаков

База данных

Нейронная сеть

Принятие решения

Рис. 9. Структура системы идентификации звуковых плат на основе нейронных сетей

показал, что наилучшим образом идентифицируется плата при длительности интервала 2000 точек звуковых данных, что соответствует 25 мсек.

Средняя ошибка первого рода (ошибочный пропуск платы) составила 0,0543. Средняя ошибка второго рода (ошибочная идентификация платы) составила 0,085.

При выборе порогового значения равного 0,5 была проведена корректная идентификация всех пяти карт.

Таким образом, в главе была проведена разработка подсистемы идентификации звуковых карт по создаваемым ими цифровым данным. С этой целью были проведены экспериментальные исследования параметров данных моделей систем идентификации на основе гауссовской смешанной модели и нейросетевых методов для эффективного решения задачи их распознавания.

Для построения систем распознавания модели гауссовых смесей хорошо себя зарекомендовали в качестве стохастической модели. Во-первых, модели очень удобны для моделирования не только статистических характеристик голоса диктора, но и окружающей среды, канала звукозаписи. Во-вторых, смеси гауссовых моделей представляют собой удобный способ представления и интерпретации акустических событий речевого сигнала.

Альтернативной моделью является использование нейронных сетей. Преимуществом данного метода распознавания является их гибкость в настройке для данного типа звуковой платы, при этом позволяют в автоматическом режиме формировать разделяющие гиперплоскости; благодаря использованию нелинейных активационных функций и при наличии достаточного количества скрытых слоев они позволяют формировать области решений более сложной формы, чем при использовании методов гауссовских смешанных моделей.

Кроме того, ответы системы построенные на основе гауссовских смешанных моделей дают менее достоверные результаты при тестировании и требуют большего числа контрпримеров чем нейронные сети, что важно при небольшом количестве экспериментальных данных. Таким образом, выбор был сделан в пользу нейронных сетей, хотя в некоторых случаях возможно использование гауссовских смешанных моделей.

Экспериментальные исследования задачи идентификации цифровых

микрофонов методом выделения стационарных составляющих В качестве устройств записи в данных исследованиях выступали два USB-микрофона «Gembird М1С-111». Для записи применялись драйверы, входящие в стандартную поставку системы Windows ХР SP2. Ввиду автоматической установки низкого уровня чувствительности микрофонов сразу после их подключения и определения была произведена регулировка усиления на максимальную чувствительность стандартными средствами системы.

Проведение экспериментов по идентификации совпадало с аналогичными для звуковых карт. Для обеспечения повторяемости результатов при записи использовался цифровой диктофон с монофонической звуковой системой. Запись сигнала производилась при частоте дискретизации 11025 Гц и 16-тиразрядных отсчётах. Запись велась в условиях лаборатории без применения мер по снижению уровня акустического фона помещения.

По результатам экспериментов было установлено, что наилучшие результаты по идентификации достигаются при значении длины окна 1024 отсчёта. Для анализа максимумов использовалась амплитудная спектрограмма.

Таким образом, полученные значения коэффициента корреляции позволили определить принадлежность каждой из анализируемых записей одному из микрофонов.

Экспериментальные исследования задачи идентификации цифровых фотокамер Предлагаемая в главе 2 методика идентификации была исследована на возможность идентификации фотокамеры из нескольких. Всего было исследовано 13 камер, с каждой из которых было получено по 100 изображений. Выборка изображений с одной камеры разделялась на два множества -обучающее, используемое для нахождения «отпечатка» камеры, и тестовое, используемое для проверки принадлежности анализируемого снимка конкретной камере. Ввиду того, что у исследуемых камер отличается размер формируемого изображения, а также учитывая возможность краевых эффектов при обработке изображения в камере, для идентификации был выбран центральный фрагмент изображения размером 1024x1024 пикселя.

На рис. 10 приведены примеры гистограмм коэффициентов корреляции отпечатка камеры и ВЧ-составляющих, полученных для изображений а) обучающей выборки, б) для тестовой выборки (отпечаток и тестовая выборка получены для одной и той же камеры), в) для тестовой выборки (отпечаток и тестовая выборка получены для разных камер). На рис. 10, г приведены значения коэффициентов корреляции.

Для идентификации камер применяется метод на основе коррелированное™ пиксельных неоднородностей матрицы, одинаковых для всех считанных с неё кадров. Для формирования устойчивого признака была выбрана

характеристика неоднородности матрицы, включающая

В(х,у) + D{x,у) + G(x,y).

-0.05 0 0.05 0,1 0.15 Коэффициент корреляции

10 20 30 40 50 60 70

Индекс изображения

Рис. 10. Гистограммы коэффициентов корреляции отпечатка камеры и 100 значений коэффициента корреляции, нормированного по среднему значению

а)-в)

Ввиду особенностей получения изображения в цифровых фотокамерах, а именно - дебайеризации и связанной с ней преимущественного вклада яркостной компоненты в ВЧ-области изображения, для идентификации может быть использовано преобразование цветного изображения в градации серого. Обозначим полученное с камеры изображение как I.

Для получения приближения карты неоднородностей необходимо произвести усреднение пиксельного массива по некоторому количеству кадров п:

Wm =

— N N

Значение находится для всех камер, подлежащих идентификации. При исследовании изображения /, происхождение которого необходимо

установить находится значение показателя:

Р = сс(ДГ),1Гаррг), где р - коэффициент корреляции.

Таким образом, при совпадении матрицы, при помощи которой было получено изображение и карты неоднородностей, величина коэффициента корреляции составила 0,1-0,7 при значении коэффициента корреляции для несовпадающих камер -0,001-0,054.

Идентификация сканеров производилась аналогично идентификации фотокамер. Для двух сканеров на основе ПЗС-линеек было получено по 65 различных изображений, 32 из которых формировали выборку для формирования отпечатка сканера, а 33 - тестовую выборку. На первом этапе идентификации создавался идентифицирующий отпечаток сканера. Для этого из каждого полноцветного немасштабированного изображения, полученного с идентифицируемого сканера, производилось выделение высокочастотной составляющей цветовых компонент с последующим усреднением по всем изображениям выборки, и находилась оценка математического ожидания значения каждого столбца пикселей. Автокорреляция полученной одномерной матрицы является отпечатком сканера. Для установления принадлежности изображения сканеру, отпечаток которого имеется, из изображения производилось выделение ВЧ-области и далее вычислялось значение среднего пиксельных столбцов. Для сформированной матрицы строилась автокорреляционная функция и находится коэффициент корреляции с имеющимся отпечатком сканера.

При анализе результатов можно сделать следующие выводы.

1. Как показали результаты тестирования длина анализируемых участков аудиоданных, используемых для вычисления векторов признаков, слабо влияет на точность идентификации звуковых плат. Заметное снижение точности результатов наблюдается при длине анализируемого участка, равном ~ 25 мсек.

2. Длительность собственно звучания аудиоданных не должна быть меньше 7,5 сек.

Таким образом, на основе полученных экспериментальных данных можно сделать заключение, что наилучшая идентификация звуковых плат может быть достигнута при величине анализируемого участка равном 50100 мсек и длительности звучания аудиосигнала не менее 10 сек. При этом средняя величина ошибки первого рода составила -1,4 %, а второго рода -~ 5 %. Следует отметить полное отсутствие в открытой печати данных по идентификации звуковых плат.

Проведено экспериментальное исследование системы распознавания цифровых фотографических камер на основе коррелированности пиксельных неоднородностей матрицы, одинаковых для всех считанных с неё кад-

ров. Исследование показало, что можно по произвольным цифровым фотографическим изображениям проводить идентификацию камер.

Средний коэффициент корреляции, полученный при тестировании цифровых изображений с камер, составил 0,261 при совпадении со своей камерой и менее 0,005 при несовпадении.

В заключении перечисляются полученные результаты и делаются выводы об основных результатах, полученных в данной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ

Основные теоретические и практические результаты, полученные к ходе работы над диссертацией, заключаются в следующем:

1. Выработаны требования к системе аутентификации, эффективно решающей задачу распознавания предъявленных цифровых мультимедийных данных С целью установления их авторства и происхождения.

2. Разработаны алгоритмы и методики выделения признаков, обусловленных идентичностью программно-аппаратных решений устройства, в частности: типами используемых сенсоров, модификациями алгоритмов постобработки данных при их преобразованиях в форматы представления.

Для идентификации цифровых фотокамер был выбран статистический метод, основанный на выделении ВЧ-структуры постоянных шумов матрицы при помощи фильтра Винера и усреднения множества изображений, заведомо полученных с идентифицируемой матрицы.

Для идентификации цифровых сканеров предложенный статистический метод был модифицирован с учетом специфики процесса формирования изображений в сканерах. Обеспечение стойкости к атакам на детектор, заключающихся в повороте исходного изображения на малый угол, достигается предложенным методом обнаружения угла поворота на основе преобразования Радона с нахождением спектральных максимумов проекций.

3. Разработаны алгоритмы и методики идентификации цифровой аппаратуры записи, учитывающие нестабильность частоты дискретизации аудиосигнала. Для звуковых плат предложен нейросетевой подход идентификации. Для цифровых микрофонов использован метод двумерной корреляции.

4. Проведены экспериментальные оценки основных характеристик разработанных и реализованных средств идентификации цифровых устройств записи, определены ошибки идентификации по записанным цифровым образам. Для звуковых аудиоустройств средняя ошибка первого рода (ошибочный пропуск платы) составила 0,0543, средняя ошибка второго рода (ошибочная идентификация платы) составила 0,085. Средний коэффициент корреляции, полученный при тестировании цифровых изображений с камер, составил 0,261 при совпадении со своей камерой и менее 0,005 при несовпадении.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ РАБОТЫ

Публикации в изданиях рекомендованных ВАК:

1. Рублев Д. П. Федоров В. М., Чумаченко Л. Б., Макаревич О. Б. Установление авторских прав по неоднородностям цифровых образов, статья в журнале // Известия ЮФУ. Технические науки. Тематический выпуск «Информационная безопасность». 2008, № 8 (85). С. 141-147.

В других изданиях:

2. Рублёв Д. П., Чумаченко А. Б. Идентификация цифровых фотокамер по карте светочувствительности матрицы // Сборник трудов XIII Всероссийской научно-практической конференции «Проблемы информационной безопасности в системе высшей школы». МИФИ, 2007. С. 78-79.

3 .Рублёв Д. П., Фёдоров В. М, Чумаченко А. Б., Макаревич О. Б. Идентификация устройств цифровой записи по особенностям создаваемых ими образов // Сборник трудов Всероссийской конференции с международным участием «Проблемы информатизации общества». Нальчик, 2008. С. 132-135.

4. Рублев Д. П., Федоров В. М, Чумаченко А. Б., Макаревич О. Б. Идентификация фотокамер и сканеров по неоднородностям цифровых образов // Материалы X Международной научно-практической конференции «Информационная безопасность». Таганрог, 2008. № 1. С. 238-244.

5. Рублев Д. П. Федоров В. Л/., Чумаченко А. Б., Макаревич О. Б. Методы идентификации цифровой аппаратуры записи по ее выходным данным // Сборник трудов третьей международной научно-технической конференции «Информационные технологии в науке, производстве и образовании». Ставрополь, 2008. С. 178-183.

6. Rublev D. P., Makarevich О. В., Chumachenko А. В., Fedorov V. M. Methods of Digital Recording Device Identification based on Created Records // Proceedings of the 10 International Workshop on Computer Science and Information Technologies. Ufa, 2008. № 1. P. 97-100.

7. Рублёв Д. П., Чумаченко А. Б., Макаревич О. Б., Фёдоров В. М. Идентификация цифровых микрофонов по неидеальностям тракта записи // Известия ЮФУ Технические науки. Тематический выпуск «Информационная безопасность». Таганрог, 2007. № 8. С. 84-92.

8. Федоров В. М., Макаревич О. Б., Рублев Д. П., Чумаченко А. Б. Идентификация звуковых плат по создаваемым аудиоданным с помощью нейросетевых методов // Материалы третьей международной конференции «Моделирование устойчивого регионального развития». Нальчик, 2009. Ч. i. С. 90—94.

9. Rublev D., Makarevich О., Fedorov V., Chumachenko A. Digital Sound Card Identification Based on Recording Path Imperfections // 2nd ACM International Conference on Security of Information and Networks. New York, 2009. P. 240-243.

10. Федоров В. M., Макаревич О. Б., Рублев Д. П.. Чумаченко А. Б. Методы идентификации звуковых плат по создаваемым звуковым данным // Прикаспийский журнал: управление и высокие технологии. Астрахань, 2009. № 3(8). С. 12-19.

Подписано в печать 27.05.2010. Формат 60х84У16. Усл. печ. л. 1,75. Тираж 150 экз. Заказ № 1128.

Типография Южного федерального университета 344090, г. Ростов-на-Дону, пр. Стачки, 200/1, тел.: (863) 247-80-51.

ВВЕДЕНИЕ

1. Анализ существующих методов защиты цифровых мультимедийных данных и идентификации аппаратуры по цифровому образу данных

1.1. Идентификации устройств цифровой записи по аппаратурно-уникальным признакам

1.1.1. Методы формирования изображений из данных матрицы,в цифровых фотоаппаратах

1.1.2. Идентификация камер на основе артефактов цветовой интерполяции

1.1.3. Идентификация камер на основе дефектов матриц 29 1.1.4 Требования к структуре системы идентификации аудиозаписывающей аппаратуры.

1.2. Выводы

2. Методика идентификации цифровых визуальных устройств записи

2.1. Получение изображений в цифровых фотокамерах

2.2. Получение изображений в сканерах

2.3. Выбор входного формата системы идентификации цифровых фотокамер и сканеров по цифровому образу

2.4. Формирование вектора признаков для идентификации цифровых фотокамер 54 Фильтрация цифрового образа данных для выделения ВЧ-составляющих 54 2.4.2. Обнаружение поворота изображения на основе преобразования Радона.

2.5. Этапы идентификации фотокамер

2.6. Формирование вектора признаков для идентификации сканеров

2.7. Этапы идентификации сканеров

2.8. Выводы

3. Методика идентификации устройств цифровой аудиозаписи

3.1. Структура системы записи аудиоданных цифровых микрофонов и звуковых плат.

3.1.1. Анализ погрешностей канала записи звука

3.1.2. Погрешности сигма-дельта АЦП

3.2. Структура системы идентификации цифровых устройств аудиозаписи по их цифровому образу

3.3. Выбор методик для получения векторов признаков для идентификации цифровых устройств аудиозаписи

3.4. Методика идентификация на основе стационарных составляющих канала записи

3.4.1. Преобразование Габора

3.4.2. Методика идентификации звуковых плат, основанная на стационарных составляющих

3.5. Выбор методики представления акустического сигнала для подсистемы аутентификации звуковых плат ИЗ

3.6. Вычисление кепстра на основе коэффициентов линейного предсказания

3.7. Методики идентификации звуковых плат 117 3.7.1 .Методика, основанная на гауссовских смешанных моделях 117 3.7.2.Методика идентификации основанная на нейронных сетях

3.8. Выводы

4. Экспериментальные исследование разработанных методов идентификации цифровых устройств записи по создаваемому ими цифровому образу

4.1. Выбор методик идентификации для подсистемы аутентификации звуковых плат

4.2. Экспериментальные исследования задачи идентификации звуковых плат методом выделения стационарных составляющих 4.3. Экспериментальные исследования задачи идентификации цифровых микрофонов методом выделения стационарных составляющих

4.4. Экспериментальные исследования задачи идентификации цифровых фотокамер

4.5 Эспериментальные исследования задачи идентификации сканеров

4.6. Выводы по четвертой главе

Особенность проблемы защиты информации состоит в ее многогранности. Распространение цифрового представления медиа-контента и устройств для его воспроизведения привели к практически полному вытеснению аналоговой техники записи.

Однако вместе с тем стало ясно, что в связи с простотой копирования информации в цифровом представлении и отсутствием деградации качества при её копировании, а также возможностью копирования медиа-информации из аналогового представления (analog-hole), неустранимой принципиально, актуальной является задача разработки новых методов как защиты медийных данных от несанкционированного копирования, так и средств встроенной защиты звукозаписывающей аппаратуры от использования в целях производства контрафактной продукции.

Другой не менее актуальной задачей стала задача установления происхождения цифровых образов, в частности, возникли большие сложности с установлением авторства и подлинности цифровых фотографий. В "доцифровую" эпоху фотография часто принималась априори как доказательство существования события, доказательством чего являлся негатив. В сегодняшнем цифровом мире создание и манипуляция цифровыми образами аналоговых сигналов, в частности фотографическими изображениями, аудио- и видеозаписями при помощи широко доступного специализированного программного обеспечения достаточно просты, а существование "цифрового негатива", т.е. первоначального образа, хранящегося на устройстве записи, либо невозможно принципиально (немедленная передача отснятого материала без сохранения в устройстве), либо кратковременно ввиду перезаписи новым материалом. Следствием. явилась утрата априорного доверия к цифровым фотографическим изображениям и аудиозаписям как достоверным отображениям событий прошлого, что особенно важно при необходимости использования цифровых записей в качестве юридически значимого доказательства.

Анализ практики работы правоохранительного блока по уголовным делам показывает, что при проведении оперативно-розыскных действий изымается большое количество фото, аудио- и видео техники, а так же файлов (цифровых образов), созданных преступниками с использованием указанных устройств для фиксации различных событий.

В связи с этим в работе сотрудников спецслужб станы очень остро встали вопросы возможности проведения мероприятий,по сопоставлению на предмет принадлежности имеющихся в распоряжении файлов (цифровых образов) к изъятым соответствующим устройствам цифровой фото-, видео, аудиозаписи. Аналогией в данном случае является идентификация пишущей машинки по странице, отпечатанной на ней на основе имеющегося слепка шрифта, отражающего уникальные особенности литер.

Острую необходимость возможности идентификации цифровых устройств фото-, аудио-, видеозаписи по создаваемым ими цифровым образам можно продемонстрировать на примере резонансных в последние годы уголовных дел, предусмотренных следующими главами Уголовного Кодекса России:

I. Глава 24. Преступление против общественной безопасности статья 205. Террористический акт; статья 208. Организация незаконного вооруженного формирования или участие в нем; статья 222. Незаконные приобретение, передача, сбыт, хранение, перевозка или ношение оружия, его основных частей, боеприпасов, взрывчатых веществ и взрывных устройств.

В ходе работы по данному виду преступлений проверяется большое количество граждан на возможную причастность их к боевикам, либо к их пособнической базе. При этом изымается огромное количество носителей с файлами аудио-, видео, фото записей, в том числе и устройства, с помощью которых они могли быть произведены. В случае подтверждения того, что все цифровые образы, либо их часть были сделаны посредством изъятых у подозреваемого лица соответствующих устройств, можно рассматривать как подтверждения фактов присутствия данного гражданина в качестве участника при событиях, запечатленных в указанных файлах.

Не секрет, что во многих регионах Северо-Кавказского федерального округа в целях запугивания населения членами незаконных вооруженных формирований распространяются листовки с угрозами, призывами к вооруженной борьбе и т.д. Анализ их изготовления показывает, что большинство из них сделано путем сканирования рукописного текста с оригинала и дальнейшего распространения полученных копий в печатном виде в населенных пунктах, а в электронном виде в интернете. Проведение мероприятий в рамках оперативно-розыскной работы по идентификации файла с текстом листовки, полученного из интернета, со сканерами подозреваемых лиц, также может оказать неоценимую помощь в выявлении конкретного лица, причастного к данному виду преступления:

II. Глава 25. Преступления против здоровья населения и общественной нравственности Статья 242. Незаконное распространение порнографических материалов или предметов. Создание таких материалов как правило бывает тесно связано с преступными деяниями, предусмотренными статьями УК РФ 134: "Половое сношение и иные действия сексуального характера с лицом, не достигшим шестнадцатилетнего возраста", Статья 135: Развратные действия.

Технология позволяющая отыскать цифровую фотокамеру, с помощью которой был сделан снимок, по информации, содержащейся в самой фотографии, оказала бы неоценимую помощь правоохранительным органам, в розыске и поимке фотографов-педофилов.

В судебных разбирательствах по делам таких людей, защита чаще всего апеллирует к невозможности установить, с помощью какой конкретной камеры были сделаны снимки.

Это значит, что если в. руках экспертов окажется фотоаппарат подозреваемого и снимки, предположительно им сделанные, то, при помощи нового алгоритма им не составит труда выяснить, так ли это.

С учетом изложенного, при отсутствии соответствующие технологии необходимо разработать методики, которые могут помочь в установлении подлинности цифровых фотографий и файлов с графической информацией, полученной при помощи сканеров. Ввиду того, что аналогичные проблемы возникают и при анализе других цифровых мультимедийных данных, в частности, аудиофайлов, необходимы методики идентификации цифровых данных по особенностям, возникающим при их создании.

Можно выделить следующие основные проблемы, которые встают при установлении подлинности цифровых изображений: действительно ли образ — оригинальный, либо он подвергался монтажу; был ли получен анализируемый образ при помощи устройства записи, предъявленного на экспертизу; модифицировались ли данные на носителе либо область данных файла образа после его создания.

Это только несколько примеров проблем, с которыми сталкиваются обычно при исследовании цифровых фотографий. Аналогичные проблемы возникают при исследовании аудиозаписей, в том числе цифровых.

Следовательно, необходимо разработать методики, которые могут помочь в установлении подлинности цифровых фотографий и сканеров. Ввиду того, что аналогичные проблемы возникают и при анализе других цифровых мультимедийных данных, в частности, аудио файлов, необходимы методики идентификации цифровых данных по особенностям, возникающим при их создании.

Целью работы Целью диссертационной работы является разработка и исследование алгоритмов и методик идентификации цифровых мультимедийных данных, полученных с цифровых устройств записи, для установления происхождения, цифровых данных и исследования их аутентичности.

Исходя из поставленной цели, определяется перечень задач исследования: выработка требования к системе аутентификации, эффективно решающей задачу распознавания предъявленных цифровых мультимедийных данных с целью установления их авторства и происхождения; разработка алгоритмов и методик выделения признаков, обусловленных программно-аппаратными решениями устройств, в частности: типами используемых сенсоров, модификациями алгоритмов постобработки данных при их преобразованиях в форматы представления; разработка алгоритмов и методик идентификации цифровых систем записи; проведение экспериментальных исследований оценки точности идентификации устройств записи адио и визуальных данных.

Объектом исследования диссертации являются средства цифровой обработки сигналов, их анализа, заключающийся в усовершенствовании методик идентификации устройств цифровой записи в интересах обеспечения информационной безопасности объектов, в части систем установления происхождения цифровых мультимедийных данных.

Методы исследования В работе использованы основные положения теории цифровой обработки сигналов, спектрального анализа, теории цифровой фильтрации, а также методы распознавания образов, с использованием аппарата искусственных нейронных сетей.

Научная новизна. Разработаны алгоритмы и методики автоматизированной идентификации цифровой визуальной и аудио записи по создаваемым устройствами цифровым образам с учетом возможных искажений изображений и нестабильности частоты дискретизации аудиосигнала.

Практическая ценность работы. Разработанные алгоритмы и методики идентификации могут быть использованы при создании автоматизированных систем классификации цифровых изображений и звуковых данных по устройствам-источникам. На основе разработанных алгоритмов возможна идентификация устройств фото и аудиозаписи, а также отслеживаний попыток нарушения авторских прав на медиа-произведения.

Достоверность

Достоверность полученных результатов подтверждается полнотой и корректностью теоретических обоснований и результатами проведённых экспериментов действующих моделей.

Основные научные результаты, выносимые на защиту

1. Алгоритм и методики идентификации аппаратуры визуальной записи, позволяющей учитывать углы поворота изображения.

2. Алгоритм и методики идентификации цифровой аппаратуры, позволяющей учитывать нестабильность частоты дискретизации аудиосигнала.

3. Экспериментальные оценки основных характеристик разработанных и реализованных средств идентификации цифровых устройств записи.

Использование результатов

Результаты, полученные в ходе работы над диссертацией, были использованы:

- при проведении исследований по гранту РФФИ 08-07-00253-а "Разработка методов идентификации цифровых аудио- и визуальных устройств записи по цифровому образу данных";

- На предмет оценки эффективности предложенного подхода и возможности его использования подразделениях: подразделениями Министерства внутренних дел по Республике Дагестан; подразделениями Управления ФСБ России по Республике Дагестан; войсковой частью 43 573-Р (г.Москва).

Апробация. Полученные при работе над темой диссертации результаты были представлены на:

1. Девятой международной научно-практической конференции «ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ - 2007», г. Таганрог.

2. Десятой международной научно-практической конференции «ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ - 2008», г. Таганрог.

3. Третьей Международной научно-технической конференции «Инфокоммуникационные технологии в науке, производстве и образовании» с целью выработки научно-практических рекомендаций по проблеме «Математическое моделирование в управлении, науке и технике» г. Ставрополь.

4. Всероссийской конференции (с международным участием) "Проблемы информатизации общества", г. Нальчик.

Публикации

По теме диссертации опубликовано 10 статей и тезисов докладов, из них 1 статья опубликована в журнале «Известия Таганрогского государственного радиотехнического университета (ТРТУ)» из перечня, рекомендованного ВАК РФ для публикации результатов диссертационных работ.

Объём и структура диссертации

Диссертация состоит из введения, 4-х глав, заключения и списка литературы. Основной текст диссертации состоит из 150 страниц и включает 51 рисунок и 9 таблиц.

4.6. Выводы по четвертой главе

В главе была проведена разработка подсистемы идентификации звуковых карт по создаваемым ими цифровым данным. С этой целью были проведены экспериментальные исследования параметров данных моделей систем идентификации на основе гауссовской смешанной модели и нейросетевых методов для эффективного решения задачи их распознавания.

Для построения систем распознавания гауссовские смеси хорошо себя зарекомендовали в качестве стохастической модели. Во-первых, модели очень удобны для моделирования не только статистических характеристик голоса диктора, но и окружающей среды, канала звукозаписи. Во-вторых, смеси гауссовых моделей представляют собой удобный способ представления и интерпретации акустических событий речевого сигнала.

Альтернативной моделью является использование нейронных сетей. Преимуществом данного метода распознавания является их гибкость в настройке для данного типа звуковой платы, при этом позволяют в автоматическом режиме формировать разделяющие гиперплоскости; благодаря/ использованию нелинейных активационных функций и при наличии достаточного количества скрытых слоев; они позволяют формировать области решений более' сложной формы, чем при использовании методов гауссовских смешанных моделей.

Кроме того, ответы системы построенные на основе гауссовских смешанных моделей дают менее достоверные результаты при тестировании и требуют большего числа контрпримеров чем нейронные сети, что важно при небольшом количестве экспериментальных данных. Так, для методики идентификации, основанной на гауссовских смешанных моделях, средняя ошибка первого рода составляет 0,14, а второго рода - 0,18, для методики идентификации, основанной на нейронных сетях, 0,0543 и 0,085, соответственно. Таким образом, выбор» был сделан в пользу нейронных сетей, хотя- в некоторых случаях возможно использование гауссовских смешанных моделей.

При анализе результатов можно сделать следующие выводы.

1. Как показали результаты тестирования длина анализируемых участков аудиоданных, используемых для вычисления векторов признаков слабо влияет на точность идентификации звуковых плат. Заметное снижение точности результатов наблюдается при длине анализируемого участка равном -25 мсек.

2. Длительность собственно звучания аудиоданных не должна быть меньше 7,5 сек.

Таким образом, на основе полученных экспериментальных данных можно сделать заключение, что наилучшая идентификация звуковых плат может быть достигнута при величине анализируемого участка равном 50-100 мсек и длительности звучания аудиосигнала не менее 10 сек. При этом средняя величина ошибки первого рода составила -5,4%, а второго рода

-8,5%. Следует отметить полное отсутствие в открытой печати данных по идентификации звуковых плат.

Предлагаемый способ определения угла поворота изображения на основе преобразования Радона позволяет установить неизвестный угол поворота в общем случае с точностью до 90°, таким образом, для идентификации устройства по изображению с неизвестным углом поворота необходимо проведение идентификации по 4 вариантам изображения.

Проведено экспериментальное исследование системы распознавания цифровых фотографических камер и сканеров на основе коррелированности пиксельных неоднородностей матрицы, одинаковых для всех считанных с неё кадров. Исследование показало, что можно по произвольным цифровым фотографическим изображениям и файлам с графической информацией проводить идентификацию камер и сканеров.

ЗАКЛЮЧЕНИЕ

В соответствии'- с поставленными целями и задачами, в результате проведенных исследований- и разработок были получены следующие результаты.

1. Проведен обзор» методов, защиты, авторских прав на основе цифровых водяных знаков. Применение ЦВЗ подразумевает использование" вычислительных устройств и специального-программного обеспечения* для-встраивания и анализа. Во многих случаях, при создании цифровых мультимедийных данных встраивание ЦВЗ средствами устройства, реализовать невозможно, примерами таких устройств являются цифровые фотоаппараты и цифровые диктофоны. Метод водяных знаков также не позволяет идентифицировать устройство, на котором были созданы мультимедийные данные. Альтернативным методом является установление авторства путем анализа* статистических закономерностей в цифровых данных, полученных с данного устройства.

2. Проанализирован подход к установлению авторства цифровых фотографий на основе статистических методов, проведен анализ получения^ цифровых образов аналоговых изображений при помощи цифровых фотокамер и сканеров. Показана необходимость модификации ■ методик идентификации изображений для возможности идентификации сканеров.

Для идентификации цифровых фотокамер была выбрана методика, опирающаяся на статистический метод, основанный на выделении ВЧ-структуры постоянных шумов матрицы- при помощи фильтра Винера' и усреднения множества изображений, заведомо полученных с идентифицируемой матрицы.

Для идентификации цифровых сканеров предложенный статистический метод был модифицирован с учетом специфики процесса формирования изображений в сканерах.

Обеспечение стойкости к атакам, заключающихся в повороте исходного изображения на малый угол достигается предложенным методом обнаружения угла поворота на основе преобразования Радона по максимумам проекций.

3. Разработаны методики идентификации цифровых устройств-записи аудиоинформации, а именно, цифровых микрофонов и звуковых плат персональных ЭВМ1. Были' проведены экспериментальные исследования параметров данных моделей для эффективного решения задачи их распознавания.

Для устранения изменения частоты дискретизации проводилось выравнивание по общим максимумам частотных элементов профилей микрофона и профиля, восстановленного, из анализируемой записи, выравнивание производилось при помощи сдвига на величину смещения пика корреляционной функции профилей.

Проведен статистический анализ полученных данных и рассмотрены модели систем идентификации звуковых устройств записи.

Для создания методик идентификации звуковых карт были рассмотрены гауссовские смешанные модели, нейронные сети и стационарные спектральные составляющие. Для построения систем распознавания модели гауссовых смесей хорошо себя зарекомендовали в качестве стохастической модели. Во-первых, модели очень удобны для моделирования не только статистических характеристик голоса диктора, но и окружающей среды, канала звукозаписи. Во-вторых, смеси гауссовых моделей представляют собой удобный способ представления и интерпретации акустических событий речевого сигнала.

Альтернативной методикой является использование нейронных сетей. Преимуществом данной методики распознавания является гибкость в настройке для данного типа звуковой платы, при этом нейронные сети позволяют в автоматическом режиме формировать разделяющие гиперплоскости благодаря использованию нелинейных активационных функций и при наличии достаточного количества скрытых слоев формировать области решений более сложной формы, чем при использовании методов гауссовских смешанных моделей.

Кроме того, ответы системы построенной на основе гауссовских смешанных моделей дают менее достоверные результаты при тестировании и требуют большего числа контрпримеров, чем нейронные сети, что важно при небольшом количестве экспериментальных данных. Достоинством данной методики является возможность обучить систему для идентификации новых звуковых устройств, используя существующую базу контрпримеров. Таким образом, выбор был сделан в пользу нейронных сетей.

Спектральные составляющие также позволяют идентифицировать источники цифрового аудиоконтента. В качестве идентифицирующих признаков в данной методике используются относительные уровни медиан амплитудных и фазовых составляющих спектрограмм сигналов. При идентификации целесообразно применение в качестве идентифицирующих вначале амплитудных признаков (медианных значений спектрограмм), а при их отсутствии — производных фазовых спектрограмм (первой и второй производных).

Проведены экспериментальные оценки основных характеристик разработанных и реализованных средств идентификации цифровых устройств записи, определены ошибки идентификации по записанным цифровым образам. Для звуковых аудиоустройств средняя ошибка первого рода (ошибочный пропуск платы) составила 0,0543, средняя ошибка второго рода (ошибочная идентификация платы) составила 0,085. Средний коэффициент корреляции, полученный при тестировании цифровых изображений с камер составил 0,261 при совпадении со своей камерой и менее 0,005 при несовпадении.

1. Грибунин В. Г., Оков И. Н., Туринцев И. В. Цифровая стеганография. -М.: Солон-Пресс, 2002. — 272 с.

2. Osborne С., van Schyndel R., Tirkel A. A digital watermark. IEEE International Conference on Image Processing, 1994. - P. 86-90

3. Ramkumar M. Data Hiding in Multimedia. PhD Thesis. New Jersey Institute of Technology, 1999. - 72 p.

4. Hartung F., Su J., Girod B. Spread Spectrum Watermarking: Malicious Attacks and Counterattacks.

5. Petitcolas F., Anderson R., Kuhn M. Attacks on Copyright Marking Systems. Lecture Notes in Computer Science, 1998. - P. 218-238.

6. Langelaar G., Lagendijk R., Biemond J. Removing spatial spread spectrum watermarks by non-linear filtering. — Proceedings EUSIPCO-98, 1998.

7. В. E. Bayer, Color imaging array, U.S. Patent, No. 3,971,065, 1976

8. D. R. Cok, Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal, U.S.

9. Patent, No. 4,642,678, 1986.

10. W. T. Freeman, Median filter for reconstructing missing color samples, U.S. Patent, No. 4,724,395, 1988.

11. C. A. Laroche and M. A. Prescott, Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients, U.S. Patent, No. 5,373,322, 1994.

12. Yangjing Long Yizhen Huang Image Based Source Camera Identification using Demosaicking

13. В. K. Gunturk, Y. Altunbasak and R. M. Mersereau, Color plane interpolation using alternating projections, IEEE Transactions on Image Processing, 11(9):997-1013, 2002.

14. L. Lam and C.Y. Suen, Application of majority voting to pattern recognition: An analysis of its behavior and performance, IEEE Transactions on Systems, Man and Cybernetics, 27(5):553-568, 1997.

15. Holst, G. C.: CCD Arrays, Cameras, and Displays, 2nd edition, JCD

16. Publishing & SPIE Pres, USA, 1998.

17. Cox, I., Miller, M.L., and Bloom, J.A.: Digital Watermarking, Morgan

18. Kaufmann, San Francisco, 2001.

19. Jan Lukas, Jessica Fridrich, and Miroslav Goljan Digital Camera Identification Pattern Noise

20. Holst, G. C.: CCD Arrays, Cameras, and Displays, 2nd edition, JCD Publishing & SPIE Pres, USA, 1998.

21. Janesick, J. R.: Scientific Charge-Coupled Devices, SPIE PRESS Monograph vol. PM83, SPIE-The International Society for Optical Engineering, January, 2001.

22. Mehdi, K.L. Senear, H.T. Memon, N. Blind source camera identification. International Conference on Image Processing, 2004, Vol. 1, pp. 709- 712.

23. Jan Lukas, Jessica Fridrich, and Miroslav Goljan Determining Digital Image Origin Using Sensor Imperfections. Proceedings of the SPIE-2005, Vol. 5685, pp. 249-260.

24. Lukas J., Fridrich J., and Goljan M.: "Determining Digital Image Origin Using Sensor Imperfections", Proc. SPIE Electronic Imaging, Image and Video Communication and Processing, San Jose, California, January 16-20, 2005, pp. 249-260.

25. Mehdi, K.L. Senear, H.T. Memon, N. Blind source camera identification. International Conference on Image Processing, 2004, Vol. 1, pp. 709-712.

26. Kharrazi, M., Senear, H. Т., and Memon, N.: "Blind Source Camera1.entification", Proc. ICIP' 04, Singapore, October 24-27, 2004. pp. 312317.

27. Д.П. Рублёв, А.Б.Чумаченко Идентификация цифровых фотокамер по карте светочувствительности матрицы. XIII Всероссийская научно-практическая конференция "Проблемы информационной безопасности в системе высшей школы", МИФИ, 2007, с 78-79.

28. Д.П. Рублёв, В.М. Фёдоров, А.Б. Чумаченко, О.Б. Макаревич Идентификация устройств цифровой записи по особенностям создаваемых ими образов, Всероссийская конференция с международным участием «Проблемы информатизации общества» , Нальчик, 2008, с 132-135.

29. Рублёв Д.П., Фёдоров В.М., Макаревич О.Б. Архитектура сетевой системы обнаружения внедренных стеганографическим методом данных в речевых сообщениях и изображениях, VIII Международная научно-практическая конференция "Информационная безопасность"-2007.

30. Рублев Д. П., Федоров В.М., Чумаченко А.Б., Макаревич О.Б.; Идентификация фотокамер и сканеров по неоднородностям цифровых образов; Материалы X Международной научно-практической конференции "Информационная безопасность" Таганрог, 2008, 1, с. 238-244

31. А. С. Popescu and Н. Farid, "Exposing Digital Forgeries in Color Filter Array Interpolated Images," IEEE Transactions on Signal Processing, Vol. 53, No. 10, part 2, pp. 3948-3959, Oct 2005.

32. A. Swaminathan, M. Wu, and K. J. R. Liu, "Non-Intrusive Forensic Analysis of Visual Sensors Using Output Images," Proc. of the IEEE Intl. Conf. on Acoustic, Speech and Signal Processing (ICASSP), May 2006.

33. Swaminathan, A. Wu, M. Liu, KJ.R. Component Forensics of Digital Cameras: A Non-Intrusive Approach, Proc of 40th Annual Conference on Information Sciences and Systems, 2006.

34. B.C. Гутников, Интегральная электроника в цифровых устройствах, Л., Энергоатомиздат,1988, 303 с.

35. А.Г. Алексеев, F.B. Войшовило, операционные усилители и их применение, М. Радио и связь, 1989, 120с.

36. Операционные усилители и компараторы, под ред. М.В.Геворкяна, Додэка XXI, 2002, 560с.

37. Sigma-Delta (S-D) A/D Converters // New Product Applications — 1999, winter edition. — Analog Devices, 1998, pp. 3-113 3-143.

38. Application Note AN-283: Sigma-Delta ADCs and DACs // Applications Reference Manual. — Analog Devices, 1993, pp. 20-3 20-18.

39. Application Notes AN-388/AN-389: Using Sigma-Delta Converters // 1995 DSP/MSP Products Reference Manual. — Analog Devices, 1995, pp. 6-47 -6-59.

40. Сигма-дельта АЦП1 фирмы Analog Devices // -Электронные компоненты и системы. — Киев: VD MAIS. — Май 1996. — С. 20-25.

41. Швец В., Нищирет Ю. Архитектура сигма-дельта АЦП и ЦАП // CHIP NEWS. — 1998. — № 2. — С. 2-11.

42. В. Голуб Взгляд на сигма-дельта АЦП http://www.chipnews.ru/html.cgi/arhiv/99 05/stat 23.htm.

43. Г. И. Волович Схемотехника аналоговых и аналого-цифровых электронных устройств, Додэка XXI, 2007, 528 с.

44. И.Воронов Интегральные цифро-аналоговые преобразователи от Analog Devices, http://www.gaw.ru/html.cgi/txt/publ/analog/adl.htm

45. Alexei Pokrovskii. Systems with histeresis: -http://euclid.ucc.ie/hysteresis/node2.htm

46. СЛ. Марпл Цифровой:спектральный анализ и его приложения . -М. : Мир, 1990.-584 с.

47. Рабинер Л, Гоулд Б. Теория и применение цифровой обработки сигналов / Пер. с англ.; Под.ред. Ю. Ш Александрова. М.: Мир, 1978.

48. Stoica, P., and R. Moses. Introduction to Spectral Analysis. Upper Saddle River, NJ: Prentice Hall, 1997.

49. Kharrazi, M., Senear, H. Т., and Memon, N.: "Blind Source Camera Identification", Proc. ICIP' 04, Singapore, October 24-27, 2004.

50. Lukas J;, Fridrich J., and Goljan Mi: "Determining Digital Image Origin Using Sensor Imperfections", Proc. SPIE Electronic Imaging, Image and Video Communication and Processing, San Jose, California, pp: 249.-260^ January 16-20, 2005.

51. Д.П. Рублёв, А.Б.Чумаченко, О.Б.Макаревич, B.M. Фёдоров, Идентификация цифровых микрофонов по неидеальностям тракта записи, Известия ЮФУ. Технические науки, Тематический выпуск "Информационная безопасность", Таганрог, 2007 1 с. 84-92

52. Рабинер JI.P., Шафер Р.В. Цифровая обработка речевых сигналов: Пер. с англ./Под ред. М.В. Назарова, Ю.Н. Прохорова М.: Радио и связь, 1981.-495 с.

53. Рабинер JL, Гоулд. Б. Теория и применение цифровой обработки сигналов: Пер. с англ./Под ред. Ю.Н. Александрова М.: Мир. 1978 - 848, с 330.

54. Опенгейм A.B., Шафер Р.В. Цифровая обработка сигналов: Пер. с англ./Под ред. С.Я. Шаца.-М.: Связь, 1979.-416 с.

55. Рабинер JL, Гоулд. Б. Теория и применение цифровой обработки сигналов: Пер. с англ./Под ред. Ю.Н. Александрова М.: Мир. 1978 - 848 с.

56. Маркел Дж., Грэй А.Х. Линейное предсказание речи: Пер с англ./Под ред. Ю.Н. Прохорова, B.C. Звездина.-М.: Связь, 1980 308 с.

57. Furui S. // Digital Speech Processing, Synthesis and Recognition. Marcel Dekker, New York, 1989.

58. Gopinath R.A. // Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing (ICASSP). 1998. P. II.661-II.664.

59. Panda A., Bhattacharyya S., Shrikanthan T. // Proc. of Symposium on Communication Systems, Networks and Digital Signal Processing. 2002. P. 383 □ 386.

60. Baum L. et al. A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains // Ann. Math Stat. 1970. Vol. 41. P. 164-171.

61. P.X. Садыхов, В.В. Ракуш// Модели гауссовых смесей для верификации диктора по произвольнойфечи, Минск, Доклады БГУИР, 2003, 4, 95-103.

62. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его приложения в экономике и бизнесе. Лекции Экономико-аналитического института МИФИ, МИФИ, 1998.-222 с

63. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского.-М.: Финансы и статистика, 2002 344 с.

64. Горбань А.Н. Нейронные сети на персональном компьютере. Новосибирск.: Наука, 1996.-340 с.

65. Tebelskis J. Speech Recognition using Neural Networks. Ph. D. Thesis- Pittsburg.: Cranegie Mellon University, 1995 180 p.

66. Bimbot F., Reynolds D. et al. A Tutorial on Text-Independent Speaker Verification.- EURASIP Journal on Applied Signal Processing.- Hindawi Publishing Corporation, 2004:4, p.430-451.

67. Campbell J.P. Speaker Recognition: A Tutorial./ Proceedings of the IEEE,- Vol. 85, No. 9, September 1997, p. 1437-1462.

68. Макаревич О.Б., Юрков П.Ю., Федоров B.M. Применение рекуррентных нейронных сетей для текстонезависимой идентификациидиктора.- Сборник трудов "Информационная безопасность".- Таганрог, 2002, с. 200-201.

69. Сергиенко А.Б. Цифровая обработка сигналов. СПб.:. Питер, 2002.-608с.

70. В.С.Медведев, В.Г. Потемкин. Нейронные сети. М., Диалог МИФИ,2002, 489 с.

71. Рамишвили Г. С. Автоматическое опознавание говорящего по голосу,-М.: Радио и связь, 1981

72. MacQueen J. Some methods for classification and analysis ofthmultivariate observations // Proc. 5 Berkley Symp. on Math., Statist., and Prob. Berkley, CA: Univ. of California Press, 1967. P. 281-297.

73. Каганов А.Ш. Исследование фонограмм на предмет наличия/отсутствия на них признаков монтажа как задача экспертной диагностики Российский федеральный центр судебных экспертиз http://illidiv.orel.ru/Pub/publ5.htm

74. Иванов И.Д., Попова А.Р. Криминалистическое исследование звукозаписей. http://illidiy.orel.ru/Pub/exp prakt.htm

75. Иванов И.Л. Таблица векторов идентификационных признаков изменений видео-аудио записей произведённых в процессе записи или после на цифровых носителях информации. Международная конференция «Функциональные стили звучащей речи» 2005

76. Bimbot F., Reynolds D. et al. A Tutorial on Text-Independent Speaker Verification.- EURASIP Journal on Applied Signal Processing.- Hindawi Publishing Corporation, 2004:4, p.430-451.

77. Campbell J.P. Speaker Recognition: A Tutorial./ Proceedings of the IEEE,- Vol. 85, No. 9, September 1997, p. 1437-1462.

78. Макаревич О.Б., Юрков П.Ю., Федоров B.M. Применение рекуррентных нейронных сетей для текстонезависимой идентификации диктора.- Сборник трудов "Информационная безопасность".- Таганрог, 2002, с. 200-201.

79. D. Rublev, О. Makarevich, V. Fedorov, A. Chumachenko, Digital Sound Card Identification Based on Recording Path Imperfections, 2nd ACM International Conference on Security of Information and Networks, New York, 2009, p. 240-243.