автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Способы и алгоритмы трансформации цифровых изображений на основе анализа и обработки метаданных при подготовке к фотопечати

На правах рукописи

ТОЛСТАЯ Екатерина Витальевна

СПОСОБЫ И АЛГОРИТМЫ ТРАНСФОРМАЦИИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ АНАЛИЗА И ОБРАБОТКИ МЕТАДАННЫХ ПРИ ПОДГОТОВКЕ К ФОТОПЕЧАТИ

Специальность 05.13.01 -«Системный анализ, управление и обработка информации (технические системы)»

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

- 1 ДЕК 2011

Рязань 2011

005005146

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Рязанский государственный радиотехнический университет» на кафедре автоматики и информационных технологий в управлении

Научный руководитель:

доктор технических наук, доцент Бехтин Юрий Станиславович

Официальные оппоненты:

доктор технических наук, доцент Приоров Андрей Леонидович

кандидат технических наук, доцент Москвитин Алексей Эдуардович

Ведущая организация:

ГНЦ ФГУП ГосНИИАС, г. Москва

Защита диссертации состоится «21» декабря 2011 г. в 12 ч 00 мин на заседании диссертационного совета Д212.211.01 в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» по адресу: 390005, г. Рязань, ул. Гагарина, д. 59/1.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Рязанский государственный радиотехнический университет».

Автореферат разослан » ноября 2011 г.

Учёный секретарь диссертационного совета кандидат технических наук, доцент

В. Н. Пржегорлинский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время цифровые фотоаппараты практически полностью вытеснили традиционные «плёночные» фотоаппараты, кроме того, почти все устройства мобильной связи (телефоны, КПК, смартфоны и т.п.) оснащены цифровыми видеосенсорами. Печать фотографий на основе полученных цифровых снимков осуществляется как в специализированных фотолабораториях, так и на бытовых струйных или сублимационных фотопринтерах.

С другой стороны, многообразие форм печатной фотопродукции (фотографии, фотоальбомы, фотокниги, фотостенды, фотосувениры и т.п.) приводит к необходимости решать специфические задачи подготовки цифровых фотоснимков к печати. Увеличение количества цифровых фотоснимков неизбежно ведет к увеличению количества печатаемых фотографий, что обусловливает автоматизацию процесса подготовки изображений к печати, то есть разработку новых, специализированных технологий. Подобные технологии подготовки цифровых, фотоснимков к печати должны содержать наборы инструментальных программных средств, созданных на основе методов и алгоритмов анализа и обработки цифровых изображений, которые решают задачи улучшения качества печатаемого изображения, его масштабирования, поворота и интерполяции с учетом характеристик устройств фотопечати, генерации различного рода фотоколлажей, комбинирования серии фотоизображений, снятых в режиме «экспозиционной вилки», и т.п.

Несмотря на то, что почти каждый производитель цифровых фотоаппаратов и оборудования для фотопечати предлагает какие-то инструментальные программные средства для решения данных задач, разработка новых методов и алгоритмов, обеспечивающих лучшее качество фотопечати и дополнительные потребительские свойства, остается актуальной. Данное обстоятельство подтверждается тем, что большинство известных технологий подготовки цифровых фотоснимков к печати базируется на методах непосредственной пространственной и/или частотной обработки изображений, которые воздействуют на исходные данные фотоснимков и, таким образом, осуществляют первичную обработку. Появившиеся в последнее время работы, решающие вышеуказанные задачи на уровне метаданных, то есть путем вторичной обработки, носят разрозненный характер и не объединяются в рамках единой специализированной технологии.

Цель и задачи диссертации. Целью диссертации является разработка способов, алгоритмов и программного обеспечения трансформации цифровых фотоснимков на основе анализа и обработки их метаданных для технологий фотопечати. Для достижения поставленной цели решаются следующие задачи.

1. Разработка и исследование способов оценки качества исходного цифрового фотоснимка по содержащимся в нем метаданным.

2. Разработка и исследование способов и алгоритмов трансформации цифровых изображений при подготовке к фотопечати, в том числе детектирование ориентации изображения по его метаданным, масштабирование, поворот, изменение формы в соответствии с характеристиками устройства фотопечати, согласования размеров цифрового изображения и фотоотпечатка при печати без полей.

3. Разработка и исследование способа и алгоритмов обнаружения и коррекции артефактов в частотной области, возникающих после №ЕО-кодирования цифровых фотоснимков.

4. Разработка и исследование способов и алгоритмов формирования комбинированных изображений из серии перекрывающихся кадров и кадров, снятых в режиме «экспозиционной вилки».

5. Разработка программного обеспечения, объединяющего полученные алгоритмы трансформации цифровых фотоснимков в рамках единой специализированной технологии подготовки цифровых изображений к фотопечати.

Научная новизна. В диссертационной работе получены следующие новые научные результаты.

1. Предложен способ использования метаданных из файлов, содержащих цифровые фотоснимки, для оценки качества исходного изображения и определения последующих необходимых действий для улучшения цифрового изображения.

2. Разработаны новые способы и алгоритмы определения ориентации, изменения размера, формы и угла поворота цифрового изображения с последующим повышением резкости краев путем сокращения величины перепада яркости, а также согласования размеров изображения и фотоотпечатка при печати без полей путем добавления фрагментов исходного изображения.

3. Предложен и исследован новый способ обнаружения и коррекции блочных артефактов и артефактов, вызванных явлением Гиббса, возникающих после 1РЕС-компрессии фотоснимков, основанный на предварительном анализе метаданных и обнаружении локализаций артефактов с максимальной вероятностью.

4. Предложен способ генерации изображения из кадров, снятых в режиме «экспозиционной вилки», позволяющий получать цветное 8-разрядное изображение с расширенным динамическим диапазоном без необходимости калибровки фотоаппарата и построения изображения увеличенной разрядности.

5. Разработан способ формирования панорамного изображения путем комбинирования перекрывающихся кадров (серии фотоснимков) в одно изображение, который автоматически детектирует перекрывающиеся области кадров и определяет порядок очередности присоединения фотоснимков.

Практическая ценность. Полученные способы и алгоритмы трансформации цифровых фотоснимков составляют функционально законченную технологию их автоматического анализа и коррекции при печати на любых современных устройствах фотопечати. Соответствующее программное обеспечение снабжает конечного пользователя не только улучшенным качеством печатаемых фотографий, но и новыми функциональными возможностями по работе как с одиночными фотоснимками, так и сериями фотоснимков, относящихся к одному сюжету.

Методы и достоверность исследования. При решении поставленных задач использовались методы цифровой обработки изображений, элементы теории вероятностей, математической статистики, нечеткой логики. Для практической реализации алгоритмов применялись численные методы и методы объектно-ориентированного программирования на языке С++.

Личный вклад автора. Все основные результаты диссертации получены автором лично и опубликованы в работах без соавторов [5, 6, 9, 10, И, 14]. В соавторстве разработаны способы оценки качества изображений по метаданным [4, 8], оценки качества изображений при сжатии [2, 3, 4, 7], коррекции изображений [1, 12,13,15].

Реализация и внедрение. Предложенные алгоритмы внедрены в Исследовательском центре компании Самсунг (г. Москва) и использованы в программном обеспечении ряда фирменных моделей принтеров, сканеров, многофункциональных устройств (МФУ) для операций сканирования документов и печати фотографий. На 7 выносимых на защиту способов получены патенты РФ.

Апробация работы. Результаты работы докладывались и обсуждались на следующих международных научно-технических конференциях (МНТК): МНТК по компьютерной графике и машинному зрению «Graphicon-2007» (Россия, г. Москва, 2007 г.), МНТК «Pattern recognition and image analysis: new information technologies» (Россия, г. Нижний Новгород, 2008 г.), симпозиум IS&T/SPIE Electronic Imaging в рамках МНТК «Digital Photography V», (США, г. Сан-Хосе, 2009 г.), симпозиум IS&T/SPIE Electronic Imaging в рамках МНТК «Digital Photography VI» (США, г. Сан-Хосе, 2010 г.), IX МНТК «Распознавание» (Россия, г. Курск, 2010 г.), VIII МНТК «Искусственный интеллект. Интеллектуальные системы» (Украина, АР Крым, пгт. Кацивели, 2010 г.).

Публикации. По теме диссертации опубликовано 15 научных работ, из них одна статья в журнале из списка ВАК РФ, 7 тезисов докладов на научных конференциях. По результатам работы подано 11 патентных заявок, на 7 из которых выданы патенты РФ.

Структура диссертации. Диссертация общим объемом 133 с. состоит из введения, четырех глав, заключения, содержит 81с. основного текста, перечень используемой научно-технической литературы из 98 наименований на 12 с., 4 приложений на 4 е., 57 рис. и 8 табл. на 40 с.

ОСНОВНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ

1. Способ оценки качества исходного цифрового изображения и автоматической выдачи рекомендаций по его улучшению на основе анализа и обработки метаданных.

2. Способы и алгоритмы трансформации цифрового изображения путем определения ориентации, изменения размера, формы, угла поворота, а также согласования размеров изображения и фотоотпечатка при печати без полей.

3. Способ обнаружения и алгоритмы коррекции блочных артефактов и артефактов, вызванных явлением Гиббса, возникающих после JPEG-кодирования цифрового фотоснимка.

4. Способ формирования комбинированного изображения из серии фотоснимков, сделанных в режиме «экспозиционной вилки».

5. Способ составления панорамного изображения из серии перекрывающихся фотоснимков.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается необходимость и актуальность темы исследований, формулируются цель и задачи диссертационной работы, определяется научная и практическая значимость полученных результатов, а также излагаются основные положения, выносимые на защиту.

В первой главе дается сравнительный обзор существующих технологий, методов, способов и алгоритмов анализа и обработки цифровых фотографических снимков при подготовке к печати.

Отмечается, что, несмотря на значительное развитие технологий производства цифровых видеосенсоров, все еще остается потребность в качественных алгоритмах обработки цифровых фотоснимков для их последующей компоновки, печати, публикации и демонстрации. Современные технические средства позволяют получать большие объемы цифровых фотографий, однако они обладают рядом недостатков, в частности, неправильный расчет выдержки приводит к недо- или переэкспонированным изображениям; сцены, содержащие объекты, которые сильно различаются по яркости, неадекватно отображаются на снимке; небольшой угол обзора не позволяет получать панорамные снимки; поворот камеры при съемке приводит к повороту снимка и потере его эстетических характеристик; несоответствие размера изображения разрешению печатающего устройства приводит к неправильному размеру отпечатка и т.п.

Показано, что существующие методы устранения вызванных вышеприведенными недостатками дефектов на цифровых фотографиях делятся на две категории: методы редактирования изображений, реализованные в известных пакетах прикладных программ (ППП) и требующие участия пользователя, и автоматические методы. Недостатками методов первой группы является субъективизм и обилие неизвестных параметров корректировки, а также необходимость изучения функций конкретного ППП. С другой стороны, хотя автоматические методы и позволяют анализировать и трансформировать цифровые снимки больших объемов при подготовке к печати, однако многие из них требуют значительных вычислительных и временных ресурсов для выполнения.

Отмечается, что большинство известных технологий автоматической подготовки цифровых фотоснимков к печати базируется на методах непосредственной пространственной и/или частотной обработки изображений, которые воздействуют на исходные данные фотоснимков и, таким образом, осуществляют первичную обработку. Появившиеся в последнее время методы, способы, нацеленные на повышение качества предварительно обработанных цифровых фотоснимков и расширение функциональных возможностей ППП, работающие на уровне метаданных, то есть путем вторичной обработки, носят разрозненный характер и не объединяются в рамках единой специализированной технологии.

Показана необходимость и перспективность разработки новых способов, алгоритмов и реализующего их программного обеспечения для подготовки цифровых фотографий к печати, базирующиеся на анализе и обработке метаданных. По результатам проведенного обзора ставится цель разработки способов, алгоритмов

и программного обеспечения трансформации цифровых фотоснимков на основе анализа и обработки их метаданных для технологий фотопечати.

Вторая глава посвящена разработке новых способов улучшения качества единичного цифрового фотоснимка на основе анализа его метаданных и последующей трансформации при подготовке к печати.

Отмечается, что современные устройства цифровой фотографии сохраняют не только данные цифрового снимка (растровый формат), но и дополнительные данные (метаданные) в EXIF-формате. Метаданные представляют информацию обо всех или почти всех (зависит от производителя устройств фотосъемки) параметрах фотоснимка в виде набора тегов (полей) со своими названиями и значениями. В работе предлагается способ определения необходимых действий для улучшения цифрового фотоизображения с помощью анализа метаданных в наиболее часто используемых EXIF-тегах без анализа содержимого фотоснимка. Для изучения и анализа были выбраны следующие типичные искажения цифровых фотографий: экспозиция, шум, цветовые искажения, размытие, JPEG-артефакты, дефект «красных глаз». После анализа 1054 отобранных фотографий, сделанных десятью разными моделями цифровых фотоаппаратов разных производителей, выявлены наиболее часто используемые теги, которые присутствуют во всех фотоснимках. Для классификации массива EXIF-данных по обозначенным классам искажений была создана и размечена обучающая выборка изображений. Результатом исследований стали относительно просто программно реализуемые правила для выявления изображений: 1) нуждающихся в коррекции дефектов экспозиции; 2) не нуждающихся в фильтрации шума; 3) с относительно плохой резкостью; 4) подверженных артефактам JPEG-компрессии; 5) не содержащих дефект «красных глаз». Анализ метаданных фотоснимка и разработанные правила позволяют применять только необходимые действия для улучшения изображения, сокращая, таким образом, общее время обработки цифровой фотографии. Например, при значениях времени выдержки и чувствительности ниже заданного порога, не требуется выполнять ресурсоёмкий анализ уровня шума на изображении. Другим примером является выявление дефекта «красных глаз». Анализ изображения некоторыми известными ППП занимает в среднем 10 - 15 с, тогда как определение по метаданным, что при съемке не использовалась фотовспышка (то есть дефект «красных глаз» отсутствует на данном фотоснимке), сокращает общее время обработки такого фотоснимка на указанное время. Способ описан в Патенте РФ № 2374688 [8].

Отмечается, что некоторые модели современных цифровых фотоаппаратов имеют встроенный детектор ориентации, который сохраняет информацию о положении фотоаппарата в пространстве в соответствующем EXIF-теге. Однако в случае, когда данный EXIF-тег изображения не содержит информации о положении фотоаппарата в пространстве, как, например, в случае отсканированной фотографии, возникает задача автоматического определения ориентации цифрового фотоснимка по его содержимому. В работе данная задача ставится как определение принадлежности фотоснимка к одному из четырёх классов изображений, повернутых на CP, 90°, 180° и 270° соответственно. Поскольку фотоснимки, повёрнутые на 18СР, встречаются относительно редко, то на первом этапе предлагается определять

принадлежность изображения к одному из двух классов: имеющему книжную (повернутому на 90"или на 270 °) или альбомную (повернутому на 0° или 180°) ориентацию. На следующем этапе производится классификация фотоснимка с книжной ориентацией путем определения его принадлежности к одному из двух классов изображений: повернутых по- и против часовой стрелки (900 и 2700 соответственно). Для построения классификатора была сформирована размеченная вручную выборка из 861 цифрового фотоснимка, причем для каждого фотоснимка построены векторы характеристических признаков и каскад из двух бинарных классификаторов с помощью метода AdaBoost.

Рис. 1. Схема автоматического определения ориентации цифрового фотоснимка

Предложенные характеристические признаки основаны на яркости и текстурированности изображения и отличаются от своих аналогов тем, что являются инвариантными к горизонтальному отражению изображения. Всё множество фотоснимков было разделено на две выборки: обучающую и тестовую. С помощью обучающей выборки вычислялись коэффициенты для классификаторов, затем точность работы каскада классификаторов проверялась на тестовой выборке путем сверки результата работы классификаторов и ручной разметки изображений (рис. 1). Для расчета коэффициентов классификатора была проведена 10-проходная перекрёстная проверка. В работе предложена усовершенствованная схема для второго классификатора, отличающаяся повышенной точностью (вероятностью правильного обнаружения ориентации). Предложенная схема заключается в дополнительном повороте изображения на 180 последующей классификацией по ориентации на 90 ° или 270 ° и выбором результата с наибольшим значением вероятности, посчитанной классификатором. Необходимо отметить, что поворот изображения на 180 ° и расчет вектора признаков осуществлялись с помощью отражения вектора признаков, так как вектор признаков изображения инвариантен к горизонтальному отражению. Кроме того, в данном способе одновременно работает схема отбраковки изображений: если классификатор выдает вероятность, меньшую заданного порога, то ориентация изображения считается нераспознанной. В ходе статистического моделирования на ЭВМ было выявлено, каким образом величина порога отбраковки влияет на вероятность правильного определения ориентации классификатором. Также в работе показано, что предложенный способ распознавания ориентации имеет высокую эффективность в смысле правильной

классификации для фотоснимков природы по сравнению с фотоснимками, сделанными внутри помещений. Данный момент объясняется тем, что на многих фотоснимках природы отчетливо выражены градиенты цветов и текстур.

Показано, что анализ метаданных по набору ЕХШ-тегов позволяет с вероятностью, близкой к единице, выявить фотоснимки, которые не содержат искажения (артефакты), возникающие после ЛРЕС-компрессии цифрового изображения. Для фотоснимков, набор ЕХ1Р-тегов которых не достаточен для подобного анализа, требуется вторичная обработка ,1РЕО-кодированных изображений с целью обнаружения и коррекции искажений типа блочных артефактов и артефактов, вызванных явлением Гиббса (артефакты звона).

Разработан новый способ для безреференсной оценки наличия ,1РЕО-искажений в частотной области с использованием для блочных артефактов синтезированной статистической модели, а для артефактов звона - эмпирической метрики. Классификация блоков коэффициентов дискретно-косинусного преобразования (ДКП), вычисляемых после применения процедуры №ЕО-компрессии (первичная обработка), на «хорошие» (не подверженные искажениям) и «плохие» (содержащие искажения) проводится по результатам обнаружения перепадов яркостей пикселей (нарушений гладкости). Индивидуальный анализ блоков позволил разработать процедуру выборочного исправления искажений, которая не вносит дополнительного размытия в изображение.

Рис. 2. Этапы обработки JPEG-кодированного изображения для выявления и

коррекции артефактов

Обнаружение блочных артефактов основано на применении классификатора AdaBoost. В работе приводятся результаты статистического моделирования, при котором для обучения бинарного классификатора использовались 6300 векторов-особенностей блоков из шести различных изображений, сжатых с помощью алгоритма JPEG с различными степенями сжатия. Области изображения, где блочные артефакты проявились достаточно сильно, размечались вручную и обозначались как «плохие», в регионах, где не было видно артефактов, блоки помечались как «хорошие». При 10-проходной перекрестной проверке ошибку классификатора удалось снизить до 3 %. Отмечается, что в отличие от блочных артефактов артефакты звона не проявляются через границы блоков, появляющихся после сжатия изображений. Поэтому обнаружение артефактов звона производилось на основе анализа коэффициентов ДКП. Показано, что артефакты звона являются наиболее заметными, когда блок, содержащий большой перепад яркости, соседствует с прилегающим гладким блоком. В этом случае возле перепада яркости появляются паразитные колебания яркости, которые принадлежат тому же блоку, что и перепад яркости. В работе описываются выявленные закономерности проявления артефактов, которые характеризуются следующими правилами: текущий блок (содержащий

артефакты) представлен достаточно большим количеством ненулевых коэффициентов ДКП; по крайней мере, один из соседних четырёх блоков является достаточно гладким блоком (представлен малым количеством ненулевых коэффициентов ДКП); текущий блок подвержен компрессии (относительно большое число нулевых коэффициентов ДКП). На основании данных правил предложена относительно простая и эффективная метрика для определения блоков, которые потенциально содержат артефакты звона. Метрика основана исключительно на анализе коэффициентов ДКП и не требует нахождения контуров объектов на исходном изображении. Пример, иллюстрирующий применение разработанной метрики, приведен на рис. 3.

ТП',:

HI

'jb

шл

50 100 150 200 250

50 100 150 200 250

Рис.3. Применение метрики для определения блоков, в которых потенциально могут

проявляться артефакты звона

50 g 45

g 40 С

35 30

I I Предложенный способ 1 Shape-Adaptive DCT Topaz Labs DeJPEG JPEG Enhancer

Lriu_

№

ULlUH

0.50 0.

1.20

1.77

2.87 3.79 4.83

BPP

Рис.4. Результаты оценки значений ПОСШ (PSNR, дБ), полученные для тестового изображения «Фотограф», обработанного различными способами коррекции артефактов после сжатия с различными скоростями (числом бит на пиксель, Ьрр)

В работе предложен способ коррекции артефактов с помощью билатеральной фильтрации, применяемой или только к «плохим» границам, или только к блокам, содержащим артефакты звона. Оценка эффективности разработанного способа обнаружения и коррекции артефактов проводилась путем статистического моделирования на ЭВМ в сравнении с известными методами, реализованными, в том числе, и в ряде ППП, доступных через Интернет, таких как DeJPEG, JPEG Enhancer, SA-DCT plug-in и т.п. Показано, что по критериям пикового отношения сигнал-шум (ПОСШ) и комплексной оценки структурного сходства SSIM предложенный способ

уверенно занимает второе место среди способов, реализованных в ряде ППП, ненамного уступая лидеру, а при малых степенях сжатия обеспечивает почти вдвое большее значение ПОСШ, чем ППП DeJPEG и JPEG Enhancer (рис. 4). При средних степенях сжатия коррекция артефактов предложенным способом приближает визуально обработанное после компрессии изображение к оригиналу, что демонстрирует рис. 5. В работе также приводятся результаты сравнительной оценки быстродействия разработанного способа. Показано, что предложенный способ обеспечивает в среднем в 5,5 раз меньше времени, чем остальные ППП. Способ описан в Патентах РФ № 2402070 [б], № 2345415 [7], № 2365994 [9].

Рис. 5. Фрагменты изображения «Фотограф»: а) оригинала; б) сжатого в среде МаНаЬ с параметром качества 60 %; в) скорректированного предложенным способом

Отмечается, что при печати фотоснимка одним из наиболее важных параметров является размер изображения (в пикселях), который определяется путем анализа значений EXIF-тегов PixelYDimension и PixelXDimension и который должен быть согласован с параметром разрешения печати принтера. В частности, для термосублимационных принтеров типичное значение разрешения печати составляет 300 точек на дюйм (dots per inch, dpi). Таким образом, зная размер фотобумаги или желаемого фотоотпечатка, предлагается вычислять требуемый размер изображения в пикселях по правилу:

ширина (высота) изображения (пике.) = ширина (высота) бумаги (дюймы) х разрешение печати (dpi).

Показано, что применение подобного правила приводит к проблеме согласования отношения ширины к высоте цифрового фотоснимка и подобного отношения для листа фотобумаги. В известных разработках данная проблема решается либо путем отбрасывания части изображения, либо путем оставления белых полей на отпечатке. В работе предложен способ согласования размеров цифрового изображения и фотобумаги для печати без полей путем дополнения изображения по краям таким образом, чтобы пропорции получившегося изображения совпадали с пропорциями листа фотобумаги. Дополнительные фрагменты для изображения получаются из полос изображения по краям, к которым применена операция отражения. При этом исходное изображение предварительно анализируется, насколько применим к нему такой способ дополнения, и с какой стороны дополнение будет менее заметно для неинформированного зрителя. Разработана методика для анализа заметности привносимых артефактов и применимости способа. На тестовой выборке

произвольных фотоснимков с соотношением сторон 4:3 более 30 % фотоснимков были преобразованы в фотоснимки с соотношением сторон 3:2 без внесения видимых артефактов.

Отмечается, что после приведения в соответствие соотношений ширины к высоте цифрового фотоснимка и листа фотобумаги возникает проблема преобразования изображения к требуемому размеру в пикселях. Для этого необходимо вычислить значения пикселей в новых точках, используя известные точки, то есть произвести двумерную интерполяцию. Такая задача также возникает при небольшом повороте камеры при съемке, когда линия горизонта на фотоснимке не параллельна одной из его сторон (линия горизонта «завалена»). Получен способ двумерной интерполяции изображений, предназначенный для изменения размеров, формы, угла поворота изображения. Основу способа составляет новая схема двумерной интерполяции, которая позволяет преобразовывать изображение с прямоугольной сетки на произвольную сетку, в том числе, другую прямоугольную сетку любого размера. Получена теоретическая оценка вычислительной сложности разработанного способа (количество операций сложения и умножения), результаты сравнения с наиболее известными способами двумерной интерполяции - билинейной и бикубической - помещены в табл. 1. В ходе статистического моделирования на ЭВМ было выявлено, что разработанный способ позволяет добиться качества трансформированного фотоснимка по критерию ПОСШ, превосходящего результаты билинейной интерполяции и относительно немного проигрывающие результатам бикубической интерполяции (табл. 2). Кроме того, достоинства разработанного способа проявились при интерполяции кольцевых панорамных снимков на прямоугольную сетку. Применение разработанного способа позволяет избежать появления артефактов, возникающих при билинейной и бикубической интерполяции таких изображений. Предложенный способ описан в Патенте РФ №2310911 [10].

Таблица 1.

Предложенный способ 0(21Ч2)

Билинейная интерполяция 0(И2)

Бикубическая интерполяция 0(61Ч2)

Таблица 2.

Значения ПОСШ (дБ) для двух тестовых изображений при

Тестовое изображение Способ интерполяции

Билинейная Бикубическая Предложенный способ

«Барбара» 33,9 34,2 34

«Круг» 35,3 36 35,7

Третья глава посвящена разработке способов и алгоритмов формирования комбинированных изображений из серий фотоснимков, относящихся к одному сюжету.

Предложен новый способ формирования изображения сцены с высоким динамическим диапазоном, то есть сцены, содержащей яркие и тёмные объекты, из серий цифровых фотоснимков, сделанных в режиме «экспозиционной вилки».

Комбинированное изображение содержит 256 градаций для каждого цветового канала (8 бит на пиксель в каждом цветовом канале). Показано, что преимущество разработанного способа состоит в сохранении мелких деталей изображений с помощью применения локальной тональной компрессии. Режим «экспозиционной вилки» приводит к тому, что на одних снимках относительно хорошо проработаны детали в темных участках сцены, а на других - относительно хорошо различимы детали светлых участков. Поскольку зрение человека восприимчиво к деталям (локальным изменениям яркости), то главная задача - это предохранение градиентов (перепадов яркости) на изображениях. Для ее решения на первом этапе все изображения серии пересчитываются в цветовое пространство УСЬСг. Затем строится градиент яркостной компоненты (У) искомого изображения: для каждого пикселя компоненты У искомого изображения выбирается максимальный по модулю градиент в этой же точке среди градиентов компоненты У всех изображений серии. Ограничением данного способа является предположение, что в процессе съемки всей серии фотокамера неподвижна. К построенному градиенту применяется преобразование, которое уменьшает абсолютное значение градиента на относительно больших перепадах яркости. Для этого в каждой точке рассчитывается функция Ф, зависящая от градиента в = {Сх, йу] изображения, полученного усреднением и фильтрацией яркости по всем изображениям входного набора:

\ 11.5 Л

1+10,0',у) |+| о,0".Л1

Рис. 6. Иллюстрация построения изображения с расширенным динамическим диапазоном

На втором этапе восстанавливаются значения яркостей, соответствующих полученному градиенту изображения. Наконец, две цветовые компоненты Сг и СЬ рассчитываются при помощи линейной интерполяции цветовых компонент изображений входного набора, в результате чего получается комбинированное изображение с относительно высоким динамическим диапазоном. Показано, что предложенное решение позволяет быстро и эффективно создавать цифровые

фотоизображения природных пейзажей из серии фотоснимков, сделанных в режиме «экспозиционной вилки» (рис. 6).

Разработан новый способ бесшовного комбинирования серии перекрывающихся изображений, отличающийся от известных тем, что угол поворота каждого изображения и их взаимное расположение определяются автоматически.

Рис. 7. Этапы предлагаемого способа бесшовного комбинирования изображений

Рис.8. Процесс построения комбинированного (мозаичного) изображения

На первом этапе на каждом из изображений с помощью фильтра Харриса определяются множества так называемых особых точек, в окрестностях которых яркость изменяется как в горизонтальном, так и в вертикальном направлениях. Затем для каждой особой точки строится ее характеристический вектор, учитывающий значения пикселей в окрестности. Данный вектор обладает уникальными характеристиками (дескрипторами), поскольку по нему идентифицируется особая точка. На следующем этапе изображения сравниваются попарно таким образом, что из множеств их особых точек составляются пары с наиболее близкими дескрипторами; при этом первый элемент пары принадлежит одному изображению, а второй - другому изображению. Мера близости характеристических векторов определяется как сумма квадратов разностей компонент векторов (квадрат евклидовой нормы разностного вектора). По найденным парам особых точек методом наименьших квадратов находится двумерная линейная регрессионная модель для каждой пары изображений, которая переводит множество особых точек одного изображения в множество особых точек другого изображения. На следующем этапе находится опорное изображение, которое имеет больше всего общих особых точек с другими изображениями; остальные изображения по одному присоединяются к опорному таким образом, чтобы шов был незаметен. При этом регрессионная модель для каждого присоединяемого изображения рассчитывается еще раз, чтобы избежать появления артефактов. В зависимости от вида заданной модели предоставляется возможность выбора различных видов проекций финального изображения. В частности, для сканированных больших плакатов была выбрана модель, включающая только перенос и поворот изображения. Модель линейного преобразования между множеством пар особых точек, среди которых обычно присутствует значительное количество неправильно подобранных пар, находится с

помощью метода RANSAC (RANdom SAmple Consensus). Метод RANSAC основан на многократном решении системы уравнений для нескольких случайно выбранных пар точек (4-5 пар) и выбора наилучшего решения в том смысле, что максимальное количество пар точек согласуется с линейной моделью. Показано, что такой метод позволяет найти модель даже в таких случаях, когда во множестве пар особых точек более половины пар подобраны неправильно. Для смешивания изображений в области перекрытия был применен метод поиска линии минимальной стоимости через область перекрытия, где стоимостью перехода между соседними точками является величина модуля разности значений яркостей соответствующих пикселей изображений. Затем для присоединяемого изображения строится маска видимости, которая принимает значение «1» там, где изображение видно, и «О» - там, где оно закрыто опорным изображением. Маска видимости используется для так называемого многочастотного смешивания в зоне перекрытия изображений. На рис.8 проиллюстрирован процесс построения комбинированного изображения. Отмечается, что применение такого способа позволяет сделать шов между изображениями практически незаметным. Кроме того, проведенные статистические исследования на ЭВМ показали, что для надежной работы соответствующих алгоритмов требуется перекрытие размером как минимум 1/4 от размера целого изображения. Предложенный способ описан в Патенте РФ №2421814 [5].

Четвертая глава посвящена реализации программного обеспечения трансформации цифровых фотоснимков на основе разработанных способов и алгоритмов анализа и обработки их метаданных в рамках единой технологии подготовки к фотопечати.

В работе создан и реализован в Исследовательском центре Самсунг (г. Москва) пакет прикладных программ в виде самостоятельного приложения, работающего под управлением операционных систем Windows NT, Windows 2000, Windows XP, Windows 7. Отдельные модули пакета внедрены в драйверы для принтеров, сканеров, многофункциональных устройств, а также в специализированные ППП, которые поставляются на рынок либо как фирменное программное обеспечение устройств фотопечати, либо как самостоятельные приложения, предназначенные для работы с цифровыми фотоснимками.

Реализованный ППП написан на языках С и С++ и для реализации интерфейса и ускорения работы программы путем осуществления параллельных вычислений на нескольких процессорах использует библиотеки MFC и ОрепМР. Разработанный ППП состоит из модулей интерполяции изображений; согласования размеров цифрового фотоснимка и размера фотобумаги для печати без полей; автоматического определения ориентации изображения по его содержимому; обнаружения и коррекции артефактов после JPEG-компрессии; комбинирования серии изображений, снятых в режиме «экспозиционной вилки»; комбинирования (сшивки) серии перекрывающихся изображений.

В ходе отладки и тестирования модулей ППП проведено исследование быстродействия модуля интерполяции изображений и получена теоретическая оценка необходимого количества операций умножения и сложения в зависимости от размеров исходного и итогового изображений. Одновременно фиксировались

результаты достижимого качества итогового изображения для различных конфигураций интерполяционной сетки, оцениваемого по критериям ПОСШ и БЭШ.

Аналогичное исследование эффективности модуля обнаружения и коррекции артефактов после №ЕС-компрессии показало, что по быстродействию модуль значительно превосходит конкурентные разработки, а по качеству обработанных изображений не уступает лучшим разработкам по критериям ПОСШ и ББШ. Результаты статистического моделирования приведены в публикациях [1,2, 12].

На устройство печати

Рис, 9. Модульная структура разработанного ППП трансформации цифровых фотоснимков на основе предложенных способов и алгоритмов анализа и обработки их метаданных в рамках единой технологий подготовки к фотопечати

Отмечается, что по результатам исследования модуль для комбинирования серии цифровых изображений, зафиксированных в режиме «экспозиционной вилки», обеспечивает в автоматическом режиме более эстетически привлекательные изображения, что подтверждается результатами опроса группы из 10 независимых наблюдателей. Показано, что в смысле оценки MOS (Mean Opinion Score) разработанный модуль превосходит конкурентные разработки, доступные в Интернет, такие как Artizen HDR и Photomatix. Результаты сравнения приведены в [13].

Отмечается, что работа модуля автоматического определения ориентации изображения по его содержимому отличается высокой эффективностью, поскольку полученные результаты классификации сравнимы или превосходят результаты, достигнутые другими методами [14].

При написании сценариев работы модуля комбинирования (сшивки) серии перекрывающихся изображений реализованы параллельные вычисления, что ускорило выполнение программы в 3,5 раза по сравнению с процедурным программированием. Отмечается, что в ходе тестирования модуля продемонстрировано отсутствие на обработанном изображении артефактов, заметных зрением человека.

Таким образом, проведенные экспериментальные исследования разработанных модулей ППП, реализующих представленные в диссертации способы и алгоритмы подготовки цифровых фотоснимков к печати, подтвердили правильность и эффективность теоретических выводов и положений диссертации.

В заключении приводятся основные результаты, полученные в диссертационной работе.

В приложениях помещены таблицы статистических данных, блок-схемы алгоритмов и акты внедрения результатов работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен сравнительный обзор технологий, способов, методов и алгоритмов подготовки цифровых фотоснимков к печати; показана перспективность применения анализа и обработки метаданных для трансформации и улучшения качества цифровой фотографии в рамках единой специализированной технологии.

2. Разработан не имеющий аналогов способ использования метаданных из файлов, содержащих цифровые фотоснимки, для оценки качества исходного изображения и определения последующих необходимых действий для улучшения цифрового изображения. На основе анализа метаданных о параметрах формирования цифрового изображения оцениваются ошибки экспозиции (по миниатюре), выявляется необходимость применения фильтрации, увеличения резкости и коррекции дефекта «красных глаз», определяется наличие артефактов для 1РЕС-кодированных изображений.

3. Разработан способ определения ориентации фотоснимка путем его анализа и попиксельной обработки, который использует комбинацию двух бинарных классификаторов, оперирующих векторами характеристических признаков. В отличие от известных методов разбиение изображения на полосы (вертикальные и горизонтальные) позволяет эффективно находить характеристические признаки.

4. Предложен способ изменения размера, формы, угла поворота цифрового фотоснимка для согласования размеров изображения и его фотоотпечатка при печати без полей. В отличие от существующих способов изображение дополняется с одной или двух сторон фрагментами, взятыми из самого исходного изображения, причем предложенный способ отличается высоким быстродействием.

5. Для автоматического определения цифровых фотоснимков, к которым применимы вышеуказанные операции трансформации, разработан и исследован оригинальный классификатор, ошибки классификации которого не превосходят 5 %.

6. Разработан способ обнаружения и алгоритмы коррекции блочных артефактов и артефактов звона, возникающих после .!РЕС-кодирования изображений с относительно высокими степенями сжатия. От известных методов способ отличается быстродействием (в 2-2,5 раза) при поиске блоков коэффициентов ДКП,

содержащих артефакты, и способностью алгоритмов коррекции «точечно» удалять артефакты. Другая отличительная особенность разработанного способа и алгоритмов коррекции - нет дополнительных искажений в подготовленных к печати изображениях после обработки цифровых фотоснимков высокого качества.

7. Разработан способ формирования 8-разрядного изображения с расширенным динамическим диапазоном из серии фотоснимков, полученных с помощью цифрового фотоаппарата в режиме «экспозиционной вилки». В отличие от существующих способов данный способ позволяет получать цветное изображение без необходимости калибровки фотоаппарата и построения изображения увеличенной разрядности.

8. Разработан способ формирования панорамного изображения (сшивки) из серии перекрывающихся фотоснимков. В отличие от известных методов сшивки изображений предложенный способ не вносит в результирующее изображение артефакты, заметные человеческим глазом.

9. Разработанные способы реализованы в виде относительно быстрых алгоритмов и запрограммированы на языке высокого уровня в форме ППП, имеющего модульную структуру. Проведены экспериментальные исследования модулей ППП, подтвердившие правильность теоретических и эмпирических предположений и выводов диссертации.

10. Отдельные модули пакета внедрены в драйверы для принтеров, сканеров, многофункциональных устройств, а также в специализированные ППП, которые поставляются на рынок либо как фирменное программное обеспечение устройств фотопечати, либо как самостоятельные приложения, предназначенные для работы с цифровыми фотоснимками.

ОСНОВНЫЕ ПОЛОЖЕНИЯ ДИССЕРТАЦИИ ИЗЛОЖЕНЫ В СЛЕДУЮЩИХ РАБОТАХ

Публикации в изданиях, рекомендованных ВАК Минобрнауки РФ

1. Бехтин Ю.С., Толстая Е.В. Коррекция артефактов звона при JPEG-кодировании изображений. // Цифровая обработка сигналов, № 4, 2010, С.22-27.

Материалы конференций

2. Толстая Е. В., Бехтин Ю. С. Оценка артефактов сжатия в частотной области при JPEG-кодировании изображений // Международная . научно-техническая конференция «Искусственный интеллект. Интеллектуальные системы. ИИ-2010».

3. Толстая Е. В., Бехтин Ю. С. Оценка блочных искажений в частотной области при JPEG-кодировании изображений // Доклады IX Международной научно-технической конференции «Распознавание — 2010», Курск, Россия, 2010.

4. Курилин И. В., Сафонов И. В., Толстая Е. В., Ефимов С. В., Рычагов М. Н. Автоматическое улучшение качества изображений на основе анализа EXIF метаданных // Тезисы Конференции «Распознавание образов и анализ изображений: новые информационные технологии», Нижний Новгород, том 1, 2008.

Патенты РФ

5. Толстая Е. В., Способ формирования составного изображения, Патент РФ №>2421814, опубликован: 20.06.2011, Бюл. № 17.

6. Толстая Е. В., Способ удаления искажений на цифровых изображениях, Патент РФ № 2402070, опубликован: 20.10.2010, Бюл. № 29.

7. Рычагов М. Н., Сафонов И. В., Толстая Е. В., Ефимов С. В., Канг К.-М., Ким С.-Х., Способ повышения качества цифрового фотоизображения, Патент РФ №2400815, опубликован: 27.09.2010, Бюл. № 27.

8. Толстая Е. В., Сафонов И. В., Курилин И. В., Ефимов С. В., Рычагов М. Н., Способ повышения качества цифрового изображения на основе метаданных, Патент РФ № 2374688, опубликован: 27.11.2009, Бюл. № 33.

9. Толстая Е. В., Способ выявления искажений, вызванных эффектом Гиббса, при JPEG-кодировании, Патент РФ № 2365994 опубликован: 27.08.2009, Бюл. № 24.

Ю.Толстая Е. В., Способ выявления блочных искажений при JPEG-кодировании, Патент РФ № 2 345 415, опубликован: 27.01.2009, Бюл. № 3.

П.Толстая Е. В., Способ интерполяции изображений, Патент РФ № 2310911, опубликован: 20.11.2007, Бюл. № 32.

Публикации в англоязычных изданиях

12.Tolstaya Е., Rychagov М., Kim S.-H., Choi D.-C. Removal of blocking and ringing artifacts in JPEG-coded images // Proceedings of 2010 IS&T/SPIE Electronic Imaging, Vol. 7537 753700, 17-21 January 2010, San Jose, California, USA.

13.ToIstaya E., Rychagov M„ Kang K.-M., Kim S.-H Fusion of high dynamic range scene photos // Proceedings of 2009 IS&T/SPIE Electronic Imaging, Vol. 7250 72500Y, 27 -31 January 2009, San Jose, California, USA.

M.Tolstaya E. Content-based image orientation recognition // 17th International Conference on Computer Graphics and Vision GRAPHICON-2007, Moscow, Russia, 2007.

15.Safonov I., Tolstaya E. Matching aspect ratio of digital photo via complementing // 17th International Conference on Computer Graphics and Vision GRAPHICON-2007, Moscow, Russia, 2007.

СПОСОБЫ И АЛГОРИТМЫ ТРАНСФОРМАЦИИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ АНАЛИЗА И ОБРАБОТКИ МЕТАДАННЫХ ПРИ ПОДГОТОВКЕ К ФОТОПЕЧАТИ

Толстая Екатерина Витальевна

Автореферат диссертации на соискание ученой степени кандидата технических наук

Заказ № 53-А/11/2011 Подписано в печать 14.11.2011 Тираж 100 экз. Усл. п.л. 1,0

ООО "Цнфровичок", тел. (495) 649-83-30 www.cfr.ru; e-mail: info@cfr.ru

ВВЕДЕНИЕ.

1. ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ, СПОСОБОВ И АЛГОРИТМОВ ОБРАБОТКИ ЦИФРОВЫХ ФОТОСНИМКОВ ПРИ ПОДГОТОВКЕ К ПЕЧАТИ.

2. РАЗРАБОТКА СПОСОБОВ И АЛГОРИТМОВ ОБРАБОТКИ МЕТАДАННЫХ И ТРАНСФОРМАЦИИ ЕДИНИЧНОГО ФОТОСНИМКА.

2.1. Анализ метаинформации.

2.1.1. Нарушения экспозиции.

2.1.2. Шум.

2.1.3. Цветовые искажения.

2.1.4. Размытые фотографии.

2.1.5. JPEG артефакты.

2.1.6. Эффект красных глаз.

2.2. Автоматическое определение поворота изображения.

2.2.1. Существующие методы распознавания поворота изображения.

2.3. Выявление и коррекция JPEG-артефактов.

2.3.1. Обнаружение JPEG артефактов звона.

2.3.2. Обнаружение блочных артефактов.

2.3.1. Коррекция артефактов.

2.4. Интерполяция и согласование сторон цифрового снимка.

2.4.1. Способ согласования отношения ширины снимка к высоте.

2.4.2. Способ интерполяции изображений.

2.4.3. Предложенный способ.

2.4.1. Тональное отображение.

2.4.2. Оценка сложности.

3. СПОСОБЫ И АЛГОРИТМЫ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ ИЗ СЕРИИ ФОТОСНИМКОВ.

3.1. Формирование изображения сцены с большим динамическим диапазоном.

3.1.1. Формирование изображений с большим динамическим диапазоном.

3.1.2. Комплексирование изображений, снятых с разной выдержкой.

3.1.3. Преобразование яркости.

3.1.4. Преобразование цвета.

3.2. Бесшовное комбинирование серии перекрывающихся изображений.

3.2.1. Совмещение перекрывающихся изображений на основе поиска особых точек.

• ' * !

4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВ ТРАНСФОРМАЦИИ ЦИФРОВЫХ ФОТОСНИМКОВ В РАМКАХ ЕДИНОЙ ТЕХНОЛОГИИ ПОДГОТОВКИ К ФОТОПЕЧАТИ.

4.1. Исследование быстродействия модуля интерполяции изображений.

4.2. Исследование быстродействия модуля обнаружения и коррекции JPEG артефактов.

4.3. Исследование эффективности модуля для комбинирования серии цифровых изображений.

4.4. Исследование эффективности модуля автоматического определения ориентации изображения.

4.5. Реализация модуля сшивки перекрывающихся изображений с помощью параллельных вычислений.

Актуальность темы. В настоящее время цифровые фотоаппараты практически полностью вытеснили традиционные «плёночные» фотоаппараты, кроме того, почти все устройства мобильной связи (телефоны, КПК, смартфоны и т.п.) оснащены цифровыми видеосенсорами. Печать фотографий на основе полученных цифровых снимков осуществляется как в специализированных фотолабораториях, так и на бытовых струйных или сублимационных фотопринтерах.

С другой стороны, многообразие форм печатной фотопродукции (фотографии, фотоальбомы, фотокниги, фотостенды, фотосувениры и т.п.) приводит к необходимости решать специфические задачи подготовки цифровых фотоснимков к печати. Увеличение количества цифровых фотоснимков неизбежно ведет к увеличению количества печатаемых фотографий, что обусловливает,, автоматизацию процесса л подготовки > изображений к печати, то есть разработку новых, специализированных : технологий. Подобные технологии подготовки цифровых фотоснимков к' печати должны содержать наборы инструментальных программных средств, созданных на основе способов и алгоритмов анализа и обработки цифровых изображений, которые решают задачи улучшения качества печатаемого изображения, его масштабирования, поворота и интерполяции с учетом характеристик устройств фотопечати, генерации различного рода фотоколлажей, комбинирования серии фотоизображений, снятых в режиме «экспозиционной вилки», и т.п.

Несмотря на то, что почти каждый производитель цифровых фотоаппаратов и оборудования для фотопечати предлагает какие-то инструментальные программные средства для решения данных задач, разработка новых способов и алгоритмов, обеспечивающих лучшее качество фотопечати и дополнительные потребительские свойства, остается актуальной. Данное обстоятельство подтверждается тем, что большинство известных технологий подготовки цифровых фотоснимков к печати базируется на методах непосредственной пространственной и/или частотной обработки изображений, которые воздействуют на исходные данные фотоснимков и, таким образом, осуществляют первичную обработку. Появившиеся в последнее время работы, решающие вышеуказанные задачи на уровне метаданных, то есть путем вторичной обработки, носят разрозненный характер и не объединяются в рамках единой специализированной технологии.

Цель и задачи диссертации. Целью диссертации является разработка способов, алгоритмов и программного обеспечения трансформации цифровых фотоснимков на основе анализа и обработки их метаданных для технологий фотопечати. Для достижения поставленной цели решаются следующие задачи.

1. Разработка и' исследование способов оценки качества исходного, цифрового фотоснимка по содержащимся в нем метаданным.

2. Разработка и исследование способов и алгоритмов трансформации цифровых изображений при подготовке к фотопечати, в том числе детектирование ориентации изображения по его метаданным, масштабирование, поворот, изменение формы в соответствии с характеристиками устройства фотопечати, согласования размеров цифрового изображения и фотоотпечатка при печати без полей.

3. Разработка и исследование способа и алгоритмов обнаружения и коррекции артефактов в частотной области, возникающих после ХРЕв-кодирования цифровых фотоснимков.

4. Разработка и исследование способов и алгоритмов формирования комбинированных изображений из серии перекрывающихся кадров и кадров, снятых в режиме «экспозиционной вилки».

5. Разработка программного обеспечения, объединяющего полученные алгоритмы трансформации цифровых фотоснимков в рамках единой специализированной технологии подготовки цифровых изображений к фотопечати.

Научная новизна. В диссертационной работе получены следующие новые научные результаты.

1. Предложен способ использования метаданных из файлов, содержащих цифровые фотоснимки, для оценки качества исходного изображения и определения последующих необходимых действий для улучшения г цифрового изображения.

2. Разработаны новые способы и алгоритмы определения ориентации, » у изменения размера, формы и угла поворота цифрового изображения, с Ч^/

Л * * '*•«>*-!/, последующим повышением резкости краев путем сокращения величины^ * ¡\ перепада яркости, а также согласования размеров изображения и < • " * фотоотпечатка при печати без полей путем добавления фрагментов исходного изображения.

3. Предложен и исследован новый способ обнаружения и коррекции блочных артефактов и артефактов, вызванных явлением Гиббса, возникающих после ХРЕО-компрессии фотоснимков, основанный на предварительном анализе метаданных и обнаружении локализаций артефактов с максимальной вероятностью.

4. Предложен способ генерации изображения из кадров, снятых в режиме «экспозиционной вилки», позволяющий получать цветное 8-разрядное изображение с расширенным динамическим диапазоном без необходимости калибровки фотоаппарата и построения изображения увеличенной разрядности. 5. Разработан способ формирования панорамного изображения путем комбинирования перекрывающихся кадров (серии фотоснимков) в одно изображение, который автоматически детектирует перекрывающиеся области кадров и определяет порядок очередности присоединения фотоснимков.

Практическая ценность. Полученные способы и алгоритмы трансформации цифровых фотоснимков составляют функционально законченную технологию их автоматического анализа и коррекции при печати на любых современных устройствах фотопечати. Соответствующее программное обеспечение снабжает конечного пользователя не только < улучшенным качеством печатаемых фотографий, но и новыми функциональными возможностями по работе как с одиночными л/' фотоснимками, так и сериями фотоснимков, относящихся к одному сюжету.'Р''

-----хных^Ж задач использовались методы цифровой обработки изображений, элементы ^" ;:

Методы и достоверность исследования. При решении поставленных^!^ теории вероятностей, математической статистики, нечеткой логики. Для практической реализации алгоритмов применялись численные методы и методы объектно-ориентированного программирования на языке С++.

Реализация и внедрение. Предложенные алгоритмы внедрены в Исследовательском центре компании Самсунг (г. Москва) и использованы в программном обеспечении ряда фирменных моделей принтеров, сканеров, многофункциональных устройств (МФУ) для операций сканирования документов и печати фотографий. На 7 выносимых на защиту способов получены патенты РФ.

Апробация работы. Результаты работы докладывались и обсуждались на следующих международных научно-технических конференциях (МНТК):

МНТК по компьютерной графике и машинному зрению «Graphicon-2007» (Россия, г. Москва, 2007 г.), МНТК «Pattern recognition and image analysis: new information technologies» (Россия, г. Нижний Новгород, 2008 г.), симпозиум IS&T/SPIE Electronic Imaging в рамках МНТК «Digital ! Photography V», (США, г. Сан-Хосе, 2009 г.), симпозиум IS&T/SPIE Electronic Imaging в рамках МНТК «Digital Photography VI» (США, г. Сан-Хосе, 2010 г.), IX МНТК «Распознавание» (Россия, г. Курск, 2010 г.), VIII МНТК «Искусственный интеллект. Интеллектуальные системы» (Украина, АР Крым, пгт. Кацивели, 2010 г.).

Публикации. По теме диссертации опубликовано 15 научных работ, из них одна статья в журнале из списка ВАК РФ, 7 тезисов докладов на научных конференциях. По результатам работы подано 11 патентных заявок, на 7 из которых выданы патенты РФ.

Структура диссертации. Диссертация общим объемом 136 с. состоит из ' введения, четырех глав, заключения, содержит 81 с. основного текста,'* ¿ ti i * * , ? f «> )' перечень используемой научно-технической литературы из 98 наименований j. /» t* * t, * > на 12 е., 6 приложений на 6 е., 57 рис. и 8 табл. на 40 с. *

ОСНОВНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ

1. Способ оценки качества исходного цифрового изображения и автоматической выдачи рекомендаций по его улучшению на основе анализа и обработки метаданных.

2. Способы и алгоритмы трансформации цифрового изображения путем определения ориентации, изменения размера, формы, угла поворота, а также согласования размеров изображения и фотоотпечатка при печати без полей.

3. Способ обнаружения и алгоритмы коррекции блочных артефактов и артефактов, вызванных явлением Гиббса, после ХРЕв-кодирования цифрового фотоснимка.

4. Способ формирования комбинированного изображения из серии фотоснимков, сделанных в режиме «экспозиционной вилки».

5. Способ составления панорамного изображения из серии перекрывающихся фотоснимков.

ЗАКЛЮЧЕНИЕ

В диссертационной работе получены следующие результаты:

1. Проведен сравнительный обзор технологий, способов, методов и алгоритмов подготовки цифровых фотоснимков к печати; показана перспективность применения анализа и обработки метаданных для трансформации и улучшения качества цифровой фотографии в рамках единой специализированной технологии.

2. Разработан не имеющий аналогов способ использования метаданных из файлов, содержащих цифровые фотоснимки, для оценки качества исходного изображения и определения последующих необходимых действий для улучшения цифрового изображения. На основе анализа метаданных о параметрах формирования цифрового изображения оцениваются ошибки экспозиции (по миниатюре), выявляется

1 1 ' Ь 4 необходимость применения фильтрации, увеличения резкости щ коррекции дефекта «красных глаз», определяется наличие артефактов для ХРЕО-кодированных изображений.

3. Разработан способ определения ориентации фотоснимка путем его анализа и попиксельной обработки, который использует комбинацию двух бинарных классификаторов, оперирующих векторами характеристических признаков. В отличие от известных методов разбиение изображения на полосы (вертикальные и горизонтальные) позволяет эффективно находить характеристические признаки.

4. Предложен способ изменения размера, формы, угла поворота цифрового фотоснимка для согласования размеров изображения и его фотоотпечатка при печати без полей. В отличие от существующих способов изображение дополняется с одной или двух сторон фрагментами, взятыми из самого исходного изображения, причем предложенный способ отличается высоким быстродействием.

5. Для автоматического определения цифровых фотоснимков, к которым применимы вышеуказанные операции трансформации, разработан и исследован оригинальный классификатор, ошибки классификации которого не превосходят 5%.

6. Разработан способ обнаружения и алгоритмы коррекции блочных артефактов и артефактов звона, возникающих после 1РЕО-кодирования изображений с относительно высокими степенями сжатия. От известных методов способ отличается быстродействием (в 2-2,5 раза) при поиске блоков коэффициентов ДКП, содержащих артефакты, и способностью алгоритмов коррекции «точечно» удалять артефакты. Другая отличительная особенность разработанного способа и алгоритмов коррекции - нет дополнительных искажений в подготовленных к печати изображениях после обработки цифровых у"" ' ' I, фотоснимков высокого качества. '

7. Разработан способ формирования 8-разрядного изображения с расширенным динамическим диапазоном из серии фотоснимков, полученных с помощью цифрового фотоаппарата в режиме «экспозиционной вилки». В отличие от существующих способов данный способ позволяет получать цветное изображение без необходимости калибровки фотоаппарата и построения изображения увеличенной разрядности.

8. Разработан способ формирования панорамного изображения (сшивки) из серии перекрывающихся фотоснимков. В отличие от известных методов сшивки изображений, предложенный способ не вносит в результирующее изображение артефакты, заметные человеческим глазом.

9. Разработанные способы реализованы в виде быстрых алгоритмов и запрограммированы на языке высокого уровня в виде 111111, имеющего модульную структуру. Проведены экспериментальные исследования модулей 111111, подтвердившие правильность теоретических и эмпирических предположений и выводов диссертации.

10.Отдельные модули пакета внедрены в драйверы для принтеров, сканеров, многофункциональных устройств, а также в специализированные 111111, которые поставляются на рынок либо как фирменное программное обеспечение устройств фотопечати, либо как самостоятельные приложения, предназначенные для работы с цифровыми фотоснимками.

1. Вежневец А., Вежневец В. Boosting Усиление простых классификаторов // Компьютерная графика и мультимедиа. — Выпуск №4(2) —2006.

2. Патент РФ №2400815 МПК G06T5/00 (2006.01), G06K9/40 (2006.01), Способ повышения качества цифрового фотоизображения / Рычагов М. Н., Сафонов И. В., Толстая Е. В. и др.; Опубликовано: 27.09.2010, Бюл. № 27; Приоритет 09.10.2006.

3. Вороновский Г. К., Махотило К. В., Петрашев С. Н., Сергеев С. А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности, — М.: ОСНОВА — 1997 112 с.

4. Патент РФ № 329535 МПК G06K9/34 (2006.01), H04N1/38 (2006.01), G06T3/00 (2006.01); Способ автоматического кадрирования фотографий / Нефедов А. В. Ефимов С. В., Шакенов А. К.; Опубликовано: 20.07.2008 Бюл. № 20; Приоритет 24.05.2006.

5. Официальный сайт Лаборатории компьютерной графики и мультимедиа, Факультет вычислительной математики и кибернетики Московского государственного университета http://research.graphicon.ru/.

6. Бехтин, Ю. С., Толстая Е. В. Коррекция артефактов звона при ХРЕО-кодировании изображений // Цифровая обработка сигналов. — N 4. — С. 22-27 — 2010.

7. Толстая Е. В., Бехтин Ю. С. Оценка артефактов сжатия в частотной области при ХРЕО-кодировании изображений // Доклады международной научно-технической конференции «Искусственный интеллект. Интеллектуальные системы. ИИ-2010» — 2010.

8. Толстая Е. В., Бехтин Ю. С. Оценка блочных искажений в частотной области при ХРЕО-кодировании изображений // Доклады IX Международной научно-технической конференции «Распознавание — 2010» —2010.

9. И. Патент РФ № 2402070, МПК С06К9/40 (2006.01), Способ удаления искажений на цифровых изображениях / Толстая Е. В.; Опубликовано: 20.10.2010 Бюл. № 29; Приоритет 22.08.2008.

10. Патент РФ № 2365994 МПК в06К 9/40 (2006.01), Н04Ы 1/409 (2006.01), Способ выявления искажений, вызванных эффектом Гиббса при jpeg-кодировании / Толстая Е. В., Опубликовано: 27.08.2009, Бюл. № 24; Приоритет 05.02.2008.

11. Патент РФ № 2 345415, МПК в06К 9/40 (2006.01), Н04Ы 1/409 (2006.01) Способ выявления блочных искажений при jpeg-кoдиpoвaнии / Толстая Е. В.; Опубликовано: 27.01.2009, Бюл. № 3; Приоритет 22.01.2008.

12. Вудс Р., Гонсалес Р., Цифровая обработка изображений — М.: Техносфера — 2005

13. Патент РФ № 2310911, МПК G06T 3/00 (2006.01), G06K 9/36 (2006.01), Способ интерполяции изображений / Толстая Е. В.; Опубликовано: 20.11.2007, Бюл. № 32; Приоритет 14.06.2006.

14. Ю. Б. Блохинов, Д. А. Грибов, А. С. Чернявский, «Задача привязки изображений для некоторых случаев ракурсной фотосъемки» // Известия РАН. Теория и системы управления — N6 — с. 129-143 — 2008

15. Патент РФ №2421814, МПК G06T 7/00 (2006.01), G06K 9/44 (2006.01), Способ формирования составного изображения / Толстая Е. В., Опубликовано: 20.06.2011, Бюл. № 17; Приоритет 20.02.2009.

16. Shawe-Taylor J., Cristianini N., Kernel Methods for Pattern Analysis, Cambridge University Press — 2004.

17. Exif Version 2.2, Japan Electronics and Information Technology Industries Association — 2002

18. Safonov I.V. Automatic correction of amateur photos damaged by backlighting // Proceedings of 16th Conf. on Computer Graphics GraphiCon — 2006.

19. Efimov S., Nefyodov A., Rychagov M., Block-based image exposure assessment and indoor/outdoor classification // Proceedings of 17th Conf. on Computer Graphics GraphiCon — 2007.

20. Safonov I.V., Rychagov M.N., Kang K.M., Kim S.H. Adaptive sharpening of photos // Proceedings of SPIE — Vol. 6807 — 2008.

21. Safonov I.V., Rychagov M.N., Kang K.M., Kim S.H. Automatic red eye correction and its quality metric // Proceedings of SPIE — Vol. 6807 — 2008.

22. Wang Y., Zhang H. Content-Based Image Orientation Detection with Support Vector Machines // Proceedings of IEEE Workshop on Content-based Access of Image and Video Libraries — P. 17-23 — 2001

23. Tolstaya E. Content-based image orientation recognition // Proceedings of 17th International Conference on Computer Graphics and Vision GRAPHICON-2007 — 2007.

24. Wang Y., and Zhang H. Detecting image orientation based on low-level visual content // Computer Vision and Image Understanding — P. 328-3462004

25. Vailaya A., Zhang H., Yang C., Liu F. and Jain A. K. Automatic image orientation detection // IEEE Transactions On Image Proceedings — V. 11 — No. 7 —2002

26. Luo J. and M. Boutell Automatic Image Orientation Detection via Confidence-Based Integration of Low-Level and Semantic Cues // IEEE Transactions On Pattern Analysis and Machine Intelligence — V. 27 — N. 52005

27. Baluja S.; Rowley H. A. Large scale performance measurement of content-based automated image-orientation detection // Proceedings of IEEE International Conference on Image Processing — V. 2 — P. 514-517 — 2005

28. Szummer M. and Picard R. Indoor-Outdoor Image Classification // Proceedings of IEEE International Workshop in Content-Based Access to Image and Video Databases — 1998.

29. Luo J. and Savakis A. Indoor vs. Outdoor Classification of Consumer Photographs // International Conference on Image Processing ICIP'01 — 2001.

30. Zhang L, Li M., Zhang H. Boosting Image Orientation Detection with Indoor vs. Outdoor Classification // Proceedings of Workshop on Applications of Computer Vision — 2002.

31. Luo J., Crandall D., Singhal A., Boutell M. and Gray R. T. Psychophysical study of image orientation perception // Spatial Vision — V. 16 — N. 5 — P. 429-457 — 2003

32. Siwei L. Automatic Image Orientation Determination with Natural Image Statistics // Proceedings of the 13th annual ACM International Conference on Multimedia — P. 491 494 — 2005

33. Wang L., Liu X., Xia L., Xu G., Bruckstein A. Image orientation detection with integrated human perception cues (or which way is up) // Proceedings of International Conference on Image Processing — V. 3 — P 539-542 — 2003

34. Адрес официального сайта для метода JPEG в Интернет: http://www.jpeg.org

35. Feng X., Allebach J. P. Measurement of ringing artifacts in JPEG images // Proceedings of SPIE 6076 — P. 74-83 — 2006.

36. Oguz S.H., Hu Y.H., Nguyen T.Q. Image coding ringing artifact reduction using morphological post-filtering // Proceedings of IEEE 2nd Workshop on Multimedia Signal Processing — P. 628-633 — 1998.

37. Chang Y. W. and Chen Y. Y. Alleviating ringing artifact filter using voting scheme // ICGST International Journal Graphics Vision and Image Processing: Special Issue on Applicable Image Processing Techniques — V. 6 —P. 9-14 — 2006.

38. Marziliano P., Dufaux F., Winkler S., Ebrahimi T. Perceptual Blur and Ringing Metrics: Application to JPEG2000 // Signal Processing: Image Communications — 19(2) — P. 163-172 — 2004.

39. Vo D. Т., Nguyen T. Q., Yea S., Vetro A. Adaptive Fuzzy Filtering for Artifact Reduction in Compressed Images and Videos // IEEE Transactions on Image Processing — 18(6) — P. 1166-1178 — 2009.

40. List P., Joch A., Lainema J., Bjontegaard G., Karczewicz, M. Adaptive Deblocking Filter // IEEE Transactions on Circuits Systems and Video Technology —V. 13 (7) —P. 614- 619, 2003.

41. Kuo C. J., and Hsieh R. J. Adaptive postprocessor for block encoded images // IEEE Transactions of Circuits Systems and Video Technology —V. 5 — 298-304 —1995.

42. Paek H., Kim R. C. and Lee S. U. A DCT-Based Spatially Adaptive PostProcessing Technique to Reduce the Blocking Artifacts in Transform Coded Images // IEEE Transactions on Circuits Systems and Video Technology —V. 10(1) —36-41—2000.

43. Triantafyllidis G.A., Tzovaras D., Strintzis M.G, Blocking artifact detection and reduction in compressed data // IEEE Transactions on Circuits Systems and Video Technology — V. 12(10) — P. 877 890 — 2002.

44. Tolstaya E., Rychagov M., Kim S. H., Choi D. C. Removal of blocking and ringing artifacts in JPEG-coded images // Proceedings of 2010 IS&T/SPIE Electronic Imaging — V. 7537 753700 — 2010

45. Chou C., and Li Y., A perceptually tuned subband image coder based on the measure of just-noticeable distortion profile // IEEE Transactions on Circuits Systems and Video Technology — V. 5(6) — P. 467-476 — 1995.

46. Yang S., Hu Y., Nguyen T. Q., and Tull D. L. Maximum-likelihood parameter estimation for image ringing-artifact removal // IEEE Transactions on Circuits Systems and Video Technology — V. 11(8) — P. 963-973 — 2001.

47. Friedman J., Hastie T., Tibshirani R. Additive logistic regression: A statistical view of boosting // The Annals of Statistics — V. 38(2) — P. 337374 — 2000

48. Freund Y., Schapire R A decision-theoretic generalization of on-line learning and an application to boosting Source // Proceedings of the Second European Conference on Computational Learning Theory — P. 23 37 — 1995

49. Freund Y., Schapire R. Experiments with a new boosting algorithm // International conference on Machine Learning — 1996

50. Wang Z., and Simoncelli E. P. Reduced-reference image quality assessment using a wavelet-domain natural image statistic model // Proceedings of SPIE Human Vision and Electronic Imaging 5666 — P. 149-159 — 2005.

51. Tong H., Li M.; Zhang H. J., Zhang C., He J., Ma W. Y. Learning no-reference quality metric by examples // Proceedings of the 11th International Multimedia Modelling Conference — P. 247 254 — 2005

52. Wang Z., Sheikh H. R., and Bovik A. C. No-reference perceptual quality assessment of JPEG compressed images // Proceedings of IEEE International Conference on Image Processing -— 2002.

53. Foi A., Katkovnik, V., and Egiazarian, K. Pointwise Shape-Adaptive DCT for High-Quality Denoising and Deblocking of Grayscale and Color Images // IEEE Transactions of Image Processing — V. 16(5) — P. 1395-1411 — 2007.

54. Tomasi C., Manduchi R. Bilateral Filtering for Gray and Color Images // Proceedings of IEEE Conference on Computer Vision — P. 839-846 — 1998.

55. Wang Z., Bovik A. C., Sheikh H. R., Simoncelli, E. P. Image quality assessment: From error visibility to structural similarity // IEEE Transactions on Image Processing — V. 13 — N. 4 — P. 600-612 — 2004.

56. Интернет адрес авторов работы 57., где находится матлаб-программа для расчета метрики SSIM: http://www.ece.uwaterloo.ca/~z70wang/research/ssim/

57. Ma M. and Guo J. K. Automatic image cropping for mobile device with built-in camera // Proceedings of Consumer Communications and Networking Conference — P. 710- 711 — 2004

58. Safonov I., Tolstaya E. Matching aspect ratio of digital photo via complementing // 17th International Conference on Computer Graphics and Vision GRAPfflCON-2007 — 2007

59. Parker J.R., Algorithms for Image Processing and Computer Vision — New York, John Wiley & Sons, Inc. — 1997.

60. Zhu X., Lin X., Automatic date imprint extraction from natural images — Proceedings of the ICICS-PCM — P. 518-522 — 2003

61. Wang Y., Yuan B. A novel approach for human face detection from color images under complex background // Pattern Recognition — V. 34 — P. 1983-1992 — 2001

62. Serrano N., Savakis A., Luo J. A computationally efficient approach to indoor/outdoor scene classification // Proceedings of International Conference on Pattern Recognition — P. 146-149 — 2002.

63. Vailaya A., Jain A., Hong J. Z., On image classification: city vs. landscape // Proceedings of IEEE Workshop on Content-Based Access of Image and Video Libraries — P. 3-8 — 1998.

64. Kimmel R. Demosaicing: Image Reconstruction from color CCD Samples // IEEE Transactions on Image Processing — V. 8 — N. 9 — P. 1221-1228 — 1996.

65. Li X., and Orchard M. New edge directed interpolation // IEEE International Conference on Image Processing — 2000

66. Muresan D., and Parks T. W. New image interpolation techniques // IEEE Western New York Image Processing Workshop — 2000

67. Allebach J. and Wong P. Edge-directed interpolation // Proceedings of International Conference on Image Processing — V. 3 — P. 707 710 — 1996

68. Blu T., Thvenaz T. and Unser M. MOMS: Maximal-Order Interpolation of Minimal Support // IEEE Transactions on Image Processing — V. 10 — N. 7 — 2001

69. Blu T., Thvenaz T. and Unser M. Generalized interpolation: higher quality at no additional cost // Proceedings of International Conference on Image Processing — V. Ill — P. 667-671 — 1999

70. Blu T., and Thvenaz P. Interpolation revisited // IEEE Transactions on Medical Imaging — V. 19 — N 7 — P 739-758

71. Quak, E., and Schumaker L. Cubic spline interpolation using data dependent triangulations // Computer Aided Geometry Design — V. 7 — P. 293-301 — 1990

72. Jobson D. J., Rahman Z. and Woodell G. A. A multiscale Retinex for* '•tbridging the gap between color images and the human observation of scenes // IEEE Transactions on Image Processing — V. 6 — N. 7 — P. 965-976 — 1997.

73. Mann S. and Pickard R. W. Being undigital with digital cameras: extending dynamic range by combining differently exposed pictures // Proceedings of IS&T 48th annual conference — P. 422 — 428 — 1995.

74. Mann S. and Mann R. Quantigraphic imaging: Estimating the camera response and exposures from differently exposed images // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition — P. 842— 849 — 2001.

75. Debevec P. and Malik J. Recovering high dynamic range radiance maps from photographs // Proceedings of ACM SIGGRAPH — P. 369-378 — 1997.

76. Perez P., Gangnet M. and Blake A. Poisson image editing // ACM Transactions on Graphics — V. 22(3) — P. 313—318 — 2003.

77. Fattal R., Lischinski D. and Werman M. Gradient domain high dynamic range compression // ACM Transactions on Graphics — V. 21(3) — P. 249 -256 — 2002.

78. Raskar R., Ilie A., Yu J. Image fusion for context enhancement // Proceedings of Non-Photorealistic Animation and Rendering — 2004.

79. Ilie A., Raskar R., Yu J. Fixed Camera Surveillance Using Image Fusion // Proceedings of Asian Conference in Computer Vision (ACCV) — 2004.

80. Durand F., and Dorsey J. Fast bilateral filtering for the display of high dynamic range image // Proceedings of ACM SIGGRAPH — P. 257-265 — 2002.

81. Reinhard E., Stark M., Shirley P., and Ferwerda J. Photographic Tone Reproduction for Images // Proceedings of ACM SIGGRAPH — P. 267-276 — 2002.

82. Safonov I. V., Rychagov M. N., Kang K. M., and Kim S. H. Automatic correction of exposure problems in photo printer // IEEE 10th International Symposium on Consumer Electronics — 2006.

83. Akyuz A. O. and Reinhard E. Color Appearance in High Dynamic Range Imaging // SPIE Journal of Electronic Imaging — V. 15 — N. 3 — 2006.

84. Tolstaya E., Rychagov M., Kang K. M., Kim S. H Fusion of high dynamic range scene photos // Proceedings of 2009 IS&T/SPIE Electronic Imaging — V. 7250 72500Y —2009

85. Photomatix software, http://www.hdrsofl.com

86. Artizen HDR, http://www.supportingcomputers.net/

87. Flusser J. and Zitova B. Combined invariants to linear filtering and rotation // International Journal on Pattern Recognition and Artificial Intelligence — V. 13—P. 1123-1136—1999

88. Lowe D. G. Object recognition from local scale-invariant features // Proceedings of the International Conference on Computer Vision — V. 2 — P. 1150-1157 — 1999.

89. Harris C. G., Stephens M. J. Combined corner and edge detector // Proceedings of the Fourth Alvey Vision Conference — P. 147-151 — 1988

90. Rosten E., Porter R. and Drummond T. FASTER and better: A machine learning approach to corner detection // IEEE Transactions on Pattern Analysis and Machine Intelligence — V. 32 — P. 105 119 — 2010.

91. Bay H., Tuytelaars T., Gool L.V. SURF: Speeded Up Robust Features // Proceedings of the ninth European Conference on Computer Vision — 2006

92. Lepetit V. and Fua P. Keypoint Recognition using Randomized Trees // IEEE Transactions on Pattern Analysis and Machine Intelligence — V. 28 — N. 9 — P. 1465-1479 — 2006

93. Ozuysal M., Calonder M., Lepetit V., and Fua P. Fast Keypoint Recognition using Random Ferns // IEEE Transactions on Pattern Analysis and Machine Intelligence — 2010

94. Calonder M., Lepetit V., Strecha C., and Fua P. BRIEF: Binary Robust Independent Elementary Features // Proceedings of the European Conference on Computer Vision — 2010.

95. Leutenegger S., Chli M. and Siegwart R. BRISK: Binary Robust Invariant Scalable Keypoints // Proceedings of the IEEE International Conference on Computer Vision (ICCV) — 2011

96. Fraundorfer F., Winter M., and Bischof H. MSCC: Maximally Stable Corner Clusters // Proceedings of Scandinavian Conference on Image Analysis — Springer LNCS 3540 — P. 45-54.

97. Dijkstra E. W. A note on two problems in connexion with graphs. // Numerische Mathematik — V. 1 — P. 269-271 — (1959)

98. Burt P. J. and Adelson E. H. A multiresolution spline with application to image mosaics // ACM Transactions on Graphics — V. 2 — N. 4 — P. 217236 — 1983