автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка и исследование алгоритмов первичного анализа и схем индексации изображений в визуальных информационных системах

На правах рукописи

Разработка и исследование алгоритмов первичного анализа и схем индексации изображений в визуальных информационных системах

Специальность 05.13.01 - Системный анализ, управление и обработка информации (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Рыбинск 2003

Работа выполнена в Рыбинской государственной авиационной технологической академии им. П.А. Соловьева

Научный руководитель кандидат физико-математических наук,

профессор

Шаров Владимир Григорьевич

Официальные оппоненты доктор технических наук, профессор

Ерош Игорь Львович;

кандидат технических наук, доцент Паламарь Ирина Николаевна

Ведущее предприятие ФГУП «КБ «Луч», г. Рыбинск

Защита диссертации состоится 4 июля 2003 г. в 12 ч. 00 мин. на заседании диссертационного совета IC212.210.01 Рыбинской государственной авиационной технологической академии им. П.А. Соловьева по адресу: 152934, г. Рыбинск, ул. Пушкина, д.53, ауд. 237.

С диссертацией можно ознакомиться в библиотеке Рыбинской государственной авиационной технологической академии им. П.А. Соловьева.

Автореферат разослан 20 мая 2003 г.

Ученый секретарь диссертационного Совета

Вершинин В.А.

/_

2о©5-/1

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. С появлением новых приложений средств управления визуальной информацией, таких как экологический мониторинг, дистанционное зондирование природных ресурсов Земли, воздушная разведка, системы связи, обработка географических данных, картография, обработка и архивация медицинских данных, интерактивное машинное проектирование, робототехника, автоматизация офисов, проблема эффективного хранения и гибкого поиска визуальной информации становится все более актуальной.

В настоящее время активно исследуется проблема поиска изображений по визуальным характеристикам (цвет, текстура, форма). Визуальные характеристики определяются методами первичного анализа и обработки изображений или формируются вручную экспертами предметной области. На основе визуальных характеристик вычисляются индексы изображений. В общем случае визуальный индекс является подмножеством множества физических и семантических визуальных характеристик изображения и представляется в виде вектора. Поиск изображений выполняется по визуальным индексам, при этом визуальное сходство изображений отождествляется с понятием меры сходства индексов изображений (например, евклидова мера).

Наиболее актуальными задачами, связанными с созданием систем индексации, хранения и поиска изображений, являются: восприятие изображений, описание изображений (физические и семантические визуальные характеристики), сегментация изображений, поиск изображений по визуальным индексам, описание визуальных запросов, анализ эффективности алгоритмов первичной обработки и схем индексирования изображений.

К таким системам обычно предъявляются следующие требования:

- уменьшение объема хранимой визуальной информации;

- эффективная организация хранения изображений в базе данных;

- наличие развитой системы запросов визуальной информации;

- обеспечение устойчивости визуальных индексов к деформациям и искажающим факторам изображений; —-------

- повышение качества визуального поиска;

- уменьшение времени доступа к визуальной информации.

В известных системах индексации, хранения и поиска изображений можно выделить ряд проблем, которые решаются в данной работе.

В настоящее время в литературе предложено множество различных визуальных характеристик, используемых для построения индексов изображений. Часть характеристик заимствуется из теории распознавания образов. Для вычисления визуальных характеристик изображений используются статистические методы, методы вычисления информационных, характеристик, пространственно-частотные и геометрические методы преобразования изображений. На этапе первичной обработки применяются методы сегментации, методы улучшения качества и препарирования изображений. К основным недостаткам визуальных характеристик в системах индексации и поиска изображений можно отнести следующие:

- не отражают визуальное сходство изображений - для визуально схожих изображений не принимают близкие значения;

- не устойчивы к искажающим факторам изображений: смещение, масштабирование, поворот, зашумление, расфокусировка, изменение яркости и контрастности и т.д;

- являются узкоспециализированными характеристиками, ориентированными на определенный класс изображений;

- алгоритм вычисления характеристик достаточно сложен и требует больших затрат машинного времени;

- определение характеристик требует привлечения экспертов предметной области.

Одной из основных функций исследуемых систем является поиск изображений по визуальным индексам. При этом поиск осуществляется в многомерном пространстве индексов (векторов визуальных характеристик). Актуальными являются задачи поиска по совпадению, по интервалу, по сходству. В информационных системах обычно применяются алгоритмы последовательного поиска, хеширования и дихотомии. Однако в системах

индексирования, хранения и поиска изображений хеширование обычно не используется, так как поддерживает только один тип поиска - точный поиск. Методы последовательного и дихотомического поиска поддерживают все три основных типа поиска изображений. Недостатком последовательного метода поиска является низкая скорость поиска, пропорциональная размеру базы данных изображений. Дихотомический поиск состоит в последовательном уменьшении размера области поиска примерно в два раза после каждой проверки. Это достигается при использовании деревьев. Древовидные индексные структуры, предназначенные для управления многомерной информацией, основаны на разделении многомерного пространства визуальных индексов на многомерные интервалы, которые сохраняются в узлах дерева. В качестве многомерных индексных структур обычно используются К-деревья, Р-деревья, ББ-деревья и БЯ-деревья. Эти структуры отличаются друг от друга способом разделения пространства визуальных характеристик при формировании многомерных интервалов, представляющих узлы дерева. Многомерные интервалы, соответствующие соседним узлам дерева, могут перекрываться. В результате этого эффективность поиска снижается, так как существует несколько способов доступа к целевой информации (листьям дерева). При большой размерности визуальных индексов время поиска приближается к времени последовательного просмотра всех объектов визуальной базы данных. Основными недостатками использования многомерных индексных структур при организации поиска являются, экспоненциальная зависимость времени поиска от размерности визуальных индексов, необходимость выделения памяти для размещения индексных структур (деревьев), сложность реализации многомерных индексных структур.

Таким образом, технологии, используемые для реализации функций просмотра, индексирования, хранения и поиска изображений, всё еще недостаточно развиты и не удовлетворяют требованиям большинства практических приложений.

Предмет исследования. Предметом исследования является схема индексации и поиска изображений по визуальным характеристикам (цвет,

текстура, фор!ма) в визуальных информационных системах. В англоязычной литературе для данной области исследования используется термин «Content-Based Image Retrieval».

Цель и задачи работы. Целью исследования является разработка методов и алгоритмов первичной обработки и анализа изображений, обеспечивающих построение визуальных индексов, наиболее эффективно отражающих визуальное сходство изображений; разработка методов поиска изображений по визуальным индексам, эффективных по времени доступа к информации.

Для достижения цели диссертационной работы поставлены и решены, следующие задачи: \

- исследование и классификация методов первичного анализа и обработки изображений, методов поиска и типов запросов изображений в визуальных информационных системах;

- разработка методов построения эффективных визуальных индексов изображений;

- разработка метода поиска изображений по визуальным индексам, эффективного по времени доступа к информации;

- разработка частных алгоритмов и моделей (преобразование и обработка изображений, статистический, Wavelet-анализ, анализ информационных характеристик изображений);

- разработка архитектуры системы индексирования, хранения и поиска изображений и ее программная реализация.

Методы исследования. В теоретических исследованиях использованы методы цифровой обработки изображений, математической статистики, анализа информационных характеристик, Wavelet-анализа. Для формализации моделей использован теоретико-множественный подход общей теории систем. Разработка и описание программного комплекса индексации, хранения и поиска изображений производились средствами структурного системного анализа. Экспериментальные исследования проводились методом компьютерного моделирования. Оценка эффективности результатов визуального поиска проведена методами математической статистики и обработки данных.

Научная новизна. В работе получены следующие новые научные результаты:

- разработан метод многомасштабного позиционного разделения изображений, который обеспечивает эффективный поиск фрагментов изображений вне зависимости от их масштаба и положения;

- предложен способ построения индексов изображений на основе ранжированных визуальных характеристик, позволяющих применить эффективные алгоритмы поиска;

- разработаны методы построения интегральных одномерных индексов изображений на основе Wavelet-paзлoжeния и доминирующих цветов, обеспечивающих более высокую точность визуального поиска по сравнению с известными методами;

- разработана методика оценки точности поиска в системах индексации, хранения и поиска изображений.

Практическая ценность работы. Практическая ценность диссертационной работы заключается в следующем:

- предложена классификация визуальных характеристик изображений, типов и методов поиска изображений по визуальным индексам, видов визуальных запросов изображений; '

- разработан эффективный метод индексирования изображений на основе Wavelet-aнaлизa;

- определены наиболее эффективные визуальные индексы для систем индексации, хранения и поиска изображений в комплексах дистанционного мониторинга;

- разработан программный комплекс индексации, хранения и поиска изображений, являющийся инструментальной средой для исследования эффективности методов первичного анализа и обработки изображений и методов формирования визуальных индексов.

Реализация результатов работы. Основные результаты работы использованы при разработке комплекса программных средств первичной обработки фоноцелевой информации с информационно-программным обеспе-

чением АРМ комплекса «ТИПЧАК» и системы автоматизации документирования компьютерных экспериментов на модели системы передачи изображений в ФГУП «КБ «Луч» ( г.Рыбинск), а также в учебном процессе кафедры МПО ЭВС РГАТА им. П.А. Соловьева при обучении студентов по специальности 220400 Программное обеспечение ЭВМ и автоматизированных систем.

Апробация работы. Основные научные положения и результаты диссертационной работы докладывались и обсуждались на III Всероссийской научно-технической конференции «Информационные технологии в науке, проектировании и производстве» (Нижний Новгород, 2001), на конференции молодых, ученых (Рыбинск, 2001), на Всероссийской научно-технической конференции (

«Аэрокосмические технологии и образование на рубеже веков» (Рыбинск, 2002), на семинарах ФГУП «КБ «Луч» (Рыбинск), на заседаниях кафедры МПО ЭВС Рыбинской государственной авиационной технологической академии.

Публикации. Основной материал диссертации опубликован в 8 печатных работах.

Структура и объем работы. Диссертация состоит из введения, четырех разделов с выводами по каждому из них, заключения, списка литературы и приложений. Содержит 148 страниц основного текста, 53 рисунка, 11 таблиц, список литературы из 101 наименования и 5 приложений на 12 страницах.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы исследования, формулируются цели, основные задачи и методы исследования, характеризуется научная новизна и практическая ценность полученных |

результатов, приводятся основные положения, выносимые на защиту, кратко излагается содержание работы.

В первой главе рассмотрены системы индексации, хранения и поиска изображений, которые являются подсистемами визуальных информационных систем (ВИС) и предназначены для выполнения функций обработки, хранения и выборки изображений. В виду того, что тема исследования является достаточно новой, введены ключевые понятия систем индексации, хранения и

поиска изображений, включая модель изображения, визуальный индекс, поиск изображений, визуальное сходство, визуальный запрос изображений. Предложена классификация типов визуальных запросов в системах индексации, хранения и поиска изображений (рисунок 1).

Визуальные запросы при использовании визуальных индексов Без использования

еизузльных индексе

Рисунок 1 - Типы визуальных запросов изображений

Выполнен анализ и классификация визуальных характеристик, составляющих индексы изображений, что позволило выделить наиболее важные факторы при их выборе. К ним относятся отражение особенностей восприятия визуальной информации человеком, инвариантность к искажающим факторам (смещение, масштабирование, поворот, зашумление, расфокусировка, изменение яркости и контрастности), компактное представление, быстрое вычисление.

Предложена классификация типов поиска изображений по визуальным индексам. Выполнен анализ и классификация методов поиска изображений по визуальным индексам.

На основе обзора существующих систем индексации, хранения и поиска изображений, включая QBIC, Virage, Photobook, VisualSEEk, NETRA, системы

поиска изображений в WWW (AltaVista Photo&Media Finder, ImageSurfer, WebSEEk) выявлена типовая архитектура систем индексации, хранения и поиска изображений (рисунок 2), предложены признаки классификации и формальные модели компонент таких систем.

Рисунок 2 - Система индексации, хранения и поиска изображений

Выполнен анализ критериев оценки эффективности систем индексации, хранения и поиска изображений, который показал, что не существует общепринятых методов оценки эффективности таких систем. Используемые критерии оценки заимствованы из теории информационного поиска в информационно-поисковых системах, предназначенных для автоматизированного отыскания документов, и обладают рядом недостатков в применении к задаче поиска изображений.

Вторая глава посвящена разработке эффективной схемы индексирования, алгоритмов и методов индексирования и поиска изображений. Для обеспечения возможности поиска фрагментов изображений вне зависимости от их масштаба и положения, разработан метод многомасштабного позиционного разделения изображения (рисунок 3), применяемый в системе индексации, хранения и поиска изображений на этапе первичной обработки. Изображение анализируется на нескольких масштабных уровнях. На каждом уровне масштабирования выполняется разбиение изображения на кадры (фрагменты). При этом кадры частично перекрываются, что обеспечивает локализацию объектов при любом их положении на изображении (рисунок 4). Кадры, как цифровые функции изображения, не сохраняются в визуальной базе

Представление Кадры К^дрь.

изображений нэ изображения иэоб ир?

различных масштабах раздал6НШ (2»х21) Огра-и-аша

Рисунок 3 - Структура преобразований метода многомасштабного позиционного разделения изображения

данных, сохраняется только информация о позиционировании кадра на изображении. Разделение на кадры является виртуальным и необходимо только на этапе индексирования изображений. При использовании метода в системе выполняется индексация и поиск исходных изображений визуальной базы данных и отдельных фрагментов изображений (соответствующих объектам) вне

Пренпавляш* изображения на различных масштабах

Изображение

Без ограничения количества кафов С ограничением количества кадроэ при использовании меры информации }1РШ

3 уровень тосштабкровання Я 3 уровень масштабирована

2 уровень «асшпвирсванк ■ ва ЯНН ваш 2 уровень масштабирования

1 уроьекь масштабирования ННВ09НН иинвгяя яяинввв зяннинн БЯЯНННН ннияаяи иивинив 1 уровень масштабирования ЕШШЩ ^^ 0,55 ^^ ^^ ^^ ^^ ^Р ^^ ^Р ^Р ЙР ШЯВЯшшШ 6/ЯГ СО^в 0,7<1 0,54

Рисунок 4. Пример многомасштабного позиционного разделения на кадры инфракрасного изображения.

зависимости от их положения и масштаба. Таким образом, обеспечивается устойчивость системы индексации и поиска изображений к факторам сдвига и масштабирования объектов изображений. Метод использует простые алгоритмы масштабирования и позиционного разделения изображения, поэтому является более эффективным по времени обработки по сравнению с методами сегментации. Кроме этого, метод многомасштабного позиционного разделения изображения выполняется автоматически, в отличие от методов сегментации, требующих привлечения экспертов для достижения приемлемых результатов идентификации объектов изображения.

Для уменьшения времени поиска изображений по визуальным индексам предложен способ построения индексов изображений на основе ранжированных визуальных характеристик. При этом из упорядоченного (ранжированного) множества метрических визуальных характеристик изображения формируется интегральный одномерный визуальный индекс. Одномерные индексы (рисунок 5) организованы в иерархическую структуру (бинарное дерево), позволяющую использовать эффективные методы поиска изображений и достигнуть времени

поиска ( = к^ М, где М- количество изображений базы данных, р - порядок бинарного дерева. При этом реализованы все типы поиска: точный поиск, поиск по интервалу, поиск по сходству.

<¡1 /¡2 (¡к Рисунок 5. Интегральный одномерный визуальный индекс.

Для эффективной организации изображений в визуальной базе данных и обеспечения более высокой точности визуального поиска по сравнению с известными методами, разработан метод построения интегральных одномерных индексов изображений на основе Wavelet-paзлoжeния (рисунок 6). При этом индексы отражают глобальные визуальные характеристики изображений -текстуру и форму. Метод используется в компоненте определения визуальных характеристик системы индексации, хранения и поиска изображений и

Паге!е1-

метрические

Квантование

Поряд® обработки

Рисунок 6. Структура преобразований метода построения интегральных одномерных индексов изображений на основе Шауе1е1-разложения. .

предназначен для создания упорядоченного множества метрических визуальных характеристик изображения на основе \Уауе1е1-разложёния и формирования интегральных одномерных визуальных индексов (рисунок 7).

Изображение

I

УУаиеН-рамажеме шображенм

{/¡}, 1 е 1 .10

Метрнчесте каракгеристио! УУаче1й-обласгей

.1 €1-10

и).

Л А А А А А А Л

Сдоясямасню хараутериеподк

СКО яи ш и4 ьа 12,3 11,У 6,1 1Щ 10,0 4,1

Энвргил |<4)1 1ШОб

1 ( Мнфорпвцюнкие мери

Экхроллх 'У у 1,4 4,4 4>

"И ИМ" ида и да ида ида аул 1Щ4 ида ода

им Ода ода ида ада 0,и4в 0,04«

Квантованные характеристмш ШачеИ-областеи

{¿,},ге1 -10

л, А 4 л 4 ¿и

итАтксгнчеси* харгадовлижи

СКО 4 4 4 2 3 6 3 4 6 4

Энергия 3 1 2 1 1 Л 1 а

Икфоркаадоим» мцрн

Энтропия Ш У Ш У У У У У У а

нпн И Ш 11 ш ш и 11 Ш 10 10

им 1 6 V 5 4 4 4 5 4

Интегральный одномерный визуальный ицджс

СКЭ Стипсгячеси» хжрытристюк 04О4в4в2ОЗО5ОЗО4ОБО4

Энергия в301В201Мб301020Э02

Иифармвдгоннш

Энтропия 10091009030909030908

КЙм И101110101111101010

'Ш 07060705040604040504

Рисунок 7. Примеры построения интегральных одномерных визуальных индексов на основе Ша\'е1еЬразложения.

Метод выполняется за несколько этапов. Первый этап - Wavelet-разложение изображения / и определение порядка следования областей Wavelet-коэф-

фициентов I, для составления интегрального одномерного индекса изображений. На втором этапе для каждой области Wavelet-коэффициентов изображения применяются алгоритмы вычисления метрических (статистических и информационных) характеристик /(. В частности используются мера информации Лоренца (LIM) и нормированная информационная мера изображений (NPIM). Третий этап - квантование метрических характеристик Wavelet-коэффициентов на основе статистики характеристик изображений визуальной базы данных: f,^>dt. При этом построенные индексы изображений являются адаптивными к исходной коллекции изображений. Четвертый этап -конкатенация квантованных характеристик, представленных целыми числами, в

интегральный одномерный визуальный индекс f\D.

Разработан метод построения интегральных одномерных индексов изображений на основе доминирующих цветов (рисунок 8). Метод используется в компоненте определения визуальных характеристик системы индексации, хранения и поиска изображений и предназначен для создания упорядоченного множества доминирующих цветов изображения и формирования интегральных одномерных визуальных индексов. Построенные

на основе доминирующих цветов индексы f\D отражают глобальную визуальную характеристику изображений - цвет.

Рисунок 8. Структура преобразований метода построения интегральных одномерных индексов изображений на основе доминирующих цветов.

Третья глава посвящена анализу эффективности систем индексации, хранения и поиска изображений. Для определения оценки точности поиска, адаптированной к задаче поиска изображений, предложена методика оценки точности поиска в системах индексации, хранения и поиска изображений. В основу методики положены следующие принципы:

- учет упорядоченности результирующей выборки изображений по критерию сходства с визуальным запросом;

- независимость оценки точности поиска от размеров результирующей выборки;

- учет конечного множества визуальных запросов;

- учет нескольких критериев оценки (релевантности) результатов поиска.

Полученные оценки эффективности схемы индексирования и поиска изображений на основе интегральных одномерных визуальных индексов для изображений комплексов дистанционного мониторинга и разнородной коллекции изображений WWW позволяют сделать следующие выводы.

Для комплексов дистанционного мониторинга эффективным является построение системы индексации, хранения и поиска изображений при применении интегральных одномерных визуальных индексов на основе Wavelet-разложения и информационных мер: Wavelet+LIM, Wavelet+NPIM (рисунок 9). При этом обеспечиваются высокие показатели точности визуального поиска (средняя точность поиска Р - 0,8), превосходящие приводимые в литературе оценки эффективности других систем индексации и поиска изображений

(Р=0,5..0,6).

i

■

о

о

■

0.8 f « 0,7

о «

0,6 -

о. 05

|»Wavetet*LIM 1 |. Wavelet+NPIM, I

0,4 0,3 02 0.1

2 3 4 5 6 7 3 9 10 11 12 Категории изображений-за просо в

Рисунок 9. Оценка средней точности визуального поиска Р .

Для организации и поиска изображений разнородной коллекции WWW наиболее эффективными интегральными одномерными визуальными индексами на основе Wavelet-разложения являются Wavelet+Энтропия, Wavelet+LIM, Wavelet+NPIM. Однако средняя точность поиска ( Р ~ 0,6) ниже, чем для специализированной системы индексации и поиска изображений в комплексах дистанционного мониторинга. При совместном использовании индексов на основе Wavelet-разложения и на основе доминирующих цветов (применение сложных визуальных запросов) средняя точность визуального поиска возрастает на 40% (Р ~ 0,75) и превосходит приводимые в литературе показатели. Таким образом, эффективное решение по индексации цветных изображений разнородной коллекции WWW состоит в использовании схемы индексирования и поиска при применении сложных визуальных индексов, учитывающих совокупность визуальных характеристик: цвет, текстура, форма

Анализ статистической кластеризации (упорядочивания и группировки) изображений по интегральным одномерным визуальным индексам на основе Wavelet-разложения (рисунок 10) и доминирующих цветов показал, что разработанные индексы позволяют сформировать категории изображений. Изображения, принадлежащие одной категории, имеют близкие значения визуальных индексов и характеризуются общими визуальными

«чал ли ив:

Л.

ж bhl'

ЙгЯ'ДШк.!.

OiDOl'niciij

I /

Изображено

£7 0<>п А А С В А i ш ■ ♦

мгжпот э«я221 эп17яя1 тезшва inaasi ШЯЛИО «»»ESIO шэявп | snnsz:« 1 «ЗЛЕЮ «ашпо «22 i'SJK mm*

Рисунок 10. Статистическая кластеризация выборки изображений по интиральным одномерным визуальным индексам на основе \Уауе1е1-разложения.

характеристиками. При этом индексы изображений на основе Wavelet-разложения и доминирующих цветов обеспечивают организацию изображений визуальной базы данных по семантически значимым категориям - классам изображений, что является показателем эффективности использования данных визуальных индексов при поиске изображений.

В четвертой главе представлен программный комплекс индексации, хранения и поиска изображений (ВИС), включающий следующие подсистемы: источник визуальной информации, индексирование изображений, поиск изображений.

Источником визуальной информации является программный комплекс организации и управления тестированием процесса первичной обработки фоноцелевой информации, который включает следующие основные компоненты: сжатие изображений, наложение помехи, коррекция помехи, восстановление изображения, анализ.

Архитектура программного комплекса индексации, хранения и поиска изображений отличается от типовой и включает дополнительные инструменты взаимодействия с источником визуальной информации, инструменты анализа эффективности используемой схемы индексирования и поиска изображений. В подсистемах индексирования и поиска изображений реализована схема индексирования и поиска на основе интегральных одномерных визуальных индексов. Программный комплекс предоставляет пользователю инструменты анализа визуальных характеристик изображений, широкий набор методов поиска и доступа к визуальной информации, удобные инструменты анализа эффективности поиска изображений в интерактивном и автоматическом режимах.

В заключении приводятся выводы и основные результаты работы:

1. Выполнена постановка задачи организации и поиска .изображений по визуальным характеристикам (цвет, текстура, форма) и анализ систем индексации, хранения и поиска изображений. Выявлены основные проблемы, возникающие при создании систем индексации, хранения и поиска изображений, включающие определение эффективных визуальных индексов,

методы быстрого поиска изображений по визуальным индексам, критерии оценки эффективности систем.

2. Предложена классификация визуальных характеристик, типов и методов поиска изображений по визуальным индексам, типов визуальных запросов в системах индексации, хранения и поиска изображений.

3. Разработан метод многомасштабного позиционного разделения изображения, повышающий эффективность систем индексации, хранения и поиска изображений, что обеспечивает поиск фрагментов изображений вне зависимости от их масштаба и положения.

4. Разработаны методы построения интегральных одномерных визуальных индексов на основе Wavelet-paзлoжeния и доминирующих цветов, обеспечивающие эффективную организацию изображений в визуальной базе данных. Разработаны методы поиска изображений по интегральным одномерных индексам. Применение предложенных методов индексации и поиска позволяют ускорить поиск изображений и повысить его точность.

5. Разработана методика оценки точности поиска в системах индексации, хранения и поиска изображений.

6. Определены наиболее эффективные визуальные индексы для систем индексации, хранения и поиска изображений в комплексах дистанционного мониторинга.

7. Разработан программный комплекс индексации, хранения и поиска изображений, реализующий эффективную схему индексирования изображений на основе интегральных одномерных визуальных индексов и предоставляющий пользователю удобные инструменты анализа визуальных характеристик изображений, поиска и доступа к визуальной информации.

Программный комплекс индексации, хранения и поиска изображений (ВИС) внедрен в ФГУП «КБ «Луч» г.Рыбинск при разработке комплекса программных средств первичной обработки фоноцелевой информации «ТИПЧАК».

СПИСОК ПУБЛИКАЦИЙ

1. Белков A.B. Статистический и информационный подходы к описанию текстур в визуальных информационных системах. // Сборник трудов молодых ученых. - Рыбинск: РГАТА, 2000. - 3 с.

2. Белков A.B., Грызлов В.И. Исследование алгоритмов исправления изображений, переданных по цифровому радиоканалу. // Информационные технологии в науке, проектировании и производстве. Материалы третьей Всероссийской научно-технической конференции. - Нижний Новгород, 2001. - 1 с.

3. Грызлова Т.П., Белков A.B. Статистические и информационные признаки изображений в визуальных информационных системах. // Информационные технологии в науке, проектировании и производстве. Материалы третьей Всероссийской научно-технической конференции. -Нижний Новгород, 2001 .-2с.

4. Белков A.B. Эффективность применения информационных мер в обработке сигналов. // Сборник трудов молодых ученых. - Рыбинск: РГАТА, 2001.-3 с.

5. Белков A.B., Грызлова Т.П., Шаров В.Г. Некоторые проблемы и методы построения эффективных визуальных информационных систем. // Программные продукты и системы. - 2002 - №3. - 10 с.

6. Белков A.B. Применение визуальных информационных систем в комплексах дистанционного мониторинга. // Аэрокосмические технологии и образование на рубеже веков. Всероссийская научно-техническая конференция.

- Рыбинск, 2002. - 1 с.

7. Белков A.B., Грызлова Т.П., Шаров В.Г. Метод построения визуальных -информационных систем. // Аэрокосмические технологии и образование на рубеже веков. Всероссийская научно-техническая конференция.

- Рыбинск, 2002. - 1 с.

8. Белков A.B., Грызлова Т.П., Шаров В.Г. Метод многомасштабного позиционного разделения изображений в визуальных информационных системах. // Вестник РГАТА. - Рыбинск, 2002. - 8 с.

2оо5гА

о э м в

Подписано в печать 19.05.2003. Формат 60x84 ¡/16. Уч.-изд.л. 1,2. Тираж 100. Заказ 71.

Рыбинская государственная авиационная технологическая академия им. П.А. Соловьева (РГАТА)

152934, г. Рыбинск, ул. Пушкина, 53

Отпечатано в множительной лаборатории РГАТА ' ' '

152934, г. Рыбинск, ул. Пушкина, 53

Введение.

1. Актуальность, новизна и направление исследования.

2. Краткое содержание работы.

1. Системы индексации, хранения и поиска изображений.

1.1. Визуальные информационные системы.

1.2. Представление изображений.

1.2.1. Модель изображения.

1.2.2. Визуальные характеристики изображений.

1.3. Поиск изображений.

1.3.1. Понятие поиска изображений.

1.3.2. Типы поиска изображений по визуальным индексам.

1.3.3. Методы поиска по визуальным индексам.

1.3.4. Многомерные индексные структуры.

1.4. Виды визуальных запросов.

1.5. Типовая архитектура систем индексации, хранения и поиска изображений.

1.6. Классификация систем индексации, хранения и поиска изображений.

1.7. Критерии оценки эффективности систем индексации, хранения и поиска изображений.

1.8. Выводы.

2. Схема индексирования и поиска изображений на основе интегральных одномерных визуальных индексов.

2.1. Метод многомасштабного позиционного разделения изображений.

2.1.1. Структура преобразований.

2.1.2. Масштабирование изображения.

2.1.3. Разделение на кадры.

2.1.4. Ограничение количества кадров.

2.2. Способ построения индексов изображений на основе ранжированных визуальных характеристик.

2.2.1. Формирование интегральных одномерных индексов.

2.2.2. Иерархическая организация интегральных одномерных индексов.

2.2.3. Поиск изображений в иерархической структуре интегральных одномерных индексов.

2.3. Метод построения интегральных одномерных индексов изображений на основе Wavelet-paзлoжeния.

2.3.1. Структура преобразований.

2.3.2. Wavelet-paзлoжeниe изображений.

2.3.3. Метрические характеристики Wavelet-кoэффициeнтoв изображений.

2.3.4. Квантование метрических характеристик Wavelet-кoэффициeнтoв изображений.

2.4. Метод построения интегральных одномерных индексов изображений на основе доминирующих цветов.

2.4.1. Структура преобразований.

2.4.2. Выбор основных цветов.

2.4.3. Квантование цветов изображения.

2.5. Выводы.

3. Анализ эффективности систем индексации, хранения и поиска изображений.

3.1. Методика оценки точности поиска в системах индексации, хранения и поиска изображений.

3.2. Анализ точности поиска изображений комплексов дистанционного мониторинга по интегральным одномерным визуальным индексам

3.2.1. Тестовое множество изображений комплексов дистанционного мониторинга.

3.2.2. Точность поиска изображений комплексов дистанционного мониторинга.

3.3. Анализ точности поиска изображений различных классов (WWW) по интегральным одномерным визуальным индексам.

3.3.1. Тестовое множество изображений различных классов (WWW).

3.3.2. Точность поиска изображений различных классов (WWW).

3.4 Анализ статистической кластеризации изображений по интегральным одномерным визуальным индексам.

3.4.1. Статистическая кластеризация изображений по интегральным одномерным визуальным индексам на основе Wavelet-разложения.

3.4.2. Статистическая кластеризация изображений по интегральным одномерным визуальным индексам на основе доминирующих цветов.

3.5. Выводы.

4. Программный комплекс индексации, хранения и поиска изображений.

4.1 Архитектура программного комплекса индексации, хранения и поиска изображений.

4.2 Источник визуальной информации.

4.3 Подсистема индексирования изображений.

4.3.1 Диаграмма потоков данных подсистемы индексирования изображений.

4.3.2 Описание потоков данных подсистемы индексирования изображений.

4.3.3 Спецификации процессов подсистемы индексирования изображений.

4.4 Подсистема поиска изображений.

4.4.1 Диаграммы потоков данных подсистемы поиска изображений.

4.4.2 Описание потоков данных подсистемы поиска изображений.

4.4.3 Спецификации процессов подсистемы поиска изображений по визуальным индексам.

4.4.4 Спецификации процессов подсистемы просмотра

V изображений.

4.4.5 Спецификации процессов подсистемы структурированного просмотра изображений.

4.5 Выводы.

1. Актуальность, новизна и направление исследования

Актуальность

С появлением новых приложений средств управления визуальной информацией, таких как экологический мониторинг, дистанционное зондирование природных ресурсов Земли, воздушная разведка, системы связи, обработка географических данных, картография, обработка и архивация медицинских данных, интерактивное машинное проектирование, робототехника, автоматизация офисов, проблема эффективного хранения и гибкого поиска визуальной информации становится все более актуальной [1-16].

В настоящее время активно исследуется проблема поиска изображений по визуальным характеристикам (цвет, текстура, форма) [1-4]. Визуальные характеристики определяются методами первичного анализа и обработки изображений или формируются вручную экспертами предметной области. На основе визуальных характеристик вычисляются индексы изображений. В общем случае визуальный индекс является подмножеством множества физических и семантических визуальных характеристик изображения и представляется в виде вектора. Поиск изображений выполняется по визуальным индексам, при этом визуальное сходство изображений отождествляется с понятием меры сходства индексов изображений (например, евклидова мера).

Наиболее актуальными задачами [1-4, 17-20], связанными с созданием систем индексации, хранения и поиска изображений, являются: восприятие изображений, описание изображений (физические и семантические визуальные характеристики), сегментация изображений, поиск изображений по визуальным индексам, описание визуальных запросов, анализ эффективности алгоритмов первичной обработки и схем индексирования изображений.

К таким системам обычно предъявляются следующие требования:

- уменьшение объема хранимой визуальной информации;

- эффективная организация хранения изображений в базе данных;

- наличие развитой системы запросов визуальной информации;

- обеспечение устойчивости визуальных индексов к деформациям и искажающим факторам изображений;

- повышение качества визуального поиска;

- уменьшение времени доступа к визуальной информации.

В известных системах индексации, хранения и поиска изображений можно выделить ряд проблем, которые решаются в данной работе.

В настоящее время в литературе предложено множество различных визуальных характеристик, используемых для построения индексов изображений [1-4, 19, 21-31]. Часть характеристик заимствуется из теории распознавания образов [32-38]. Для вычисления визуальных характеристик изображений используются статистические методы, методы вычисления информационных характеристик, пространственно-частотные и геометрические методы преобразования изображений. [1-4, 19, 21-50]. На этапе первичной обработки применяются методы сегментации, методы улучшения качества и препарирования изображений [39, 46]. К основным недостаткам визуальных характеристик в системах индексации и поиска изображений [1-4] можно отнести следующие:

- не отражают визуальное сходство изображений - для визуально схожих изображений не принимают близкие значения;

- не устойчивы к искажающим факторам изображений: смещение, масштабирование, поворот, зашумление, расфокуссировка, изменение яркости и контрастности и т.д;

- являются узкоспециализированными характеристиками, ориентированными на определенный класс изображений;

- алгоритм вычисления характеристик достаточно сложен и требует больших затрат машинного времени;

- определение характеристик требует привлечения экспертов предметной области.

Одной из основных функций исследуемых систем является поиск изображений по визуальным индексам. При этом поиск осуществляется в многомерном пространстве индексов (векторов визуальных характеристик). Актуальными являются задачи поиска по совпадению, по интервалу, по сходству [51, 52]. В информационных системах обычно используются последовательный поиск, хеширование и дихотомический поиск [51-53]. Однако в системах индексирования, хранения и поиска изображений хеширование обычно не используется, так как поддерживает только один тип поиска - точный поиск. Методы последовательного и дихотомического поиска поддерживают все три основных типа поиска изображений. В последовательном методе поиска для всех изображений базы данных вычисляется количественная мера сходства (например, евклидово расстояние). Недостатком последовательного метода поиска является низкая скорость поиска, пропорциональная размеру базы данных изображений. Дихотомический поиск состоит в последовательном уменьшении размера области поиска примерно в два раза после каждой проверки. Это достигается при использовании деревьев [51, 52]. В основе древовидных индексных структур, предназначенных для управления многомерной информацией, лежит разделение многомерного пространства визуальных индексов (векторов визуальных характеристик) на многомерные интервалы, которые сохраняются в узлах дерева [54-57]. В качестве многомерных индексных структур обычно используются Я-деревья, Р-деревья, 85-деревья и БЯ-деревья. Эти структуры отличаются друг от друга способом разделения пространства визуальных характеристик при формировании многомерных интервалов, представляющих узлы дерева. Многомерные интервалы, соответствующие соседним узлам дерева, могут перекрываться. В результате этого эффективность поиска снижается, так как существует несколько способов доступа к целевой информации (листьям дерева). При большой размерности визуальных индексов время поиска приближается к времени последовательного просмотра всех объектов визуальной базы данных. Основными недостатками использования многомерных индексных структур при организации поиска являются: экспоненциальная зависимость времени поиска от размерности визуальных индексов, необходимость выделения памяти для размещения индексных структур (деревьев), сложность реализации многомерных индексных структур.

Таким образом, технологии, используемые для реализации функций просмотра, индексирования, хранения и поиска изображений, всё еще недостаточно развиты и не удовлетворяют требованиям большинства практических приложений. Предмет исследования

Предметом исследования является схема индексации и поиска изображений по визуальным характеристикам (цвет, текстура, форма) в визуальных информационных системах [1-4]. В англоязычной литературе для данной области исследования используется термин «Content-Based Image Retrieval» [2-4, 6-12, 14-18, 22-25].

Цель работы и задачи исследований

Целью исследования является разработка методов и алгоритмов первичной обработки и анализа изображений, обеспечивающих построение визуальных индексов, наиболее эффективно отражающих визуальное сходство изображений; разработка методов поиска изображений по визуальным индексам, эффективных по времени доступа к информации.

Для достижения цели диссертационной работы поставлены и решены следующие задачи: исследование и классификация методов первичного анализа и обработки изображений, методов поиска и типов запросов изображений в визуальных информационных системах; разработка методов построения эффективных визуальных индексов изображений;

- разработка метода поиска изображений по визуальным индексам, эффективного по времени доступа к информации; разработка частных алгоритмов и моделей (преобразование и обработка изображений, статистический, Wavelet-aнaлиз, анализ информационных характеристик изображений); разработка архитектуры системы индексирования, хранения и поиска изображений и ее программная реализация. Методы исследования

В теоретических исследованиях использованы методы цифровой обработки изображений [39-45], математической статистики [58, 59], анализа информационных характеристик [1, 59], А\^ауе1е1-анализа [13, 60]. Для формализации моделей использован теоретико-множественный подход общей теории систем [71]. Разработка и описание программного комплекса индексации, хранения и поиска изображений производились средствами структурного системного анализа [72]. Экспериментальные исследования проводились методом компьютерного моделирования. Оценка эффективности результатов визуального поиска проведена методами математической статистики и обработки данных. Научная новизна

В работе получены следующие новые научные результаты:

- разработан метод многомасштабного позиционного разделения изображений, который обеспечивает эффективный поиск фрагментов изображений вне зависимости от их масштаба и положения;

- предложен способ построения индексов изображений на основе ранжированных визуальных характеристик, позволяющих применить эффективные алгоритмы поиска;

- разработаны методы построения интегральных одномерных индексов изображений на основе ХУауеЫ-разложения и доминирующих цветов, обеспечивающих более высокую точность визуального поиска по сравнению с известными методами;

- разработана методика оценки точности поиска в системах индексации, хранения и поиска изображений.

Практическая ценность

Практическая ценность диссертационной работы заключается в следующем:

- предложена классификация визуальных характеристик изображений, типов и методов поиска изображений по визуальным индексам, видов визуальных запросов изображений;

- разработан эффективный метод индексирования изображений на основе Wavelet-анализа;

- определены наиболее эффективные визуальные индексы для сисгем индексации, хранения и поиска изображений в комплексах дистанционного мониторинга;

- разработан программный комплекс индексации, хранения и поиска изображений, являющийся инструментальной средой для исследования эффективности методов первичного анализа и обработки изображении и методов формирования визуальных индексов.

Реализация и внедрение результатов исследований

Основные результаты работы использованы при разработке комплекса программных средств первичной обработки фоноцелевой информации с информационно-программным обеспечением АРМ комплекса «ТИПЧАК» и системы автоматизации документирования компьютерных экспериментов на модели системы передачи изображений в ФГУП «КБ «Луч» ( г.Рыбинск), а также в учебном процессе кафедры МПО ЭВС РГАТА им. П.А. Соловьева при обучении студентов по специальности 220400 Программное обеспечение вычислительной техники и автоматизированных систем.

Апробация

Основные научные положения и результаты диссертационной работы докладывались и обсуждались на III Всероссийской научно-технической конференции «Информационные технологии в науке, проектировании и производстве» (Нижний Новгород, 2001), на конференции молодых ученых (Рыбинск, 2001), на Всероссийской научно-технической конференции «Аэрокосмические технологии и образование на рубеже веков» (Рыбинск,

2002), на семинарах ФГУП «КБ «Луч» (Рыбинск), на заседаниях кафедры МПО ЭВС Рыбинской государственной авиационной технологической академии.

Публикации

Основной материал диссертации опубликован в 8 печатных работах. Структура и объем диссертации

Диссертация состоит из введения, четырех разделов с выводами по каждому из них, заключения, списка литературы и приложений. Содержит 148 страниц основного текста, 53 рисунка, 11 таблиц, список литературы из 101 наименования и 5 приложений на 12 страницах.

4.5. Выводы

Разработан программный комплекс индексации, хранения и поиска изображений. Результаты, полученные в четвертой главе, сводятся к следующему: 1. Разработана архитектура программного комплекса индексации, хранения и поиска изображений, включающая следующие подсистемы: источник визуальной информации, индексирование изображений, поиск изображений. Архитектура программного комплекса отличается от типовой и включает дополнительные инструменты взаимодействия с источником визуальной информации, инструменты анализа эффективности используемой схемы индексирования и поиска изображений.

2. Источник визуальной информации - программный комплекс организации и управления тестированием процесса первичной обработки фоноцелевой информации выполняет функции сжатия изображений, наложения помехи, коррекции помехи, восстановления и анализа изображения.

3. В подсистеме индексирования изображений программного комплекса реализована схема индексирования на основе интегральных одномерных визуальных индексов. Подсистема индексирования осуществляет первичный анализ и обработку изображений, вычисление метрических визуальных характеристик и визуальных индексов изображений, сжатие и сохранение изображений в хранилище информации, сохранение дополнительной информации от источника в хранилище информации.

4. Программный комплекс предоставляет пользователю инструменты анализа визуальных характеристик изображений (статистический, информационный, Wavelet-aнaлиз).

5. Программный комплекс предоставляет пользователю широкий набор инструментов поиска и доступа к визуальной информации:

- поиск изображений визуальной базы данных по дополнительной информации от источника (семантическим характеристикам),

- поиск изображений по визуальным характеристикам (цвет, текстура, форма),

- просмотр иерархической классификации изображений по визуальным индексам.

Программный комплекс позволяет реализовать поиск изображений при использовании простых и сложных визуальных запросов (на основе нескольких визуальных индексов). При этом поиск осуществляется как по исходным изображениям визуальной базы данных, так и по фрагментам изображений вне зависимости от их масштаба и положения на изображениях.

6. Программный комплекс предоставляет пользователю удобные инструменты анализа эффективности поиска изображений в интерактивном и автоматическом режимах.

ЗАКЛЮЧЕНИЕ

В диссертационной работе исследованы системы индексации, хранения и поиска изображений. Выполнена постановка задачи организации и поиска изображений по визуальным характеристикам (цвет, текстура, форма). Проанализированы методы первичного анализа и обработки изображений, методы построения визуальных индексов, методы поиска изображений по визуальным индексам. Определены достоинства и недостатки визуальных характеристик изображений, используемых при построении индексов изображений. Разработана классификация визуальных характеристик изображений, типов и методов поиска изображений по визуальным индексам, видов визуальных запросов. Предложены признаки классификации систем такого типа. Выявлены основные проблемы, возникающие при создании систем индексации, хранения и поиска изображений, включающие определение эффективных визуальных индексов, методы быстрого поиска изображений по визуальным индексам, критерии оценки эффективности систем.

В результате исследований получены новые теоретические результаты:

- разработан метод многомасштабного позиционного разделения изображения, повышающий эффективность систем индексации, хранения и поиска изображений, что обеспечивает поиск фрагментов изображений вне зависимости от их масштаба и положения;

- для уменьшения времени поиска изображений по визуальным индексам предложен способ построения индексов изображений на основе ранжированных визуальных характеристик. Сформированные интегральные одномерные индексы организованы в иерархическую структуру - бинарное дерево, позволяющую использовать эффективные методы поиска изображений по визуальным индексам и достичь времени поиска * = ^Оёр М , где М- количество изображений базы данных,/? - порядок бинарного дерева.

- разработаны методы построения интегральных одномерных визуальных индексов на основе Wavelet-paзлoжeния и доминирующих цветов, обеспечивающие эффективную организацию и поиск изображений в визуальной базе данных. При этом визуальные индексы отражают наиболее важные визуальные характеристики (цвет, текстура, форма). - разработана методика оценки точности поиска в системах индексации, хранения и поиска изображений, специализированная для задач поиска изображений.

Проведено исследование эффективности схемы индексирования и поиска изображений на основе интегральных одномерных визуальных индексов по критерию точности поиска в соответствии с разработанной методикой. Полученные результаты позволяют сделать вывод о том, что разработанные методы формирования интегральных одномерных визуальных индексов на основе Wavelet-разложения и доминирующих цветов обеспечивают высокие показатели точности (Р ~ 0.75), превышающие известные методы индексации и поиска изображений. Для комплексов дистанционного мониторинга эффективным является построение системы индексации, хранения и поиска изображений при применении интегральных одномерных визуальных индексов на основе Wavelet-разложения и информационных мер: Wavelet+NPIM, Wavelet+LIM. Для изображений различных классов (WWW) наиболее эффективным является применение сложных визуальных запросов при совместном использовании визуальных индексов на основе Wavelet-разложения и доминирующих цветов, представляющих наиболее важные визуальные характеристики изображений (текстура, форма, цвет).

Анализ статистической кластеризации изображений по интегральным одномерным визуальным индексам на основе Wavelet-разложения и доминирующих цветов показал, что разработанные визуальные индексы позволяют определить категории изображений. При этом индексы изображений на основе Wavelet-разложения и доминирующих цветов обеспечивают организацию изображений визуальной базы данных по семантически значимым категориям -классам изображений, что является показателем эффективности использования данных визуальных индексов при поиске изображений.

Разработан программный комплекс индексации, хранения и поиска изображений, реализующий эффективную схему индексирования изображений на основе интегральных одномерных визуальных индексов и предоставляющий пользователю удобные инструменты анализа визуальных характеристик изображений, поиска и доступа к визуальной информации, анализа эффективности используемой схемы индексирования и поиска изображений. Программный комплекс внедрен в ФГУП «КБ «Луч» г.Рыбинск при разработке комплекса программных средств первичной обработки фоноцелевой информации с информационно-программным обеспечением АРМ комплекса «ТИПЧАК» и системы автоматизации документирования компьютерных экспериментов на модели системы передачи изображений.

Таким образом, полученные результаты позволяют сделать вывод о том, что разработанные метод многомасштабного позиционного разделения изображения, методы формирования интегральных одномерных визуальных индексов изображений, структуры организации индексов для быстрого поиска обеспечивают достижение конечной цели диссертационной работы — создание эффективной системы индексации, хранения и поиска изображений.

1. Чен Ш.-К. Принципы проектирование систем визуальной информации. -М.:Мир, 1994.- 430 с.

2. Yong Rui, Thomas S. Huang. Image Retrieval: Current Techniques, Promising Directions, and Open Issues // Journal of Visual Communication and Image Representation, 1999. v. 10. - p. 12-29.

3. F. Idris, S. Panchanathan. Review of Image and Video Indexing Techniques // Journal of Visual Communication and Image Representation, 1997. v.8. - p.53-73.

4. Marc Gimpel, Laure Parigot, Isabel Yurrita. Image Indexing // Multimedia Communications, 1998. p. 50-72.

5. N.-Y. Chen, H.-T. Wang, M.-M. Ling. Ortographic Correction of Airborne Scanner Imagery for Mountainous Areas// Proceeding of the Third International Airborne Remote Sensing Conference and Exhibition. Denmark, 1997. - v.I, v.II. -p.334-338.

6. N.J. Jewel, N.W. Campbel, B.T. Thomas. Hierarchically searching the Web for images// Multimedia Communications, 1998. -p.24-30.

7. Stan Sclaroff. World Wide Web Image Search Engines// NSF Workshop on Visual Information Management, 1995. p. 110-115.

8. John R. Smith, Shih-Fu Chang. Searching for Images and Videos on the WorldWide Web// Multimedia Communications, 1996. p.44-47.

9. Theo Gevers, Frank Aldersho, Peter Vreman, Arnold W.M. Smeulders. Retrieving and Localizing Objects in Images on the WWW // Vision Interface '99.

10. Shih-Fu Chang, John R. Smith, Horace J. Meng, Hualu Wang, Di Zhong. Finding Images/Video in Large Archives// Multimedia Communications, 1996. p.53-56.

11. Carlo Tomasi, Leonidas J. Guibas. Image Descriptions for Browsing and Retrieval // Image Understanding, 1994. p. 150-155.

12. T. Gevers, A. W.M. Smeulders. Indexing of Images by Pictorial Information// Image Understanding, 1991. p. 13 8-142.

13. Столниц Э., ДеРоуз Т., Салезин Д. Вейвлеты в компьтерной графике. М, 2002. - 340 с.

14. David A. Forsythl, Jitendra Malikl, Margaret M. Fleck, Hayit Greenspan.

15. Finding Pictures of Objects in Large Collections of Images // Multimedia

16. Communications, 1996.-p.l 18-125.

17. Kenneth W. Tobin, Thomas P. Karnowski, Regina K. Ferrell. Image Retrieval in the Industrial Environment // Journal of Visual Communication and Image Representation, 1999.-p. 34-48.

18. Shih-Fu Chang, John R. Smith, Mandis Beigi, Ana Benitez-. Visual Information Retrieval from Large Distributed On-line Repositories // Multimedia

19. Communications, 1998.-p.27-35.

20. John R. Smith. Image retrieval evaluating // IEEE Workshop on Content-based Access of Image and Video Libraries, 1998. p.l 15-121.

21. Vincenzo Di Lecce, Andrea Guerriero. An Evaluation of the Effectiveness of Image Features for Image Retrieval // Journal of Visual Communication and Image Representation, 1999. v. 10. - p.72-76.

22. Mapp Д. Зрение. М.:Радио и связь, 1987. - 350 с.

23. Грантрат Д.Дж. Роль моделей зрения в обработке изображений // ТИИЭР,1981. -т.69. -№5.-112-130 с.

24. Харалик P.M. Статистический и структурный подходы к описанию текстур // ТИИЭР, 1979. т.67. - №5. - 39-44 с.

25. C.R. Shyu, С.Е. Brodley, А.С. Как, A. Kosaka, A.Aisen, L. Broderick. Local versus Global Features for Content-Based Image Retrieval // IEEE, 1998. p.68-75.

26. Ingemar J. Cox, Joumana Ghosn, Matt L. Miller. Hidden Annotation in Content Based Image Retrieval // Journal of Visual Communication and Image Representation, 1997.-p.l 10-121.

27. R. Bruneli, O. Mith. On the Use of Histograms for Image Retrieval // Journal of Visual Communication and Image Representation, 1999. p.98-105.

28. R. Bruneli, O. Mith. Histogram analysis for image retrieval // Journal of Visual Communication and Image Representation, 1997. p.87-93.

29. Mark A. Hal, Lloyd A. Smith. Practical Feature Subset Selection for Machine Learning // Multimedia Communications, 1997. p.32-37.

30. Daphne Koler, Mehran Sahami. Toward Optimal Feature Selection // Multimedia ^ Communications, 1996. -p.59-66.

31. Freek Reinders. Feature Extraction // Journal of Visual Communication and Image Representation, 1997. p.107-120.

32. Ruggero Milanese, Michel Cherbuliez. A Rotation, Translation, and Scale-Invariant Approach to Content-Based Image Retrieval // Journal of Visual Communacation and Image Representation, 1999. v. 10. - p. 117-131.

33. Zhou Hong, Chan Syin. Query Expansion by Text and Image Features in Image ^ Retrieval // Journal of Visual Communication and Image Representation, 1998.v.9. p. 91-96.

34. Анисимов Б.В., Курганов В.Д., Злобин B.K. Распознавание и цифровая обработка изображений.- М.:Высшая школа, 1983. 350 с.

35. Розенфелд А. Распознавание изображений // ТИИЭР, 1981,- т.69. №5. — 4453 с.

36. Бонгард М.М. Проблема узнавания.- М.:Наука, 1967. 210 с.

37. Фомин Я.А., Тарловский Г.Р. Статистическая теория распознавания образов. М.:Радио и связь, 1986. - 190 с.

38. Горелик A.JL, Скрипкин В.А. Методы распознавания. М.:Высшая школа, 1977.-350 с.

39. Загоруйко Н.Г. Методы распознавания и их применение. -М. ¡Советскоерадио, 1972.-290 с.

40. Ту Дж., Гонсалес Р. Принципы распознавания образов. М.:Мир, 1978. -340 с.

41. Ярославский Л.П. Введение в цифровую обработку изображений. М.:Сов. радио, 1979.-320 с.

42. Ярославский Л.П. Цифровая обработка изображений в голографии.

43. М.:Сов. радио, 1980.-260 с.

44. Бутаков Е.А., Островский В.И., Фадеев И.Л. Обработка изображений на ЭВМ. М:Радио и связь, 1987. - 238 с.

45. Иванько A.A., Гордиенко В.И., Соловьев В.М., Иванько Я.А. Цифровая обработка сигналов: опыт использования персональных ЭВМ.-Киев:Техника, 1991. 160 с.

46. Мотоока Т., Хорикоси X., Сакаути М., Танака X., Сайто Т. Компьютеры на СБИС. М:Мир, 1988. - 390 с.

47. Применение цифровой обработки сигналов. Под ред. Оппенгейма Э. -М.:Мир, 1980.-150 с.

48. Хант Б. Цифровая обработка изображений // ТИИЭР, 1975. т.63. - №4. — 32- 47 с.

49. Розенфельд А., Дейвис JI. Сегментация и модели изображений // ТИИЭР, 1979.-т.67.-№5.-62-70 с.

50. Джайн А.К. Успехи в области математических моделей для обработки изображений // ТИИЭР, 1981. т.69. - №5. - 84-91 с.

51. Прэтт У.К., Фожра О.Д., Гагалович А. Применение моделей стохастических структур для обработки изображений // ТИИЭР, 1981. т.69. - №5. - 72-88 с.

52. Ансон Д., Барнсли М. Фрактальное сжатие изображений // Мир ПК, 1992. -№4. 43-48 с.

53. Горшков A.C., Кравченко В.Ф. Новый математический аппарат атомарных функций для пространственно временной обработки сигналов // Радиотехника, 1995. №1-2.

54. Кричевский P.E. Сжатие и поиск информации. М.:Радио и связь, 1989. -110 с.

55. Папернов A.A., Подымов В .Я. Методы упорядочивания информации в цифровых системах. М: 1973. - 390 с.

56. Кохонен Т. Ассоциативные запоминающие устройства. М.:Мир, 1982. — 350 с.

57. Leonard Brown, Le Gruenwald. Tree-Based Indexes for Image Data // Journal of Visual Communication and Image Representation, 1998. v.9. - p.51-72.

58. Adelson E.H., Simoncelli E. Subband. Image Coding with Three-tap Pyramids // MIT Media Laboratory, Picture Coding Symposium, Cambridge, 1990. p.29-40.

59. Stefan Berchtold, Daniel A. Keim, Hans-Peter Kriegel. The X-tree: An Index Structure for High-Dimensional Data // Multimedia Communications, 1996. -p.78-100.

60. Stefan Berchtold, Daniel A. Keim, Hans-Peter Kriegel, Thomas Seidl. Fast Nearest Neighbor Search in High-dimensional Space. // Multimedia Communications, 1998.-p.105-112.

61. Коваленко И.Н., Филипова A.A. Теория вероятностей и математическая статистика. М:Высшая школа, 1973. - 370 с.

62. Лебедев А.Н., Куприянов М.С., Недосекин Д.Д., Чернявский Е.А. Вероятностные методы в инженерных задачах. С.-П.:Энергоатомиздат, 2000.-330 с.

63. Jawerth В., Sweldens W. An Overview of Wavelet based Multiresolution Analyses // Columbia, University of South Carolina, Department of Mathematics, 1993.-p.270.

64. Buccigrossi R.W., Simonceli E.P. Progressive Wavelet Image Coding based on a Conditional provability model // Proceedings of the Third International Airborne Remote Sensing Conference and Exhibition, 1997. v.2. — p. 120- 129.

65. Henrique Malvar. Progressive Wavelet Coding of Images // Multimedia Communications, 1998.-p. 10-19.

66. Ватолин Д.С. Алгоритмы сжатия изображений. Методическое пособие. — Киев, 1999.-260 с.

67. Кравченко В.Ф., Рвачев B.JI. Wavelet системы и их применение при цифровой обработке сигналов// Зарубежная радиоэлектроника, 1996. №4. -15-21 с.

68. Ламброу Т., Линней А., Спеллер Р. Применение вейвлет-преобразования к обработке медицинских сигналов и изображений// Компьютерра, 1998. №3. - 34-40 с.

69. Башилов Г., Левкович-Маслюк Л. Мелковолновой анализ // Компьютерра, 1998.-№3.-57-63 с.

70. Переберин А. Вейвлеты в компьютерной графике // Компьютерра, 1998. -№3.-63-67 с.

71. Фарков Ю. Заметка о вспесках // Компьютерра, 1998. №3. - 56-58 с.

72. Спиридонов В. Самоподобие, всплески и квазикристаллы // Компьютерра, 1998. №3. — 67-73 с.

73. Левкович-Маслюк JI. Дайджест вейвлет анализа // Компьютерра, 1998. -№3.-48-51 с.

74. Клир Дж. Системология. Автоматизация решения системных задач. -М:Радио и связь, 1990. 540 с.

75. Калянов Г.Н. Структурный системный анализ. М.:Лори, 1996. - 246 с.

76. Белков A.B., Грызлова Т.П., Шаров В.Г. Некоторые проблемы и методы построения эффективных визуальных информационных систем // Программные продукты и системы. — 2002. №3. - 11-14 с.

77. Белков A.B., Грызлова Т.П., Шаров В.Г. Метод многомасштабного позиционного разделения изображений в визуальных информационных системах // Вестник РГАТА Рыбинск: РГАТА, 2002. - 55-65 с.

78. Белков A.B., Грызлова Т.П., Шаров В.Г. Метод построения визуальных информационных систем // Аэрокосмические технологии и образование на рубеже веков. Всероссийская научно-техническая конференция. Рыбинск, 2002.-21-24 с.

79. Белков A.B. Применение визуальных информационных систем в комплексах дистанционного мониторинга // Аэрокосмические технологии и образование на рубеже веков. Всероссийская научно-техническая конференция. Рыбинск, 2002. 2 с.

80. Белков A.B. Статистический и информационный подходы к описанию текстур в визуальных информационных системах // Сборник трудов молодых ученых Рыбинск: РГАТА, 2000. - 4 с.

81. Белков A.B., Грызлова Т.П. Статистические и информационные признаки изображений в визуальных информационных системах // Информацион-ные технологии в науке, проектирова-нии и производстве. Материалы третьей

82. Всероссийской научно-технической конференции Нижний Новгород, 2001. -Зс.

83. Белков А.В. Эффективность применения информационных мер в обработке сигналов // Сборник трудов молодых ученых Рыбинск: РГАТА, 2001. - 3 с.

84. Климов А.С. Форматы графических файлов. К.:НИПФ «ДиаСофт Лтд.», 1995.-480 с.

85. Sabine Susstrunk, Robert Buckley,Steve Swen. Standard RGB Color Spaces // The Seventh Color Imaging Conference: Color Science, Systems, and Applications, 1999. p. 30-42.

86. Di Zhong, Shih-Fu Chang. Region Feature Based Similarity Searching of Semantic Video Objects // Journal of Visual Communacation and Image Representation, 1999.-p. 145-149.

87. John R. Smith, Shih-Fu Chang. Integrated Spatial and Feature Image Query // ACM Multimedia, 1996. p.30-51.

88. Иванов В.П., Батраков A.C. Трехмерная компьютерная графика. М:Радио и связь, 1995.-170 с.

89. R. Bruneli, О. Mith. Image retrieval by examples // IEEE, 1999. p. 67-75.

90. Mandis Beigi, Ana B. Benitez, Shih-Fu Chang. MetaSEEk: A Content-Based Meta-Search Engine for Images // Multimedia Communications, 1998. p.132-139.

91. John R. Smith, Shih-Fu Chang. An Image and Video Search Engine for the World-Wide Web // Journal of Visual Communication and Image Representation, 1998.-p. 48-54.

92. John R. Smith, Shih-Fu Chang. VisualSEEk: a fully automated content-based image query system // Multimedia Communications, 1996. p.95-101.

93. Kaushik Chakrabartia, Kriengkrai Porkaew. WebMARS: A Multimedia Search Engine // Multimedia Communications, 2000. p.75-81.

94. Margaret E. Graham, John P. Eakins. ARTISAN : a prototype retrieval system for trade mark images // Multimedia Communications, 1996. p.61-68.

95. Дороницын А.А., Коваленко И.Н., Бакаев А.А. Словарь по кибернетике. -Киев, 1979.-750 с.

96. Рис.П.1. Методы первичного анализа и обработки изображений.