автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Поиск изображений с использованием семантических признаков

На правах рукописи

ПАПУЛИН Сергей Юрьевич

ПОИСК ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ СЕМАНТИЧЕСКИХ

ПРИЗНАКОВ

Специальность 05.13.01 -Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

'¿¡^щЛ]

005558974

11 4-с.с! 2015

Москва-2015

005558974

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный технический университет имени Н.Э. Баумана»

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

ВЛАСОВ Андрей Игоревич к.т.н., доцент

НАЗАРОВ Александр Викторович д.т.и., профессор

ФГБОУ ВПО «Московский авиационный институт»

ПОЛЕВОЙ Дмитрий Валерьевич к.т.н., ст. науч. сотр.

ФГБУН «Институт системного анализа» РАН

ФГБОУ ВПО «Пензенский государственный университет»

Защита диссертации состоится «03» марта 2015 г. в 14 час. 30 мин. на заседании диссертационного совета Д 212.141.02 при Московском государственном техническом университете им. Н.Э. Баумана по адресу: 105005, г. Москва, Госпитальный переулок., д. 10, ауд. б 13м

С диссертацией можно ознакомиться в библиотеке Московского государственного технического университета им. Н.Э. Баумана и на сайте www.bmstu.ru.

Отзывы и замечания по автореферату в двух экземплярах, заверенные печатью, просьба высылать по вышеуказанному адресу на имя ученого секретаря диссертационного совета.

Автореферат разослан «¿9» ,<ги£лрл- 2015 г.

Ученый секретарь диссертационного совета к.т.н, доцент

И.В. Муратов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Интерес к поиску изображений обусловлен рядом факторов. Во-первых, использование изображений в качестве информационного источника, то есть изображение приобретает значимость для решения определенных задач. Во-вторых, появление большого объема неструктурированных коллекций изображений в рамках одной системы. В-третьих, актуальность изображения как результата поиска, то есть когда изображение становится предпочтительным результатом поиска. В-четвертых, расширение возможностей поисковой системы при использовании поиска изображений в добавление к текстовому, то есть изображения могут повысить релевантность при текстовом поиске.

Системы поиска изображений уже используются в таких сферах, как наука, медицина, коммерция, обеспечение правопорядка (поиск по биометрическим данным), применяются в электронных библиотеках, для поиска в Интернете, в географических информационных системах и др. Поэтому существенным становится гибкость используемых методов и самих систем поиска к разнообразному контенту изображений для реализации возможности применения одной системы в различных областях.

Существуют два основных подхода к поиску изображений в коллекции данных: контекстный (по текстовому описанию изображений) и контентный (по содержанию изображений). В первом случае в качестве запроса пользователя и для хранения описаний изображений используются текстовые аннотации, то есть применяются методы анализа и поиска текстовой информации. Во втором случае, как правило, используется запрос в виде изображения-образца, а в качестве описаний изображений применяются, например, числовые представления признаков изображений (цвета, текстуры, формы, положения и др.).

В данной работе основное внимание уделяется контентному направлению в поиске изображений, основателями которого можно считать сотрудников научного подразделения IBM (W. Niblack, R. Barber, W. Equitz и др.), Т. Kato (CHUO University, Токио, Япония), Т. Kurita (University of Tsukuba, Япония), A. Del Bimo и P. Pala (University of Florence, Италия), W.Y. Ma и B.S. Manjunath (University of California, США), и др. Первыми полноценными системами поиска изображений по содержанию были QBIC, ART MUSEUM, Netra и др.

В целом контентные методы можно подразделить на признаковые и объектно-ориентированные. В настоящее время приоритетным является объектно-ориентированный подход, так как именно он обладает потенциалом по преодолению самой известной проблемы в области поиска изображений -семантического разрыва.

Помимо обозначенной наиболее фундаментальной проблемы существует ряд более частных, которым уделяется основное внимание в данной работе. В первую очередь это проблема текстового поиска изображений по содержанию; проблема объединения возможностей двух подходов к поиску изображений (контекстного и по содержанию); проблема гибкости настройки методов поиска изображений по содержанию для различных областей применения.

Цель работы - разработка метода поиска цифровых изображений по содержанию, который способен преобразовывать один тип описания изображения в другой для обеспечения возможности использования различных

типов пользовательских запросов (например, текстового запроса, запроса в виде образца) и различных типов описаний изображений из коллекции данных.

Для достижения поставленной цели решены следующие задачи:

1) анализ существующих подходов и методов поиска изображений;

2) разработка многоуровневой модели и выделение основных её компонентов для возможности организации необходимых преобразований описаний изображений и определение методики формирования элементного состава уровней и связей между ними;

3) разработка многоуровневой логико-гистограммной (или логико-множественной гистограммной) модели представления данных для использования её в качестве математического аппарата при поиске в коллекции изображений по различным типам запросов и описаниям;

4) разработка метода поиска изображений по содержанию с использованием семантического признака, обеспечивающего заявленные в цели возможности посредством использования многоуровневой модели обработки и описания изображений и многоуровневой логико-гистограммной модели представления изображений;

5) разработка способов поиска изображений с использованием семантических признаков цвета и текстуры; применение для поиска маркированных изображений, полученных от устройств неразрушающего контроля;

6) реализация способов в виде системы поиска растровых изображений;

7) тестирование предлагаемых способов поиска изображений по семантическим признакам и анализ полученных результатов.

Научная новизна:

1) предложена многоуровневая модель обработки и описания данных, отличающаяся наличием четырёх базовых уровней (уровня элементов пространства признака; уровня элементарных элементов признака; уровня признака, образа, понятия; языкового уровня) и следующих компонентов: элементов уровня; представлений уровня; семантического признака, - и позволяющая представить элементы данных от низкоуровневых описаний до полноценных понятий и языковых элементов, а также внешние данные на различных уровнях;

2) разработан метод поиска изображений по содержанию с использованием семантического признака, отличающийся применением многоуровневой модели базовых четырех уровней и логико-гистограммной модели представления данных, который позволяет искать изображения с использованием элементных запросов, в том числе сложносоставных с логическими и/или множественными связками, или запроса в виде изображения-образца и по различным типам описаний изображений за счет межуровневых преобразований;

3) предложена методика формирования элементного состава многоуровневой модели данных и семантического признака, отличительной чертой которой является порядок составления элементов уровней снизу-вверх с учетом заранее выбранных целевых признаков, образов, понятий и применение множественных и/или логических операций над элементами для формирования сложных (составных) элементов в пределах одного уровня и определения семантического признака;

4) разработан способ поиска изображений по содержанию с использованием семантического признака цвета, отличающийся применением

метода поиска изображений с использованием семантического признака и цветового пространства оттенок-насыщенность-яркость (ИБВ) для формирования элементного состава многоуровневой модели, который позволяет искать изображения по элементному запросу или запросу в виде изображения-образца с использованием одного типа описаний изображений;

5) разработан способ поиска изображений по содержанию с использованием семантического признака текстуры, отличающийся применением метода поиска изображений с использованием семантического признака и секторно-кругового пространства текстуры для формирования элементного состава многоуровневой модели, который позволяет искать изображения по элементному запросу или запросу в виде изображения-образца с использованием одного типа описаний изображений;

6) предложен способ реализации поиска изображений с использованием семантических признаков цвета и текстуры, отличительными чертами которого являются применение отдельных алгоритмов поиска по текстовому запросу и изображению-образцу; использование базы данных для хранения элементных составов и семантических признаков многоуровневых моделей, а также изображений/описаний на различных уровнях; клиент-серверная архитектура.

Методология и методы исследования. При решении поставленных в диссертационной работе задач использованы теоретические и эмпирические методы исследования, в том числе специальные количественные методы оценки эффективности поиска информации по показателям полноты и точности.

Достоверность полученных научных результатов подтверждается теоретической обоснованностью предлагаемых методов и способов, а также практической реализацией разработанных способов в виде системы поиска. Результаты тестирования способов соответствуют заявленной цели и теоретическим ожиданиям.

Основные положения, выносимые на защиту:

1) метод поиска изображений по содержанию с использованием семантического признака (компонента разработанной многоуровневой модели обработки и описания изображений) позволяет использовать различные виды запросов, базовыми из которых являются элементный запрос и запрос в виде изображения-образца, и обеспечивает возможность поиска по различным типам описаний изображений за счет межуровневых преобразований;

2) методика формирования элементного состава и семантического признака многоуровневой модели обработки и описания изображений, используемаяй в методе поиска изображений по семантическому признаку, регламентирует порядок заполнения и составления элементов уровней и взаимосвязей между элементами различных уровней с применением множественных и/или логических операций;

3) способ поиска изображений по содержанию с использованием семантического признака цвета и цветового пространства оттенок-насыщенность-яркость (НБВ) обеспечивает возможность поиска по элементному запросу или запросу в виде изображения-образца с применением одного типа описания изображений;

4) способ поиска изображений по содержанию с использованием семантического признака текстуры и секторно-кругового пространства текстуры обеспечивает поиск по элементному запросу или запросу в виде изображения-образца с применением одного типа описания изображений.

Научно-практическая значимость работы. Разработанные способы поиска изображений с использованием семантических признаков и воплощенные в виде системы поиска обладают следующей практической значимостью:

- позволяют использовать различные типы описаний изображений для поиска изображений по элементному запросу или по изображению-образцу;

- позволяют настраивать системы под различные сферы деятельности и задачи поиска посредством внесения изменений в элементный состав и семантические признаки системы, которые заполняются экспертами предметной области, в том числе с использованием обычного или терминологического естественного языка;

- достигается возможность объединения разработанных способов с традиционными контекстными способами с целью повышения релевантности результата поиска по запросу пользователя;

- позволяют организовать автоматическую текстовую аннотацию растровых изображений по его содержанию, и возможность объединения её с контекстной аннотацией растровых изображений;

- могут быть применены при реализации образного мышления и воображения в системах искусственного интеллекта.

Кроме того, в диссертации предложено прикладное использование разработанных способов для поиска растровых маркированных изображений, полученных от устройств неразрушающего контроля, например, тепловизора.

Отдельные результаты работы использованы в учебном процессе и в рамках научно-исследовательской работы (ГК16.647.12.2049) кафедры проектирования и технологии производства электронной аппаратуры МГТУ им. Н.Э. Баумана.

Таким образом, предложенные методы, способы и система поиска имеют достаточно широкий спектр применения, отдельные части которых могут быть использованы в смежных областях, таких как компьютерное зрение, цифровая обработка сигналов и распознавание образов, системы искусственного интеллекта.

Апробация работы. Основные результаты работы получены лично автором, часть из которых были представлены на следующих конференциях и конкурсах:

1. Молодежная международная научно-техническая конференция учащихся, студентов, аспирантов и молодых ученых «Наукоемкие технологии и интеллектуальные системы», МГТУ им. Н.Э. Баумана. Москва, 2009, 2013, 2014;

2. IV Всероссийский конкурс молодых учёных (проводимый РАН, Министерством обороны РФ, Министерством промышленности и торговли РФ, Федеральным космическим агентством, Министерством образования и науки РФ, ВАК и Межрегиональным советом по науке и технологиям). Миасс, 2012;

3. Всероссийская научная конференция студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации» (НТИ-2012), Новосибирский государственный технический университет (НГТУ). Новосибирск, 2012.

Публикации. Основные результаты диссертации отражены в 11 публикациях, в том числе в 3-х статьях в рецензируемых журналах, рекомендуемых Высшей аттестационной комиссией (ВАК).

Структура и объем работы. Диссертационная работа состоит из введения, четырех разделов, заключения, приложения и списка литературы. Общий объем диссертации 214 страниц, включая 93 рисунка. Список литературы содержит 100 записей, из них 67 иностранных источников.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

В первом разделе приводятся общие теоретические положения по обработке, анализу и представлению данных с точки зрения различных дисциплин, таких как когнитивная психология, языкознание, обработка и анализ изображений, системы искусственного интеллекта; анализируются подходы и методы поиска изображений; рассматриваются способы, используемые в системах поиска, и их классификации; определяются проблемы и недостатки существующих подходов и методов поиска изображений; предлагается общая концепция решения выявленных проблем.

Можно выделить три подхода к поиску изображений: контекстный, контентный и контекстно-контентный. Контекстный поиск изображений основан на анализе сопроводительной к изображению текстовой информации. Поэтому, ввиду того, что источником информации является текст, для контекстного поиска изображений применяются следующие методы текстового поиска: булевый поиск (boolean retrieval), векторный поиск (vector space retrieval) и вероятностный поиск (probabilistic retrieval).

Контентные методы базируются на анализе содержательной стороны изображений. Множество существующих контентных методов можно разделить на два базовых подкласса: признаковые (feature-based) методы и объектно-ориентированные (object-based) методы. Признаковые методы представляют изображения в виде вектора различных признаков (цвета, текстуры, формы, положения и др.). Объектно-ориентированные методы поиска изображений по содержанию отличаются от признаковых использованием методов распознавания для перевода содержания изображений на семантический уровень.

Последний из рассматриваемых подходов к поиску изображений обозначен как контекстно-контентный, так как в нем используется сочетание контекстных и контентных методов поиска. Данное сочетание реализуется за счет методов слияния (или синтеза) данных (fusion data) для формирования единого ранжированного списка найденных изображений из нескольких, полученных в результате поиска посредством различных способов.

В результате проведенного анализа существующих подходов и методов поиска изображений были выделены следующие основные проблемы и недостатки, помимо «семантического разрыва», которым уделяется особое внимание в диссертационной работе: проблема объединения возможностей контекстного и контентного подходов к поиску; проблема использования различных видов запросов и типов описаний изображений; проблема применения текстового запроса для поиска по содержанию; проблема гибкости настройки поиска изображений под различное их содержание и др.

Для решения обозначенных проблем предложена общая концепция поиска изображений, основанная на совместном использовании многоуровневой модели обработки и описания изображений и гистограммного представления данных. Многоуровневая модель позволяет представить процесс обработки и описания изображений от наиболее простых элементов до

полноценных объектов. В результате можно получить описания изображений на различных уровнях. Гистограммное представление выбрано потому, что, во-первых, его элементы обозначают количественные показатели присутствия различных элементов изображений; во-вторых, оно может быть сведено к другим формам представления данных.

В то же время, помимо обозначенных общих проблем поиска изображений, были выделены проблемы специфичные как для существующих многоуровневых моделей, так и для гистограммного представления данных применительно к задаче поиска изображений. Кроме того, возникают новые вопросы при совместном использовании многоуровневых моделей и гистограммного представления для реализации функциональных возможностей, указанных в цели работы.

Во втором разделе предлагается многоуровневая модель базовых четырёх уровней, приводится её компонентный состав, раскрывается сущность семантического признака; рассматривается разработанная логико-гистограммная (или логико-множественная гистограммная) модель и её многоуровневый вариант; приводятся предлагаемый метод поиска с использованием семантических признаков и методика заполнения элементного состава и семантического признака; разбираются способы поиска по семантическим признакам цвета и текстуры; предлагается прикладное использование метода поиска для коллекции маркированных изображений, полученных от устройств неразрушающего контроля.

На Рисунке 1 изображена предлагаемая многоуровневая модель базовых четырех уровней, основными отличительными особенностями которой применительно к задаче обработки и поиска изображений являются следующие: использование базовых уровней, каждый из которых может быть разбит на подуровни; трёхкомпонентный состав - элементы уровня, представления уровня, семантический признак; возможность формирования элементного состава уровней; возможность использования представлений изображений на различных уровнях; применение представлений элементов для элементного запроса; использование семантического признака, который обеспечивает взаимосвязь между уровнями.

Рисунок 1 - Многоуровневая модель базовых четырех уровней и её компонентный состав

Логико-множественная гистограммная модель представления данных. В качестве математического аппарата и модели вычисления значений схожести

между запросами и изображениями из коллекции данных предлагается использовать логико-множественную гистограммную модель представления данных. Эта модель позволяет анализировать данные по их гистограммам с использованием элементного запроса или запроса-образца на предмет присутствия, указанных в запросе элементов, или сходства данных с образцом, соответственно. Основными компонентами обозначенной модели являются универсальное множество У, множество элементов модели Я0, гистограммное представление данных Н", множество гистограммных представлений модели Нс относительно Ны, алгебраическая система гистограммного представления Н, элементное высказывание 5Е , гистограммное высказывание 5" и функции определения показателя присутствия Е5Н и схожести Бт^Нд, Ны).

Под универсальным множеством (7 понимается множество всех возможных элементов, из которых могут состоять данные. Если каждому элементу и сопоставить число от 0 до М, то нормализованную гистограмму данных Ны и множество Нс запишем следующим образом:

н» = ((н(1)...,н(М))|о < НС 0 < 1.Е?.1Ж0 = 1), (1)

Нс = {(Н(1),..,Н(М))|0 < Н(0 < Н"{ОЖгНО) < 1}, (2)

где Я(0 - значение /-ого элемента гистограммы, указывающее на количество некоторого элемента из У в данных, 1 < I < М.

Алгебраическая система гистограммного представления данных имеет следующий вид:

К = (Нс,П,и,АУУ,\\~, 0,1>, (3)

где П,и,Л,У,У,\,\ - бинарные операции «пересечение», «объединение», «и», «исключающее или», «или», «исключающее кроме», «кроме», соответственно; 0 и

1 — константы, 0 = ((Н(1),.., Н(Л0)|Н(1) = о), 1 = 0,1 енс; - унарная

операция «отрицание», Н — 1 \Н.

Множество элементов модели Ес - это элементы, которые формируются из элементов универсального множества и, в том числе с использованием операций-связок из (3).

Для вычисления количественного показателя присутствия при элементном запросе используется элементное высказывание 5е , которое необходимо преобразовать в гистограммное 5я за счет сопоставления соответствующих элементов из Ес и Нс, а затем посредством системы (3) вычислить его значение И Е Нс . Количественный показатель присутствия определяется как сумма значений элементов Н.

При запросе в виде образца показатель схожести вычисляется по гистограммным представлениям соответственно образца Нд и анализируемых данных Н". Для этого можно использовать различные метрики. В качестве базового способа схожесть определяем по пересечению гистограмм.

В случае анализа коллекции данных посредством логико-множественной гистограммной модели представления данных показатель присутствия или схожести в зависимости от вида запроса вычисляется для каждой единицы коллекции. В результате единицы коллекции ранжируются в соответствии с этими показателями.

Многоуровневая логико-множественная гистограммная модель представления данных. Если рассматривать трехкомпонентную ¿-уровневую модель обработки и описания данных, частный случай которой приведен на Рисунке 1, то на каждом уровне можно выделить собственный элементный состав £C;J, где 0 < j < L — 1. Тогда семантический признак будет определять взаимосвязь между элементами уровней, а гистограммное представление данных для 7-ого уровня обозначим как HN)i.

Если используются элементный запрос на _/+1 уровне и у'-ый уровень для представления данных, то элементы запроса на J+1 уровне должны быть преобразованы в элементы на _/'-ом уровне. В этом случае элементное высказывание для элемента т на уровне j+1 примет следующий вид:

gjj+iiem1) = SE;;(em+1) = Высказывани^.¡{е^,..., <£р), (4)

где gjj+1:E' -> EJ+1, EJ и Е'*1 - универсальные множества на уровне j и j+1, соответственно; е^1 - элемент т на уровне j+1; е^ - элемент тк на j-ом уровне, 1 < к < Р; Р - количество элементов высказывания.

Если уровень элементного запроса больше j+1, то элементное высказывание подобным же образом необходимо привести к /-ому уровню за счёт использования семантического признака. Другими словами, необходимо преобразовать элементы запроса от уровня к уровню вплоть до j-ого уровня.

Гистограммное высказывание на /ом уровне SH,> для е^1 формируется сопоставлением соответствующих элементов из EGи . Его значение обозначим как HJm G Нс->. Количественный показатель присутствия вычисляется

как сумма значений элементов Н^.

Если используется запрос-образец, то его необходимо преобразовать в гистограммное представление данных на уровне описания и определить значение схожести по пересечению гистограмм.

В общем виде применение различных запросов должно подчиняться следующим правилам: уровень элементного запроса не должен быть ниже уровня описания; уровень запроса-образца не должен быть выше уровня описания.

Метод поиска изображений с использованием семантических признаков. Рассмотренные до этого модель базовых четырех уровней и многоуровневая логико-гистограммная модель представления данных являются неотъемлемыми составляющими предлагаемого метода поиска изображений. В этом случае в качестве данных выступают изображения, а описания данных на различных уровнях - гистограммные представления изображений. Метод позволяет применять элементные запросы и запросы в виде изображений-образцов на различных уровнях. При этом текстовый запрос является частным случаем элементного запроса на языковом уровне. На Рисунке 2 приведена упрощенная схема представления изображения и языковых элементов при использовании уровня элементарных элементов признака (1-ого уровня) в роли уровня описания изображений из коллекции.

Таким образом, предлагаемый метод поиска изображений с использованием семантических признаков позволяет реализовать переходы описаний изображений из одного уровня в другой для обеспечения возможностей поиска по элементному запросу или по изображению-образцу, а в

качестве описаний изображений из коллекции данных использовать гистограммные представления на различных уровнях. Основными функциональными особенностями разработанного метода являются следующие: возможность формирования элементов уровней, в том числе за счет операций из системы (3); обеспечение взаимосвязи между элементами различных уровней; возможность использования различных типов описаний изображений, имеющих вид гистограммных представлений на различных уровнях; применение базовых видов запросов (изображения-образца и элементного запроса). В общем виде поиск изображений по семантическим признакам обеспечивает взаимосвязь между контекстным и контентным подходами, а также между признаковыми и объектно-ориентированными контентными методами поиска.

Представление изображения

Е31

________________ _____ N

Представление языковых элементов

4

Текст

Понятие, образ, признак

Н,

Л?;1

Представление

А-

Элементгрный элемент признака Е

................—)■........................

Представление I

ЕЛ

/ф [ Мзооражени

Элемент пространства

Т7 О

_признажа Д .

Рисунок 2 - Представление изображения и языковых элементов на уровне элементарных элементов признака

Методика формирования элементного состава уровней и семантического признака. Для формирования элементного состава уровней и семантического признака предлагается следующая последовательность действий: формирование базовых понятий способа поиска (то есть целевых понятий, которые впоследствии будут соотноситься с языковыми элементами 3-его уровня); выбор пространства признака с учетом возможности описания базовых понятий; выделение элементарных элементов признака; построение элементов признака, образов, понятий из элементарных; связывание элементов признака с текстовой интерпретацией.

Можно выделить следующие классификации способов поиска изображений с использованием семантических признаков. Во-первых, способы могут различаться по признаку или их комбинации (например, поиск по семантическому признаку цвета, текстуры, формы, положения или др.). Во-вторых, отличия могут касаться формирования элементного состава, прежде всего выбором пространства признака, т.е. элементов уровня пространства признаков (0-ого уровня). В-третьих, по уровню представлений, которые используются как описания изображений коллекции и, в-четвертых, — по типу представления.

Способы поиска изображений с использованием семантических признаков цвета и текстуры. На базе обозначенного метода разработаны способы поиска изображений с использованием семантического признака цвета и текстуры. Оба способа позволяют искать изображения посредством изображения-образца и элементного запроса с применением одного или более типов описаний изображений в базе данных. В частности, рассмотрен случай

использования гистограммных представлений изображений на уровне элементарных элементов признака (1-ом уровне). При этом в случае поиска изображений по семантическому признаку цвета используется цветовое пространство НБВ, а для поиска по семантическому признака текстуры -секторно-круговое пространство. На Рисунке 3 приведен пример взаимосвязи элементов в многоуровневой модели в способе поиска изображений с использованием семантического признака цвета.

3 < = ТРАВА е Ес'3 Т

ы ТРАВА -» се32

се| = се1 V се|

2 1 cei.ce1 е ЕС!-cel.cel.cei еЕах*

| се\ -> се|

се$ = се' и се^ и и <

1 '-V 0 е се:, се;, сс\. ее; 6 Ес'л се} >се}, се],се^, се± € Е—1

я н се\ -> се^о, |

0 2 ы ">1°01 = 1се°\1 Й ' ^ 100, се° е Есл = Б*** - {«»(се? С Н.ЧВ)

Г

ЯЗЫКОВОИУРОВЕНЬ

УРОВЕНЬ ЭЛЕМЕНТОВ I ПОНЯТИЙ, ОБРАЗОВ, ПРИЗНАКОВ

УРОВЕНЬ ЭЛЕМЕНТАРНЫХ ЭЛЕМЕНТОВ ПРИЗНАКОВ

УРОВЕНЬ ЭЛЕМЕНТОВ ПРОСТРАНСТВ ПРИЗНАКОВ

Рисунок 3 - Пример взаимосвязи элементов различных уровней в способе поиска изображений с использованием семантического признака цвета

В завершении раздела обсуждается вариант использования предлагаемого метода поиска изображений с использованием семантических признаков для коллекции маркированных изображений, полученных от устройств неразрушающего контроля, например, при производстве и тестировании электронных компонентов и аппаратуры.

В третьем разделе рассматриваются основные функциональные особенности реализованной системы поиска растровых изображений; её архитектура и функциональные компоненты; способы реализации поиска по семантическим признакам; компонентные модели клиента и сервера; развертывание системы поиска.

Главными действующими лицами системы определены «Пользователь», «Эксперт» и «Администратор». В соответствии с ними были разработаны приложения, которые обеспечивают визуальный интерфейс для взаимодействия с пользователем, и предназначены для выполнения своего круга задач. Система поиска построена по принципу трехслойной функциональной организации, в которой каждый слой отвечает за выполнение некоторого набора функций: слой представления предназначен для взаимодействия с пользователем; бизнес слой необходим для выполнения основных задач по поиску изображений, извлечению описаний и др.; слой доступа к данным отвечает за взаимодействия с базами данных изображений и их описаний, а также с элементным составом и семантическими признаками цвета и текстуры.

Непосредственно поиск изображений разделен на поиск по изображению-образцу и по текстовому запросу. Описания изображений имеют вид 10

гистограммных представлений, элементы которого формируются в зависимости от используемого уровня представления. Гистограммное представление реализуется в виде словарей данных. Для поиска по текстовому запросу используются элементные и гистограммные высказывания в виде бинарных деревьев. В Таблице представлены возможные слова-связки и их сопоставление с операциями системы (3).

Таблица - Сопоставление операций и элементов текстового запроса

№ Наименование операции Обозначение в логико-гистограммной системе Элемент текстового запроса

1 И Л "/И"

2 ИСКЛЮЧАЮЩЕЕ ИЛИ V "/ИЛИ"

3 ИЛИ V 7И-ИЛИ"

4 КРОМЕ \ "/КРОМЕ"

5 ИСКЛЮЧАЮЩЕЕ КРОМЕ \ "/ТОЛЬКО-НЕ"

Для развертывания была выбрана трехслойная архитектура на двух физических уровнях в виде насыщенного клиента и сервера. При этом использование насыщенного клиента означает, что на клиентской машине размещены слой представления и бизнес слой.

В четвертом разделе приводятся результаты тестирования разработанных способов поиска изображений на основе семантических признаков. Для этого была определена методика тестирования, выполнена предварительная стадия по формированию элементного состава, семантических признаков многоуровневой модели и тестовых запросов; осуществлен поиск посредством реализованной системы поиска растровых изображений; произведен анализ полученных результатов при различных видах запросов и уровней описания изображений.

Основное внимание уделялось обеспечению заявленных функциональных возможностей предлагаемых способов и эффективности поиска. Для оценки эффективности поиска применялись показатели полноты и точности. Пример графиков полноты, точности, полноты-точности и нормализованной полноты приведен на Рисунке 4.

При тестировании способов поиска на основе семантического признака цвета и текстуры для формирования баз данных было использовано более 44000 и 30000 изображений, соответственно. Элементный состав многоуровневой модели признака цвета и текстуры в контексте уровня элементарных элементов признаков (1-ого уровня), который используется как основной уровень описания изображений, приведен на Рисунке 5. Как видно из этого рисунка, выбранные элементы языкового уровня (3-его уровня) имеют различные множественные отношения на 1-ом уровне. В этом заключается одно из преимуществ предлагаемого метода поиска.

В качестве базовых запросов использовались изображение-образец и текстовый запрос, как частный случай элементного запроса, обладающий всеми его особенностями. Основным уровнем описания изображений выбран уровень элементарных элементов признака (1-ый уровень), а уровень признака, образа, понятия (2-ой уровень) применялся как дополнительный.

В случае запроса в виде изображения-образца поиск изображений осуществляется аналогичным образом, как и в признаковых контентных способах поиска с использованием гистограмм. Однако в предлагаемом варианте поиск может выполняться на разных уровнях.

Количество найденных изображений. Кита

а)

О 100 200 300 400 500 600 Количество найденных изображений. Ыееи. б)

-а ов -

О о 0 6 -

I

04 -

Ь 02 -

0 -

® ы

^ж

0.2

0.8

Полнота. Я В)

Количество найденных изображений. Ыкеш Г)

Рисунок 4 — Графики результата поиска изображений на 1-ом уровне с использованием гистограммного представления и запроса в виде двухцветного

изображения-образца с распределением цветов 93.75-6.25%, где 1-5 -диапазоны схожести; 6 - графики при двухцветном образце с распределением 50-50%; 5А и БВ - площади фигур А и В, соответственно

- зеленый желто-зеленый красный Р - розовый

П - полосатая

- вертикально-полосатая

- диагонально-полосатая Пр - прямоугольная

а) б)

Рисунок 5 - Основные цвета-оттенки и текстуры, применяемые при

тестировании

С учетом предыдущих работ по теме поиска изображений по содержанию, приведенных в первом разделе диссертации, и проведенного тестирования были сформулированы следующие основные особенности нормализованного гистограммного представления: 1) критически зависит от сформированного элементного состава признака; 2) не учитывает абсолютные размеры изображений, так как используются относительные значения показателя присутствия элементов признака в изображениях; 3) не учитывает пространственное положение элементов признака и их разброс в изображении; 4) не учитывает семантическую близость элементов признака одного уровня; 5) не учитывает семантическую близость элементов признака нижележащего

уровня в составе элемента на вышележащем уровне; 6) элементы гистограммного представления изображения на некотором уровне рассматриваются как неделимые на элементы гистограммы нижележащего уровня; 7) не учитывает визуальную интерференцию элементов признака в изображении.

В целом же наибольший интерес с точки зрения предлагаемого метода представляет поиск по элементному запросу. При тестировании были использованы простые (из одного слова) и сложные (составные) текстовые запросы. В составных запросах применялись слова, обозначающие элементы признака цвета или текстуры, и слова-связки "/И", "/ИЛИ", "/И-ИЛИ", "/КРОМЕ", "/ТОЛЬКО-НЕ" и их модификации 7И1", 7ИЛИ1", 7ИЛИ2". Как показал анализ результата поиска при 1-ом и 2-ом уровнях описания изображений коллекции были найдены все исключительно релевантные изображения, то есть которые соответствовали используемым текстовым запросам.

На Рисунке 6 приведены примеры найденных изображений при сложных запросах с различными словами-связками для непересекающихся цветов-оттенков на 1-ом уровне описания изображений.

Кроме того, предлагаемый метод предоставляет возможность использовать в запросах обозначение свойств цветов-оттенков и текстур, например, светлый, темный, яркий, тусклый, крупный, мелкий, и применять их в виде сложносоставных слов, таких как светло-г/веш, темно-цвет, ярко-цвет, тускпо-цвет, крупно-текстура, мелко-текстура и др.

В результате были сформулированы следующие ключевые особенности предлагаемых способов поиска изображений на основе семантических признаков цвета и текстуры при элементном запросе: 1) изображения ранжируются по убыванию показателя присутствия (схожести); 2) ориентируются на точном соответствии содержания изображений текстовому запросу; 3) использование сложных элементных запросов с множественными и/или логическими операциями; 4) формирование элементного состава многоуровневой модели; 5) формирование элементов гистограммного представления изображений из элементов многоуровневой модели; 6) формирование элементного состава многоуровневой модели без изменения элементного состава гистограммных представлений изображений коллекции; 7) особенности, вытекающие из ранее приведенных свойств гистограммного представления; 8) не учитываются значения важности/приоритета элементов в структуре сложного элемента многоуровневой модели и в запросе пользователя.

Помимо гистограммного представления изображений в качестве их описаний с целью демонстрации возможностей разработанного метода в работе приводятся результаты применения пространственных гистограмм признаков (пространственно-цветовой гистограммы и пространственно-текстурной гистограммы). В результате в предлагаемом методе для поиска изображений могут быть использованы описания различной формы, если при этом будут соблюдены основные положения, относящиеся к применению математического аппарата логико-гистограммного представления в многоуровневой модели данных.

Запрос Результат поиска

ЗЕЛЕНЫЙ "/И" КРАСНЫЙ » Г 1 J Ш ■

Номер изображения: 1 2 3 4 5 6

Показатель схожести: 0.5 0.5 0.25 0.25 0 0

Запрос а) Результат поиска

ЗЕЛЕНЫЙ "/ИЛИ" КРАСНЫЙ ■ 1 □ ■ Р

Номер изображения: 1 2 3 4 5 6

Показатель схожести: 1 1 1 0.75 0.75 0.5

Запрос б) Результат поиска

ЗЕЛЕНЫЙ "/ИЛИ2 " КРАСНЫЙ 11 ■ 1 □ ш Р

Номер изображения: 1 2 3 4 5 6

Показатель схожести: 1 1 1 0.75 0 0

Запрос в) Результат поиска

ЗЕЛЕНЫЙ "/И-ИЛИ" КРАСНЫЙ а ■ 1 О Р □

Номер изображения: 1 2 3 4 5 6

Показатель схожести: 1 1 1 1 1 0.75

Запрос г) Результат поиска #

ЗЕЛЕНЫЙ "/КРОМЕ" КРАСНЫЙ ■ 1 н

Номер изображения: 1 2 3 4 5 6

Показатель схожести: 1 1 0.969 0.75 0.376 0.25

Запрос д) Результат поиска

ЗЕЛЕНЫЙ "/ТОЛЬКО-НЕ" КРАСНЫЙ Ш н У ■ Г.

Номер изображения: 1 2 3 4 5 6

Показатель схожести: 1 1 0.376 0 0 0

е)

Рисунок 6 - Примеры найденных изображений при текстовом сложном запросе с непересекающимися цветами-оттенками на уровне описания и операцией: а) "/И", б) "/ИЛИ", в) "/ИЛИ2", г) "/И-ИЛИ", д) "/КРОМЕ", е) "/ТОЛЬКО-НЕ"

Последним из рассматриваемых вопросов данного раздела было исследование прикладного использования предлагаемого метода для поиска в коллекции изображений от устройств неразрушающего контроля с применением языковых элементов, обозначающих понятия «норма», «опасность», «брак» и их сочетания со словами-связками.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Произведен анализ существующих подходов и методов поиска изображений, определены их основные проблемы и недостатки, такие как проблемы объединения возможностей контекстного и контентного подходов к поиску, использования различных видов запросов и типов описаний изображений, применения текстового запроса для поиска по содержанию, а также гибкости настройки поиска изображений под различное их содержание и др.;

2. Предложена многоуровневая модель базовых четырех уровней (уровень пространства признака; уровень элементарных элементов признака; уровень признака, образа, понятия; и языковой уровень) с тремя основными компонентами (элементы уровня; представление уровня; и семантический признак) с возможностью разделения каждого уровня на подуровни, в рамках которой могут быть представлены существующие методы поиска изображений;

3. Разработана многоуровневая логико-гистограммная (или логико-множественная гистограммная) модель представления данных, обеспечивающая анализ данных по образцу или элементному запросу при многоуровневой обработке и описании элементов данных;

4. Предложена методика формирования элементного состава и семантического признака разработанной многоуровневой модели обработки и описания изображений, в том числе с использованием множественных и/или логических операций;

5. Разработан метод поиска изображений с использованием семантического признака, основанный на предложенных многоуровневой модели базовых четырех уровней и многоуровневой логико-множественной гисгограммной модели представления данных, который позволяет искать изображения по элементным запросам или запросам в виде изображений-образцов на различных уровнях, при этом используя описания изображений на одном из четырех уровней;

6. На базе предложенного метода разработаны способы поиска изображений с использованием семантического признака цвета и цветового пространства оттенок-насыщенность-яркость (НБВ), а также с использованием семантического признака текстуры и секторно-кругового текстурного пространства, обеспечивающие выполнение обозначенных в цели работы возможностей для указанных признаков изображений;

7. Предложено прикладное использование разработанного метода поиска изображений по семантическим признакам для поиска по коллекции маркированных изображений, полученных от устройств неразрушающего контроля;

8. Разработан программно-технический комплекс, реализующий предложенные способы поиска изображений с использованием семантических признаков в виде системы поиска растровых изображений;

9. Проведены экспериментальные исследования разработанных способов поиска изображений с использованием семантических признаков цвета и текстуры посредством реализованной системы поиска для случаев элементного запроса и запроса-образца и описаний изображений на уровне элементарных элементов признака (1-ый уровень) и уровне признака, образа, понятия (2-ой уровень), которые подтвердили обозначенные в цели работы возможности разработанного метода.

Список работ, опубликованных автором по теме диссертации:

1. Папулин, С.Ю. Анализ коллекции данных посредством логико-множественного гистограммного представления / С.Ю. Папулин // Программные продукты и системы. - 2014. - №1. - С. 57-60.

2. Папулин, С.Ю. Анализ многоблочных данных посредством логико-множественного гистограммного представления / С.Ю. Папулин // Научное обозрение. -2014. -№2. - С. 72-77.

3. Папулин, С.Ю. Виды гистограммных представлений данных в логико-множественной модели представления / С.Ю. Папулин // Наукоемкие технологии и интеллектуальные системы 2014: материалы 16-ой молодежной международной науч.-технич. конф. - М.: Моск. гос. техн. университет им. Н.Э. Баумана, 2014.-С. 223-226.

4. Папулин, С.Ю. Многоуровневая модель описания признаков для поиска изображений по содержанию / С.Ю. Папулин // Наука. Технологии. Инновации 2012 (НТИ-2012): материалы всерос. науч. конф. студентов, аспирантов и молодых ученых. - Новосибирск: Новосибирский гос. технич. университет, 2012.-Ч.З.-С. 96-99.

5. Папулин, С.Ю. Нечеткие элементы в логико-множественной гистограммной модели представления данных / С.Ю. Папулин // Наукоемкие технологии и интеллектуальные системы 2014: материалы 16-ой молодежной международной науч.-технич. конф. -М.: Моск. гос. техн. университет им. Н.Э. Баумана, 2014. - С. 70-73.

6. Папулин, С.Ю. Поиск изображений по содержанию с использованием цветовых особенностей / С.Ю. Папулин // Наукоемкие технологии и интеллектуальные системы 2009: материалы молодежной международной науч.-технич. конф. - М.: Моск. гос. техн. университет им. Н.Э. Баумана, 2009.— С. 13—18.

7. Папулин, С.Ю. Поиск электронных изображений по семантическим признакам / С.Ю. Папулин // Программные продукты и системы. -2011. -№1. -С. 10-16.

8. Папулин, С.Ю. Проблема семантического разрыва между низкоуровневыми признаками и объектами в контентном поиске изображений в терминах семантического треугольника / С.Ю. Папулин // Наука. Технологии. Инновации 2012 (НТИ-2012): материалы всерос. науч. конф. студентов, аспирантов и молодых ученых. - Новосибирск: Новосибирский гос. технич. университет, 2012. -Ч. 2.-С. 109-113.

9. Папулин, С.Ю. Свойства бинарных операций логико-гистограммного представления данных / С.Ю. Папулин // Наукоемкие технологии и интеллектуальные системы 2013: материалы 15-ой молодежной международной науч.-технич. конф. - М.: Моск. гос. техн. университет им. Н.Э. Баумана, 2013. -С. 118-124.

10. Папулин, С.Ю. Способ поиска изображений по содержанию на основе логико-гистограммного представления признака цвета с применением текстового запроса пользователя / С.Ю. Папулин // Итоги диссертационного исследования: материалы IV Всероссийского конкурса молодых ученых. - М.: РАН, 2012. — Т. 3. - С. 95-106.

11. Папулин, С.Ю. И-мерное логико-гистограммное представление данных / С.Ю. Папулин // Наукоемкие технологии и интеллектуальные системы 2013: материалы 15-ой молодежной международной науч.-технич. конф. - М.: Моск. гос. техн. университет им. Н.Э. Баумана, 2013. - С. 337-339.

Подписано в печать:

19.01.2015

Заказ № 10490 Тираж -100 экз. Печать трафаретная. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 wwv.autoreferat.ru