автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Метод и алгоритмы анализа контурных изображений в визуальных информационных системах на основе неоднородной нечеткой семантической сети

На правах рукописи

■А

Вершинина Валентина Владимировна

Метод и алгоритмы анализа контурных изображений в визуальных информационных системах на основе неоднородной нечеткой семантической сети

Специальность 05.13.01 - Системный анализ, управление и обработка; информации (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Рыбинск - 2004

Работа выполнена в Рыбинской государственной авиационной технологической академии им. П. А. Соловьева.

Научный руководитель

кандидат технических наук, доцент Паламарь Ирина Николаевна.

доктор физико-матеметических наук, профессор

Осипов Геннадий Семенович;

кандидат физико-математических наук Зеленков Юрий Александрович.

Институт проблем управления

им. В. А. Трапезникова гРАЩ г. Москва.

Официальные оппоненты

Ведущая организация

Защита состоится 17 марта 2004 г. в 12 часов на заседании диссертационного совета К 212.210.0 Г в Рыбинской государственной авиационной технологической академии им.П. А. Соловьева по адресу: 152934, г.Рыбинск Ярославской обл., ул. Пушкина, д. 53.

С диссертацией можно ознакомиться в библиотеке Рыбинской государственной авиационной технологической академии им. П. А. Соловьева.

Автореферат разослан «/5» февраля 2004 г.

Ученый секретарь диссертационного совета

В. А. Вершинин

Общая характеристика работы

Актуальность темы. Благодаря всеобщей компьютеризации и распространению электронного документооборота в различных областях человеческой деятельности накоплены огромные архивы текстовой и визуальной информации. Непрерывно расширяющимся электронным архивом является глобальная сеть Internet. Проведешгое в диссертационной работе исследование современных информационных систем позволило сделать вывод об ограниченных возможностях семантического анализа и поиска изображений. Под семантическим анализом изображений понимается автоматическое получение их семантических описаний (аннотаций) и поиск в пространстве этих описаний (поиск по содержанию). Из реализованных информационными системами видов поиска поиск изображений по ключевым словам наиболее близок к содержательному поиску, но обладает одним существенным недостатком - ключевые слова к изображениям формирует эксперт. Развитие информационных систем при отсутствии механизмов содержательного поиска изображений обуславливает актуальность темы исследования.

Задача анализа и распознавания изображений сложных объектов (например, фотопортретов людей, рукописных символов) на сегодня не имеет достаточно эффективных решений: точность распознавания варьируется от 60 до 70 %. Чем более сложный визуальный образ подвергается анализу, тем большую важность приобретает понимание того, что анализируется. Только располагая знаниями об изображаемой предметной области, система сможет сформировать семантические описания изображений. В диссертационной работе решается задача разработки метода и алгоритмов анализа изображений сложных объектов на основе базы знаний?"

Цель работы и задачи исследования. Целью диссертационной работы является разработка метода и алгоритмов семантического анализа контурных изображений сложных объектов на основе структурного подхода и формализованных знаний предметной области. Объектом семантического анализа является полутоновое изображение объекта, контур которого может быть вербально (словесно) описан. .

Для'достижения цели диссертационной работы поставлены и решены следующие задачи:

- исследование методов распознавания изображений;

- сравнительный анализ систем представления знаний в ЭВМ, обоснование выбора семантической сети;

- анализ результатов исследований человеческой памяти, особенностей использования знаний в процессе восприятия

- разработка метода семантического анализа изображений;

- разработка структуры базы знаний, используемой в процессе семантического анализа;

- разработка и исследование алгоритмов, реализующих метод семантического анализа изображений.

Задача разработки метода и алгоритмов семантического анализа ограничивается двумя условиями: анализу подлежат изображения одиночных объектов, на изображении присутствуют только смысловые контуры.

Ограничение на тип изображаемых объектов и предметных областей не накладывается. Возможность анализа изображений объектов из разных предметных областей обеспечивается соответствующим наполнением базы знаний.

Методы исследования. В исследованиях использовался аппарат теории множеств, математической и нечеткой логики, теории распознавания образов, искусственного интеллекта, теории вероятности, математической статистики, теории алгоритмов, аналитической геометрии и системного анализа.

Научная новизна. Предложен метод и алгоритмы анализа контурных изображений одиночных объектов, отличающиеся от известных тем, что позволяют автоматически формировать семантические описания изображений. Семантическое описание изображения осуществляется через интерпретацию его геометрического описания понятиями предметной области на основе базы знаний.

Для представления знаний предложена неоднородная нечеткая семантическая сеть, позволяющая моделировать лингвистическую неопределенность и интенсивность информационных единиц естественной памяти.

Предложена геометрическая модель объекта - геометрическое описание изображения, формализованное на неоднородной нечеткой семантической сети.

Предложена структура базы знаний для семантического анализа изображений, представленная на неоднородной нечеткой семантической сети в виде модели библиотеки примитивов, модели библиотеки специальных понятий, модели лингвистических шкал и модели структуры аннотаций.

Практическая ценность диссертационной работы заключается в возможности решения следующих практических задач:

- автоматическая аннотация базы изображений (заменяющая описательную работу эксперта) и поиск по содержанию в визуальных информационных системах разных предметных областей;

- сопоставление изображений сложных объектов, при описании которых существенное значение имеет форма их контуров, например, контроль соответствия подписей на документах по имеющимся образцам;

- автоматическое выделение семантически значимых точек на контурных изображениях объектов, например, антропометрических точек на изображениях частей тела человека;

- автоматическое выделение геометрических кривых, фигур и их конфигураций на контурных изображениях, например, для распознавания таблиц, чертежей, схем.

Реализация результатов работы. Основные результаты диссертационной работы внедрены на этапе эскизного проекта программного комплекса «Следотека» для аннотации базы изображений следов обуви и поиска информации по визуальному запросу, рекомендованы к использованию при анализе и поиске информации по фотопортретным признакам в УВД г. Рыбинска; использованы при разработке подсистемы контроля подписей в автоматизированной системе «Бюджет» для финансовых органов субъектов Российской Федерации и муниципальных образований в ООО «Автоматизированные информационные процессы» (г. Москва); внедрены в учебном процессе Рыбинской государственной авиационной технологической академии им. П. А. Соловьева при обучении студентов.

Основные положения, выносимые на защиту:

- неоднородная нечеткая семантическая сеть, позволяющая моделировать лингвистическую неопределенность и интенсивность информационных единиц естественной памяти;

- метод анализа контурных изображений одиночных объектов, обеспечивающий семантическое описание объекта через интерпретацию его геометрической модели за счет выделения понятийных уровней;

- структура базы знаний, используемой в процессе семантического анализа изображений, и геометрическая модель объекта на неоднородной нечеткой семантической сети;

- алгоритм восстановления визуального образа по геометрической модели на основе лингвистических шкал, обеспечивающий минимизацию рассогласованности восстановленной информации;

- алгоритм целенаправленного сопоставления геометрических моделей через генерацию гипотез о соответствии их частей на основе варианта сопоставления особых точек экстремума, позволяющий сократить время поиска.

Апробация работы. Все основные результаты теоретического и практического характера, полученные автором или при его непосредственном участии, докладывались на IBHTK «Компьютерные технологии в науке, проектировании и производстве», 1999 г. - Нижний Новгород; ПВНТК «Компьютерные технологии в науке, проектировании и производстве», 2000 г. - Нижний Новгород; XXVI конференции молодых ученых и студентов РГАТА, 2000 г. - Рыбинск; Международной научно-технической конференции «Контроль, измерения, информатизация», 2000 г. - Барнаул; IV ВНТК «Информационные технологии в науке, проектировании и производстве», 2002 г. - Нижний Новгород; в Институте программных систем РАН (Переславль-Залесский, 2003 г.); на кафедре'Вычислитель-ные системы Рыбинской государственной авиационной технологической академии им. П. А. Соловьева.

Публикации. По теме диссертации опубликовано 8 печатных работах, из них 1 статья, 1 депонированная рукопись и б тезисов докладов.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4-х глав и заключения, а также списка использованных источников и 4-х приложений, изложена на 158 страницах основного машинописного текста, содержит 61 иллюстрацию, 17 таблиц, 127 наименований использованных источников отечественной и зарубежной литературы.

Основное содержание работы

Во введении обоснована актуальность темы исследования, сформулированы цели работы, основные задачи и методы исследования, охарактеризована научная новизна и практическая ценность полученных результатов, приведены основные положения, выносимые на защиту, кратко изложено содержание работы.

В первой главе рассмотрена классификация методов распознавания изображений, на основе сравнительного анализа выделенных по классификации методов сделан вывод о преимуществах структурного подхода для анализа изображений сложных объектов. Суть структурного подхода заключается в декомпозиции визуального образа на структурные элементы и описание его через эти элементы и отношения между ними.

Выполнен анализ известных алгоритмов векторизации контура, исследована возможность их применения для декомпозиции контура объекта на известные геометрические примитивы (точки, прямые, дуги и т.д.), при условии, что набор примитивов определяется индивидуально для каждого класса изображений.

Проведено исследование механизмов поиска визуальной информации, реализованных в информационно-поисковых системах сети Internet, сделан вывод о необходимости создания методов и средств содержательного поиска изображений на основе базы знаний и процедур автоматической аннотации изображений (рисунок 1).

Выполнен сравнительный анализ систем представления знаний (рисунок 2), обоснован выбор семантической сети для представления знаний, используемых в процессе семантического анализа изображений.

Семантическая сеть - это семейство ориентированных графов с помеченными вершинами, дугами и процедурами интерпретации элементов графов; она наиболее адекватна задаче представления структурных описаний и позволяет эффективно представлять знания из разных предметных областей.

Выполнен анализ последних исследований системы человеческой памяти, особенностей хранения и использования человеком знаний в процессе восприятия визуальной информации, определены требования, которым должна отвечать искус-

ственная система понимания изображений. Парадигма семантической сети исследована на соответствие предъявленным требованиям, сделан вывод, что семантическая сеть не позволяет представлять интенсивность информационных единиц естественной памяти, которая характеризует скорость их вспоминания.

Вторая глава посвящена разработке метода семантического анализа контурных изображений одиночных объектов на основе формализованных знаний предметной области.

В качестве системы представления знаний, используемых в процессе семантического анализа, предложена неоднородная нечеткая семантическая сеть (ННСС), позволяющая моделировать лингвистическую неопределенность и интенсивность информационных единиц естественной памяти. ННСС — это неоднородная семантическая сеть О- (8, К), вершинам 5 €5 и дугам геЯ которой сопоставлены меры интенсивности Д из интервала М = [0... 1],

С = (5,Л): 5 = {(*|Я = {(г|ц(г))}, ц{з),ц{г)еМ,М = [0...1].

(1)

Рассмотрены методы вывода на ННСС: метод вывода путем сопоставления фрагментов и метод пополнения семантической сети. Предложена интегральная оценка варианта сопоставления-фрагментов ННСС учитывающая сходство и отличие фрагментов в вершинах и дугах,

где - важность оценки вершин и дуг в интегральной оценке;

- оценка варианта сопоставления вершин;

ХМ''-/)

(и)

ф{1>Л= - схожесть пары элементов (I¿)',

- количество вершин в 1-ой и 2-ой моделях;

оценка варианта сопоставления.дуг;

(Зср=1ШП

( ! К,

- средняя схожесть фрагментов;

К,

1 ¡-1

'К.

2 7=1

М количество дуг в 1-ой и 2-ой моделях;

Вц - погрешность нечеткого сопоставления пары элементов вели-

чина, обратная мощности множества отождествления Тк нечетких понятий е Тк, соответствующих паре элементов (/,/);

Ми'Мг] - меры интенсивности 1-го и ^го элементов 1-ой и 2-ой моделей;

ЛГ,, Кг - количество элементов (вершин или дуг) в 1-ой и 2-ой моделях.

Мера интенсивности I -го элемента ННСС в модели класса изменяется на (п + 1)-ом шаге обучения, ->• в зависимости от того, найден ли ему аналог

в геометрической модели объекта, построенной по обучающему изображению, по следующим правилам:

- если элемент модели класса сопоставлен элементу модели объекта, его мера интенсивности увеличивается,

- если элемент модели класса не сопоставлен ни одному элементу модели объекта, его мера интенсивности уменьшается,

- если элемент модели объекта не сопоставлен ни одному элементу модели класса, он добавляется в модель класса,

=!/("+!); (5)

- если мера интенсивности элемента модели класса стала меньше порога забывания £, элемент удаляется из модели - забывается,

Формулы оперирования мерами интенсивности в процессе вывода на ННСС (2-5) получены на основе математического аппарата нечеткой алгебры.

Суть предложенного метода семантического анализа заключается в получении семантического описания изображения через интерпретацию элементов его геометрического описания семантически значимыми понятиями. Геометрическое и семантическое описания выделены в соответствии с двумя уровнями понимания изображения или видами знаний, используемых при описании. Геометрическое опи-

сание - это описание структуры или формы объектов через базовые геометрические понятия. Семантическое описание - это описание изображения понятиями изображаемой предметной области.

Предложена геометрическая модель объекта - геометрическое описание изображения, формализованное на ННСС. Геометрическая модель объекта строится по контурному изображению, которое получают с помощью методов предварительной обработки. Геометрическая модель содержит четыре слоя:

- геометрический каркас составляют особые точки контура, в которых происходит окончание или ветвление контура или резкое изменение его направления, и нечеткие отношения взаимного положения между особыми точками (правее, левее, выше, ниже); выделяются три типа особых точек: концевые, точки ветвления и точки перегиба;

- геометрическую настройку составляют геометрические элементы и нечеткие соотношения их размеров (больше, меньше, равно и т.д.); геоме тр инее кие элементы - это части контура, ограниченные двумя особыми точками и интерпретированные как известные геометрические понятия; геометрическая интерпретация элементов контура осуществляется на основе визуальных образов геометрических примитивов;

- семантическую надстройку образуют обособленные части контура- группы связанных особых точек и геометрических элементов, каждая обособленная часть связана отношениями «состоит из» с фрагментом геометрического каркаса и геометрической надстройки; среди особых точек обособленной части выделяются точки экстремума (крайняя левая, правая, верхняя и нижняя), нечеткие отношения взаимного положения которых описывают взаимное положение обособленных частей;

- слой дополнительных размеров образует множество размеров, заданных между точками экстремума, и их нечеткие соотношения.

На этапе семантического описания элементы геометрической модели интерпретируются семантически значимыми понятиями, в результате формируется

семантически интерпретированная геометрическая

модель объекта. Например, точка перегиба изображения глаза может стать внутренним углом глаза, а дуга - складкой нижнего века и т.п. Семантическая интерпретация геометрической модели основана на выводе по аналогии и осуществляется через сопоставление геометрической модели с моделью класса, принадлежность к которому указана экспертом. Модель класса - это семантически

интерпретированная экспертом геометрическая модель объекта (класса объектов), хранящаяся в базе знаний и построенная в процессе обучения системы.

Построение аннотации изображения объекта на основе семантически интерпретированной геометрической модели заключается в реализации простых вычислительных процедур, описывающих зависимости между атрибутами семантически значимых элементов модели и семантическими признаками. Например, длина брови (семантический признак методики «словесного портрета») оценивается путем вычисления расстояния между двумя особыми точками брови: головкой и хвостом.

База знаний, используемая в процессе семантического анализа изображений, состоит из 4-х разделов и представлена на ННСС совокупностью моделей:

- модель библиотеки примитивов - хранит визуальные образы и вербальные обозначения геометрических примитивов, обеспечивает возможность описания частей контура простейшими геометрическими понятиями;

- модель библиотеки специальных понятий - хранит модели классов и обеспечивает возможность семантической интерпретации геометрической модели объекта;

- модель лингвистических шкал—описывает соответствие нечетких понятий естественного языка и характеризующих их числовых величин, обеспечивает возможность построения нечетких описаний;

- модель структуры аннотаций - описывает структуру базы данных, в которой хранятся семантические признаки (аннотации) изображений, и правила оценки семантических признаков по семантически интерпретированной геометрической модели объекта; обеспечивает возможность формирования аннотаций изображений.

База знаний является основой предложенного метода и используется на всех этапах семантического анализа: при построении геометрической модели объекта, ее интерпретации и формировании аннотации.

Третья глава посвящена разработке и исследованию алгоритмов семантического анализа изображений: алгоритма построения геометрической модели объекта, алгоритма восстановления визуального образа по геометрической модели объекта, алгоритма сопоставления геометрических моделей.

Алгоритм построения геометрической модели объекта преобразует тонкое контурное изображение объекта в его геометрическую модель. Первоначальная декомпозиция контура выполняется особыми точками окончания и ветвления. Если попытка идентификации выделенных таким образом элементов закончилась неудачей, то элементы считаются составными и разбиваются на примитивные особыми

точками перегиба. Особые точки перегиба выделяются на основе критерия поиска оптимально гладкой кривой Монтанари, адаптированного для решаемой задачи. В процессе построения геометрической модели объекта выполняется улучшение качества контура на основе приобретенных знаний о его структуре. Для упрощения последующего вывода из геометрической модели объекта исключаются отношения, которые могут быть получены выводом по транзитивному замыканию, и понятия-антонимы. Описание каждой обособленной части является самодостаточным, благодаря этому появляется возможность разработки эффективных алгоритмов вывода через сведение решаемой задачи к подзадачам. Эффективность алгоритма построю ния геометрической модели теоретически оценена по времени работы и качеству результата, обе оценки линейно зависят от сложности контура, определяемой количеством обособленных частей и особых точек.

Алгоритм восстановления визуального образа по геометрической модели объекта реализует следующую стратегию восстановления:

- числовые размеры геометрических элементов и дополнительные размеры восстанавливаются на основе нечетких соотношений размеров и пространственных отношений между особыми точками;

- координаты особых точек восстанавливаются на основе размеров и нечетких пространственных отношений между особыми точками;

- контуры объекта восстанавливаются на основе координат особых точек и визуальных образов геометрических примитивов.

Обратное преобразование нечетких отношений в числовые величины осуществляется на основе тех же лингвистических шкал, которые используются при построении геометрической модели объекта. Процесс переопределения свойств объектов модели, исходя из разных отношений, протекает как процесс согласования информации в модели. Приращения для изменения свойств характе-

ризующих два связанных нечетким отношением объекта, на п-ом шаге согласования выбираются таким образом, чтобы минимизировать рассогласованность восстанавливаемой информации, для этого:

- приращения свойств должны быть минимальны, т.е. приближать числовую оценку нечеткого отношения /{х^х^, выходящую за пределы интервала лингвистической шкалы [/„щр/пш]! к ближайшей его границе,

приращения свойств обоих объектов должны быть равнозначны,

Разработан алгоритм сопоставления геометрических моделей объектов, обеспечивающий сокращение перебора вариантов сопоставления за счет следующих особенностей:

- перебираются только варианты сопоставления особых точек геометрических каркасов, другие слои модели однозначно совмещаются в соответствии с вариантом сопоставления каркасов;

- особые точки предварительно упорядочиваются на основе отношений взаимного положения, перебор осуществляется без нарушения порядка;

- - оценка варианта сопоставления особых точек рассчитывается как среднее расстояние между парами сопоставленных особых точек по формуле

где N - количество пар сопоставленных вершин;

(¡¿) - пара сопоставленных вершин;

Ъг'Уи - порядковые номера 1-ой особой точки в последовательности особых точек 1-ой модели, упорядоченных по абсциссе и ординате соответственно;

х2]>Уг/ -порядковые номера ,)-ой особой точки в последовательности особых

точек 2-ой модели, упорядоченных по абсциссе и ординате соответственно;

- геометрические каркасы сопоставляются фрагментарно и целенаправленно: сопоставляются фрагменты каркаса в основании гипотетически соответствующих обособленных частей, гипотезы о соответствии частей выдвигаются на основе варианта сопоставления особых точек экстремума;

- моделируется процесс постепенного вспоминания информации, прежде всего, сопоставляются наиболее интенсивные (значимые) элементы;

- на каждом шаге генерации варианта сопоставления делается прогноз количества пар особых точек и оценки вариантаг если прогнозируемое количество пар меньше минимально допустимого или прогнозная оценка варианта меньше оценки лучшего найденного, то генерация варианта прекращается, соответственно отбрасываются все производные из него варианты (расположенные глубже по дереву перебора).

(9)

Теоретически время работы алгоритма сопоставления Т пропорционально полиному четвертой степени: Г~ т* +ПА/т*, где п - количество обособленных частей, ат- количество особых точек сопоставляемых изображений.

В четвертой главе проведено экспериментальное исследование эффективности предложенных алгоритмов по времени работы и качеству результата, выявлены пути повышения качества, для каждого алгоритма описаны методики оценки.

Описаны и проанализированы результаты экспериментов по определению значений некоторых параметров алгоритмов семантического анализа. Сделан вывод, что для построения геометрической модели объекта любого типа необходимо и достаточно набора из трех геометрических примитивов: точки, прямой, четверти1 окружности. Экспериментально определено оптимальное содержание лингвистических шкал (таблицы 1-2) , что позволило восстанавливать координаты особых точек в соответствии с такими вербальными характеристиками как «выше», «ниже», «правее», «левее», «больше», «меньше», «равно».

Таблица 1 - Лингвистическая шкала взаимных угловых положений особых точек

Понятие, характеризующее взаимное положение особых точек Угловое положение одной особой точки относительно другой

Минимум Максимум

Выше 67.5° 112.5°

Левее и выше 112.5° 157.5 °

Левее > '. 157.5° 202.5° •

Левее и ниже 202.5 0 247.5 °

Таблица 2 - Лингвистические шкалы соотношений ширины и высоты

Понятие, характеризующее соотношение ширины Понятие, характеризующее соотношение высоты Отношение ширин (высот) геометрических элементов

Минимум. Максимум

Ширина равна Высота равна 0.9 1.1:

Несколько шире Несколько выше 1.1 . 1.5

Шире Выше 1-5 23 :.

Значительно шире Значительно выше 2.3 4.9- ~

Оценены точность и полнота сопоставления геометрических моделей объектов. Коэффициенты точности Р' и полноты R' сопоставления введены по аналогии с коэффициентами точности и полноты информационного поиска,

где а - количество верно сопоставленных пар элементов;

Ъ' - количество неверно сопоставленных пар элементов;

с' - количество не сопоставленных пар аналогичных элементов.

Сопоставление обособленных частей осуществляется со средней точностью 83 % и полнотой 77 %, сопоставление особых точек верно сопоставленных обособленных частей - со средней точностью и полнотой 85 %.

Исходя из оптимального сочетания точности, полноты и времени сопоставления выбраны коэффициенты в формуле (2): а = 1, /7 = 5.

Рассмотрены структура, функциональные возможности и форматы хранения внешних данных программной системы для семантического анализа контурных изображений, приведена схема интеграции модулей программной системы с визуальной информационной системой.

В заключении приведены основные выводы и результаты работы:

- на основе сравнительного анализа методов распознавания изображений сделан вывод о преимуществах структурного подхода для анализа изображений сложных объектов;

- исследованы механизмы поиска визуальной информации в информационно-поисковых системах сети Internet, сделан вывод о необходимости создания методов и средств семантического анализа изображений на основе базы знаний;

- выполнен сравнительный анализ систем представления знаний, обоснован выбор семантической сети для представления знаний, используемых в процессе семантического анализа изображений;

- выполнен анализ последних исследований системы памяти, особенностей хранения и использования человеком знаний в процессе восприятия визуальной информации, определены требования, которым должна отвечать искусственная система понимания изображений; семантическая сеть исследована на соответствие предъявленным требованиям;

- предложена неоднородная нечеткая семантическая сеть, позволяющая моделировать лингвистическую неопределенность и интенсивность информационных

единиц естественной памяти, рассмотрены методы вывода на ней, получены формулы оперирования мерами интенсивности при выводе;

- предложен метод анализа контурных изображений одиночных объектов, обеспечивающий семантическое описание объекта через интерпретацию его геометрической модели за счет выделения понятийных уровней;

- предложена геометрическая модель объекта - геометрическое описание контура объекта, формализованное на ННСС;

- предложена структура базы знаний для семантического анализа изображений, представленная на ННСС моделью библиотеки примитивов, моделью библиотеки специальных понятий, моделью лингвистических шкал и моделью структуры аннотаций;

- разработан алгоритм построения геометрической модели объекта по его контурному изображению, позволяющий оптимизировать структурное описание и, как следствие, повысить эффективность алгоритмов вывода на неоднородной нечеткой семантической сети;

- разработан алгоритм восстановления визуального образа по геометрической модели объекта на основе лингвистических шкал, обеспечивающий минимизацию рассогласованности восстановленной информации;

- разработан алгоритм целенаправленного сопоставления геометрических моделей через генерацию гипотез о соответствии их частей на основе варианта сопоставления особых точек экстремума, позволяющий сократить время поиска. В алгоритме решена основная проблема применения семантической сети - трудоемкость вывода из-за громоздкости получаемых на ней описаний;

- рассмотрены пути повышения эффективности предложенных алгоритмов семантического анализа изображений, в том числе возможности влияния на условия предварительной обработки изображений,

- эффективность алгоритмов семантического анализа экспериментально оценена по качеству результата и времени работы, экспериментально определены оптимальные значения некоторых параметров алгоритмов;

- эффективность предложенных метода и алгоритмов в целом характеризуется точностью и полнотой сопоставления: сопоставление обособленных частей контура осуществляется со средней точностью 83 % и полнотой 77 %, сопоставление особых точек верно сопоставленных обособленных частей - со средней точностью и полнотой 85 %; данный результат лучше результатов, опубликованных в литера-

туре при той же методике оценки: средняя точность - от 60 до 70 %, средняя полнота - от 70 до 80 %;

- разработана программная система для семантического анализа контурных изображений, реализующая предложенные алгоритмы; модули системы внедрены в ряде предприятий и учреждений, могут быть интегрированы в информационные системы разных предметных областей.

Публикации по теме диссертации

1 Паламарь И. Н., Вершинина В. В. Программная среда для исследования методов вывода на семантических сетях // Тезисы докладов IBHTK «Компьютерные технологии в науке, проектировании и производстве». В 19 частях. Ч. 11. -К Новгорода НГТУ, 1999. -СИ.

2 Паламарь И. Г., Паламарь И. Н., Вершинина В. В. Принципы создания интеллектуальных систем понимания изображений // Тезисы докладов IBHTK «Компьютерные технологии в науке, проектировании и производстве». В 19 частях. Ч. 11. - Н. Новгород: НГТУ, 1999.- С. 10.

3 Паламарь И. Н., Вершинина В. В. Метод семантического анализа визуальных образов. У/Тезисы докладов II ВНТК «Компьютерные технологии в науке, проектировании и производстве». В 11 частях. Ч. 6 - Н. Новгород: НГТУ, 2000. - С 3 L

4 Вершинина В. В. О Нечетком структурном описании визуального образа // Сборник трудов молодых ученых. - Рыбинск: РГАТА, 2000. - С. 172-174.

5 Паламарь И. Н., Вершинина В. В. Формализация процесса перехода от контурного препарата изображения к модели семантической сети. — Контроль, измерения, информатизация: Материалы Международной научно-технической конференции. - Барнаул: АГТУ, 2000. - С. 37-38.

6 Паламарь И. Н., Вершинина В. В., Паламарь И. Г. Модель вербализации визуального образа. // Вестник РГАТА. - Рыбинск, 2001. - № 1. - С. 62-69.

7 Вершинина В. В., Паламарь И. Н. Метод и алгоритмы анализа визуальных образов на основе модели нечеткой многослойной семантической сети. - РГАТА, Рыбинск, 2003. - 37 с. - Деп. в ВИНИТИ 01.08.2003, № 1493-В2003.

8 Вершинина В. В., Паламарь И. Н. Организация базы знаний семантической сети на основе XML-формата // Тезисы докладов IV ВНТК «Информационные технологии в науке, проектировании и производстве». В 3 частях. Ч. 2. - Н. Новгород: МВВО АТН РФ, 2002. - С. 23.

Подписано в печать 11.02.2004. Формат 60x84 1/16. Уч.-изд.л. 1,2. Тираж 100. Заказ 39.

Рыбинская государственная авиационная технологическая академия им. П.А. Соловьева (РГАТА)

152934, г. Рыбинск, ул. Пушкина, 53 Отпечатано в множительной лаборатории РГАТА 152934, г. Рыбинск, ул. Пушкина, 53

Введение.

1 Обзор и анализ методов распознавания и понимания изображений

1.1 Анализ методов распознавания изображений.

1.1.1 Классификация методов распознавания.

1.1.2 Анализ систем оптического распознавания символов.

1.1.3 Анализ информационно-поисковых систем.

1.2 Анализ систем представления знаний.

1.3 Анализ методов понимания изображений

1.3.1 Парадигмы процесса восприятия визуальной информации.

1.3.2 Анализ подходов к моделированию памяти человека.

1.3.3 Анализ возможностей моделирования мнемонических процессов . 38 Выводы

2 Разработка и исследование метода семантического анализа изображений.

2.1 Разработка метода семантического анализа изображений.

2.1.1 Выбор непроизводных структурных элементов.

2.1.2 Методика построения геометрического описания

2.1.3 Методика построения семантического описания.

2.1.4 Метод семантического анализа изображений.

2.2 Разработка неоднородной нечеткой семантической сети

2.2.1 Неоднородная нечеткая семантическая сеть.

2.2.2 Вывод на неоднородной нечеткой семантической сети путем сопоставления ее фрагментов.

2.2.3 Пополнение неоднородной нечеткой семантической сети.

2.3 Разработка геометрической модели объекта и структуры базы знаний

2.3.1 Геометрическая модель объекта.

2.3.2 Модель библиотеки специальных понятий.

2.3.3 Модель библиотеки примитивов.

2.3.4 Модель лингвистических шкал

2.3.5 Модель структуры аннотаций.

Выводы

3 Разработка и исследование алгоритмов семантического анализа изображений.

3.1 Разработка алгоритма построения геометрической модели объекта

3.1.1 Поиск особых точек.

3.1.2 Описание взаимного положения особых точек

3.1.3 Поиск геометрических элементов.

3.1.4 Описание размеров геометрических элементов

3.1.5 Поиск обособленных частей контура

3.1.6 Описание взаимного положения обособленных частей контура.

3.1.7 Алгоритм построения геометрической модели объекта.

3.2 Разработка алгоритма восстановления визуального образа по геометрической модели объекта.

3.3 Разработка алгоритма сопоставления геометрических моделей.

Выводы

4 Анализ эффективности и экспериментальная оценка алгоритмов семантического анализа изображений

4.1 Исследование алгоритма построения геометрической модели объекта

4.2 Исследование алгоритма восстановления визуального образа по геометрической модели объекта.

4.3 Исследование алгоритма сопоставления геометрических моделей

4.4 Программная система для семантического анализа контурных изображений.

Выводы

Актуальность темы. Благодаря всеобщей компьютеризации и распространению электронного документооборота в различных областях человеческой деятельности накоплены огромные архивы текстовой и визуальной информации. Непрерывно расширяющимся электронным архивом является глобальная сеть Internet. Проведенное в диссертационной работе исследование современных информационных систем позволило сделать вывод об ограниченных возможностях семантического анализа и поиска изображений. Под семантическим анализом изображений понимается автоматическое получение их семантических описаний (аннотаций) и поиск в пространстве этих описаний (поиск по содержанию). Из реализованных информационными системами видов поиска поиск изображений по ключевым словам наиболее близок к содержательному поиску, но обладает одним существенным недостатком — ключевые слова к изображениям формирует эксперт. Развитие информационных систем при отсутствии механизмов содержательного поиска изображений обуславливает актуальность темы исследования.

Задача анализа и распознавания изображений сложных объектов (например, фотопортретов людей, рукописных символов) на сегодня не имеет достаточно эффективных решений: точность распознавания варьируется от 60 до 70 %. Чем более сложный визуальный образ подвергается анализу, тем большую важность приобретает понимание того, что анализируется. Только располагая знаниями об изображаемой предметной области, система сможет сформировать семантические описания изображений. В диссертационной работе решается задача разработки метода и алгоритмов анализа изображений сложных объектов на основе базы знаний.

Цель работы и задачи исследования. Целью диссертационной работы является разработка метода и алгоритмов семантического анализа контурных изображений сложных объектов на основе структурного подхода и формализованных знаний предметной области. Объектом семантического анализа является полутоновое изображение объекта, контур которого может быть вербально (словесно) описан.

Для достижения цели диссертационной работы поставлены и решены следующие задачи:

- исследование методов распознавания изображений;

- сравнительный анализ систем представления знаний в ЭВМ, обоснование выбора семантической сети;

- анализ результатов исследований человеческой памяти, особенностей использования знаний в процессе восприятия визуальной информации;

- разработка метода семантического анализа изображений;

- разработка структуры базы знаний, используемой в процессе семантического анализа;

- разработка и исследование алгоритмов, реализующих метод семантического анализа изображений.

Задача разработки метода и алгоритмов семантического анализа ограничивается двумя условиями: анализу подлежат изображения одиночных объектов, на изображении присутствуют только смысловые контуры.

Ограничение на тип изображаемых объектов и предметных областей не накладывается. Возможность анализа изображений объектов из разных предметных областей обеспечивается соответствующим наполнением базы знаний.

Методы исследования. В исследованиях использовался аппарат теории множеств, математической и нечеткой логики, теории распознавания образов, искусственного интеллекта, теории вероятности, математической статистики, теории алгоритмов, аналитической геометрии и системного анализа.

Научная новизна. Предложен метод и алгоритмы анализа контурных изображений одиночных объектов, отличающиеся от известных тем, что позволяют автоматически формировать семантические описания изображений. Семантическое описание изображения осуществляется через интерпретацию его геометрического описания понятиями предметной области на основе базы знаний.

Для представления знаний предложена неоднородная нечеткая семантическая сеть, позволяющая моделировать лингвистическую неопределенность и интенсивность информационных единиц естественной памяти.

Предложена геометрическая модель объекта — геометрическое описание изображения, формализованное на неоднородной нечеткой семантической сети.

Предложена структура базы знаний для семантического анализа изображений, представленная на неоднородной нечеткой семантической сети в виде модели библиотеки примитивов, модели библиотеки специальных понятий, модели лингвистических шкал и модели структуры аннотаций.

Практическая ценность диссертационной работы заключается в возможности решения следующих практических задач:

- автоматическая аннотация базы изображений (заменяющая описательную работу эксперта) и поиск по содержанию в визуальных информационных системах разных предметных областей;

- сопоставление изображений сложных объектов, при описании которых существенное значение имеет форма их контуров, например, контроль соответствия подписей на документах по имеющимся образцам;

- автоматическое выделение семантически значимых точек на контурных изображениях объектов, например, антропометрических точек на изображениях частей тела человека;

- автоматическое выделение геометрических кривых, фигур и их конфигураций на контурных изображениях, например, для распознавания таблиц, чертежей, схем.

Реализация результатов работы. Основные результаты диссертационной работы внедрены на этапе эскизного проекта программного комплекса «Следотека» для аннотации базы изображений следов обуви и поиска информации по визуальному запросу, рекомендованы к использованию при анализе и поиске информации по фотопортретным признакам в УВД г. Рыбинска; использованы при разработке подсистемы контроля подписей в автоматизированной системе «Бюджет» для финансовых органов субъектов Российской Федерации и муниципальных образований в ООО «Автоматизированные информационные процессы» (г. Москва); внедрены в учебном процессе Рыбинской государственной авиационной технологической академии им. П. А. Соловьева при обучении студентов.

Основные положения, выносимые на защиту:

- неоднородная нечеткая семантическая сеть, позволяющая моделировать лингвистическую неопределенность и интенсивность информационных единиц естественной памяти;

- метод анализа контурных изображений одиночных объектов, обеспечивающий семантическое описание объекта через интерпретацию его геометрической модели за счет выделения понятийных уровней;

- структура базы знаний, используемой в процессе семантического анализа изображений, и геометрическая модель объекта на неоднородной нечеткой семантической сети;

- алгоритм восстановления визуального образа по геометрической модели на основе лингвистических шкал, обеспечивающий минимизацию рассогласованности восстановленной информации;

- алгоритм целенаправленного сопоставления геометрических моделей через генерацию гипотез о соответствии их частей на основе варианта сопоставления особых точек экстремума, позволяющий сократить время поиска.

Апробация работы. Все основные результаты теоретического и практического характера, полученные автором или при его непосредственном участии, докладывались на IВНТК «Компьютерные технологии в науке, проектировании и производстве», 1999 г. - Нижний Новгород; II ВНТК «Компьютерные технологии в науке, проектировании и производстве», 2000 г. -Нижний Новгород; XXVI конференции молодых ученых и студентов РГАТА, 2000 г. - Рыбинск; Международной научно-технической конференции «Контроль, измерения, информатизация», 2000 г. - Барнаул; IV ВНТК «Информационные технологии в науке, проектировании и производстве», 2002 г. - Нижний Новгород; в Институте программных систем РАН (Переславль-Залесский, 2003 г.); на кафедре Вычислительные системы Рыбинской государственной авиационной технологической академии им. П. А. Соловьева.

Публикации. По теме диссертации опубликовано 8 печатных работах, из них 1 статья, 1 депонированная рукопись и 6 тезисов докладов.

Краткое содержание работы. Диссертационная работа состоит из введения, 4-х глав и заключения, а также списка использованных источников и приложений.

Выводы

1 Экспериментально определен диапазон значений параметра векторизации контурного препарата е[5.10]), обеспечивающий оптимальное сочетание простоты геометрической модели и величины отклонения векторизованного контура от исходного.

2 Для построения геометрической модели объекта любого типа необходимо и достаточно набора из трех геометрических примитивов: точки, прямой, четверти окружности. Некоторое упрощение геометрической модели достигается благодаря использованию специальных примитивов, учитывающих особенности анализируемого класса изображений.

3 Экспериментально определено оптимальное содержание шкал нечетких понятий, что позволило восстанавливать координаты особых точек в соответствии с такими вербальными характеристиками как «выше», «ниже», «правее», «левее», «больше», «меньше», «равно».

4 Возможность восстановления визуального образа по геометрической модели объекта подтверждает эффективность и полноту предложенной геометрической модели объекта и структуры базы знаний.

5 Экспериментально получены оптимальные значения параметров алгоритма сопоставления ( а = 1, р — 5, = 0.9, Ь = 0.5 ), обеспечивающие сопоставление обособленных частей со средней точностью - 83 %, и полнотой - 77 %; а сопоставление особых точек верно сопоставленных обособленных частей со средней точностью и полнотой - 85 %. Данный результат лучше результатов, опубликованных в литературе при той же методике оценки: средняя точность - 6070 %, средняя полнота - 80-90 % [49-51,69].

6 Выявлены пути повышения качества результатов предложенных алгоритмов.

7 Получены оценки времени работы алгоритмов: построение геометрической модели - не более 1 секунды, восстановление визуального образа - не более 1 минуты, поиск лучшего варианта сопоставления двух геометрических моделей — не более 20 секунд при тактовой частоте процессора - 1 ГГц. Сравним данные временные оценки со временем работы эксперта, выполняющего семантическое описание изображения. Время визуальной оценки изображения экспертом учитывать не будем, считая, что оно тратится на оценку результатов автоматического анализа. Пусть на ввод в систему 10-ти ключевых слов, характеризующих одно изображение, эксперт тратит 2 минуты (1 слово - 12 секунд). Для построения геометрической модели объекта и ее сравнения с моделью класса требуется около 20 секунд. Точность и полнота сопоставления моделей оценены как 83 % и 77% соответственно, следовательно, из 10 выданных системой ключевых слов 2 окажутся неверными и 3 верных не будут найдены; эксперту необходимо будет заменить 2 слова и дополнить 1 слово. На ввод 3-х слов эксперт затратит 36 секунд, следовательно затраты времени уменьшатся примерно в 2 раза (56 секунд вместо 2 минут). Учитывая, что проверить адекватность и полноту характеристики проще, чем составить ее, выигрыш получится и во времени, затрачиваемом экспертом на визуальную оценку.

8 Эффективность алгоритма сопоставления геометрических моделей свидетельствует об эффективности предложенной автором геометрической модели объекта, прежде всего таких ее особенностей, как многослойности, возможности разбиения на фрагменты, полноте описания фрагментов и их отношений.

Заключение

В диссертационной работе исследовалась задача построения семантических описаний изображений на основе знаний об изображаемых объектах и содержательного поиска в пространстве семантических описаний.

В рамках исследования выполнен сравнительный анализ методов распознавания изображений, сделан вывод о преимуществах структурного подхода для анализа изображений сложных объектов. Исследованы механизмы поиска визуальной информации в информационно-поисковых системах сети Internet, сделан вывод о необходимости создания методов и средств семантического анализа изображений на основе базы знаний.

Выполнен сравнительный анализ систем представления знаний, обоснован выбор семантической сети для представления знаний, используемых в процессе семантического анализа изображений. В результате анализа последних исследований системы человеческой памяти, особенностей хранения и использования человеком знаний в процессе восприятия визуальной информации, определены требования, которым должна отвечать искусственная система понимания изображений, семантическая сеть исследована на соответствие предъявленным требованиям.

В результате исследования получены новые теоретические результаты:

- предложена неоднородная нечеткая семантическая сеть, позволяющая моделировать лингвистическую неопределенность и интенсивность информационных единиц естественной памяти, рассмотрены методы вывода на ней, получены формулы оперирования мерами интенсивности при выводе;

- предложен метод анализа контурных изображений одиночных объектов, обеспечивающий семантическое описание объекта через интерпретацию его геометрической модели за счет выделения понятийных уровней;

- предложена геометрическая модель объекта - геометрическое описание контура объекта, формализованное на ННСС;

- предложена структура базы знаний для семантического анализа изображений, представленная на ННСС моделью библиотеки примитивов, моделью библиотеки специальных понятий, моделью лингвистических шкал и моделью структуры аннотаций;

- разработаны алгоритмы, реализующие метод семантического анализа изображений.

Экспериментально оценены качество результата и время работы алгоритмов семантического анализа, определены оптимальные значения их параметров, рассмотрены пути повышения эффективности алгоритмов, в том числе возможности влияния на условия предварительной обработки изображений.

Алгоритмы реализованы в программной системе для семантического анализа контурных изображений; модули системы внедрены в ряде предприятий и учреждений, могут быть интегрированы в информационные системы разных предметных областей.

Эффективность метода и алгоритмов семантического анализа в целом характеризуется точностью и полнотой сопоставления: сопоставление обособленных частей контура осуществляется со средней точностью 83 %, и полнотой - 77 %, сопоставление особых точек верно сопоставленных обособленных частей - со средней точностью и полнотой 85 %; данный результат лучше результатов, опубликованных в литературе при той же методике оценки: средняя точность - 60-70 %, средняя полнота - 70-80 % [49-51,69].

Полученные результаты позволяют сделать вывод о том, что предложенные метод и алгоритмы семантического анализа изображений обеспечивают достижение конечной цели диссертационной работы - осуществление семантического анализа контурных изображений на основе знаний об изображаемой предметной области.

1. Искусственный интеллект: В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник /Под ред. Э. В. Попова. М.: Радио и связь, 1990. -464 с.

2. Марр Д. Зрение: Информационный подход к изучению представления и обработки зрительных образов. М.: Радио и связь, 1987. — 400 с.

3. Мясников В. А. и др. Программное управление оборудованием. — Л.: Машиностроение, Ленингр. отд-ние, 1984. — 427 с.

4. Робототехника и гибкие автоматизированные производства: В 9-ти кн. Кн. 6. Техническая имитация интеллекта: Учеб. пособие для втузов /В. М. Назаретов, Д. П. Ким; Под ред. И. М. Макарова. М.: Высшая школа, 1986. -144 с.

5. Павлидис Т. Алгоритмы машинной графики и обработки изображений. — М.: Радио и связь, 1986. 398 с.

6. Файн В. С. Распознавание образов и машинное понимание естественного языка. М.: Наука, 1987. - 240 с.

7. Глазунов А. С. Компьютерное распознавание человеческих лиц //Открытые системы. 2000. - №3. - http://www.osp.ru/os/2000/03/043.html.

8. Пентланд А., Чаудхари Т. Распознавание лиц для интеллектуальных сред //Открытые системы. 2000. - http://www.osp.ru/os/2000/03/028.html.

9. Искусственный интеллект: В 3-х кн. Кн. 2. Модели и методы: Справочник /Под ред. Д. А. Поспелова. М.: Радио и связь, 1990. - 304 с.

10. Нильсон Н. Принципы искусственного интеллекта: Пер. с англ. -М.: Радио и связь, 1985. 373 с.

11. Аверкин А. Н., Гаазе-Рапопорт М. Г., Поспелов Д. А. Толковый словарь по искусственному интеллекту. М.: Радио и связь, 1992. - 256 с.

12. Васильев В. И. Распознающие системы: Справочник. М.: Радио и связь, 1983.-422 с.

13. Горелик А. JL, Гуревич И. Б., Скрипкин В. А. Современное состояние проблемы распознавания: Некоторые аспекты. Сер. Кибернетика. М.: Радио и связь, 1985.- 160 с.

14. Горелик А. Д., Скрипкин В. А. Методы распознавания: Учеб. пособие. 3-е изд. М.: Высшая школа, 1989. - 350 с.

15. Загоруйко Н. Г. Методы распознавания и их применение. М.: Советское радио, 1972. - 208 с.

16. Тимохин В. И. Применение ЭВМ для решения задач распознавания образов: Учеб. пособие. JL: ЛГУ, 1983. - 215 с.

17. Ту Д. Т., Гонсалес Р. К. Принципы распознавания образов: Пер. с англ. -М.: Мир, 1978.-411 с.

18. Жаботинский Ю. Д., Исаев Ю. В. Адаптивные промышленные роботы и их применение в микроэлектронике. Сер. Массовая б-ка инженера «Электроника», Вып. 48. -М.: Радио и связь, 1985. 104 с.

19. Системы очувствления и адаптивные промышленные роботы /В. Б. Брагин, Ю. Г. Войлов, Ю. Д. Жаботинский и др. /Под общ. ред. Е. П. Попова, В. В. Клюева. Сер. Автоматические манипуляторы и робототехнические системы. — М.: Машиностроение, 1985. 256 с.

20. Бутаков Е. А., Островский В. И., Фадеев И. JI. Обработка изображений на ЭВМ. М.: Радио и связь, 1987. - 238 с.

21. Бакут П. А., Колмогоров Г. С., Вороновицкий И. Э. Сегментация изображений: методы пороговой обработки //Зарубежная радиоэлектроника. 1987. -№10.-С. 6-24.

22. Бакут П. А., Колмогоров Г. С., Вороновицкий И. Э. Сегментация изображений: методы выделения границ //Зарубежная радиоэлектроника. 1987. -№10.-С. 25-47.

23. Дуда Р., Харт П. Распознавание образов и анализ сцен: Пер. с англ. -М.: Мир, 1976.-512 с.

24. Ярославский JI. П. Введение в цифровую обработку изображений. — М.: Сов. радио, 1979. 220 с.

25. Прэтт У. К. Цифровая обработка изображений. Т.2. М.: Мир, 1982.792 с.

26. Анисимов Б. В., Курганов В. Д., Злобин В. К. Распознавание и цифровая обработка изображений. М.: Высшая школа, 1983. - 295 с.

27. Хорн Б. К. П. Зрение роботов: Пер. с англ. М.: Мир, 1989. - 488 с.

28. Lam L., Lee S. W., Suen C. Y. Thinning Methodologies: A Comprehensive Survey //IEEE Transactions on Pattern Analysis and Machine Intelligence. — 1992. -Vol. 14.-P. 869-885.

29. Smith S. J., Bourgoin M. O., Sims K., Voorhees H. L. Handwritten character classification using nearest neighbor in large databases //IEEE Transactions on Pattern Analysis and Machine Intelligence. 1994. - Vol. 22, No. 9. - P. 915-919.

30. Wakahara T. Shape machine using LAT and its application to hand-written character recognition //IEEE Transactions on Pattern Analysis and Machine Intelligence. — 1994.-Vol. 16, No. 6.- P. 618-629.

31. Lam L., Suen C. Y. An Evaluation of Parallel Thinning Algorithms for Character Recognition //IEEE Transactions on Pattern Analysis and Machine Intelligence. 1995. - Vol. 17, No. 9. - P. 914-919.

32. Plamondon R., Srinari S. On-Line and Off-Line Handwriting Recognition: A Comprehensive Survey //IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. - Vol. 22, No. 1. - P. 914-919.

33. Korn A. F. Toward a Symbolic Representation of Intensity Changes in Images //IEEE Transactions on pattern analysis and machine intelligence. 1988. — Vol. 10, No. 5.-P. 914-919.

34. Лукашенко Г. Применение волнового алгоритма для нахождения растрового изображения. http://ocrai.narod.ru/vectory.html.

35. СБИС для распознавания образов и обработки изображений: Пер. с англ. /Под. ред. К. Фу. М.: Мир, 1988. - 248 с.

36. Фу К. С. Структурные методы в распознавании образов: Пер. с англ. — М.: Мир, 1977.-320 с.

37. Завалишин Н. В., Мучник И. Б. Модели зрительного восприятия и алгоритмы анализа изображений. — М.: Наука, 1974. 344 с.

38. Русын Б. П. Структурно-лингвистические методы распознавания изображений в реальном времени. Киев: Наукова думка, 1986. - 127 с.

39. Себастиан Г. Процессы принятия решения при распознавании образов. Киев, 1965.-151 с.

40. Щепин Е. В., Непомнящий Г. М. К топологическому подходу в анализе изображений. Геометрия, топология и приложения: Межвуз. сб. научн. труд. — М.: Мин. высшего и средн. спец. образ. РСФСР, Московский институт приборостроения, 1990.-С. 13-25.

41. Фомин Я. И., Савин А. В. Оптимизация распознающих систем. М.: Машиностроение, 1993. — 288 с.

42. Браверман Э. М., Мучник И. Б. Структурные методы обработки эмпирических данных. М.: Наука, ГРФМЛ, 1983. - 368 с.

43. Котович Н. В., Славин О. А. Распознавание скелетных образов. -http://ocrai.narod.ru/skeletrecognize.html.

44. Амамия М., Танака Ю. Архитектура ЭВМ и искусственный интеллект. -М.: Мир, 1993.-400 с.

45. Соколов Е. Н., Вейткявичус Г. Г. Нейроинтеллект. От нейрона к нейрокомпьютеру. М.: Наука, 1989. — 240 с.

46. Starovoitov V. V., Samal D. I., Briliuk D. V. Free approaches for face recognition //The 6-th International conference on pattern recognition and image analysis. Russia, Velikiy Novgorod, 2002. - P. 707-711 - http://neuroface.narod.ru/.

47. Starovoitov V. V., Samal D. I., Briliuk D. V. Image enhancement for face recognition //International conference on iconics. Russia, St.Petersburg, 2003. -http://neuroface.narod.ru/.

48. Мисюрев А. В. Использование искусственных нейронных сетей для распознавания рукопечатных символов. — http://ocrai.narod.ru/hp.html.

49. Система распознавания текстов «FineReader» http://www.abbvv.ru/.

50. Нивников Д. FineReader 4.0 еще один шаг вперед //PC Magazine. - 1998. -№ 7. - http://www.zdnet.ru/pcmag/9807/079810.asp.

51. Ян Д. Е., Анисимович К. В. Доклад на бюро Отделения Информатики, Вычислительной Техники и Автоматизации РАН, 1995, Москва.

52. Ян Д. Е., Анисимович К. В., Шамис A. JI. Новая технология распознавания символов. Теория, практическая реализация, перспективы. — М.: Препринт, 1995. 36 с.

53. Терещенко В., Рыбкин В., Шамис А., Ян Д. Принципы распознавания рукописных символов в системе FineReader //Материалы конференции РОАИ-Ш. — Нижний Новгород, 1997. http://www.abbvv.ru/articles/ principles of recognition rus.html.

54. Anisimovich К., Rybkin V., Shamis A. and Tereschenko V. Using combination of Structural, Feature and Raster Classifiers for Recognition of Handprinted Characters //Fourth Int. Conf. on Document Analysis and Recognition, 1997, Ulm, Germany.

55. Система распознавания текстов «CuneiForm». http://www.asp.ru/.

56. Арлазаров В. JI., Троянкер В. JI., Котович H. В. Адаптивное распознавание символов. http://ocrai.narod.ru/adaptive.html.

57. Пакеты распознавания текста. — http://www.neuhaus.ru/scanners/ocrds.html.

58. Распознавание образов: состояние и перспективы /Под ред. К. Верхагена, Р. Дейна и др. М.: Радио и связь, 1985. — 104 с.

59. ЭВМ пятого поколения: Концепции, проблемы, перспективы: Пер. с англ. М.: Финансы и статистика, 1984. - 110 с.

60. Байков А. М., Кузин Е. С., Шамис A. JI. Целостное целенаправленное распознавание изображений в ЭВМ //Вопросы кибернетики. М.: АН СССР, 1987. -С. 27-31.

61. Абраменко А. Принципы распознавания. http://www.abbvv.ru/articles/ principleocr.html.

62. Дадашев Т. Поиск видеоданных в сети //Компьютерра. 1998. — №12(240). - http://www.computerra.ni/offline/l 998/240/1194/.

63. Rui Y., Huang T. S. Image Retrieval: Current Techniques, Promising Direction and Open Issues //Journal of Visual Communication and Image Representation. 1999. -Vol. 10.-P. 12-29.

64. Jewel N. J., Campbel N. W., Thomas В. T. Hierarchically Searching the Web for Images //Multimedia Communications. 1998. - P. 24-30.

65. Sclaroff S. Wold Wide Web Image Search Engines //NSF Workshop on Visual Information Management. 1995. - P. 110-115.

66. Smith J. R., Chang S. F. Searching for Images and Videos on the World Wide Web //Multimedia Communications. 1996. - P. 44—47.

67. Gevers Т., Aldersho F., Vreman P., Smeulders A.W.M. Retrieving and Localizing Objects in Images on the WWW //Vision Interface'99.

68. Chang S.F., Smith J.R., Meng H. J., Wang H., Zhong D. Finding Images/Video in Large Archives //Multimedia Communications, 1996. P. 53-56.

69. Tomasi C., Guibas L. J. Image Descriptions for Browsing and Retrieval //Image Undestanding. 1994. - P. 150-155.

70. CompTek, 2000a. Сравнительный анализ машин поиска по материалам журналов «Мир ПК», «PC Magazine/RE», «Планета Интернет». — http://www.comptek.ru/arcadia/review/review.html.

71. CompTek, 2000b. Сравнительный анализ русскоязычных машин поиска по материалам журнала «Планета Интернет». — http://www.comptek.ru/arcadia/review/ reviewrus.html.

72. Система поиска видеоданных «Zoomax». http://target.wins.uva.nl:5345/ zomax/HTML/intr.html.

73. Проект QBIC. http://www.qbic.almaden.ibm.com/.

74. Система анализа и сравнения цифровых изображений VIR Image Engine. -http://www.virage.com/.

75. Web-сайт PhotoDisc коллекций изображений на компакт-дисках. — http://www.photodisc.com/.

76. Проект Java Sketch Engine http://www.wi.leidenuniv.nl/home/lim/ iavasketch.html.

77. Попов Э. В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ. Сер. Проблемы искусственного интеллекта. — М.: Наука, 1987. — 288 с.

78. Поспелов Д. А. Логико-лингвистические модели в системах управления. — М.: Энергоиздат, 1981. —231 с.

79. Поспелов Д. А. Искусственный интеллект: Фантазия или наука? — М.: Наука, 1982.-224 с.

80. Поспелов Д. А. Ситуационное управление: теория и практика. — М.: Наука, 1986.-284 с.

81. Поспелов Г. С. Искусственный интеллект основа новой информационной технологии. Сер. Академические чтения. — М.: Наука, 1988. — 280 с.

82. Поспелов Д. А. Моделирование рассуждений. Опыт анализа мыслительных актов. М.: Радио и связь, 1989. - 184 с.

83. Представление и использование знании: Пер. с япон. /Под. ред. X. Уэно, М. Исидзука. М.: Мир, 1989. - 220 с.

84. Экспертные системы: состояние и перспективы /Под ред. Д. А. Поспелова. -М.: Наука, 1989. 152 с.

85. Элти Дж., Кумбс М. Экспертные системы: концепции и примеры: Пер. с англ. М.: Финансы и статистика, 1987. - 191 с.

86. Кандрашина Е. Ю., Литвинцева JI. В., Поспелов Д. А. Представление знаний о времени и пространстве в интеллектуальных системах /Под ред. Д.А. Поспелова. М.: Наука, 1989. - 328 с.

87. Ковригин О. В., Перфильев К. Г. Гибридные средства представления знаний в системе СПЭИС //Всесоюзная конференция по искусственному интеллекту: тез. докл. Т.2. Переславль-Залесский, 1988. С. 490-494.

88. Осипов Г. С. Приобретение знаний интеллектуальными системами: Основы теории и технологии. Сер. Проблемы искусственного интеллекта. — М.: Наука. Физматлит, 1997. 112 с.

89. Скрэгг. Г. Семантические сети как модели памяти //Новое в зарубежной лингвистике. Вып. 12. М.: Радуга, 1983. С. 228-271.

90. Осуга С. Обработка знаний: Пер. с япон. — М.: Мир, 1989. 293 с.

91. Вагин В. Н. Дедукция и обобщение в системах принятия решения. — М.: Наука, 1988.-384 с.

92. Паламарь И. Н., Вершинина В. В. Программная среда для исследования методов вывода на семантических сетях //Тезисы докладов I ВНТК «Компьютерные технологии в науке, проектировании и производстве». В 19 частях. Ч. 11. — Н. Новгород: НГТУ, 1999. С. 11.

93. Распознавание образов. Исследование живых и автоматических распознающих систем /П. А. Колере, М. Иден, 1970. 240 с.

94. Хофман И. Активная память: Экспериментальные исследования и теория человеческой памяти: Пер. с нем. /Общ. ред. и предисл. Б.М. Величковского и Н.К. Корсаковой. М.: Прогресс, 1986. - 312 с.

95. Хрестоматия по общей психологии. Психология памяти /Под ред. Ю. Б. Гиппенрейтер, В. Я. Романова. М.: Издательство Моск. ун-та, 1979. - 272 с.

96. Лурия А. Р. Маленькая книжка о большой памяти (Ум мнемониста). -М.: Наука, 1968.-240 с.

97. Лурия А. Р. Основы нейропсихологии. М.: Наука, 1973. - 374 с.

98. Аткинсон Р. Человеческая память и процесс обучения: Пер. с англ. — М.: Прогресс, 1980.-240 с.

99. Шенк Р., Хантер Л. Познать механизмы мышления //Реальность и прогнозы искусственного интеллекта. — М.: Мир, 1987.

100. Паламарь И. Н., Вершинина В. В. Метод семантического анализа визуальных образов // Тезисы докладов II ВНТК «Компьютерные технологии в науке, проектировании и производстве». В 11-ти частях. Ч. 4 Н. Новгород: НГТУ, 2000.-С. 31.

101. Вершинина В. В. О нечетком структурном описании визуального образа //Сборник трудов молодых ученых. Рыбинск: РГАТА, 2000. - С. 172-174.

102. Паламарь И. Н., Вершинина В. В., Паламарь И. Г. Модель вербализации визуального образа //Вестник РГАТА. 2001. — №1. - С. 62-69.

103. Вершинина В. В., Паламарь И. Н. Метод и алгоритмы анализа визуальных образов на основе модели нечеткой многослойной семантической сети. РГАТА, Рыбинск, 2003.-37 с.-Деп. в ВИНИТИ 01.08.2003, № 1493-В2003.

104. Аверкин А. Н., Батыршин И. 3., Блишун А. Ф., Силов В. Б. Тарасов В. Б. Нечеткие множества в моделях управления и искусственного интеллекта /Под ред. ДА. Поспелова. -М.: Наука, 1986.

105. Аверкин А. Н., Батыршин И. 3. Мягкие вычисления //Новости искусственного интеллекта. 1996. - № 3. - С. 161-164.

106. Заде JI. Понятие лингвистической переменной и его применение к принятию приближенных решений. -М.: Мир, 1976. 165 с.

107. Кофман А. Введение в теорию нечетких множеств: Пер. с франц. — М.: Радио и связь, 1982. 432 с.

108. Нечеткие множества в моделях управления и искусственного интеллекта /А. Н. Аверкин, И. 3. Батыршин, А. Ф. Блишун, В. Б. Силов, В. Б. Тарасов /Под ред. Д. А. Поспелова. М.: Наука. Гл.ред.физ.-мат.лит., 1986. - 312 с.

109. Нечеткие множества и теория возможностей. Последние достижения /Под ред. Р. Р. Ягера. М.: Радио и связь, 1986. - 408 с.

110. Обработка нечеткой информации в системах принятия решений /А. Н. Борисов, А. В. Алексеев, Г. В. Меркурьева и др. М.: Радио и связь, 1989. -304 с.

111. Орловский С. А. Проблемы принятия решения при нечеткой исходной информации. М.: Наука, 1981. - 206 с.

112. Перегудов Ф. И., Тарасенко Ф. П. Введение в системный анализ. — М.: Высш. шк., 1989. 367 с.

113. Криминалистика: Учебник /Под ред. И.Ф. Пантелеева, H.A. Селиванова. — М.: Юрид. лит., 1993. 592 с.

114. Файн В. С. Алгоритмическое моделирование формообразования. — М.: Наука, 1975.- 141 с.

115. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Наука, 1984. - 720 с.

116. Шикин Е.В., Боресков A.B. Компьютерная графика. Динамика, реалистические изображения. -М.: Диалог-МИФИ, 1966. — 288 с.

117. Библиотеки стандартных функций обработки изображений Intel® Image Processing Library v2.5 http://developer.intel.com/software/products/perflib/ipl/.

118. Extensible Markup Language (XML) /W3C Recommendation. — http://www.w3 .org/TR/1998/REC-xml-19980210.

119. Вершинина В. В., Паламарь И. Н. Организация базы знаний семантической сети на основе XML-формата //Тезисы докладов IV ВНТК «Информационные технологии в науке, проектировании и производстве». В 3-х частях. Ч. 2. Н. Новгород: МВВО АТН РФ, 2002. - С. 23