автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и реализация комплексного подхода к распознаванию графической информации с интеллектуальной поддержкой

На правах рукописи

Шичкин Дмитрий Александрович

МЕТОДЫ И РЕАЛИЗАЦИЯ КОМПЛЕКСНОГО ПОДХОДА К РАСПОЗНАВАНИЮ ГРАФИЧЕСКОЙ ИНФОРМАЦИИ С ИНТЕЛЛЕКТУАЛЬНОЙ ПОДДЕРЖКОЙ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (информационные и технические системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

5 ДЕК 2013

Краснодар - 2013

005542452

Работа выполнена в ФГБОУ ВПО «Кубанский государственный технологический университет»

Научный руководитель: кандидат технических наук, профессор

Малыхина Мария Петровна

Официальные оппоненты: доктор технических наук, профессор

Косачсв Вячеслав Степанович ФГБОУ ВПО "Кубанский государственный технологический университет", профессор кафедры технического оборудования и систем жизнеобеспечения

кандидат технических наук, доцент Варламова Жапиа Николаевна ФГБОУ ВПО «ГМУ им. адм. Ф.Ф.Ушакова», доцент кафедры высшей математики (г. Новороссийск)

Ведущая организация: ФГБОУ ВПО «Кубанский государственный

университет» (г. Краснодар)

Защита диссертации состоится « 23 » декабря 2013 г. в 1600 часов на заседании диссертационного совета Д 212.100.04 в ФГБОУ ВПО «Кубанский государственный технологический университет» по адресу: 350072, г. Краснодар, ул. Московская 2, корпус «Г», ауд. Г-248.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Кубанский государственный технологический университет».

Автореферат разослан «21 » ноября 2013 г.

Ученый секретарь

Диссертационного совета Д 212.100.04, кандидат технических наук, доцент ^^МигУ— A.B. Власенко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Существующие проблемы в практическом применении теоретических основ распознавания графической информации заставляют исследователей находить современные и высокоэффективные решения. На сегодняшнем этапе развития практического применения теоретических основ распознавания графической информации остаются нерешенными проблемы: качественного выделения контуров; автоматизированного выделения объектов; вариабельности пространственного расположения объектов и их распознавания; практического применения методологических разработок в распознавании графической информации; качественной классификации объектов распознавания.

Большую значимость в решении указанных проблем приобретает создание программных комплексов и математического аппарата, основанных на применении нейронных сетей, экспертных систем и кибернетики.

В связи с этим разработка и использование альтернативных методов распознавания графической информации с интеллектуальной поддержкой и их практическая применимость является актуальной задачей.

Цель диссертационной работы. Целью диссертационной работы является разработка комплексного подхода к проблеме эффективного и качественно распознавания графической информации, включающего разработку и использование новых методологий для анализа графических массивов данных с использованием нейронных сетей и экспертных систем, с учетом исследования смежных областей науки, изучающих принципы восприятия объектов человеком.

Задачи исследования:

— анализ наиболее часто используемых методов выделения объектов на изображении;

— анализ способов, подходов и новых направлений распознавания графической информации;

— исследование интеллектуальных технологий, применяемых в решении проблем распознавания;

— теоретическое обоснование математических моделей, применяемых в системе;

— обоснование выбора программных средств и инструментов для проведения анализа и решения проблем качественного распознавания образов;

— разработка комплекса алгоритмов получения изображения, выделения контуров и объектов по цвету;

— разработка альтернативной архитектуры нейронной сети и алгоритма ее взаимодействия с системой предварительной классификации;

— исследование эффективности применения разработанных методов и способов с интеллектуальной поддержкой для решения задач распознавания графической информации.

Методы исследования. Исследование проведено с использованием статистического анализа, системного анализа, абстрактно-логического метода, алгоритмизации, моделирования, оптимизации, нейронных сетей, экспертных систем. Экспериментальная часть работы проводилась с использованием пакета Statistica и языка программирования высокого уровня в среде Microsoft Visual Studio с использованием технологии CUDA.

Научная новизна. Научная новизна диссертационной работы заключается в следующем:

— теоретически обоснован новый комплексный подход к процессу распознавания графической информации на основе разработанных подходов;

— разработан методологический подход к выделению контуров графических объектов;

— установлена взаимосвязь между цветовыми компонентами модели

RGB;

— реализован подход, моделирующий константность цветовосприятия;

— создан алгоритм на основе разработанных подходов для выделения объектов по цвету;

— реализован механизм предобработки графических объектов, подаваемых на вход нейронной сети;

— обосновано применение экспертной системы для предварительной

классификации объектов по цвету;

— предложен алгоритм взаимодействия экспертной системы с нейронной сетью;

— смоделированы входные значения, подаваемые на нейронную сеть, как взаимосвязь между координатами объекта, представленные в виде временного ряда;

— разработана архитектура функционирования нейронной сети при распознавании графических объектов, принадлежащих к различным классам;

— проведены экспериментальные исследования по практической реализации разработанных подходов при решении проблем, возникающих в процессе распознавания графической информации растровых изображений.

Практическая ценность работы. Использование разработанных подходов, методов и алгоритмов позволит решать задачи более качественного выделения объектов на цветных изображениях и их идентификации.

Реализация результатов работы. Методологический комплексный подход к распознаванию графической информации с интеллектуальной поддержкой использован в учебном процессе ФГБОУ ВПО «КубГТУ» при изучении дисциплин «Программирование» и «Базы данных» и в системе пропускного контроля для повышения безопасности объектов ООО «РН-Краснодарнефтегаз».

Апробация работы. Основные положения диссертационного исследования апробированы па научных конференциях молодых ученых и студентов.

Опубликовано 5 научных работ, из них 1 статья в рецензируемом журнале из перечня ВАК при Минобрнауки России, а также 4 работы представлены на конференциях, из которых один доклад на IX международной практической конференции «Актуальные достижения европейской науки».

Получено свидетельство о государственной регистрации программы для ЭВМ № 2013618115 от 30.08.2013г. «Программный модуль для проведения анализа и исследования формулы цветового различия в выделении контуров объектов», по заявке № 2013615927 от 11 июля 2013.

Основные положения, выносимые на защиту:

— принцип выделения контуров по цветовому различию;

— модель константности цветового восприятия;

— алгоритм выделения объектов по цвету;

— архитектура предложенного функционирования нейронной сети;

— использование входных значений нейронной сети в виде временного ряда зависимостей расположения координат графического объекта;

— алгоритм взаимодействия нейронной сети с системой предварительной классификации выделенных объектов на изображении.

Объем и структура работы. Диссертационное исследование состоит из введения, пяти глав и заключения, изложенных на 144 страницах. Диссертационная работа содержит 81 рисунков и графиков, 17 таблиц и список использованных источников из 112 наименований.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность диссертационного исследования, сформулированы цели и задачи работы, изложены полученные автором основные результаты проведенных исследований, раскрыты их научная новизна и практическая значимость, отражены основные положения, выносимые на защиту.

В первой главе проведен анализ структур и систем распознавания графической информации, выстроена обобщающая структура систем распознавания графической информации (рисунок 1), выделены проблемные блоки, в которых возможна научная проработка их решения.

Исследованы базовые подходы (оптический, контурный, искусственные нейронные сети) и альтернативные современные направления (анализ признаков, структурный и статистический подходы) распознавания графической информации с выявлением преимуществ и недостатков каждого. Определены основные проблемы разработки и реализации программных продуктов в области распознавания образов.

На основании проведенного анализа методологических аспектов распознавания графической информации сделан вывод о первоочередной

необходимости использовать комплекс средств и подходов для решения сформулированной задачи распознавания графических объектов, поскольку такая сложная задача может быть разбита на группы более простых подзадач. В заключении главы сформулированы цели и задачи исследования.

Рисунок 1 - Структура систем распознавания Во второй главе диссертации описана методика системного подхода, включающего предлагаемые комбинации методов и подходов для решения проблемы распознавания изображений. Разработана общая схема комплексной системы распознавания графической информации (рисунок 2).

Рисунок 2 — Общая схема процесса распознавания изображений

С точки зрения распознавания и анализа объектов на изображении наиболее информативными являются характеристики их границ - контуров. В задачу выделения контуров входит определение границ объектов и очертаний однородных областей. По определенным параметрам можно получить информацию об объекте или подвергнуть эту информацию постобработке для

установления соотношений о принадлежности объекта. Существует несколько способов выделения контуров: бинаризацией изображения; отслеживающими алгоритмами; поиском границ на основе градиента яркости; поиском границ на основе Лапласиана.

Существует несколько стандартов, задающих цветовое различие.

С1Е76. Для координат (¿'„¿/¡,Ь,')и (¿'2,а'2,Ь'2)в С1ЕЬАВ формула имеет вид:

С1Е94. Для соответствующих координат в пространстве ЬСН(¿\С',/Г) формула имеет вид:

Д E'ah

L\-L\\ic\-c;

h' - h'

(2)

К, ) {\+KtC¡) (j +K2C't/ CIEDE2000. Комитет CIE разработал новый стандарт, имеющий пять дополнений: поворот цветового угла тона (RT), для устранения проблемы в синей области (угол Hue 275°); компенсация для нейтральных цветов; компенсация для светлоты (SL); компенсация для насыщенности цвета (Sc); компенсация для тона (Su).

Нахождение цветоразности по стандарту CIEDE2000 рассчитывается:

Д Е„

+ R,

АС ЛИ

L\ + L2 с- = с; + с;

а, = а. + -Ч I--

2 VC'7 +257

I --

С1

2 V С 7 + 257

■■ о, +-г

1--

С'7

2 V С'7 + 257

1--

С'7

2 VC 7 +257

ht= dgibj а\) modlrc ,h2 = ctg(b2! а2) moáln

Ih\-h\ ]h\-ti2\<n:

h'2 - h\ + 2k |a¡ -h\| > n,h\ < h\ h2-h\- 2тс \h'x - ti2 > 7t,h\ > h\

(3)

(4)

(5)

(6) (7)

АН = 2ТОД /2), Я' = (Л' + 2")/2 ->'

| (А,+Лг)/2 |А,-Л2|<я-

Г = 1 -0.17cos(# -;r/6) + 0.24cos(2tf') + + 0.32cos(3tf' + ^/30)-0.20cos(4W' +2Ы/60)

0.015(i -50)2

S,= 1 +

«г

•^20 + (L - 5o)2

Sc = 1 + 0.045C 5„ = 1 + 0.15C Г

- /

к

-ехр —

H -275л-/180

25л-/180

(8) (9) (Ю) (П)

Используя формулу цветового различия, находятся пиксели, по которым строится результирующее изображение:

/('"-") = {.,дя>,, <|2>

где Л£ - цветоразность сравниваемых пикселей на исходном изображении, в зависимости от используемой модели, f'(m,n) - значение пикселя результирующего изображения, f'(m,n)<= [o,l] или /'(«'■")Ё ДСВ(0..255,0..255,0..255) при использовании модели RGB с 24-bit на цвет, t - порог цветоразности.

Сканирование производится матрицей М3х3 по прилежащим точкам к текущему пикселю в n-ю итерацию сканирования полноценного изображения /('».«)■

Предложенный методологический подход к распознаванию графической информации наряду с простотой использования дает максимальную обработку исходного цветного изображения и позволяет минимизировать потери информационного массива об объекте.

Разработан алгоритм восстановления связности. Использование этого способа стало возможным благодаря выделению контуров с использованием цветового отличия и обработки изображений без бинаризации.

Вычисляется угловой коэффициент проходящей через две

прямой к = Ук

точки А(х„;уп) и B(xk;yk), где А -точка, начала движения к краю по контуру, В -точка края множества, через которую нужно продолжить соединение (рисунок 3). Рисунок 3 - Вычисление движения

Из полученного углового коэффициента вычисляем направление следования для поиска второго множества по формуле а = /t*360\

Для определения сходства между множествами использована формула П. Жаккара:

К = —у—, (13)

а+Ь-с v '

где а - количество пикселей в первой выборке, b - количество пикселей во второй выборке, с - количество пикселей, общих для 1-ой и 2 - ой площадок.

Для более полного устранения проблем распознавания графических объектов разработан усовершенствованный метод получения дополнительной информации, в котором решено модернизировать предложенный подход выделения контуров на основе цветового различия и перейти к обнаружению и выделению объектов. В основу алгоритма положен анализ наблюдений комитета INTERNATIONAL COMMISSION ON ILLUMINATION (CIE) и определенные им функции цветового соответствия (рисунок 4).

Рисунок 4 - Функции цветового соответствия колориметрического наблюдателя, определённые комитетом CIE в 1931 году на диапазоне длин волн

от 380 до 780 нм

В ходе научных экспериментов при использовании линейной цветовой модели RGB была установлена взаимосвязь между координатами цвета объекта, которая демонстрирует константность восприятия цвета (рисунок 5,6).

250 200 150

^.......

; - -

■*■ — Г?иН " Огееп * В1ие — идЫ

1 2 3 4 5 6 7 Я 9 10 11 12 13 14 15

Рисунок 5 - График изменения цвета объекта

Рисунок 6 - График зависимости цветовых компонентов Сформированны следующие правила для выделения объектов по цвету:

(14)

в - В, если МАХ = Я И в > В, С - В, если МАХ = Я И С < В, В - Я, если МАХ = в, Я - С, если МАХ = В,

которые дополнены линейной регрессионной моделью (формула 15).

Регрессионная модель:

у^Дх,Ь) + е,Е(е) = 0> (15)

где Ь - параметры модели, е - случайная ошибка модели, называется линейной регрессией, если функция регрессии имеет вид:

Дх, Ь) =Ь„+Ь,х1+Ь2х2+... +Ькхк (16)

где Ък - параметры (коэффициенты) регрессии, х/, - регрессоры (факторы модели), к — количество факторов модели.

Коэффициенты линейной регрессии показывают скорость изменения зависимой переменной по данному фактору при фиксированных остальных факторах (в линейной модели эта скорость постоянна):

УИ>,=~ = const (17)

Устойчивость к вариабельности положения объекта на плоскости достигается применением алгоритма предварительной обработки объекта: определение центра «тяжести»; поворо т объекта; масштабирование объекта.

Предлагается подсистема определения объекта по базе правил взаимодействия с признаками объектов, которая предложена для использования в разработанном методе, уменьшающем вычислительные затраты модуля нейронных сетей и ускоряющем обработку информационного массива об объекте путем выбора необходимой группы нейронных сетей.

В третьей главе диссертационной работы рассмотрена архитектура модуля обработки входного изображения.

Предложена схема работы модуля выделения объектов по их цвету, основные этапы которой представлены на рисунке 7.

Результирующий алгоритм выделения объектов по цвету комбинирует уже разработанный ранее подход в области обнаружения контуров объектов на основе принципа цветоразности с авторским подходом к получению цветовой характеристики объекта в цветовом пространстве RGB для дальнейшего диагностирования (выделения) объекта на растровом изображении.

Проведены сравнения предложенного метода выделения контуров на основе цветоразности с алгоритмами на основе поиска модуля градиента яркости (18) с пороговым значением t (19).

Рисунок 7 - Структура модуля обработки входного изображения

\\ес:ш I VA(x, у) |< /; f\m,n) = { 1 v - " л 91

где f\m,n) - значение пикселя результирующего изображения, t - пороговое значение градиента модуля яркости, разбивающее результирующее изображение на фон и контур.

Использование цветового различия как альтернативного подхода к выделению контуров объектов на изображениях способствует качественному их выделению. На рисунке 8а показано исходное изображение (фрагмент из среды разработки Visual Studio) и результаты использования цветового отличия (рисунок 86), и поиска градиента яркости с оператором Собеля (рисунок 8в).

¿».si 1Э1Ч FW ¡Э|Ч гАЩ

''buttonl Clickiobject sender, EventAr

a) 6) в)

Рисунок 8 - Демонстрация выделения контуров цветовым отличием и по поиску градиента яркости

Для решения вопроса выбора порогового коэффициента и проблемы разрыва контуров разработан алгоритм (рисунок 9), включающий двухэтапное сканирование цветного изображения:

1 этап - определяются контуры объектов методом цветового отличия.

2 этап - определяются цветовые характеристики изображения внутри контура объекта, осуществляется выделение объекта по соответствующему цвету.

Данный алгоритм, основанный на двухэтапном сканировании цветового изображения, позволяет получить более полную информацию об объекте, что улучшает качество распознавания.

Процесс поворота объекта на растровом изображении предполагает работу с матрицами значений, где каждому элементу матрицы соответствует определенная точка (пиксель) исходного объекта, который необходимо

повернуть на заданный угол в зависимости от его пространственной ориентации и положения относительно оси Ох (рисунок 10).

г-< "—• >

Воюуат к yjjiy рПП1ГГЛ1?ЧИП

L -1--

^ Конец ^

Рисунок 9 - Алгоритм выделения объектов по цвету Ориентация определяется как угол в градусах между максимальной осью инерции и осыо X. Если иу>их, то угол поворота а вычисляется с помощью формулы:

180 Uv-Ux+C

а =-circle] —:--:-

л b[ 2U„

в противном случае угол а вычисляется как

180 ( 2 U„

а =-arete]-2-

к [U-U. + C

(20)

Наглядность процесса поворота представлена на рисунке 11. Для осуществления такого поворота необходимо произвести перерасчет значений матрицы по следующему правилу, для оси Ох:

Х(ср) =

10 0 0

0 со $<р вгп (р 0

0 -вт^р соэ^ 0

0 0 0 1

(22)

^Начало ^

Проход по X

X = —

N

—Проход по У 1

Й ч* II

180 иг~их+С) а =-агс>г\ —-

я 2 и...

180 2и„

а =-агсМ--"-

л I II -и +С \

х

Г Конец ^

Рисунок 10 - Алгоритм поворота объекта

V <;" \ Л -Л' ,

\ V-

Рисунок 11 — Поворот объекта В четвертой главе диссертационного исследования реализован модуль экспертной классификации с поддержкой нейронной сети: предложен алгоритм

взаимодействия экспертной системы и нейронных сетей, а также предложено использование альтернативной архитектуры нейронной сети.

При удачном распознавании объекта нейронная сеть формирует базу знаний об объекте и входные данные о взаимодействии других объектов. На рисунке 12 представлена модель взаимодействия нейронной сети и экспертной системы.

Рисунок 12- Взаимодействие нейронной сети с экспертной системой В экспертную систему подается вектор значений цвета Х={х1,х2, ...,х9) такое, что соответствует следующему описанию: хI - цвет объекта, х?- цвет объекта слева,

хз~ цвет объекта слева вверху и т.д. по рисунку 13.

+

х3 \ Х4 1 / Х5

*- *2 - XI — Хб >

/ 1 \

Хн х7

+

Рисунок 13 - Сканирование цветов вокруг объекта Введенный вектор значений определяет систему логических высказываний типа «ЕСЛИ - ТО, ИНАЧЕ», определяющую группу принадлежности объекта:

ЕСЛИ

(х,=уц)И (х2=уц) И (х3=уи) И (х4=уи) И (х5=у,5) М(х6=у16) И(х7=уп) И (Х8=ущ) И(хч=у,д) ТО,

где Х| 9 - входной вектор цветов, уп.ц - вектор цветов в базе знаний, 1 -соответствующий номер объекта в базе знаний, которому соответствует определенная группа.

Подобную систему (22) высказываний можно представить в виде:

где3=1 ..9, М--"М. 1

Коэффициент принадлежности определяет совпадение 100% из 100%, то есть привязка к группе произойдет в случае совпадения всего вектора значений, подаваемых для проверки, со значениями в базе знаний по правилам 23, 24.

Также база знаний хранит общую структуру доступа к нейронной сети (адрес сети), такой подход позволяет реализовать иерархическую структуру сети, что схематично представлено на рисунке 14.

Рисунок 14 - Иерархическое представление нейронных сетей

Модель модуля нейронных сетей системы распознавания графической информации можно отобразить, ссылаясь на теоретическое описание линейности структуры входных и выходных значений нейронной сети, как

зависимость выходного множества \у\ от входных параметров,

представленных множеством , таких, что можно отобразить системой (рисунок 15):

\{у])=Ях],х1,..,хт\] = \..т. (25)

Входные значения {х,},; = 1..л отображают временные ряды входных данных об объекте распознавания, выходные значения = /(я,,*„,),/ = !..ш функционально зависят от входных значений и отображают класс распознаваемого входного объекта.

У! Уз

Ут

Рисунок 15 - Модель модуля нейронных сетей Отсюда следует, что задача распознавания состоит в поиске решения функции /(*„,) и нахождения выходного вектора значений Х={у/,у2, —.Ут) от входного вектора значений Х= {х,,^,.,,,*„}, такого, что известно множество всех возможных переменных х,е [/,/= \..п, где и соответствует множеству (таблица 1):

и={иьик+1,...,ич}. Таблица 1 - Входные и выходные значения нейронной сети_

(26)

№п.п. объекта

Входные переменные х.

Х\

х2

Выходные переменные

Л-

Л.

2а,

Эталонное множество решения

РЧ

Ь;

ЬГ

Ь?

ь]

<1,

К.

К?

щ

ьц,

Разбиение единой сети на множество подсетей, каждая из которых отвечает за распознавание образа, относящегося к своему классу (рисунок 16), дополненная памятью состояний последних входов в сеть, позволяет добиться ускорения распознавания совокупности объектов, так как нет необходимости подавать изображения на все нейроны, а только на их группу.

а) группа 1

б) группа 2

Рисунок 16 - Группы принадлежат к разным классам Общая структура групповой нейронной сети представлена на рисунке 17.

Изображение

Группа2

а) иерархическое представление

б) абстрактное предс тавление выбора группы

ШШ - нейроны, - входной вектор значений,^вг - выходной вектор значений.

Рисунок 17 - Структурная организация выбора необходимой группы

нейронов

Топология представленной сети реализована таким образом, что в зависимости от выбранной группы активизируются те или другие нейроны. Если представить это на классической топологии нейронной сети с гремя группами нейронов и одним скрытым слоем, то в зависимости от ситуации появляются группы активных, либо спящих нейронов (рисунок 18).

I Входной Ртодпрн Прг.М»«уТПЧН11С Вшпдвпй

1 »актор едой скрыть» спои

ж

Щ 4

а)активировано 3 нейрона б)активировано 4 нейрона

Рисунок 18 - Реагирование нейронов в зависимости от выбранной группы

Алгоритм обучения в предлагаемом подходе заключается в том, что на каждую группу нейронов при обучении будут создаваться дублирующие весовые коэффициенты, отвечающие за стилистическую разновидность написания или отображения объекта (рисунок 19).

В сравнении с классическим обучением и изменением весовых коэффициентов, где, можно сказать, находятся общие закономерности написания или отображения объекта, предложенный подход позволяет не изменять нейронную группу и не вносить изменения в весовые коэффициенты отображения конкретного объекта. Разработанный подход позволяет повысить устойчивость к стилистическому различию объектов одного класса.

Одной из ключевых проблем при использовании нейронных сетей в задачах распознавания образов является проблема выбора поступающих данных на входы сети.

Предложено подавать на вход нейронной сети координаты объекта, а именно, их взаимное расположение. Такое взаимное расположение точек и их зависимость можно представить временным рядом (рисунок 20). Из представленных временных рядов видно сходство анализируемых цифр, одной написанной от руки, другой имеющей машинописный формат (рисунок 21). Нейронные сети позволяют находить взаимосвязи между временными рядами, но при этом сначала необходимо устранить тренд и перейти к инвариантному логарифм-дифференциальному представлению ряда:

При использовании предложенного подхода к подаче значений в нейронную сеть в процессе тестирования выявлены закономерности:

- при недостаточном обучении, система не воспринимала ни единого символа;

Рисунок 19 - Стилистическая разновидность написания объектов

Д/) = 1оё(/?(0/М'-1)-

(27)

- при умеренном количестве эпох обучения система качественно распознавала образы;

- достаточно одной разновидности обучаемой выборки эталонных значений, чтобы производить сопоставление с множеством объектов.

■ —» -................... ..

а) Инверсия координат х у для половинки б) Инверсия координат х у для половинки цифры «8», написанной от руки машинописной цифры «В»

Рисунок 20 - Временные ряды

88

Рисунок 21— Сравниваемые изображеиия

В пятой главе диссертационного исследования рассмотрены особенности программной реализации разработанных алгоритмов системы распознавания графической информации с интеллектуальной поддержкой. Обоснован выбор инструментальных средств для реализации алгоритмов и проведения экспериментальной части исследования.

В заключении приводится обобщение основных результатов диссертационного исследования.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ Основными научными результатами проведенного диссертационного исследования являются:

- теоретическое и практическое обоснование разработанных методологических подходов к процессу автоматизированного распознавания графической информации;

- разработка алгоритма: совместного взаимодействия выделения контуров на основе цветоразности и выделения объектов при помощи моделирования процесса константности цветовосприятия;

- взаимодействие предложенной архитектуры нейронной сети с экспертной системой классификации объектов по цвету.

Основные теоретические и практические результаты диссертационного исследования:

1. Проведен критический анализ теоретических методов и подходов, используемых в распознавании графической информации. Выявлены недостатки в практическом применении классических подходов, определены ключевые направления совершенствования методологического аппарата в исследуемой области.

2. Сформулированы ключевые проблемы процесса получения информации об объектах на изображении. Выявлена недостаточность использования яркостпых характеристик изображения для получения информации о контурах объекта распознавания.

3. Предложен альтернативный подход к процессу выделения контуров объектов на растровом изображении с использованием цветовых характеристик. Обосновано применение в предложенном подходе принципа цветового различия по формулам цветоразности комитета CIE.

4. Обоснован подход использования цветопостоянства восприятия при выделении объекта или группы объектов. Разработан алгоритм совместной работы определения контура объекта и выделения объектов по цвету. Продемонстрировано практическое преимущество использования предложенного алгоритма выделения объектов по цвету; решена проблема выделения контуров на цветном изображении с повышенным содержанием шума (удалось добиться практически 100% выделения объектов).

5. Реализована предобработка данных об объекте, которая позволяет автоматизировать посредством обучения процесс выделения ключевых признаков объекта нейронной сетью, что избавляет исследователя от поиска, обнаружения и предварительного определения его ключевых признаков, так как нейронная сеть

обучается выполнять это автоматически и к тому же автоматически находить зависимости между временными рядами отдельных признаков.

6. Предложен подход к построению группы нейронных сетей для классификации объектов по принципу структурного (лингвистического) иерархического описания. Повышена производительность работы нейронной сети за счет дополнительного классификатора и памяти прошлых состояний. Топология описанной иерархической группы нейронных сетей позволяет максимально быстро проводить распознавание объекта.

7. Разработан подход предварительной классификации объектов по сочетанию цветов у близстоящих объектов. Внедрение дополнительного экспертного классификатора повышает быстродействие общей системы.

8. Повышена точность распознавания графических объектов нейронной группой сетей за счет использования предложенного способа подачи входных данных.

9. Разработано программное обеспечение для экспериментального подтверждения предлагаемых методов и подходов.

СПИСОК ОПУБЛИКОВАННЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Малыхина М.П. Подготовка инновационного «человеческого потенциала» с применением Интеллектуальных систем / М.П. Малыхина, Д.А. Шичкин // Сборник научных трудов факультета КТАС КубГ'ГУ. Вып. 4 / сост. В.А. Атрощенко, Р.А. Дьяченко; под общ. ред. проф. В.А. Атрощенко; Кубанский государственный технологический университет; факультет КТАС. -Краснодар : Издательский Дом - Юг, 2011. - С. 56-58.

2. Малыхина М.П. Интеллектуальные базы данных в высшей школе / М.П. Малыхина, Д.А. Шичкин // Инновационные процессы в высшей школе : Материалы XVIII всероссийской научно-практической конференции. -Краснодар: Изд. ФГБОУ ВПО КубГТУ, 2012. - С. 207-208.

3. Шичкин Д.А. К вопросу выделения границ изображения в проблеме распознавания образов / М.П. Малыхина, Д.А. Шичкин // Материалы IX международной практической конференции «Актуальные достижения

ц п

европейской науки». - Болгария, София: Изд. «Бял Град-БГ» ООД, 2013г. -С. 66-70.

4. Шичкин Д.А. Аспекты практического применения цветового различия для распознавания и выделения границ изображений / М.П. Малыхина, Д.А. Шичкин // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №05(89). - IDA [article ID]: 0891304042. - URL: http://ej.kubagro.ru/2013/05/pdf/42.pdf. Дата обращения: 04.11.2013.

5. Шичкин Д.А. ИИ на основе мышления человека / М.П. Малыхина, Д.А. Шичкин // III Международная научно-практическая конференция молодых ученых, посвященная 52-й годовщине полета Ю.А. Гагарина в космос (12 апреля 2013 года) : сборник научных статей / М-во обороны Рос. Федерации, Фил. Воен. учеб.-науч. центра Военно-воздушных сил «Военно-воздушная академия им. профессора Н.Е. Жуковского и Ю.А. Гагарина». - Краснодар : Издательский Дом - Юг, 2013. - С. 394-395.

6. Шичкин Д.А. «Программный модуль для проведения анализа и исследования формулы цветового различия в выделении контуров объектов» / Д.А. Шичкин, М.П. Малыхина - № 2013618115; заявка № 2013615927 от 11 июля 2013; зарегистрировано в реестре программ для ЭВМ 30.08.2013.

Подписано в печать 19.11.2013. Печать трафаретная. Формат 60x84 '/i6. Усл. печ. л. 1,35. Тираж 100 экз. Заказ № 1005. ООО «Издательский Дом-Юг» 350072, г. Краснодар, ул. Московская 2, корп. «В», оф. В-120 тел. 8-918-41-50-571 e-mail: olfomenko@yandex.ru Сайт: http://id-yug.com

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ

ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «КУБАНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ

УНИВЕРСИТЕТ»

04201454807 На правах рукописи

Шичкин Дмитрий Александрович

МЕТОДЫ И РЕАЛИЗАЦИЯ КОМПЛЕКСНОГО ПОДХОДА К РАСПОЗНАВАНИЮ ГРАФИЧЕСКОЙ ИНФОРМАЦИИ С ИНТЕЛЛЕКТУАЛЬНОЙ ПОДДЕРЖКОЙ

05.13.01 - Системный анализ, управление и обработка информации (информационные и технические системы)

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: кандидат технических наук, профессор М.П. Малыхина

Краснодар 2013

Оглавление

Введение...................................................................................................................5

1 Исследование методологических аспектов распознавания графической информации............................................................................................................14

1.1 Структура систем распознавания графической информации.....................14

1.2 Анализ базовых подходов к распознаванию графической информации... 17

1.2.1 Оптический метод........................................................................................19

1.2.2 Контурный анализ........................................................................................21

1.2.3 Искусственные нейронные сети.................................................................24

1.3 Исследование направлений распознавания графической информации альтернативных базовым подходам....................................................................29

1.3.1 Анализ признаков как основное направление альтернативных методов.30

1.3.2 Структурные (лингвистические, синтаксические) методы распознавания33

1.3.3 Статистический подход в теории распознавания образов.......................35

1.3.3.1 Дискриминантный анализ........................................................................35

1.4 Основные проблемы разработки и реализации программных продуктов в области распознавания образов...........................................................................36

1.4.1 Проблема обучения систем распознавания и классификации объектов 37

1.4.2 Выбор и формирование значений для подачи в нейронную сеть, выбор нейронной сети......................................................................................................38

1.4.3 Ограниченность методов распознавания образов.....................................40

1.5 Постановка цели и задач исследования........................................................41

1.6 Выводы.............................................................................................................44

2 Системный подход к созданию комплексной системы распознавания графической информации.....................................................................................45

2.1 Общая схема комплексной системы распознавания графической информации............................................................................................................45

2.2 Подсистема анализа входного изображения, выделение контуров...........46

2.2.1 Выделение объекта бинаризацией..............................................................47

2.2.2 Отслеживающие алгоритмы........................................................................50

2.2.3 Поиск градиентов яркости, как основа обнаружения контуров объектов51

2.2.4 Модернизация выделения контуров...........................................................53

2.2.5 Соединение разорванных контуров............................................................59

2.3 Выделение объектов по цвету........................................................................61

2.4 Алгоритм процесса предварительной обработки объекта..........................63

2.4.1 Определение центра «тяжести»..................................................................63

2.4.2 Поворот объекта...........................................................................................64

2.4.3 Масштабирование объекта..........................................................................64

2.5 Подсистема определения объекта по базе правил взаимодействия с признаками.............................................................................................................67

2.6 Выводы.............................................................................................................68

3 Архитектура модуля обработки входного изображения................................70

3.1 Общая структура модуля обработки входного изображения.....................70

3.2 Алгоритм выделения контуров......................................................................71

3.3 Алгоритм выделения объектов......................................................................75

3.4 Предобработка объектов на входе нейронной сети.....................................85

3.5 Выводы.............................................................................................................87

4. Модуль экспертной классификации для поддержки нейронной сети.........88

4.1 Предварительная классификация экспертной системой.............................88

4.2 Модель модуля нейронных сетей..................................................................93

4.3 Структура построенной сети..........................................................................95

4.4 Входные значения, поступающие в нейронную сеть................................101

4.5 Выводы...........................................................................................................106

5 Программная реализация разработанных алгоритмов системы распознавания графической информации с интеллектуальной поддержкой 108

5.1 Выбор средств и платформ для реализации системы распознавания графической информации...................................................................................108

5.2 Оценка производительности использования разных платформ...............112

5.3 Проектирование нейронной сети с использованием GPU........................113

5.4 Проектирование нейронной сети с использованием CPU........................115

5.5 Программные модули экспериментальной оценки выделения контуров и анализа изменения цвета объекта......................................................................116

5.6 Программный модуль для работы с выделенными объектами................118

5.7 Выводы...........................................................................................................120

Заключение...........................................................................................................121

Список использованных источников................................................................125

Приложение А (справочное) Акт об использовании основных результатов

диссертационной работы в системе пропускного контроля...........................137

Приложение Б (справочное) Акт о внедрении результатов диссертационной

работы в учебный процесс КубГТУ..................................................................138

Приложение В (справочное) Свидетельство о государственной регистрации

программы для ЭВМ № 2013618115 от 30.08.2013 г.......................................139

Приложение Г (обязательное) Демонстрация множественной зависимости

компонентов цвета модели RGB........................................................................140

Приложение Д (обязательное) Измерения цвета объектов в модели RGB... 141 Приложение Е (обязательное) Демонстрационный графический материал изменения цвета...................................................................................................142

Введение

Актуальность темы. Способность осязать и распознавать - основная характеристика животного мира, вершиной которого и является человек, наиболее продуктивный плод природы. Распознавание связано с представлением (описанием) свойств объекта, то есть с его образом. В каждую секунду человек совершает действия по распознаванию. Мы воспринимаем совокупность свойств окружающих нас объектов и в соответствии с этим можем совершать какие-либо действия, например, перемещаться. Мы можем узнать в толпе знакомого и понять, что он говорит, можем узнать голос друга, прочитать рукописное письмо, можем отличить милую улыбку от злобной гримасы. Человек представляет собой сложнейшую информационную систему, и в определенной степени этому способствуют прекрасно развитые способности распознавать образы.

Разрешение проблем распознавания - это необходимая составляющая взаимодействия человека с внешней средой. С развитием научно-технического прогресса и достижений технической мысли все чаще для решения различных задач распознавания применяются средства вычислительной техники и более того, решаются такие задачи, которые четверть века назад решить не представлялось никакой возможности.

Автоматизированное распознавание графической информации интересовало человечество с момента появления первых информационных систем, со времен появления графической информации и интерпретации представления о ней [36]. Многие ученные, такие, как: Torsten Nils Wiesel, David H. Hubel, Ян ЛеКун, Фрэнк Розенблатт, Р. Дуда, П. Хард и др., пытались объективно ее классифицировать, итогом чего являлись разные математические модели, аппаратно логические устройства, программные комплексы [26; 54; 61; 79; 80; 96; 103; 104]. Научные исследования привели к проблеме выделения направления, касающегося распознавания графической информации [18; 47; 59; 61; 77]. В результате развития научной мысли при

разрешении терминологической и методологической проблемы выделялись основные направления распознавания, впоследствии подобный род задач начали относить к кибернетике [17; 20; 28; 66; 67].

Проблема терминологии в области распознавания привлекает внимание специалистов [47; 82]. Разработка четкого алгоритма и программы распознавания образов для вычислительных машин - первоочередная задача современной науки. Без точного понятийного аппарата решение данной задачи невозможно.

Существующие «белые пятна» в практическом применении теоретических основ распознавания графической информации заставляют исследователей находить современные и высокоэффективные решения. На сегодняшнем этапе развития данного научного направления остаются нерешенными проблемы:

- качественного выделения контуров;

- автоматизированного выделения объектов;

- вариабельности пространственного расположения объектов и их распознавания;

- практического применения методологических разработок в распознавании графической информации;

- качественной классификации объектов распознавания.

Большую значимость в решении указанных проблем приобретает

использование высоконаучных разработок, включающих применение искусственных нейронных сетей.

Процесс распознавания осуществляется любой системой в соответствии со следующими функциями:

- определение ключевых значимых признаков;

- произведение обработки;

- выявление решающих правил или решающего правила.

При этом базы правил, признаков, эталонных образов либо задаются извне, либо формируются системой самостоятельно. Создание систем,

способных к самообучению при помощи нейронных связей - еще одно направление современных разработок в области распознавания графической информации.

Быстро развивающаяся инфраструктура народного хозяйства заметно увеличивает поток графической информации, которая нуждается в обработке. Запросы на такую обработку информации исходят из разных сфер науки, промышленности и даже военных учреждений. В условиях современной жесткой конкуренции, качество и скорость распознавания образов, объектов, символьного текста становится дополнительным конкурентным преимуществом: от качественной и скоростной обработки графической информации зависит благосостояние организаций и постоянный экономический прирост, приобретается простота прогнозирования развития предприятия и его качественное развитие.

Проведенный критический анализ существующих разработок в научном направлении распознавания графической информации позволил сделать вывод о разнообразии существующих подходов к разрешению выявленных проблем, о несогласованности понятийного аппарата исследований, который к тому же требует дополнительной систематизации и классификации в решении задач. Приведенные аргументы способствовали актуализации выбора тематики диссертационного исследования.

Объект исследования: процесс получения, обработки и анализа графической информации с целью систематизации и классификации объектов, отображенных на растровом изображении.

Предмет исследования: совокупность алгоритмов, методов, математического и программного обеспечения с поддержкой интеллектуальных систем для решения проблем в области распознавания графической информации.

Диссертационное исследование направлено на создание комплекса методов и подходов для решения проблем распознавания графической информации средствами ЭВМ с применением интеллектуальных систем,

основанных на экспертной классификации и классификации с помощью нейронных сетей.

Целью диссертационной работы является разработка комплексного подхода для решения проблем эффективного и качественного распознавания графической информации с учетом исследования смежных областей науки, изучающих принципы восприятия объектов человеком, включающего разработку и использование новых подходов и методов для анализа графических массивов данных, использование нейронных сетей и экспертных систем.

Для достижения цели в работе поставлены следующие задачи исследования:

- анализ наиболее часто используемых методов выделения объектов на изображении;

- анализ способов, подходов и новых направлений распознавания графической информации;

- исследование интеллектуальных технологий, применяемых в решении проблем распознавания;

- теоретическое обоснование математических моделей, применяемых в системе;

- обоснование выбора программных средств и инструментов для проведения анализа и решения проблемы распознавания образов;

- разработка комплекса алгоритмов получения изображения, выделения контуров и объектов по цвету;

- разработка новой архитектуры нейронной сети и алгоритма ее взаимодействия с экспертной системой;

- исследование эффективности применения разработанных методов и способов с интеллектуальной поддержкой для решения задач распознавания графической информации.

Методы исследования. Исследование проведено с использованием статистического анализа, системного анализа, абстрактно-логического

метода, алгоритмизации, моделирования, оптимизации, нейронных сетей, экспертных систем. Экспериментальная часть работы проводилась с использованием пакета Statistica и языка программирования высокого уровня в среде Microsoft Visual Studio с использованием технологии CUDA.

Достоверность научных результатов диссертационного исследования подтверждена приведенным теоретическим описанием, использованием математического аппарата, приведением результатов экспериментального тестирования разработанных методов и алгоритмов.

Научная новизна работы заключается в создании нового комплексного подхода к процессу распознавания графической информации, базирующегося на разработанных инновационных подходах и методах к выделению контура и объекта на растровом изображении и разработанной архитектуре нейронной сети, взаимодействующей с экспертной системой. Разработанные подходы и алгоритмы апробированы, реализованы для решения проблем, возникающих в распознавании графической информации, отображенной на растровых изображениях.

Практическая ценность работы. Предложенные в диссертационном исследовании подходы и методы к распознаванию графической информации, внедрены в модули программного обеспечения системы карточного пропускного контроля ООО «РН-Краснодарнефтегаз», что повысило эффективность пропускного контроля общей системы охраны предприятия выявлением нарушителей. Результативность внедрения оценена специалистами предприятия на профессиональном уровне, дано заключение о целесообразности рассмотрения вопроса использования разработанных модулей в системе пропускного контроля для повышения безопасности объектов.

Интеллектуальные методы и алгоритмы обработки графической информации, разработанные в диссертационном исследовании, применены в учебном процессе ФГБОУ ВПО «Кубанский государственный технологический университет». Алгоритмическое и программное

обеспечение гибридной интеллектуальной системы на базе экспертной системы и нейронной сети используется для распознавания и обработки графической информации при проведении лабораторных работ в процессе изучения дисциплин «Базы данных» для направления 231000.62 (обработка данных типа image) и «Интеллектуальные базы данных» для направления 231000.68 (статистическая обработка информации хранилищ данных).

Акты об использовании и применении научных результатов диссертационной работы представлены в Приложении А и Б.

Апробация работы. Основные положения диссертационного исследования апробированы на научных конференциях молодых ученых и студентов: «III Международная научно-практическая конференция молодых ученых, посвященная 52-й годовщине полета Ю.А. Гагарина в космос», «Научные труды факультета КТАС КубГТУ», Всероссийской научной конференции «Инновационные процессы в высшей школе» (Краснодар, 2010).

Опубликовано 5 работ, из них 1 статья в рецензируемом журнале из перечня ВАК при Минобрнауки России, доклад на IX международной практической конференции «Актуальные достижения европейской науки», 3 тезиса докладов на представленных выше конференциях.

Получено свидетельство о государственной регистрации программы для ЭВМ № 2013618115 от 30.08.2013 г. «Программный модуль для проведения анализа и исследования формулы цветового различия в выделении контуров объектов», по заявке № 2013615927 от 11 июля 2013 года (Приложение В).

Основные положения, выносимые на защиту:

- принцип выделения контуров по цветовому различию;

- модель константности цветового восприятия;

- алгоритм выделения объектов по цвету;

- архитектура предложенного функционирования нейронной сети;

- использование входных значений нейронной сети в виде в