автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и алгоритмы локализации изображений маркировки промышленных изделий на основе рекуррентного поиска усредненного максимума

На правах рукописи

АСТАФЬЕВ АЛЕКСАНДР ВЛАДИМИРОВИЧ

МЕТОДЫ И АЛГОРИТМЫ ЛОКАЛИЗАЦИИ ИЗОБРАЖЕНИЙ МАРКИРОВКИ ПРОМЫШЛЕННЫХ ИЗДЕЛИЙ НА ОСНОВЕ РЕКУРРЕНТНОГО ПОИСКА УСРЕДНЕННОГО МАКСИМУМА

Специальность: 05.13.01 — Системный анализ, управление и обработка информации (в науке и промышленности)

АВТОРЕФЕРАТ диссертации на соискание ученой степени ' 0 '2015

кандидата технических наук

2015

005568868

005568868

Работа выполнена на кафедре Физики и прикладной математики в Муромском институте (филиале) федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».

Научный руководитель доктор технических наук, доцент Орлов Алексей Александрович.

Официальные оппоненты:

Приоров Андрей Леонидович, доктор технических наук, доцент кафедры «динамики электронных систем», ФГБОУ ВПО «Ярославский государственный университет им. П.Г. Демидова», г. Ярославль;

Гай Василий Евгеньевич, кандидат технических наук, доцент кафедры «Вычислительные системы и технологии», ФГБОУ ВПО «Нижегородский государственный технический университет им. P.E. Алексеева».

Ведущая организация ФГБОУ ВПО «Юго-Западный государственный университет», г. Курск, Курская область.

Защита состоится 18 июня 2015 г. в 13:00 часов на заседании диссертационного совета Д 212.165.05, созданного на базе ФГБОУ ВПО «Нижегородский государственный технический университет им. P.E. Алексеева», адрес: 603950, г. Нижний Новгород, ул. Минина, 24.

С диссертацией можно ознакомиться в научной библиотеке и на сайте НГТУ http://nntu.ru/content/aspirantora-i-doltforantura/dissertacii. Автореферат диссертации размещен на сайте ВАК http://vak.ed.gov.ru. Автореферат разослан «¿¿г » ¡\~Х 2015 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, направлять по адресу университета: 603950, г. Нижний Новгород, ул. Минина, 24, НГТУ, ученому секретарю диссертационного совета Д 212.165.05.

Ученый секретарь диссертационного совета

A.C. Суркова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В настоящее время, в связи с необходимостью развития промышленности, требуется введение новых наукоемких технологий по контролю движения продукции. Реализация такого контроля возможна с помощью внедрения систем автоматической идентификации и распознавания. От степени совершенства работы системы контроля движения продукции зависит эффективность производства в целом. Поэтому решение задач управления на промышленных предприятиях, состоящих в разработке новых и совершенствовании существующих методов и средств обработки информации, с целью повышения эффективности систем контроля движения продукции имеет важное значение.

Для контроля движения продукции используются маркировки промышленных изделий. На новейших промышленных предприятиях контроль движения продукции осуществляется специализированными средствами - системами автоматической идентификации маркировки (САИМ). Основная сложность при использовании СА-ИМ заключается в задаче локализации промышленной продукции, которую усложняют наличие неравномерной освещенности и резкости (засвечивание изображения искусственным и солнечным светом, неверная настройка фокуса), присутствие шумов и размытий, а также образов производственных сооружений и агрегатов. Автоматизация этой сферы деятельности является мало проработанной и, зачастую, выполняется вручную

Большой вклад в развитие методов обработки и локализации изображений внесли Сойфер В.А., Прэтт У.К., Ярославский Л.П., Садыков С.С., Визильтер Ю.В., Васин Ю.Г., Утробин В.А., Приоров А.Л., Фурман Я.А., Дворкович В.П., Дворкович A.B., Ересько Ю.Н., Моттль В.В., Гонсалес P., Sloan A., Crownover R., Vrscay Е., Peng F., Davis G., Freeman G., Lin H., Kaplan M., Keller M., Varma M., Barnsley M., Ghazel M., Zmeäkal О., Sarkar N., Suzuki Y. и другие.

В настоящее время для локализации объектов на цифровых изображениях используются такие методы как скользящее окно, «сумка визуальных слов», SIFT, SURF, Viola Jones и многие другие. Однако существующие методы и алгоритмы не адаптированы для локализации промышленной продукции, т.к. зачастую предназначены для идентификации изображений в сфере сервиса и безопасности. Применение существующих методов локализации промышленных изделий не обеспечивают заданную оперативность и достоверность результата локализации маркировок.

Таким образом, разработка новых методов и алгоритмов локализации маркировок промышленных изделий является актуальной научно-технической задачей.

Цель работы: разработка методов и алгоритмов локализации штрих-кодовых и символьных маркировок на основе рекуррентного поиска усредненного максимума для повышения достоверности и оперативности идентификации промышленной продукции.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Обзор и анализ систем и методов локализации объектов на изображениях.

2. Разработка методов и алгоритмов локализации маркировок промышленных изделий.

3. Экспериментальные исследования разработанных алгоритмов.

Объект исследований. Системы и средства идентификации маркировок промышленных изделий на производственных сценах.

Предмет исследований. Методы и алгоритмы обнаружения и локализации изображений маркировок промышленных изделий на производственных сценах. \

Достоверность н обоснованность обусловлена тем, что:

- в ходе экспериментальных исследований использовалось сертифицированное оборудование фирм Basler, Beward, Siemens, Computar, Lilin, Samsung и Lenovo; полученные результаты могут быть воспроизведены в различных условиях производства, что показано на примере металлопрокатного комплекса СТАН 5000, ОАО «Вы-ксунский металлургический завод», г. Выкса;

- теоретическое исследование основано на проверяемых данных с применением теории эксперимента, теории вероятностей, теории множеств, теории моделирования, теории программирования и согласуется с опубликованными в журналах ВАК и РИНЦ экспериментальными данными по теме диссертации;

- использованы сравнения авторских данных, и данных, полученных ранее по рассматриваемой тематике на складе металлопрокатного комплекса СТАН 5000, ОАО «Выксунский металлургический завод», г. Выкса;

- установлено качественное и количественное совпадение авторских результатов с результатами, полученными в ходе имитационного моделирования процесса при непосредственных измерениях с использованием сертифицированных приборов;

- использованы современные методики сбора и обработки исходной информации, а также новейшие способы и средства хранения информации с применением средств вычислительной техники.

Научная новизна работы:

1. Разработаны методы и алгоритмы локализации, отличающиеся:

- использованием рекуррентного поиска усредненного максимума;

- применением дополнительной метки;

обеспечивающие повышение оперативности и достоверности локализации маркировок промышленных изделий на сценах производственных площадей.

2. Предложен алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий в отличие от существующих оперативно идентифицировать промышленные изделия.

3. Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки.

На защиту выносятся следующие результаты:

1. Алгоритмы обнаружения и локализации маркировок промышленных изделий, обеспечивающие повышение скорости работы и достоверности локализации изображений в системах контроля движения продукции.

2. Алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации.

3. Методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации.

4. Результаты исследований разработанных алгоритмов.

5. Результаты внедрения разработанных алгоритмов на промышленных предприятиях.

Теоретическая значимость исследования обоснована тем, что:

- применительно к задаче диссертации результативно использованы комплексы базовых методов теорий цифровой обработки изображений, распознавания образов, математической статистики;

- изложены новые алгоритмы локализации маркировок промышленных изделий на цифровых изображениях;

- установлено отсутствие эффективных подходов, алгоритмов и систем цифровой обработки изображений, позволяющих решить задачу локализации маркировок промышленных изделий;

- изучены применительно к задачам диссертации методы цифровой обработки изображений и распознавания образов.

Практическая значимость:

- разработаны и внедрены алгоритмы локализации изображений промышленных изделий, обеспечивающие оперативный контроль движения металлопрокатных заготовок на промышленном предприятии ОАО «Выксунский металлургический завод», что подтверждается соответствующим актом;

- определена область практического использования разработанных алгоритмов при создании промышленных систем автоматической локализации промышленных изделий;

- созданы практические рекомендации по составу технических средств системы автоматической идентификации промышленных изделий;

- представлены методические рекомендации по настройке системы автоматической локализации промышленных изделий.

Реализация и внедрение работы. Теоретические и прикладные результаты диссертационной работы внедрены на складе слябов и заготовок ОАО «Выксунский металлургический завод» для идентификации металлопрокатных заготовок и хоздоговорной НИР №425/11 «Разработка, изготовление, поставка и пусконаладочные работы программного обеспечения системы автоматической идентификации маркировки слябов на складе слябов и заготовок толстолистового прокатного стана ОАО «Выксунский металлургический завод».

Апробация результатов работы. Результаты работы получены автором при выполнении: грантов РФФИ № 13-07-00825 А «Теория наследственности и изменчивости признаков на последовательностях цифровых изображений и ее применение в системах технического зрения» и № 13-07-00845 А «Система и технология идентификации маркировки по последовательности разноракурсных изображений»; гранта УМНИК 2012-2013 «Разработка системы автоматической идентификации промышленной продукции на основе анализа изображений с управляемых видеодатчиков».

Диссертационная работа и отдельные ее части докладывались и обсуждались на международной конференции «Распознавание 2013» (ЮЗГУ, г. Курск, 2013), международной конференции «Техническое зрение в системах управления» (ИКИ РАН, г. Москва, 2013), международной конференции «Математические методы распознавания образов» (г. Казань, 2013), международной конференции «Актуальные вопросы развития современной науки, техники и технологий» (НИИРРР, г. Москва, 2011), международной конференции «Перспективы развития информационных технологий» (НГТУ, г. Новосибирск, 2011), на расширенном заседании кафедры «Физика и прикладная математика» (МИ ВлГУ, г. Муром, 2014), а также других всероссийских и региональных конференциях.

Публикации. По теме диссертационной работы опубликованы 20 работ, б из которых в журналах, входящих в перечень ВАК.

Свидетельства о регистрации полезных моделей и программ для ЭВМ.

1. Астафьев A.B., Орлов A.A., Привезенцев Д.Г., Провоторов A.B., Свидетельство РФ на программу на ЭВМ 2014 №2014614574 от 29.04.2014 «Программа локализации метки на изображении».

2. Астафьев A.B., Орлов A.A., Привезенцев Д.Г., Провоторов A.B., Свидетельство РФ на программу на ЭВМ 2014 №2014614944 от 14.03.2014 «Система автоматической идентификации маркировки».

Личный вклад. Все выносимые на защиту результаты и положения, составляющие основное содержание диссертационной работы, разработаны и получены лично автором или при его непосредственном участии. Описание алгоритмов локализации, основанных на рекуррентном поиске усредненного максимума представлено в статьях [2, 3, 4, 6, 7, 9, 10, 11,12]. Алгоритм локализации с использованием дополнительной метки описан в работах [1, 16, 18]. Алгоритм локализации с использованием двумерного подхода описан в статьях [5,17].

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы научная задача, цель и задачи исследования, приведены результаты, выносимые на защиту. Дана аннотация диссертационной работы.

В первой главе проведен обзор литературы по теме диссертационной работы, позволяющий определить основные требования, предъявляемые к процессу локализации. Проведен анализ методов нанесения промышленной маркировки, позволяющий определить основные особенности их структуры. Проведен анализ существующих систем локализации на примере систем распознавания автомобильных номеров, железнодорожных вагонов и лиц, который позволил определить основные требования, предъявляемые к системам локализации. Проведен обзор и анализ существующих алгоритмов и методов локализации объектов на цифровых изображениях, позволяющий определить основные ограничения по времени работы и достоверности алгоритмов локализации.

Определены цель и задачи диссертационной работы, направленные на разработку алгоритмов локализации изображений маркировок промышленных изделий с использованием структурных и морфологических признаков и исследование возможностей их применения в практических производственных задачах.

Во второй главе предлагаются алгоритмы локализации изображений маркировок промышленных изделий, полученные с помощью разработанной модели, основанные на рекуррентном поиске усредненного максимума.

Математическая модель изображения маркировки промышленного изделия. С целью акцентирования внимания на локализацию маркировки промышленного изделия на цифровом изображении необходимо охарактеризовать область промышленной маркировки. В разработанной математической модели область промышленного маркера характеризуется следующими признаками:

1. Яркостная составляющая маркировки.

2. Текстурная составляющая маркировки.

3. Геометрическая составляющая маркировки.

4. Цветовая составляющая маркировки.

5. Составляющая фона.

Математическую модель можно представить следующим образом (Рисунок 1): f{x, у) = а(х - х0,у - j0) + р(х,у), (1)

а(х v) = 0 < .Г < 71. О < у < 7R

I О, иначе

(2)

V п.

а Маркировка m

Шо ft х

Рисунок 1 - Схема формирования математической модели изображения маркировки промышленного изделия

где Хо - координата начала маркировки по оси X, уо - координата начала маркировки по оси Y, п - ширина маркировки, ш - высота маркировки, а - изображение маркировки, ß - изображение фона, у - функция признаков маркировки промышленного изделия, принимающая значения яркосгных, цветовых и текстурных признаков. Для разработки алгоритмов локализации на основе рекуррентного поиска усредненного максимума было разработано математическое описание этого метода.

Пусть <р(х) - это функция яркости изображения, тогда для локализации промышленной маркировки рекуррентным поиском усредненного максимума необходимо выполнить следующие математические операции.

На первом этапе в непрерывном пространстве необходимо проинтегрировать функцию <р(х) для получения графика о(х), на котором рост функции а(х) будет означать высокую яркость данного участка изображения (Рисунок 2).

<*(*)= /оФ(х)Л. (3)

На втором этапе строится функция р(х), максимум которой означает наличие производственной маркировки на данном участке функции (Рисунок 2).

PCO = g(jc + h) - 0(.г). (4)

Результатом работы алгоритма является координата точки х0, в которой значение результирующей функции р(х) максимально. Соответственно Хо является координатой локализуемого объекта.

В дискретном пространстве исходная функция представлена в виде массива F, и усредненный максимум х0 находится по формулам:

График функции д(х)

График функции р[х)

Рисунок 2 - этапы рекуррентного поиска усредненного максимума

Р, = Gt+h - Gt, (6)

PXo = maxtPt. (7)

Для увеличения быстродействия реализация данных формул возможна рекуррентным способом. В рекуррентном виде координата х0 определяется как:

^-Fi+FJ-i. (8)

FXa — шах ¡Fe (Ю)

Алгоритм локализации на основе анализа всплесков яркости. Основной принцип, положенный в основу алгоритма заключается в том, что он производит поиск самых ярких областей маркера и сглаживает график яркости при помощи поиска производной первого порядка.

С целью повышения быстродействия алгоритма было предложено заменить трудоемкие операции, используемые в существующих алгоритмах, на более простые операции одномерного интегрирования и дифференцирования. Для решения этой задачи разработан алгоритм локализации на основе анализа всплесков яркости.

Пусть f(x,y) ^ это функция яркости изображения, тогда для локализации промышленной маркировки рекуррентным поиском усредненного максимума необходимо выполнить следующие математические операции.

Предлагаемый алгоритм можно представить в виде последовательности следующих шагов:

На первом этапе в непрерывном пространстве производится дифференцирование функции f^x, у) для получения функции г(х, у) - функции всплесков яркости изображения.

r(x,v) = (11)

~ 1 dx I

На втором этапе необходимо проинтегрировать функцию г(х, у) для получения функции g(x, у), на которой рост показателя будет означать высокое значение перепада яркости на заданном участке изображения.

Ф.У) = £r(x.y)dt. (12)

На третьем этапе строится функция р(х, у), максимум которой означает наличие локализуемой маркировки на данном участке функции.

р(х.}0 = д(х + /t,y) -д(х,у)- (13)

Результатом работы алгоритма являются координаты точки х0, Уо, в которой значение результирующей функции р(х,у) максимально. Соответственно эта координата является точкой местоположения локализуемого объекта.

Fx0.y0 = тахЧ (14)

В дискретном пространстве исходная функция представлена в виде массива F, и координаты Хо, уо определяются по формулам:

R4. (16)

~ Gi +h.j ~ Gi.j > 07)

PXo.ya=m^i4P4. (18)

В рекуррентном виде для нахождения координат х0, Уо массив F преобразуется по формулам:

Fu} = \Fi+XJ-F41, (19)

= + (20) Г,, (21)

£оЛ) = шах (22)

Алгоритм локализации на основе цветовых признаков. Целью разработки алгоритма является создание эффективного инструмента локализации изображения маркировки промышленного изделия на основе использования цветовых параметров маркировки.

Разработка алгоритма основана на том, что каждая маркировка, используемая в производственных целях имеет свою индивидуальную цветовую палитру. К примеру, штрих-коды могут использовать желтый, оранжевый, синий, красный и другие цвета.

При анализе производственных изображений предполагается использовать алгоритм сравнения цветовых данных входного цифрового изображения с эталоном.

Пусть А^х.у) — это функция цветового фона изображения вектора НБВ, тогда разработанный алгоритм локализации можно представить в виде последовательности следующих действий.

Разработанный алгоритм локализации можно представить в виде последовательности следующих действий:

На первом этапе в непрерывном пространстве, в соответствии с размерами входного изображения, строится функция отклонений цветовых параметров от эталона г(х, у):

Г(ху) = тС1 -\eCl- Пх.у-) |, (23)

где, тС1 - максимальное значение цветового фона по вектору НБВ, еС1 - цвет-эталон, описанный значением цветового тона вектора НБВ.

На втором этапе необходимо проинтегрировать функцию г(х, у) для получения функции g(x, у), на которой рост показателя будет означать степень совпадения показателя текущего цветового фона с эталонным на заданном участке изображения (12).

На третьем этапе строится функция р(х, у), максимум которой означает наличие локализуемой маркировки на данном участке функции (13).

Результатом работы алгоритма являются координаты точки хо, уо, в которой значение результирующей функции р(х,у) максимально. Соответственно эта координата является точкой местоположения локализуемого объекта (14).

В дискретном пространстве исходная функция представлена в виде массива Р, и координаты хо, уо определяются по формулам (16), (17), (18):

Иц = тС1 - \еС1 — (24)

В рекуррентном виде для определения координат х0, уо массив И преобразуется по формулам (20), (21), (22):

К(</ := тС1 - | еС1- Гч |. (25)

Алгоритм локализации на основе текстурных признаков. Целью разработки алгоритма является создание эффективного инструмента локализации изображений маркировок промышленных изделий с повторяющимися текстурами.

Пусть Г(х,у) — это функция яркости изображения, а Ь - размер повторяющейся текстуры, тогда для локализации промышленной маркировки рекуррентным поиском усредненного максимума необходимо выполнить следующие математические операции.

На первом этапе в непрерывном пространстве вычисляется функция г(х, у) путем вычитания функции f[x, у) из нее самой, но со «сдвигом» по горизонтали на ширину текстурного признака:

где h - размер повторяющейся текстуры.

На втором этапе необходимо проинтегрировать функцию г(х, у) для получения функции g(x, у), на которой рост показателя будет означать рост показателя яркости на заданном участке изображения (12).

На третьем этапе строится функция р(х, у), максимум которой определяет местоположение локализуемой маркировки на данном участке функции (13).

Результатом работы алгоритма являются координаты точки хо, Уо, в которой значение результирующей функции р(х,у) максимально. Соответственно эта координата является точкой местоположения локализуемого объекта (14).

Результатом работы алгоритма являются координаты точки хо, Уо, в которой значение результирующей функции р(х,у) максимально. Соответственно эта координата является точкой местоположения локализуемого объекта.

В дискретном пространстве исходная функция представлена в виде массива F, и

координаты х0, уо определяются по формулам (16), (17), (18):

Rt.j = \Fi+l.j-Fi.j\- (27>

В рекуррентном виде для определения координат Хо, Уо массив F преобразуется по формулам (20), (21), (22):

Fi.i-= (28)

Метод локализации с использованием дополнительной метки.

В случаях, когда использование существующих алгоритмов является не эффективным в виду сложности фона или нагроможденное™ изображения объектами, похожими по своим признакам на маркировку предлагается использовать дополнительную метку, которую легко однозначно локализовать. Использование дополнительной метки позволяет определить потенциальное местоположение маркировки, и тем самым, ограничить область поиска для повышения эффективности существующих алгоритмов.

Выбор дополнительной метки основан на том, что изображение в виде чередующихся белых и черных полос редко встречается на изображениях в промышленности. В случае его совпадения с фоновым изображением возможно использование других текстур или цветных меток.

Принцип работы метода локализации изображения маркировки промышленного изделия с использованием дополнительной метки можно представить в виде следующей последовательности действий (Рисунок 3):

1. Обнаружение дополнительной метки с использование существующих алгоритмов локализации.

2. Определение области потенциального местоположения маркировки.

3. Локализация маркировки с помощью соответствующего алгоритма локализации в области потенциального местоположения маркировки.

Для определения область локализации промышленной маркировки необходимо рассчитать ее координаты в соответствии со сдвигами, предусмотренными техническим процессом.

Фом

Область потенциального расположения маркировии

Перевозимый груз

Маркировка

Транспортирующее устройство

Рисунок 3 - пример расположения дополнительной метки

Для того чтобы ограничить область для локализации используются следующие соотношения:

Х1 = Х0 — АХ1? ^ =Г0-ДУ1> Х2 ~ ^о Д.Х 2» У2=У0 + ДУ2.

где (Хь УО и (Х2, У2) - крайние точки области потенциального расположения маркировки;

(Х0> Уо) - координаты дополнительной метки;

ДХь ДХг, ДУ1, ДУ2 - значение сдвигов по осям ОХ и ОУ.

Алгоритм локализации на основе двухмерного усреднения. Целью разработки алгоритма является создание инструмента для локализации маркировок в сложных производственных условиях. В случаях, когда известны размеры локализуемой маркировки промышленного изделия и использование одномерного алгоритма локализации не достигает необходимой точности, возможно применение этого же алгоритма по второй оси на уже обработанном изображении. Использование дополнительной оси для локализации позволяет конкретизировать местоположение локализуемой маркировки.

Неточность вычисления входных параметров или искажение получаемого изображения может привести к попаданию ложных вхождений (Рисунок 4 б). Если применить алгоритм по второй оси изображения, то нужная область локализации будет более сгруппирована, а ложные вложения будут проигнорированы (Рисунок 4 в).

Предлагаемый алгоритм можно представить в виде последовательности следующих шагов:

На первом этапе с! непрерывном пространстве необходимо проинтегрировать функцию Дх, у) по оси Ох для получения функции gx(x, у), на которой рост показателя будет означать высокое значение яркости на заданном участке изображения.

дх(х,у) = /0Я>,у)Л.

На втором этапе строится функция рх(х, у), максимум которой определяет предполагаемое местоположение локализуемой маркировки на данном участке функции.

рх = дх(х 4- кд.,у) - дх{х,у). На третьем этапе необходимо проинтегрировать функцию рх(х, у) по оси Оу дл5 получения функции g*x(x, у), на которой рост показателя будет означать высокое значение яркости на заданном участке обработанного изображения.

д'у(х.У) = /¿Рх(х>У)&-На четвертом этапе строится функция р(х, у), максимум которой определяет предполагаемое местоположение локализуемой маркировки на данном участю функции.

р(х,у) = ду(х,у + ку) - д'у(х,у).

в

а б в

Рисунок 4 - пример работы алгоритма локализации на основе двумерного подхода

В дискретном пространстве массив Р рассчитывается по формулам:

С к.у = £¡=0

п- = у« рх

Х,п X,]'

РХ,} - Сх.1+ку

Методика настройки системы локализации. Для обеспечения удобства настройки системы на работу с маркировками была создана методика настройки системь локализации на признаки, характеризующие выбранную маркировку с использовани ем методов системного анализа. Схема методики представлена на рисунке 5.

Рисунок 5 - схема методики настройки системы локализации на признаки маркировки промышленного изделия

В случаях сложного производственного фона возможно использование дополнительной метки, для ограничения границ поиска промышленной маркировки и исключения из зоны поиска ложных целей. Также возможно использование алгоритма двумерного подхода, для исключения ложных вхождений при наличии сложного фона и объектов, схожих по своим признакам с локализуемым.

Алгоритм управления системой автоматической идентификации маркировки. Целью разработки данного алгоритма является создание эффективного инструмента наведения видеодатчиков на маркировку промышленного изделия, основанного на алгоритмах локализации маркировок на цифровых изображениях.

Схема локализации области маркера можно описать следующей последовательностью этапов.

1. Измерительные устройства формируют сигналы координат груза относительно склада, положения видеодатчика и изображения с видеодатчика.

2. Полученные сигналы преобразуются в координаты относительно крана и углы наклона видеодатчика.

3. С помощью алгоритмов локализации определяются координаты местоположения груза на полученном изображении.

4. На основе анализа текущего положения груза и изображения полученного с видеодатчика, формируется управляющая команда, описывающая величину смещения видеодатчика в сторону местоположения маркировки.

4. Видеодатчик принимает управляющие сигналы, которые преобразует в механическое воздействие.

5. Положение видеодатчика изменяется в пределах механического воздействия, после чего измерительные устройства получают обновленную информацию от датчиков.

Процесс повторяется до тех пор, пока устройство управления не подаст сигнал о том, что положение объекта управления находится в расчетном положении в рамках установленной погрешности, так как полное достижение расчетного состояния невозможно, в силу влияния на устройства в реальной среде возмущающих воздействий и ограниченной точности измерительных датчиков.

В третьей главе приведены результаты практического применения разработанных алгоритмов и приведены результаты сравнительных анализов существующих и разработанных алгоритмов.

Описание лабораторной установки. Лабораторная установка является физической моделью системы локализации изображения маркировки промышленного изделия. На установке моделируется процесс цифровой локализации маркировки на изображениях рассматриваемой предметной области, для экспериментальной проверки работоспособности алгоритмов. Цель моделирования заключается в тестировании разработанных алгоритмов и выявлении влияния различных факторов на вероятность верной локализации изображения маркировки промышленного изделия. В работе предполагается, что маркировка считается локализованной удачно, если расстояние по горизонтали/вертикали от точки локализации до

Рисунок б - вид лабораторной установки

края метки не превышает половины ее ширины/высоты. Вид лабораторной установки представлен на рисунке 6.

Лабораторная установка состоит из следующих модулей:

1. ЭВМ(ноутбук):

2. Камера.

3. Область размещения маркировок промышленных изделий.

Алгоритм локализации на основе анализа яркостных признаков. Для проведения экспериментальных исследований на лабораторной установке было проведено 1200 экспериментов с использованием различных тестовых изображений (маркировок) и условий локализации. С целью получения достоверных результатов для исследований были взяты два набора условий: лабораторные (простой фон) и производственные (сложный фон).

Исходя из данных полученных результатов, построим гистограмму достоверности локализации (рисунок 7):

Рисунок 7 - гистограмма достоверности локализации алгоритма на основе всплесков яркости при различных условиях Из результатов исследования можно сделать вывод, что успешность локализации с использованием разработанного алгоритма в условиях простого фона варьируется в диапазоне 91-99%, а в условиях сложного фона - 88-94%.

5 * Ш

564

Высокок онтрастн

Малокон трасгная

Хорошее освещен

Слабое освещен

Угол поворота маркера 10 градусов

Угол поворота маркера >20 градусов

Т0Алгор!пм локализации на основе

всплесков яркости О Алгоритм локализации SURF

94%

85°/

89%

90% 89%

89%

Рисунок 8 - Гистограмма достоверности локализации алгоритмов на основе всплесков яркости и SURF при условиях сложного фона Для проведения сравнительного анализа был выбран алгоритм локализации объектов на изображении с использованием дескрипторов SURF. Исследования проводились в условиях сложного фона (Рисунок 8).

По результатам сравнительного анализа можно сделать вывод, что разработанный алгоритм; в силу специфики решаемой задачи, более эффективен чем алгоритм SURF с достоверностью локализации 85-89%.

_ 14 ш ж т

12 "> J« 8

II

3 ё 6

с. S- * * Ъ 2 5 5 0 ш щ

Г~! .................КЙГ у щ 1.-#Я

480x320 640x480 800x600 1024x768 1280x1024 1920x1080

^Алгоритм на основе анализа всплесков яркости 0,011 0,051 0,105 0,11 0,168 0,192

а SURF 1,52 2,31 2,76 7,52 10,51 11,8

Рисунок 9 - гистограмма сравнительного анализа по скорости работы алгоритмов

По результатам сравнительного анализа скорости работы алгоритма на основе анализа всплесков яркости и алгоритма SURF можно сделать вывод, что разработанный алгоритм отличается высокой скоростью работы с цифровыми изображениями высокого разрешения. Скорость работы разработанного алгоритма варьируется от 0,03 до 0,41 секунд при разрешении цифрового изображения от 480x320 до 1920x1080 пикселей, алгоритма SURF - от 1,52 до 11,88 секунд при разрешении цифрового изображения от 480x320 до 1920x1080 пикселей.

Для экспериментальных исследований остальных алгоритмов была использована та же методика, потому целесообразно привести только полученные выводы.

Исследования алгоритма локализации на основе анализа яркостных признаков. По данным исследования достоверность локализации маркировки промышленного изделия на простом фоне составляет 93-98%, в зависимости от условий производства, на сложном фоне - 87-93%. В ходе сравнительного анализа было выявлено, что достоверность локализации разработанного алгоритма выше на 1-6% по сравнению с аналогами. Время работы алгоритма варьируется в диапазоне 0,011-0,192 секунды, в зависимости от разрешения цифрового изображения маркировки промышленного изделия, что быстрее аналогов в 61,46-138,18 раза.

Исследования алгоритма локализации на основе анализа цветовых признаков. По данным исследования достоверность локализации маркировки промышленного изделия на простом фоне составляет 92-95%, в зависимости от условий производства, на сложном фоне - 87-93%. В ходе сравнительного анализа было выявлено, что достоверность локализации разработанного алгоритма выше на 5-8% по сравнению с аналогами. Время работы алгоритма варьируется в диапазоне 0,57-9,15 секунды, в зависимости от разрешения цифрового изображения маркировки промышленного изделия, что быстрее аналогов в 1,3-2,6 раз.

Исследования алгоритма локализации на основе текстурных признаков изображения. По данным исследования достоверность локализации маркировки промышленного изделия на простом фоне составляет 93-96%, в зависимости от условий производства, на сложном фоне - 86-96%. В ходе сравнительного анализа было выявлено, что достоверность локализации разработанного алгоритма выше на 4-7% по сравнению с аналогами. Время работы алгоритма варьируется в диапазоне 0,0280,205 секунды, в зависимости от разрешения цифрового изображения маркировки промышленного изделия, что быстрее аналогов в 54,3-57,6 раз.

В четвертой главе описывается программная реализация разработанных алгоритмов локализации изображений маркировки промышленных изделий, разработка алгоритма управления системой автоматической идентификации маркировки и мето-

дики настройки системы локализации на признаки маркировки промышленного из-

Место алгоритмов локализации в структуре САИМ показано на рисунке 10.

В ходе написания диссертационной работы, разработанные алгоритмы были внедрены в систему автоматической идентификации маркировки (САИМ) на ОАО «Выксунский металлургический завод». Акт внедрения разработанных алгоритмов на ОАО «ВМЗ» приведен в приложении. Пример цифрового изображения, обрабатываемого в САИМ представлен на рисунке 11.

Требования к модулю локализации, входящему в САИМ:

- достоверность локализации маркировки промышленного изделия не ниже 80%;

- время локализации не более 0,3 секунды (алгоритм локализации при идентификации одного промышленного изделия запускается не менее 6 раз).

Рисунок 11 - пример цифрового изображения, обрабатываемого в САИМ

В заключении сформулированы основные результаты, полученные в ходе выполнения диссертационной работы:

1. Проведен обзор и анализ алгоритмов локализации маркировок промышленных изделий на цифровых изображениях, показывающий необходимость разработки новых алгоритмов, обеспечивающих большую достоверность и оперативность локализации маркировок промышленных изделий.

2. Разработаны алгоритмы локализации, основанные на рекуррентном поиске усредненного максимума, обеспечивающие повышение оперативности локализации маркировок промышленных изделий.

3. Разработан метод локализации с использованием дополнительной метки, позволяющий увеличить достоверность локализации маркировок промышленных изделий на малоконтрастных изображениях и изображениях со сложным промышленным фоном.

4. Разработан алгоритм локализации, базирующийся на двумерной обработке изображений, обеспечивающий увеличение достоверности локализации маркировок промышленных изделий в условиях их малой контрастности.

Рисунок 10 - структурная схема САИМ

5. Разработан алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий оперативно идентифицировать промышленные изделия.

6. Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки.

7. Проведены исследования разработанных алгоритмов на тестовых и реальных изображениях, показывающие увеличение скорости локализации до 140 раз (до 9,15 сек.), и повышение достоверности вычисления координат положения метки на 1-8% (86-98% - достигнутая достоверность локализации) по сравнению с известными алгоритмами, применяемыми в системах технического зрения.

8. Результаты проведенных в работе исследований внедрены в систему автоматической идентификации маркировки на промышленном предприятии ОАО «Вы-ксунский металлургический завод», г. Выкса для контроля движения изделий на складе слябов и заготовок. По результатам проведенных исследований достоверность идентификации маркировки составила 96-98%. Время идентификации составило от 10 до 14 секунд, что соответствует предъявленным требованиям к оперативности работы.

В приложении приведена копия акта о внедрении и копии свидетельств о государственной регистрации программ на ЭВМ.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ АВТОРОМ ПО ТЕМЕ ДИССЕРТАЦИИ

Научные статьи, опубликованные в изданиях перечня ВАК

1. Орлов A.A. Методика и алгоритмы автоматической двухэтапной видеоидентификации металлопрокатных заготовок [Текст] /А. А. Орлов, А. В. Астафьев, А. В. Провоторов // Автоматизация в промышленности. - 2013. -№ 10. - С. 53-57.

2. Орлов A.A. Метод объединения результатов алгоритмов цифровой локализации символьных маркировок [Текст] / А. А. Орлов, А. В. Астафьев // Научно-технический вестник Поволжья. - 2013. - № 6. - С. 394-396.

3. Астафьев, А. В. Реализация и применение алгоритма цифровой локализации изображения символьных меток на основе анализа скорости изменения яркости [Электронный ресурс] / А. В. Астафьев, А. А. Орлов // Современные проблемы науки и образования. - 2012. - № 6. - Режим доступа: http://www.science-education.ru/pdC2012/6/53 6.pdf.

4. Астафьев, А. В. Комплексный анализ систем мониторинга оборудования на производственных предприятиях [Текст] / А. В. Астафьев, А. В. Провоторов // Научный журнал "Вестник НГУЭУ". - 2011. - № 1. - С. 26-32.

5. Орлов A.A. Методы и алгоритмы локализации изображений маркировок в управляемых системах видеопаблюдсния [Текст] / А. А. Орлов, А. В. Астафьев, А. В. Провоторов // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. -2011.-№2. -С. 22-29.

6. Астафьев A.B. Разработка и внедрение алгоритма локализации маркировок промышленных изделий на основе двумерного усреднения данных рекуррентного

поиска усредненного максимума // Современные проблемы науки и образования. -2014,-№6.

Публикации в других изданиях

7. Orlov, A. Development of algorithm for localization of production markings with the use of analysis of the color data on digital images [Текст] / A. Orlov, A. Astafiev. Geoconference on informatics, geoinformatics and remote sensing conference proceedings volume 1, Albena, Bulgaria, 2014, 113-118 p.

8. Астафьев, А. В. Разработка алгоритма локализации символьных меток на цифровых изображениях с использованием метода анализа скорости изменения яркости [Текст] / А. В. Астафьев // Материалы конференции «Техническое зрение в системах управления». — М. — 2013. — С. 44-^46.

9. Астафьев, А. В. Разработка системы автоматической идентификации слябов на основе анализа изображений с видеодачтиков [Текст] / А. В. Астафьев, А. А. Орлов, А. В. Провоторов // Материалы конференции «Техническое зрение в системах управления». - М. - 2013. - С. 14-17.

10. Астафьев, А. В. Алгоритм цифровой локализации изображений символьных меток на основе одномерного дифференциально-интегрального исчисления яркости [Текст] / А. В. Астафьев, А. А. Орлов // Математические методы распознавания образов: 16-я Всероссийская конференция, г. Казань, 6-12 сентября 2013 г.: Тезисы докладов. - М.: Торус Пресс. - 2013. - С. 44.

11. Orlov, A.A. Development of algorithm for localization of symbolic with the use of analysis of the color map [Текст] // Orlov A.A., Astafiev A.V., Popov D.P., Pattern Recognition and Information Processing (PRIP'2014): Proceedings of the 12th International Conference (28-30 May 2014, Minsk, Belarus). - Minsk: UIIP NASB, 2014. -340 p. pp. 227-230.

12. Астафьев А. В. Алгоритм локализации изображений производственных маркировок с использованием анализа цветовых данных [Текст] / А. В. Астафьев, А. А. Орлов // Искусственный интеллект. - Донецк: Институт проблем искусственного интеллекта.-2013. - №4. - С. 126-130.

13. Орлов, A.A. Системный анализ методов маркировки промышленных изделий [Текст] / А. А. Орлов, А. В. Астафьев, А. В. Провоторов // Алгоритмы, методы и системы обработки данных. - 2010. -№15. - С. 136-140.

14. Орлов, A.A. Особенности автоматической идентификации трубопроводной продукции [Текст] / А. А. Орлов, А. В. Астафьев, А. В. Провоторов // Алгоритмы, методы и системы обработки данных. - 2011. -№ 16. - С. 22-25.

15. Орлов, A.A. Разработка методики автоматической идентификации промышленных изделий на основе анализа методов маркировки [Текст] / А. А. Орлов, А. В. Астафьев, А. В. Провоторов // Молодой ученый. — 2011. — № 1. — С. 132-134.

16. Астафьев, А. В. Обзор технологий методов маркировки и идентификации трубопроводных изделий [Текст] / А. В. Астафьев, А. В. Провоторов // Материалы VII международной научной конференции «Современные исследования и развитие». -София.-2011.-С. 48-52.

17. Астафьев, А. В. Адаптация технологии автоматической идентификации промышленных изделий для производства трубопроводной продукции [Текст] / А. В. Астафьев, А. В. Провоторов // Материалы международной научно-практической конференции «Перспективы развития информационных технологий». - Новосибирск. - 2011. - С. 130-135.

18. Астафьев, А. В. Системный анализ технологий и систем идентификации трубопроводной продукции по маркеру в условиях промышленного производства [Текст] / А. В. Астафьев, А. А. Орлов, А. В. Провоторов // Материалы VIII научно-практической конференции «Татищевские чтения: актуальные проблемы науки и практики». - Тольятти. - 2011. - С. 187-195.

19. Астафьев A.B., Орлов A.A., Привезенцев Д.Г., Провоторов A.B., Свидетельство РФ на программу на ЭВМ 2014 №2014614574 от 29.04.2014 «Программа локализации метки на изображении».

20. Астафьев A.B., Орлов A.A., Привезенцев Д.Г., Провоторов A.B., Свидетельство РФ на программу на ЭВМ 2014 №2014614944 от 14.03.2014 «Система автоматической идентификации маркировки».

Подписано в печать 17.04.2015. Формат 60*84/16. Бумага офсетная. Гарнитура Times. Печать МУП «Типография» г. Муром. Усл. печ. л. 0,93. Тираж 100 экз. Заказ № 631.