автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.13, диссертация на тему:Оптико-электронная система детектирования пороков листового стекла на основе технологии технического зрения

На правах рукописи

БУЛАТОВ Виталий Владимирович

ОПТИКО-ЭЛЕКТРОННАЯ СИСТЕМА ДЕТЕКТИРОВАНИЯ ПОРОКОВ ЛИСТОВОГО СТЕКЛА НА ОСНОВЕ ТЕХНОЛОГИИ ТЕХНИЧЕСКОГО ЗРЕНИЯ

Специальность 05.11.13 — Приборы и методы контроля природной среды, веществ, материалов и изделий

Автореферат диссертации на соискание ученой степени кандидата технических наук

5 ДЕК 2013

САНКТ-ПЕТЕРБУРГ - 2013

005541769

005541769

Работа выполнена в федеральном государственном бюджетном образовательном учреяедении высшего профессионального образования Национальный минерально-сырьевой университет «Горный»

Научный руководитель -

доктор технических наук, профессор_

Сарвин Анатолий Александрович \

кандидат технических наук, доцент

Кульчицкий Александр Александрович

Официальные оппоненты:

Кондрашкова Галина Анатольевна

доктор технических наук, профессор, ФГБОУ ВПО «Санкт - Петербургский государственный технологический университет растительных полимеров», кафедра информационно-измерительных технологий и систем управления, заведующая кафедрой

Николаев Сергей Викторович

кандидат технических наук, ФГБОУ ВПО «Петербургский государственный университет путей сообщения», кафедра «Методы и приборы неразрушающего контроля», доцент

Ведущая организация - ФГБОУ ВПО «Санкт - Петербургский национальный исследовательский университет информационных технологий, механики и оптики»

Защита состоится 25 декабря 2013 г. в16 ч. 00 мин. на заседании диссертационного совета Д 212.224.07 при Национальном минерально-сырьевом университете «Горный» по адресу: 199106, Санкт-Петербург, 21-я линия, д. 2, ауд. № 7212.

С диссертацией можно ознакомиться в библиотеке Национального минерально-сырьевого университета «Горный». Автореферат разослан 25 ноября 2013г.

УЧЕНЫЙ СЕКРЕТАРЬ //уУ ФОКИН

диссертационного совета (г/ Андрей Сергеевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. По мере повышения требований к качеству выпускаемой продукции в отрасли машиностроения, быстро растут требования к контролю качества стекол и стеклопакетов. Увеличение объемов производства в отраслях машиностроения на 20% за период 2005-2012 гг. и необходимость обеспечения конкурентоспособности выпускаемых изделий ставит проблему организации контроля в ряд наиболее актуальных.

Доля брака в производстве листового стекла по дефектам на стадии формования составляет 0 - 4.25% за месяц, в зависимости от толщины изготавливаемой продукции (по данным внутреннего аудита на ОАО «Борский стекольный завод»). Следует также отметить, что процент брака увеличивается при транспортировке: добавляются новые дефекты (царапины, сколы).

В настоящее время контроль пороков листового стекла проводится, в основном, органолептически в проходящем свете при рассеянном дневном освещении или подобном ему искусственном. Освещенность поверхности листа стекла должна быть не менее 300 лк. Определение класса порока и оценка его линейных размеров осуществляется с помощью простейших измерительных средств. Во многих случаях даже крупные пороки стекла не могут быть обнаружены человеческим глазом из-за малого контраста на поверхности детали, не говоря уже о мелких дефектах. При этом максимально допустимый линейный размер дефекта составляет 0,5 мм, что вызывает сложность оценки геометрических параметров пороков стекла.

Вопросам автоматизации детектирования пороков листового стекла до недавнего времени уделялось незначительное внимание ввиду сложности процессов классификации и распознавания объектов контроля.

В последнее десятилетие методы распознавания дефектов стекла вызывают большой интерес исследователей, среди которых Jie Zhao, Xu Zhao, Toshimasu Kuchii, Hideyki Ichihara, J.H. van Lint, Klaus Bange, Francesco Adamo, Кузьмич И. В.

Вместе с тем, работы данных авторов касаются, в большей части, вопросов анализа причин возникновения дефектов и разра-

ботки отдельных этапов распознавания. Комплексных исследований по разработке систем детектирования различных классов пороков листового стекла не проводилось.

Несмотря на быстрое развитие данного направления, анализ отечественной и зарубежной литературы показывает, что методы и средства технического контроля для выявления пороков стекла и изделий из стекол (стеклопакетов) до сих пор не получили широкого распространения.

На сегодняшний день промышленно выпускаемых отечественных установок контроля нет. Существующие устройства видеоконтроля изделий с камерами VGA не автоматизированы и предназначены для удалённого наблюдения оператором в режиме реального времени или в записи.

Существование метрологических проблем и отсутствие промышленных технологий контроля, с одной стороны, и современный уровень развития технологий распознавания образов, позволяющих решить данную проблему путем создания автоматизированной оптико-электронной системы контроля дефектов стекла с другой стороны, позволяют не сомневаться в актуальности темы диссертации.

Цель работы: разработка системы детектирования пороков листового стекла, основанной на использовании технического зрения и позволяющая автоматизировать процесс контроля качества стекла и изделий из стекол (стеклопакетов) и обеспечить их распознавание с высоким коэффициентом выделения дефекта, для проведения мероприятий по приемочному неразрушающему контролю изделий.

Идея работы: детектировать пороки листового стекла можно на основе изображения, полученного посредством камеры технического зрения, при заданном, в соответствии с требованиями ГОСТ, освещении рабочей зоны светодиодной системой и компьютерной обработке полученного изображения с помощью наложения фильтра или набора фильтров в соответствии с разработанным алгоритмом.

Задачи исследования:

1. Разработка математических моделей основных пороков для их идентификации при контроле стекол и изделий из стекла (стеклопакетов) в зависимости от природы происхождения.

2. Разработка алгоритмов обнаружения и распознавания основных пороков стекла и изделий из стекла (стеклопакетов), на основе которых возможно четкое выделение дефекта стекла по определенным признакам.

3. Компьютерное моделирование процессов технической диагностики основных пороков стекла на основе программного обеспечения в программных средах N1 Vision Builder и Labview.

4. Разработка оптико-электронной установки для исследования основных пороков листового стекла и проверка предложенных алгоритмов.

5. Оценка коэффициента выделения дефекта автоматизированной системой контроля пороков листового стекла.

Методы исследования. Для решения поставленных задач в диссертационной работе использованы методы современного компьютерного моделирования, методы цифровой обработки изображений.

Для подтверждения эффективности и достоверности предложенных методов проводились экспериментальные исследования в лабораторных условиях с использованием специального оборудования. Исследование путей улучшения метрологических показателей контрольных образцов проводилось эмпирическим методом и интерпретацией статистических данных.

Научная новизна работы:

1. Предложены математические модели пороков (царапина, пузырь и камень), на основе которых разработаны алгоритмы выявления пороков, учитывающие геометрические свойства каждого дефекта.

2. Разработана методика классификации пороков стекла, основанная на комплексном применении набора признаков включающих в себя сравнение с эталоном, фильтрацию изображения и управление освещением.

3. Выявлена зависимость применения нелинейных фильтров для обработки изображения на процесс распознавания и классификацию дефектов листового стекла.

4. Предложен алгоритм контроля дефектов, учитывающий классификацию пороков и определение их размеров с точностью,

необходимой по требованиям стандартов, реализованный на экспериментальной оптико-электронной установке автоматизированного детектирования пороков стекла (АДПС).

5. Произведена оценка влияния интенсивности освещения и способа подсветки рабочей зоны на коэффициент выделения дефектов листового стекла.

Положения, выносимые на защиту:

1. Возможность применения синхронной модели позволяет детектировать пороки листового стекла различной формы и природы происхождения с использованием программы классификации по разработанным признакам на базе технологии технического зрения.

2. Выделение яркостных перепадов между дефектом и фоном должно осуществляться путем выбора параметров масок-фильтров и является дополнительным признаком при классификации пороков.

3. С целью получения достоверных результатов для детектирования пороков листового стекла следует использовать рассеянную систему освещения подсветки рабочей зоны и алгоритм поиска дефектов на основе разработанного классификатора.

Обоснованность и достоверность научных положений, выводов и рекомендаций, содержащихся в диссертации, подтверждается корректным применением в исследованиях теоретических положений фундаментальных наук, непротиворечивостью экспериментальных данных, полученных при физическом исследовании образцов контроля, теоретическим положениям.

Практическая значимость работы состоит в разработке автоматизированного способа контроля основных пороков стекла с использованием экспериментальной оптической системы; в получении формализованного способа отбраковки стекла в производстве. Разработанное математическое и алгоритмическое обеспечение исследовано и проверено на экспериментальной оптико-электронной установке АДПС на кафедре автоматизации технологических процессов и производств (АТПП) Национального минерально-сырьевого университета «Горный».

В частности, практическим результатом диссертации является разработка «Устройства автоматизированного детектирования

пороков стекла», что подтверждается патентом на полезную модель №115463 и программы распознавания дефектов листового стекла, что подтверждается свидетельством №2012617219.

Полученные результаты могут быть использованы на предприятиях стекольной промышленности, а также на предприятиях применяющих листовое стекло в своих изделиях.

Результаты исследования рекомендуются к применению в учебном процессе кафедры АТПП Национального минерально-сырьевого университета «Горный» в дисциплинах «Основы систем технического зрения», «Технические измерения и приборы», «Диагностика и надежность автоматизированных систем» и «Методы и алгоритмы обработки сигналов и изображений».

Апробация работы. Результаты, полученные в диссертационной работе, внедрены на ОАО «Производственная фирма «КМТ» - Ломоносовский опытный завод». Основные положения диссертационной работы и результаты исследований докладывались автором на XI Международной научно-практической конференции молодых ученых, студентов и аспирантов «Анализ и прогнозирование систем управления» (г. Санкт-Петербург, СЗТУ, 2010), Международной научно-технической конференции, посвященной 80-летию СЗТУ «Системы и процессы управления и обработки информации» (г. Санкт-Петербург, СЗТУ, 2010), V Всероссийском форуме студентов, аспирантов и молодых ученых «Наука и инновации в технических университетах» (г. Санкт-Петербург, СПбГПУ, 2011), VIII Всероссийской межвузовской конференции молодых ученых СПбГУ ИТМО (г. Санкт-Петербург, 2011), VI международной научно-практической конференции «Инновационные технологии автоматизации и диспетчеризации промышленных предприятий» (Национальный Минерально-Сырьевой Университет «Горный», 2012).

Работа отмечена дипломом комитета по науке и высшей школы Санкт-Петербурга за лучший инновационный проект в сфере науки и высшего профессионального образования Санкт-Петербурга в 2011 году и дипломом II степени Северо-Западного Государственного Заочного Технического Университета в конкурсе молодежных бизнес-идей и научно-технических разработок за 2010 - 2011

учебный год в номинации «Лучшая молодежная инновационная научно-техническая разработка».

Личный вклад автора:

1. На основе анализа литературных источников и экспериментальных исследований обоснована возможность применения системы технического зрения для детектирования внутренних и внешних дефектов листового стекла.

2. Разработан алгоритм детектирования пороков «царапина», «пузырь» и «камень» на основе обработке изображений фильтрами или набором фильтров.

3. Предложена конструкция устройства автоматизированного детектирования пороков стекла с требуемыми метрологическими характеристиками.

4. Предложена методика проведения неразрушающего контроля пороков стекла: царапина, пузырь и камень.

Публикации. По теме диссертации опубликовано 11 печатных работ, в том числе четыре в изданиях, входящих в список рекомендуемых ВАК Министерства образования и науки РФ. Получен патент на полезную модель № 115463 и свидетельство на программу для ЭВМ № 2012617219.

Структура и объем работы. Диссертация состоит из введения, 5 глав и заключения, изложенных на 149 страницах машинописного текста. Содержит 84 рисунка, 8 таблиц. Библиографический список включает в себя 101 источник.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследований, сформулирована общая цель и задачи исследовательской работы, научная новизна и практическая ценность работы, представлены положения, выносимые на защиту. Представлена краткая аннотация разделов диссертации.

В первой главе проведен анализ характеристик и причин возникновения пороков листового стекла, представлен обзор существующих методов контроля стекол по данным отечественной и зарубежной литературы, проведён их анализ, на основании которого обозначены преимущества и недостатки существующих подходов в

диагностике объекта контроля, проведен анализ современных систем распознавания дефектов листового стекла на базе систем технического зрения. Сформулированы задачи исследований.

Во второй главе проведено теоретическое исследование с целью моделирования процессов получения информации в оптико-электронных системах; предложены математические модели пороков: царапина, пузырь и камень; выделены признаки пороков, на основе которых осуществляется классификация объектов на изображении; предложен алгоритм определения связности объектов на изображении; разработан алгоритм выделения линейных и эллипсовидных объектов на изображении на основе расчета коэффициента корреляции.

В третьей главе представлено описание разработанного устройства автоматизированного детектирования пороков стекла (АДГТС), представлена разработанная система рассеянного освещения устройства АДПС, разработан алгоритм работы системы автоматизированного контроля.

В четвёртой главе предложена синхронная модель детектирования дефектов листового стекла, разработана методика и алгоритм контроля пороков: царапина, пузырь и камень, учитывающие количество и размеры дефектов, предложено использование масок-фильтров для детектирования дефектов листового стекла, проведены исследования, целью которых являлось определение эффективности применения нелинейных для детектирования объектов контроля, представлена разработанная «Программа детектирования дефектов стекла».

В пятой главе выявлены основные источники погрешностей системы контроля, представлены требования к метрологическому обеспечению измерений дефектов листового стекла, проведена калибровка оптической системы с применением разработанных сеток, рассчитаны погрешности измерения геометрических параметров дефектов, проведено сравнение результатов определения количества пороков и их геометрических параметров, полученных при визуальном осмотре человеком и при использовании системы АДПС.

В заключении сформулированы основные выводы и результаты диссертационной работы и проведенных исследований.

Основные результаты работы отражены в следующих защищаемых научных положениях:

1. Возможность применения синхронной модели позволяет детектировать пороки листового стекла различной формы и природы происхождения с использованием программы классификации по разработанным признакам на базе технологии технического зрения.

Так как требования ГОСТ и дополнительные требования заказчиков предусматривают для различных пороков разное количество и размеры, то одной из задач является отнесение порока к тому или иному классу и категории. Для этого на основе анализа физических свойств определены признаки основных пороков и разработана классификация по определенным категориям и классам пороков: яркостный, цветовой, геометрический или признак формы (эллипс, прямая, кривая и т.д.), теневой.

Наиболее часто применимыми на сегодняшний день являются следующие методики классификации: классификатор Байеса; минимаксный классификатор; классификатор Неймана-Пирсона; классификация при помощи искусственных нейронных сетей; классификация при помощи генетических алгоритмов.

Для задач распознавания большого количества классов пороков наиболее эффективными являются статистические методы, основанные на анализе количественных данных.

Для определения формы объекта рассчитаем коэффициент корреляции (1) для каждой из матриц.

г_ _ (1)

¡^у-*)1 \У,-у)1

где п - количество наблюдений, х1 - координата числа отличного от нуля по л: в матрице Хп\ у1 - координата числа отличного от нуля по

у в матрице х - среднее значение по координате х; у - среднее

значение по координате у.

Значение коэффициента корреляции будем интерпретировать следующим образом: если коэффициент корреляции г = 0, то вся область модели изображения занята одним связным объектом;

если коэффициент корреляции находится в пределах 0.4 < г < 0.6, то связная область на модели изображения является эллипсовидным объектом; если коэффициент корреляции находится в пределах 0.6 < г < 0.88, то связная область на модели изображения является объектом неправильной геометрической формы; если коэффициент корреляции находится в пределах 0.88< г < 1.0, то связная область на модели изображения является линейным объектом.

Выделение объектов на обработанном изображении включает в себя: определение связных областей на монохромном изображении; сегментацию монохромного или бинарного изображения; определение границ дефектов листового стекла.

Методика основана на общей оценке качества стекла, проводимой на основе интегрального показателя, учитывающего наличие и размеры дефектов.

Методика распознавания дефекта включает две задачи:

1. Сравнение изображения объекта контроля (образца стекла) с эталоном. Это актуально для определения сколов, посечек, трещин, выщелачиваний.

2. Поиск дефектов на всей области изображения, с применением программных масок-фильтров, что применимо для поверхностных дефектов, таких как царапина и для внутренних дефектов: пузырь, камень, свиль.

Так как обе задачи должны решаться одновременно, предлагается внедрить синхронную модель оценки качества изделий, представленную на рисунке 1.

Процесс распознавания пороков стекла можно разделить на следующие этапы:

1. Получение изображения системой технического зрения.

2. Сравнение с эталонным изображением объекта контроля (образца стекла).

3. Пространственная обработка изображения фильтрами или набором фильтров.

4. Выделение объектов на обработанном изображении.

5. Распределение объектов по классам пороков листового

стекла.

Сравнение найденных пороков с требованиями ГОСТ и принятие решения о соответствии.

Рисунок 1 - Схема синхронной модели контроля пороков листового стекла

На рисунке 2 представлены разработанные геометрические модели дефектов стекла, на основе которых проводилась отработка алгоритмов распознавания, подсчет количества и измерение геометрических параметров.

Рисунок 2 - Геометрические модели пороков листового стекла

Результатом стало создание алгоритма, построенного с учетом стандартов и технических требований предприятий, который учитывает количество и длину каждого дефекта, на основе которого будет происходить классификация дефектов и программирование процесса контроля.

2. Выделение яркостных перепадов между дефектом и фоном должно осуществляться путем выбора параметров ма-сок-филътров и является дополнительным признаком при классификации пороков.

Целью обработки изображения является устранение шумов и выделение объектов на изображении, которые после классификации будут отнесены к тому или иному классу дефектов стекла.

С целью обработки полученного изображения используется ряд фильтров. Для выявления связных областей на изображении используем сглаживающий фильтр (2) и фильтр Лапласа (3):

/=0 ¡=0

1/9

1/9 1/9

1/9 1/9 1/9

1/9 1/9 1/9

2 2 "0 -1 0" а, а, аъ

-1 4 -1 * аА «5 ав

7=0 ¡=0 0 -1 0 а7 а8 а9

(2)

(3)

Фильтрация изображения осуществляется последовательно блоками. Размер блока составляет девять пикселей. Результаты каждого блока сравниваются между собой для обнаружения дефектов в зоне границ двух блоков. Математически сканирование на дефекты внутри блока можно представить следующим образом:

Р„ (х,у) = ^!^ОМа(х-(Ь + г), У-Ф + Л) (4)

¡=о ¡"=0

Отклик задается суммой произведений коэффициентов маски на соответствующие значения пикселей в области, покрытой матричной маской.

В случае маски размерами тхп будем полагать, что т = 2а + \ я п = 2Ь + где аиЬ неотрицательные целые числа.

Отклик изображения, имеющего размеры МхЫ, с помощью матричной маски размерами тхп задается выражением общего вида:

(5)

п(х,у) = ^ ^с1(т,п)/(х + т,у + п)

т=~ап=-Ь

Полученные после фильтрации данные загружаются в программу, в которой по разработанному алгоритму, осуществляется поиск всех дефектов по заданным признакам. При проведении эксперимента использовались образцы контроля с одним или двумя пороками, а также образец с каплями краски и пороком. Результаты поиска дефектов представлены в таблице 1.

Таблица1 - Количество объектов на образцах контроля с дефектами после обработки полутонового изображения различными нелинейными фильтрами_

Порок стекла Фильтры

Dark objects Laplacf filter Bright objects Laplace filter Median k=3 Dark objects Laplace и High details Bright objects Laplace и High details Bright objects Roberts filter Bright objects Sobel operator Dark objects Prewitt operator

Царапина 0 4 0 1 0 3 2 4

Пузырь 0 2 0 7 4 4 5 0

Камень 21 0 1 47 0 0 0 0

Царапина и камень 19 5 1 48 0 4 3 8

Царапина и пузырь 0 8 0 11 4 8 6 16

Пузырь и краска 5 7 3 11 9 16 7 12

Эксперимент показал, что не все нелинейные фильтры обеспечивают детектирование порока: одни из них добавляют дополнительные шумы на изображении, а другие малоэффективны для распознавания из-за физических особенностей пороков стекла.

При моделировании процесса детектирования порока «пузырь» установлено, что для четкого выявления дефекта следует использовать набор фильтров Laplace-Median. Для детектирования порока «царапина» следует использовать набор фильтров Laplace-Highlight Details. Только этот набор фильтров дает нам возможность распознать царапины на изображении. При детектировании порока «камень» оптимальным является применение фильтра Median с коэффициентом «3».

На основании проведенных экспериментов выведены зависимости степени детектирования от коэффициента фильтров (рисунок 3).

Рисунок 3 - Зависимость степени детектирования от коэффициента фильтра Laplace (а) и фильтра Median (б)

3. С целью получения достоверных результатов для детектирования пороков листового стекла следует использовать рассеянную систему освещения подсветки рабочей зоны и алгоритм поиска дефектов на основе разработанного классификатора.

Для проведения исследований разработана лабораторная установка автоматизированного детектирования пороков стекла (АДГТС), которая представлена на рисунке 4.

Рисунок 4 - Устройство АДПС: 1 - каретка камера технического зрения (КТЗ); 2 - крепление КТЗ; 3 - КТЗ; 4 - каретка диафрагмы; 5 - диафрагма; 6 - каретка объекта контроля; 7 - держатель объекта контроля; 8 - объект контроля (листовое стекло); 9 — светильник; 10 - каретка светильника; 11 - экран; 12 - держатель экрана; 13 - светильники; 14 - скамья; 15 - объектив камеры

Необходимым условием получения высококонтрастного изображения является правильно подобранная система освещения образцов контроля.

Выбрана система рассеянного освещения, которая реализуется при помощи отражателя (экрана). Экран для проведения операции контроля прозрачных сред должен представлять собой зафиксированную, ровную, незагрязненную белую поверхность, что будет способствовать четкому распознаванию границ объекта и обнаружению различных оттенков на поверхности стекла. В систему освещения входят два светильника с одним диодом и один с восьмью диодами.

Разработанный вариант освещения (рисунок 5) удовлетворяет требованиям ГОСТ. При этом расположение светильников в АДПС характеризуется тремя угловыми размерами — а, /? и у.

~ 4 а) - - б)

Рисунок 5 — Расположение источников освещения установки АДПС: а — вид сбоку; б - вид спереди; 1 - экран; 2 - верхние светодиодные светильники; 3 - нижний светодиодный светильник

Произведенные замеры показали освещенность поверхности контролируемого объекта Е ~ 370 лк, т.е. условие ГОСТ (Е > 300 лк) выполняется. На рисунке 6 представлены изображения, полученные системой АДПС при данном расположении источников освещения. Пороки листового стекла четко различимы.

Рисунок 6 - Изображение объекта контроля при разработанном варианте освещения: а - царапина; б — камень; в - пузырь

Для определения точности системы автоматизированного детектирования пороков стекла (АДПС) были измерены оптические искажения, вносимые используемой камерой NI 1722 с объективом Computar М0814-МР2. Измерения производились в Vision Builder, где обрабатывались изображения тест-объекта, представляющего собой сетку из расположенных на равных расстояниях друг от друга круглых точек.

Величина ошибки рассчитывается как:

к/.л=pLi-x:Jf > (у,.:-77 (6)

Дисторсия определяется на основе следующего уравнения:

а^х-х^+щу-у^+с^г-г,) х | d =0 0 йз(Х-Х,) + 63(У-75) + Сз(2-2,.) 1 (7)

а2(х-^.)+ь2(У-уу)+с2(г-г,) | л =0

где х0, >ул / - элементы внутреннего ориентирования; X, У, 2 - координаты точки тест-объекта; У& ZlS- координаты центра проекции снимка; х, у- координаты точки на снимке; ак Ьк, ск - коэффициенты, определяющие косинусы углов между осями системы координат наклонного снимка и системы координат горизонтального снимка; с1х и с1у - коэффициенты, которые вносят поправку, связанную с дис-торсией объектива

Масштабный коэффициент рассчитаем по формуле к,„ = Ь / п, где Ь - размер объекта, мм.; п - число измеренных пикселей на изображении. Зная расстояние между точками и используя данные калибровочной таблицы для расстояния от объекта контроля до камеры - 500 мм, получаем к = 0,25 мм/пиксель. Максимальная позиционная ошибка изображения составляет 0,28 мм, что сопоставимо с масштабным коэффициентом. Максимальная величина относительной дисторсии на изображении составляет 0,33%.

Для оценки эффективности предлагаемого метода детектирования пороков листового стекла было проведено исследование, целью которого являлось сравнение результатов определения количества пороков и их геометрических параметров, полученных при визуальном осмотре человеком и при использовании системы

АДПС. Эффективность метода оценивалась коэффициентом выде-

к

X т1

ления дефекта (КВД) по формуле /с _ _ , где т, - количество

8 к-N

дефектов обнаруженных в ходе ¡-го эксперимента; к - количество произведённых экспериментов; Ы- общее количество дефектов.

Результаты исследования представлены на рисунке 7. Ни на одном из образцов контроля при визуальном осмотре в среднем не было обнаружено всех его дефектов, КВД варьируется от 0,62 до 1,2. При использовании системы АДПС вероятность обнаружения дефектов варьируется в пределах от 0,92 до 0,99. Случаев перебраковки не выявлено.

4. Экспериментально установлена зависимость степени детектирования от коэффициентов фильтров, что позволило определить оптимальный набор фильтров для разных классов пороков.

5. Разработанная система рассеивающего освещения рабочей зоны обеспечивает контроль внутренних дефектов стекла.

6. В соответствии с предложенным алгоритмом и методикой разработана экспериментальная оптико-электронная установка АДПС, которая обеспечивает коэффициент выделения дефекта от 0,92 до 0,99.

7. Полученные значения максимальной позиционной ошибке на изображении и масштабного коэффициента устройства АДПС доказывают возможность проведения производственного контроля по требованиям стандартов.

Основное содержание диссертационной работы опубликовано в следующих работах:

1. Булатов, В.В. Методика обнаружения пороков стекла с применением камеры технического зрения [Текст] / В.В. Булатов, И.И. Абакумов, A.A. Кульчицкий //Научно-технические ведомости СПбГПУ №4 (135) «Наука и Образование». - СПб: СПбГПУ, 2011 - С.163-168.

2. Булатов, В.В. Автоматизированное детектирование пороков листового стекла на основе технологии технического зрения [Текст] / В.В. Булатов, И.И. Абакумов, A.A. Кульчицкий, В.А Шабанов //Вестник Иркутского Государственного Технического Университета №2. - Иркутск: ИрГТУ, 2012 - С.21-26.

3. Блинников, A.A. Коррекция искажения перспективой в системе технического зрения [Текст] / A.A. Блинников, В.И. Бойков, В.В. Булатов, A.A. Кульчицкий, A.B. Спорягин //Известия Высших Учебных Заведений. Приборостроение. №4. -СПб: СПбГУ ИТМО, 2013 - С.89-92

4. Булатов, В.В. Калибровка системы автоматизированного детектирования пороков стекла [Текст] / В.В. Булатов //Вестник Иркутского Государственного Технического Университета №5 (76). - Иркутск: ИрГТУ, 2013 - С.22-25.

5. Булатов, В.В. Обобщенный алгоритм выделения пороков стекла [Текст] / В.В. Булатов // Проблемы машиноведения и машиностроения: Межвуз. сб. Вып. 39. - СПб: СЗТУ, 2009. - С.125-130.

6. Булатов, B.B. Влияние источников света на процесс контроля прозрачных сред техническим зрением [Текст] / В.В. Булатов, A.A. Сарвин // Труды международной научно-технической конференции, посвященной 80-летию ВУЗа «Системы и процессы управления и обработки информации» - СПб.: СЗТУ, Институт системного анализа, автоматики и управления, 2010. - С. 109-113.

7. Булатов, В.В. Математические основы обнаружения инородных включений на стекле по монохромному изображению [Текст] / В.В. Булатов, A.A. Сарвин // Труды международной научно-технической конференции, посвященной 80-летию ВУЗа «Системы и процессы управления и обработки информации» - СПб.: СЗТУ, Институт системного анализа, автоматики и управления, 2010.-С.114-119.

8. Барандов, С.Б. Методика оценки пузырности стекол по монохромному изображению [Текст] / С.Б. Барандов, В.В. Булатов // Труды XI Международной научно-практической конференции молодых ученых, студентов и аспирантов «Анализ и прогнозирование систем управления» I ч. - СПб.: СЗТУ, 2010. - С.42-47.

9. Абакумов, И.И. Применение светофильтров при контроле пороков стекла с использованием системы технического зрения [Текст] / И.И. Абакумов, В.В. Булатов // Труды XI Международной научно-практической конференции молодых ученых, студентов и аспирантов «Анализ и прогнозирование систем управления» 1ч.— СПб.: СЗТУ, 2010. - С.7-10.

Ю.Булатов, В.В. Методика контроля пороков листового стекла с применением системы технического зрения [Текст] / В.В. Булатов //Труды VIII Всероссийской межвузовской конференции молодых ученых. «Сборник тезисов докладов конференции молодых ученых. Выпуск 1». - СПб: СПбГУ ИТМО, 2011 - С.198-199.

П.Булатов, В.В. Методика и система распознавания пороков листового стекла с применением камеры технического зрения [Текст] / В.В. Булатов, И.И. Абакумов //Материалы V Всероссийского форума студентов, аспирантов и молодых ученых. «Наука и инновации в технических университетах». - СПб: СПбГПУ, 2011 - С. 5-6.

РИЦ Горного университета. 21.11.2013. 3.584. Т.100 экз. 199106 Санкт-Петербург, 21-я линия, д.2

Министерство образования и науки Российской Федерации Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Национальный минерально-сырьевой университет «Горный»

На правах рукописи

04201455260

Булатов Виталий Владимирович

ОПТИКО-ЭЛЕКТРОННАЯ СИСТЕМА ДЕТЕКТИРОВАНИЯ ПОРОКОВ ЛИСТОВОГО СТЕКЛА НА ОСНОВЕ ТЕХНОЛОГИИ ТЕХНИЧЕСКОГО

ЗРЕНИЯ

Специальность 05.11.13 — Приборы и методы контроля природной среды,

веществ, материалов и изделий

Диссертация на соискание ученой степени кандидата технических наук

НАУЧНЫЙ РУКОВОДИТЕЛЬ -доктор технических наук,

профессор А.А. Сарвин

кандидат технических наук, доцент А.А. Кульчицкий

Санкт-Петербург - 2013

Оглавление

Введение.........................................................................................................................5

1 Контроль пороков листового стекла.......................................................................14

1.1 Пороки листового стекла. Классификация.....................................................14

1.2 Требования, предъявляемые к качеству стекла..............................................17

1.3 Методы контроля пороков листового стекла.................................................18

1А Средства контроля на основе систем технического зрения..........................27

Выводы по главе 1.............................................................................................34

2 Математическое описание пороков листового стекла........................................35

2.1 Моделирование получения информации в оптико-электронных системах......................................................................................................................35

2.2 Общие требования к системе освещения. Выбор оптической схемы устройства контроля дефектов стекла.....................................................................43

2.3 Моделирование пороков листового стекла.....................................................44

2.4 Признаки пороков листового стекла...............................................................47

2.5 Модель изображения.........................................................................................49

2.5.1 Понятие модели изображения.

Классификация моделей изображения..................................................49

2.5.2 Определение связности объектов на модели

изображения с дефектами.......................................................................52

2.5.3 Выделение линейных и эллипсовидных объектов на изображении на основе расчета коэффициента корреляции...........................................58

Выводы по главе 2.............................................................................................62

3 Экспериментальная установка детектирования пороков листового

стекла.............................................................................................................................63

3.1 Описание устройства автоматизированного детектирования пороков листового стекла (АДПС).................................................................................63

3.2 Система освещения рабочей зоны контроля устройства АДПС..................66

3.3 Алгоритм работы системы АДПС...................................................................73

Выводы по главе 3.............................................................................................76

4 Алгоритмы и программное обеспечение для детектирования

пороков листового стекла...........................................................................................77

4.1 Синхронная модель детектирования пороков листового стекла..................77

4.2 Фильтрация изображения с целью поиска пороков листового стекла........78

4.2.1 Математические основы фильтрации изображений...........................78

4.2.2 Выбор наборов фильтров для обработки изображения

с дефектами..............................................................................................80

4.2.3 Сравнение действий фильтров на модели изображения с пороками листового стекла в среде N1 Vision Builder..........................................83

4.2.4 Особенности фильтрации царапин на стеклопакетах........................90

4.2.5 Фильтрация объектов на монохромном изображении,

не являющихся пороками стекла...........................................................94

4.2.6 Исследования по определению эффективности применения нелинейных фильтров с целью детектирования объектов контроля....................97

4.3 Алгоритм классификации пороков..................................................................99

4.4 Алгоритм определения линейных размеров и подсчёта основных пороков стекла и изделий из стекол (стеклопакетов)...........................................................100

4.5 Реализация алгоритма распознавания пороков стекла на базе программы

N1 Vision Builder для дефектов царапина, пузырь и камень...................................103

4.6 Программа детектирования дефектов листового стекла...............................115

Выводы по главе 4.............................................................................................118

5 Оценка метрологических свойств системы АДПС..............................................119

5.1 Источники погрешностей системы контроля пороков листового

стекла..........................................................................................................................119

5.2 Калибровка устройства автоматизированного детектирования пороков стекла..........................................................................................................................121

5.3 Определение яркостного перепада основных дефектов листового

стекла..........................................................................................................................128

5.4 Оценка эффективности работы системы АДПС............................................130

Выводы по главе 5.............................................................................................137

Заключение...................................................................................................................138

Список литературы......................................................................................................140

Приложение А - Акт внедрения результатов научно-исследовательских, опытно-конструкторских и технологических работ .............................................................149

Введение

Огромная конкуренция заставляет предприятия, производящие стекло и изделия из стекол (стеклопакеты), обращать самое пристальное внимание на качество изготавливаемой продукции.

В Российской Федерации существует более десятка предприятий-изготовителей стекол (ОАО «Борский стекольный завод», ОАО «Салаватстекло», ОАО «Российская стекольная компания» и др.). Вопросам качества уделяется большое внимание и на предприятиях, использующих стекольную продукцию в своих изделиях (ОАО «ПФ «КМТ»). Здесь осуществляется входной контроль продукции, а также приемно-сдаточные испытания изделий.

С 2000 года общий объем выпуска листового стекла в России увеличен в два с половиной раза: в 2000 г. было произведено 80 млн. м2, а в 2010-2011 гг. около

л

200 млн. м [101]. Основными потребителями стекла в России являются такие отрасли, как строительство, автомобилестроение и машиностроение. В 2011 году объём внутреннего производства пластиковых окон составил 20,2 млн. кв. метров, что на 26% выше уровня 2010 года. За 2010-2012 наметился рост объемов производства в вагоностроении: производство трамвайных вагонов - 8%, производство вагонов метро на 21% [100]. Это говорит о необходимости обеспечения конкурентоспособности выпускаемых изделий и ставит проблему организации контроля в ряд наиболее актуальных.

По мере повышения требований к качеству выпускаемой продукции в отраслях народного хозяйства быстро растут требования к контролю качества стекол и стеклопакетов.

Исследовательские работы в этой области [48,50,54,56] посвящены изучению методов контроля светопропускания стекла и оконных блоков, созданию системы статической оценки внутренних напряжений, а также общим вопросам системы качества безопасного стекла. Однако до сих пор отсутствуют исследования в области автоматизированного контроля пороков стекла и изделий

из стекол. Единственной отечественной работой, посвященной автоматизации визуального контроля стекла, является диссертация [49]. Её автор уделяет большее внимание конструкции установки контроля, но не рассматривает вопрос классификации дефектов, измерения их линейных размеров и создания программных алгоритмов.

На сегодняшний день промышленно выпускаемых отечественных установок контроля дефектов не существует, а зарубежные чрезвычайно дороги: их стоимость приближается к нескольким сотням тысяч долларов США. Это приводит к тому, что на большинстве российских предприятий неавтоматизированный контроль является единственным способом оценки качества изделий. Использование такого метода приводит к браку, порядка 24 % [62] выпускаемой продукции. Более 75% [62] изделий бракуется по порокам стекла.

Визуальный контроль обладает рядом существенных недостатков. Основным недостатком является человеческий фактор. Его следствием часто является субъективность и низкая достоверность. При таком способе контроля оценка является качественной («в работу» или «брак»). К существенным недостаткам данного метода контроля можно отнести длительность процесса. Кроме того, контроль сложных изделий с применением простейших оптических приборов (луп, микроскопов), по словам работников бюро технического контроля (БТК), очень сильно напрягает зрение и приводит к быстрому утомлению, что, безусловно, представляет опасность для здоровья.

Рассмотрим более подробно сущность человеческого фактора применительно к визуальному контролю изделий из стекла.

Значимым является то, что контролируемый объект должен быть размещен в центральной зоне поля зрения или в зоне ясного видения, в пределах которой контролер при неподвижном глазе может опознавать наличие порока контролируемого объекта, но не различать их мелких деталей, т. е. фактически только определять их присутствие на объекте контроля.

Во-вторых, видимость объекта контроля (степень различимости пороков стекла при их наблюдении) зависит от продолжительности просматривания, от контраста, яркости, цвета, угловых размеров объекта, резкости контуров и условий освещённости. Каждое свойство имеет абсолютный порог видимости, ниже которого дефект не может быть виден, сколь бы благоприятными ни были условия наблюдения с точки зрения других факторов. Человеческий глаз при слишком малой яркости или очень малом контрасте не может различить объект контроля, даже при продолжительном рассматривании.

Также следует помнить, что минимальная величина яркостного контраста, при которой контролёр способен различать пороки стекла, для человека составляет 0,01-0,02 (1-2%) при оптимальных условиях осмотра предмета с угловыми размерами не менее 0,5°.

В реальных производственных условиях контроля стекла и изделий из стекол пороговое значение чувствительности выше и составляет около 0,05 (5%), что объясняется малой яркостью дефектов, их небольшими угловыми размерами и другими факторами.

Таким образом, некоторые, даже крупные пороки стекла, не могут быть обнаружены глазом из-за малого контраста на поверхности детали.

В-третьих, существенное влияние на детектирование пороков стекла человеком оказывает разрешающая способность глаза и острота зрения, которые непосредственно зависят от освещённости контролируемого объекта, продолжительности осмотра, спектрального состава света и также определяются структурой сетчатки и дифракцией света в глазных средах, что в общем случае индивидуально для каждого контролера.

Следует отметить, что человеческий глаз, как и любая реагирующая система, обладает инерцией. Время, необходимое для возникновения зрительного ощущения, зависит от длины волны, яркости объекта и составляет 0,025-0,1 с. [14].

Скорость луча зрения, скользящего по объекту контроля, достигает 300-400 мм/с. Некоторые царапины и пузыри на стекле длиной 2-5 мм при такой скорости

осмотра могут быть не обнаружены, т.к. продолжительность их осмотра мала (0,005-0,01 с) и зрительное ощущение контролера не успевает сформироваться [14].

Именно человеческий фактор является основной проблемой оценки качества прозрачных сред. Следует отметить, что осмотр изделий производится путём выборочного контроля, что не служит гарантией качества всей партии.

Автоматизация визуального контроля прозрачных сред позволит исключить глаз человека, как оптический прибор, из процесса контроля, тем самым уменьшив вероятность ошибок, повысить точность определения качественных характеристик стекла, ускорить процесс контроля.

Кроме того, автоматизация визуального контроля даст возможность оценивать параметры каждого изготавливаемого объекта, что повысит качество выпускаемой продукции в целом.

Таким образом, задача автоматизированного процесса контроля качества стекла, несомненно, является значимой для современной российской промышленности.

Цель работы: разработка системы детектирования пороков листового стекла, основанной на использовании технического зрения и позволяющая автоматизировать процесс контроля качества стекла и изделий из стекол (стеклопакетов) и обеспечить их распознавание с высоким коэффициентом выделения дефекта, для проведения мероприятий по приемочному неразрушающему контролю изделий.

Задачи исследования:

1. Разработка математических моделей основных пороков для их идентификации при контроле стекол и изделий из стекла (стеклопакетов) в зависимости от природы происхождения.

2. Разработка алгоритмов обнаружения и распознавания основных пороков стекла и изделий из стекла (стеклопакетов), на основе которых возможно четкое выделение дефекта стекла по определенным признакам.

3. Компьютерное моделирование процессов технической диагностики основных пороков стекла на основе программного обеспечения в программных средах N1 Vision Builder и Labview.

4. Разработка оптико-электронной установки для исследования основных пороков листового стекла и проверка предложенных алгоритмов.

5. Оценка коэффициента выделения дефекта автоматизированной системой контроля пороков листового стекла.

Научная новизна работы:

1. Предложены математические модели пороков (царапина, пузырь и камень), на основе которых разработаны алгоритмы выявления пороков, учитывающие геометрические свойства каждого дефекта.

2. Разработана методика классификации пороков стекла, основанная на комплексном применении набора признаков включающих в себя сравнение с эталоном, фильтрацию изображения и управление освещением.

3. Выявлена зависимость применения нелинейных фильтров для обработки изображения на процесс распознавания и классификацию дефектов листового стекла.

4. Предложен алгоритм контроля дефектов, учитывающий классификацию пороков и определение их размеров с точностью, необходимой по требованиям стандартов, реализованный на экспериментальной оптико-электронной установке автоматизированного детектирования пороков стекла (АДПС).

5. Произведена оценка влияния интенсивности освещения и способа подсветки рабочей зоны на коэффициент выделения дефектов листового стекла.

Практическая значимость работы состоит в разработке автоматизированного способа контроля основных пороков стекла с использованием экспериментальной оптической системы; в получении формализованного способа отбраковки стекла в производстве. Разработанное математическое и алгоритмическое обеспечение исследовано и проверено на экспериментальной оптико-электронной установке АДПС на кафедре

автоматизации технологических процессов и производств (АТПП) Национального минерально-сырьевого университета «Горный».

В частности, практическим результатом диссертации является разработка «Устройства автоматизированного детектирования пороков стекла», что подтверждается патентом на полезную модель №115463 и программы распознавания дефектов листового стекла, что подтверждается свидетельством №2012617219.

Полученные результаты могут быть использованы на предприятиях стекольной промышленности, а также на предприятиях применяющих листовое стекло в своих изделиях.

Результаты исследования рекомендуются к применению в учебном процессе кафедры АТПП Национального минерально-сырьевого университета «Горный» в дисциплинах «Основы систем технического зрения», «Технические измерения и приборы», «Диагностика и надежность автоматизированных систем» и «Методы и алгоритмы обработки сигналов и изображений».

Методы исследования. Для решения поставленных задач в диссертационной работе использованы методы современного компьютерного моделирования, методы цифровой обработки изображений.

Для подтверждения эффективности и достоверности предложенных методов проводились экспериментальные исследования в лабораторных условиях с использованием специального оборудования. Исследование путей улучшения метрологических показателей контрольных образцов проводилось эмпирическим методом и интерпретацией статистических данных.

Положения, выносимые на защиту:

1. Возможность применения синхронной модели позволяет детектировать пороки листового стекла различной формы и природы происхождения с использованием программы классификации по разработанным признакам на базе технологии технического зрения.

2. Выделение яркостных перепадов между дефектом и фоном должно осуществляться путем выбора параметров масок-фильтров и является дополнительным признаком при классификации пороков.

3. С целью получения достоверных результатов для детектирования пороков листового стекла следует использовать рассеянную систему освещения подсветки рабочей зоны и алгоритм поиска дефектов на основе разработанного классификатора.

Обоснованность �