автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация технологических процессов контроля качества стеклянных микрошариков

На правах рукописи

СТРУГАЙЛО ВЛАДИМИР ВЛАДИМИРОВИЧ

АВТОМАТИЗАЦИЯ ТЕХНОЛОГИЧЕСКИХ ПРОЦЕССОВ КОНТРОЛЯ КАЧЕСТВА СТЕКЛЯННЫХ МИКРОШАРИКОВ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 2 2012

Москва-2012

005045997

005045997

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский автомобильно-дорожный государственный технический университет (МАДИ)» на кафедре «Автоматизированные системы управления»

Научный руководитель Николаев Андрей Борисович,

Заслуженный деятель науки РФ, доктор технических наук, профессор, декан факультета «Управление» МАДИ

Официальные оппоненты Суворов Дмитрий Наумович,

доктор технических наук, профессор, профессор кафедры «Автоматизация производственных процессов» МАДИ

Горюнов Игорь Иванович кандидат технических наук, доцент Московский государственный строительный университет (МГСУ), заведующий кафедрой «Автоматизация инженерно-строительных технологий»

Ведущая организация: Научно-исследовательский институт материалов, конструкций и новых технологий (НИИ МК и НТ), г.Москва.

Защита состоится 2 июля 2012г. в 10:00 часов на заседании диссертационного совета Д.212.126.05 при Федеральном

государственном бюджетном образовательном учреждении высшего профессионального образования «Московский автомобильно-дорожный государственный технический университет (МАДИ)» по адресу: 125319, г. Москва, Ленинградский проспект, д.64, ауд. 42. Телефон для справок: (499) 155-93-24.

С диссертацией можно ознакомиться в библиотеке МАДИ.

Автореферат разослан 1 июня 2012 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью организации, просим направлять в адрес диссертационного совета университета, а копии отзывов присылать по электронной почте: uchsovet@madi.ru

Ученый секретарь диссертационного совета, кандидат технических наук, доцент

Михайлова Н.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

В технологических процессах производственных предприятий зачастую есть необходимость в обработке визуальной информации. Работа, связанная с оценкой зрительных образов, особенно при большом их количестве, достаточно трудоемка и утомительна для человека и, в то же время, требует большой ответственности.

Объем промышленно изготавливаемых стеклянных микрошариков (СМШ) требует соответствующего уровня контроля качества продукции, что предполагает внедрение технологий, позволяющих поддерживать данный этап в производстве на должном уровне. Одним из подходов к автоматизации процесса контроля качества может быть анализ изображений СМШ, внедряемый вместо ручных методов с применением микроскопа. Промышленные анализаторы изображений позволяют сократить временные затраты и значительно снизить количество ошибок, совершаемых человеком при выполнении большого числа рутинных и монотонных операций.

Контроль качества СМШ среди параметров включает в себя оценку таких визуальных характеристик как размеры и форма частиц. Существующие ситовые методы, применяемые при классификации СМШ, имеют оценочный характер и не всегда дают необходимую информацию о форме и размерах фильтруемых объектов.

Между тем, визуальный анализ размеров и формы СМШ дает специалистам представление не только о качестве произведенного материала, но и позволяет оценить состояние параметров производства, соблюдение режимов работы оборудования и его исправность, а также качество используемого сырья.

Однако анализ и обработка характеристик СМШ с помощью промышленных анализаторов изображений предполагает решение ряда задач. Необходимо реализовать возможность комфортной для глаз человека визуализации изображений, а при необходимости сохранять в виде файлов изображения отдельных микрошариков. Цифровые изображения СМШ не всегда имеют идеальное качество, что требует создания эффективных алгоритмов для обработки образов. Принимая во внимание важность оценки формы СМШ, следует учесть, что объекты на изображении имеют множество возможных вариантов положений, это увеличивает сложность анализа. Даже при очень строгих параметрах технологического процесса производства, СМШ в отдельно взятой пробе могут значительно отличаться по гранулометрическому составу, что затрудняет их представление с фиксированной размерностью.

Цифровое изображение пробы может содержать множество замкнутых контуров отдельных СМШ, но также включать неполные контуры или агломерации объектов. Это требует выделения отдельных объектов и исключение из обработки элементов, о форме которых невозможно сделать однозначных выводов. Методы, используемые для классификации СМШ с помощью изображений, должны позволять получать высокоточные и стабильные результаты. Также важным является реализация удобного представления результатов, получаемых в процессе обработки и анализа изображений.

Поэтому исследование и разработка моделей, методов и алгоритмов, позволяющих осуществлять контроль качества стеклянных микрошариков посредством обработки и анализа цифровых изображений, является важной задачей, и определяет актуальность данной диссертационной работы.

Предметом исследования являются модели, методы и алгоритмы обработки и анализа изображений микрообъектов, применительно к контролю качества промышленно производимых СМШ; программное обеспечение (ПО) и компоненты промышленных анализаторов изображений и систем технического зрения; подходы к автоматизации технологического процесса производства СМШ.

Цель и основные задачи исследования

Целью данной работы является повышение эффективности управления производством промышленно изготавливаемых СМШ посредством разработки и внедрения ПО, входящего в состав подсистемы контроля качества, комплексной автоматизированной системы управления технологическим процессом (АСУТП) предприятия.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Анализируются модели, методы и алгоритмы обработки и анализа информации, заложенной в цифровых изображениях микрообъектов применительно к контролю качества СМШ.

2. Разрабатываются новые и модифицированные модели, методы и алгоритмы обработки и анализа цифровых изображений СМШ.

3. Разрабатывается ПО подсистемы контроля качества СМШ и методика его использования.

4. Производится экспериментальное исследование разработанных методов и оценка результатов внедрения подсистемы контроля качества, в рамках комплексной АСУТП предприятия.

Методы исследования

При разработке методов, моделей и алгоритмов обработки изображений в диссертации использовались элементы теории распознавания образов, методы цифровой обработки изображений и сигналов. Разработка методов группирования и классификации построена на аппарате искусственных нейронных сетей. Разработка модели представления метаданных построена на положениях теории множеств и математической логики. Модели подсистемы контроля качества построены на методах математического программирования. Моделирование разрабатываемых и анализируемых методов и алгоритмов производилось с помощью пакетов математических и технических вычислений.

Научная новизна

Научная новизна заключается в разработке методов, моделей и алгоритмов представления, обработки и анализа цифровых изображений СМШ в подсистеме контроля качества АСУТП при их промышленном производстве.

На защиту выносится:

- модель обработки цифровых изображений СМШ в виде связных множеств;

- модификация алгоритма ориентирования изображений контуров объектов, основанная на моментах инерции;

- алгоритм оценки яркостей изображения по гистограммам;

- модель группирования файлов цифровых изображений СМШ по форме и размерам, основанная на нейронной сети Кохонена;

- модель классификации СМШ по размерам и форме на цифровых изображениях, основанная на комбинированной архитектуре нейронных сетей с обратным распространением ошибки.

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется предварительным анализом разработанных методов, моделей, алгоритмов, согласованностью результатов предложенных методов, моделей и алгоритмов, а также анализом работы подсистемы контроля качества в целом. Достоверность положений и выводов диссертации подтверждена положительным внедрением результатов работы на предприятии по производству СМШ.

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования.'Они представляют непосредственный

интерес в области автоматизации контроля качества микрообъектов производимых в промышленных условиях.

Методы, модели и алгоритмы, а также программные средства могут быть использованы при решении задач обработки и анализа характеристик микрообъектов на цифровых изображениях в промышленных производствах.

Разработанные методы, модели и алгоритмы прошли апробацию и внедрены для практического применения на предприятии ООО «ПромНаноСистемс».

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских и межрегиональных научно-технических конференциях, симпозиумах и семинарах (2007-2012г.г.);

• на заседании кафедры АСУ МАДИ.

Совокупность научных положений, идей и практических результатов исследований представляет интерес в области автоматизации процессов контроля качества микрообъектов в ходе их промышленного производства.

Содержание работы

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, моделей и алгоритмов.

Во введении обосновывается актуальность научная и практическая значимость темы диссертационной работы, сформулированы цель работы и ее научная новизна, изложены выносимые на защиту положения, приведена краткая характеристика работы.

В первой главе производится анализ технологических процессов производства СМШ. Рассматриваются подходы к автоматизации производства СМШ. Исследуются области применения СМШ. Анализируются подходы к контролю качества СМШ. В качестве применяемых методов рассматриваются: ручной метод, основанный на зрительном анализе и автоматизированные подходы с использованием промышленных анализаторов.

Анализируются области применения обработки и анализа изображений при автоматизации промышленных задач. Рассматривается общие представления и подходы к исследованию изображений микрообъектов в производстве. Исследуются технологии обработки частиц на цифровых изображениях в материаловедении, пищевой, перерабатывающей и других отраслях.

Осуществляется обзор подходов к построению систем обработки и анализа визуальной информации в промышленности.

Отдельно рассматриваются анализаторы изображений микрообъектов. Выделяется структура систем технического зрения и основные функциональные блоки ПО анализаторов изображений. Оцениваются преимущества и недостатки существующих методологий.

Следующим пунктом первой главы рассматриваются математические методы и алгоритмы, применяемые при реализации задач обработки и анализа изображений. Выделяется эвристические, математические, лингвистические методы и искусственные нейронные сети.

В конце главы анализируются существующие методы обработки и анализа цифровых изображений микрообъекгов в промышленности.

Во второй главе вводится понятие о представлении цифровых изображений в памяти компьютера в виде матрицы вещественных чисел, которые характеризуют значение яркости отдельных пикселей.

В качестве методов улучшения изображений, содержащих СМШ, выделяются два подхода, основанные на пространственных и частотных изменениях. Суть пространственных методов заключается в том, что такие алгоритмы оперируют непосредственно с пикселями, представляющими пространство изображения. Основой частотных методов является применение прямого и обратного преобразования Фурье. Исследование методов обработки изображений позволяет сделать вывод, что многие задачи одинаково хорошо решаются как пространственными, так и частотными методами.

На этапе предварительной обработки изображений осуществляется изменение яркостных характеристик и контрастности, далее следуют методы фильтрации. Сглаживающие фильтры решают задачу подавления на изображении аддитивного шума, который проявляется отдельными точками, отличающимися от фона, и имеет гораздо меньший размер, чем СМШ. Однако такие фильтры часто обладают свойством размывать границы объектов. Для повышения четкости границ применяются соответствующие алгоритмы повышения резкости.

Проводится исследование методов и алгоритмов сегментации изображений, целью которых является отделение СМШ от фона и представлении СМШ как отдельных объектов. Из множества алгоритмов применяемых для целей выделения элементов изображений были выбраны градиентные методы, поскольку они легко реализуются программно. Отдельно был рассмотрен метод

Canny, который представляет набор алгоритмов, дающих более качественный результат, чем вышеприведенные методы.

Рассматриваются методы масштабирования и нормализации, позволяющие сделать изображения инвариантными к масштабированию. Для оценки формы CMLLI реализован алгоритм вычисления коэффициента сферичности Рилея.

Для представления изображений СМШ в виде удобном для последующего анализа разработан алгоритм поворота изображения СМШ с использованием точки центра масс и координат объекта, что позволяет привести СМШ в относительно одинаковое положение.

Вначале находятся координаты центра тяжести или энергетического центра изображения исследуемого объекта:

у _ Y!i=iY!j=SEij • Xjj)

Лцэ уМ yN F '

ГЦЭ ум yN Р '

¿11=1 ¿«7=1

где: [Еу] - массив цифрового изображения объекта размерностью М х N, а индекс i - номер столбца элементов, j -номер строки; хц и yi;- - это координаты точек изображения объекта, которые могут быть заменены соответствующими номерами столбцов и строк, содержащих данный элемент дгу = i, ytj - j.

После нахождения координат центра тяжести вычисляются промежуточные моменты инерции. На основе промежуточных осей инерции определяется угол наклона изображения объекта по

отношению к базовой системе координат:

1...... 2-/«у

в - — arctg

2 а]х-]у'

где: ]х, ]ху - промежуточные моменты инерции изображения объекта.

Угол определяется в градусах между максимальной осью инерции и осью X. Соответственно если ]у > ]х, то угол наклона определяется следующим образом:

я 1 , /у-]х

в = — агсЬд * .

^ ^ )ху

При выделении контуров объектов они представляются отдельными изображениями прямоугольной формы. По отношению сторон прямоугольника, описывающего контур объекта можно сделать вывод о свойствах формы исследуемой частицы. Отношение сторон прямоугольника:

, У "

где: Н - высота, I - ширина прямоугольника, при ку > 1 контур объекта вытянут по оси ординат, при ку < 1 - по оси абсцисс.

На рисунке 1 показан предложенный принцип, определения точек касаний контура объекта, по отношению к центрам сторон прямоугольника.

м,

ку =1

м"

Мц

пт

Л L..ZJ

.л ! —

Mi

---t~~~f" М^

-г > Г-1! і ЬН

Мд

к¥ >1 • •

^ -

L

Н

ку <1 Л

и

Рисунок 1 - Анализ точек касания контура объекта

При равенстве сторон прямоугольника ку = 1, описывающего контур объекта, однозначный вывод о форме объекта сделать трудно. Поэтому, следующим шагом проверяется насколько точки касания объекта, находятся близко к середине сторон образующих квадрат. Если точки касания отклоняются более ±5% от центра отрезка, то можно предположить, что форма такого объекта отлична от окружности:

ку = 1 ± 5%, L

Мц = -,

М' = Мц • 5%, - ЛГ < Mi < Мц + ЛГ .

Так как, контуры большинства СМШ имеют форму близкую к окружности, данный механизм позволяет значительно сократить количество операций по обработке изображений.

На рисунке 2 приведен разработанный модифицированный алгоритм ориентирования контуров СМШ.

Рисунок 2 - Алгоритм ориентирования контуров объектов

Для оценки качества СМШ по яркостям полутоновым изображениям разработан модифицированный алгоритм оценки сходства форм гистограмм. Особенность метода заключается в оценке только частей гистограмм, содержащих СМШ. В данном подходе часть гистограммы, относящаяся к фону, отнимается по заданному порогу. Таким образом, остается только та часть гистограммы, площадь которой указывает на стеклянный материал.

По регламентирующим документам максимальный процент дефектных СМШ при оценке по изображениям не должен превышать 30%. Это позволяет разделить два пика яркостей на гистограмме по порогу и получить два интервала, для которых можно вычислить площади и сравнить их процентное соотношение. На рисунке 3 показаны выделенные по порогу части гистограммы, соотношение площадей которых оценивается.

Уровни яркости

Рисунок 3 - Выделенные по порогу части гистограммы

Отношение двух частей гистограммы исследуемого образца задается следующей формулой:

где: М - площадь яркостей соответствующих дефектной части материала, \\2 - площадь стеклянных микрошариков с нормальной яркостью.

Разработан алгоритм, позволяющий определить по части гистограммы в исследуемом образце СМШ процентное соотношение дефектного и соответствующего норме материала, а также изменение яркости по отношению к эталону и таким образом оценить качество исследуемой партии СМШ. На рисунке 4 показана схема предлагаемого автором алгоритма оценки изменения яркости СМШ по частям гистограмм.

Рисунок 4 - Алгоритм оценки изменения яркости по частям гистограмм

Разработана модель, позволяющая представлять и обрабатывать цифровые изображения в виде взаимосвязанных множеств. В рамках данной модели, строятся отношения, начиная с элементов отдельно взятого образа до некоторой совокупности совместно исследуемых изображений. Изображения описываются в виде матриц по координатам, которых можно получать значения яркости в зависимости от присутствующих в представлении

цветовых составляющих. Одно изображение описывается в виде конечного множества связанных представлений в различных цветовых моделях, что позволяет применять преобразования, выполненные над одним видом изображения к другому его представлению. При наличии между различными изображениями определенных отношений их совокупности тоже могут быть представлены в виде взаимосвязанных множеств.

Первая идея разработанной модели заключается в хранении связей между координатами представлений изображения в различных цветовых моделях. В данной модели предполагается, что изображения имеют одинаковую размерность. Поэтому координаты одного представления однозначно соответствуют координатам изображения в другой цветовой модели.

VImg э /дсв[i,/], Icrayli.j],

¡RGB _ ¡Gray :RGB _ ¡Gray

i i , j — j

Это позволяет выбирать такое цветовое представление исходного изображения, которое является более подходящим для выбранных методов его обработки. Далее последовательность выполненных преобразований над одним видом изображения может быть перенесена на другие его представления. Например, на бинарном изображении производятся операции выделения контуров, по координатам которых могут быть получены объекты интереса на цветном представлении и показаны пользователю.

Вторая идея основывается на понятиях множеств, каждое изображение это множество элементов, представленное пикселями. Набор связанных представлений изображений также можно понимать как множество. Далее для изображения можно выделить области с контурами объектов, каждую такую область можно представить как отдельное изображение, а их совокупность множеством имеющим пересечение с исходным изображением.

В обобщенном виде множество представлений изображения F имеет вид:

F э {/¡}, i е А, А Э {RGB, Gray, Binary, CMYK, YUV,...} .

Все элементы множества представлений цветовых моделей имеют одинаковую размерность соответствующую исходному изображению:

На рисунке 5 представлено взаимное координатное соответствие представлений изображений в различных цветовых моделях.

\

s

Рисунок 5- Координатное соответствие представлений изображений в различных цветовых моделях

Координаты:

к[Хт,Уп] -

0 <хт<М,

О < уп < N .

Множества изображений контуров объектов, полученных из исходного изображения можно представить следующим образом:

Masi э {/¿ounter [/']},

1 < j < Count,

где: Count- число контуров во множестве i-го представления. Элементы множества контуров объектов имеют размерность, которая равна для всех используемых представлений:

¡CounterU]

' m.j X m.j

О <rrij< М, О < Tij < N.

Набор изображений контуров объектов в /-ом представлении есть пересечение данного множества с соответствующим представлением исходного изображения:

и П 1соиМегШ •

Модель связных множеств реализована для изображений СМШ, но может использоваться и для других типов изображений, на которые имеет смысл представлять и обрабатывать отдельные элементы.

В третьей главе проводится анализ методов кластеризации и классификации с целью построения системы, позволяющей анализировать изображения СМШ. Затрагивается проблема выделения существенных признаков для данного класса изображений и фиксации размерности объектов, необходимых для адекватного представления. В данном случае важным является вопрос подбора правильных функциональных зависимостей, позволяющих осуществлять кластеризацию и классификацию изображений СМШ с достаточной для практического применения точностью. Выделяются искусственные нейронные сети (ИНС), как аппарат позволяющий строить необходимые решающие функции в процессе обучения нейросетевого алгоритма. Исследуются традиционные нейрострукгуры, применяемые в задачах кластеризации и классификации цифровых изображений. Осуществляется обоснование методологии ИНС в качестве подхода для анализа характеристик изображений СМШ.

Разработана модель для группирования объектов, на основе алгоритма нейронной сети Кохонена. В рамках разработанной модели формируется визуальное представление выявленных классов, а также имеется возможность сохранить проанализированные объекты в виде отдельных файлов изображений в структурированное хранилище образов с учетом их группирования. Данная модель позволяет визуально оценить качество выделяемых классов образов и создавать структурированные библиотеки цифровых изображений исследуемых образов.

Логическая модель разработанного алгоритма, основанного на сети Кохонена с выходным слоем нейронов, картой визуального представления и множеством сгруппированных образов показана на рисунке 6.

Рисунок 6 - Логическая модель алгоритма, основанного на сети

Кохонена

Схема разработанного алгоритма показана на рисунке 7.

Разработана модель классификации объектов, основанная на комбинированной структуре нейронных сетей с обратным распространением ошибки. Каждая нейронная сеть, в рамках комбинированной структуры, обучена распознавать один класс объектов.

В комбинированной структуре используются классические полносвязные трехслойные сети с одним нейроном на выходе для классификации СМШ.

Начало ^

Нет і

( Еіьіхид^

Рисунок 7 - Схема функционирования алгоритма группирования изображений СМШ

Разработанная модель классификации стеклянных микрошариков, представленная комбинированной нейросетевой структурой, показана на рисунке 8.

Комбинированная нейросетевад структура

Рисунок 8 - Модель комбинированной структуры ИНС для классификации СМШ

В зависимости от решаемых задач, используемые в комбинированной структуре, нейронные сети могут иметь различные архитектуры. Таким образом, общее представление комбинированной структуры может иметь вид:

Р э {/, (<ру(а))) , 1еК. /е/,

где: (<р,-(а)) - результат работы /-ой нейросети, <р(а) -

нелинейное преобразование входных данных нейросетью определенной архитектуры К - число нейронных сетей, J - число различных архитектур.

В четвертой главе описываются возможности, реализованные в ПО подсистемы контроля качества СМШ. Приводится схема структуры ПО, описываются основные функции, реализованных алгоритмов обработки и анализа СМШ. На рисунке 9 приводится схема основного алгоритма исследования изображений СМШ, который реализован автором.

Приводится описание технологий, методологий и средств, применяемых при реализации ПО подсистемы контроля качества СМШ. Анализируются перспективы реализованных методов, моделей и алгоритмов в решении задач обработки и анализа визуальной информации в задачах промышленного производства.

Рисунок 9 - Основной алгоритм исследования СМШ

Приводятся результаты, получаемые до и после внедрения разработанных методов, моделей и алгоритмов в программное обеспечение подсистемы контроля качества СМШ. На экспериментальных данных оцениваются изменение параметров технологического процесса контроля качества и производства в целом.

В заключении представлены основные результаты работы.

Публикации

По результатам выполненных исследований опубликовано 13 печатных работ.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ технологического процесса контроля качества СМШ, который позволил выявить зависимость уровня оценки квалитета продукции от организации подсистемы контроля, а также влияние результатов работы контролирующей службы на состояние промышленного оборудования и производства в целом.

2. Произведен анализ информационного и математического обеспечения автоматизированных систем обработки визуальной информации в задачах промышленного производства микрообъекгов. Выполнен обзор применяемых методологий. Показано, что при современном развитии аппаратных составляющих систем обработки визуальной информации необходимо развитие интеллектуальных технологий, позволяющих создавать узкоспециализированный функционал и повышать возможности принимаемых решений.

3. По результатам проведенных исследований определен ряд задач, позволяющих повысить уровень технологического процесса контроля качества СМШ в рамках существующей АСУТП предприятия. Выполнено обоснование выбранных методологий, автоматизирующих обработку и анализ характеристик СМШ посредством цифровых изображений.

4. Произведен анализ существующей на предприятии подсистемы контроля качества, произведено внедрение модулей разработанных алгоритмов, произведена модификация существующей базы данных для хранения данных, связанных с внедренным функционалом.

5. Решена задача автоматизированной классификации СМШ по размерам и форме, что позволяет увеличить объем исследуемого материала по данным параметрам и повысить качество получаемых результатов за счет снижения влияния человеческого фактора.

6. Решена задача определения качества материала по изменению яркости в исследуемом образце, что позволяет

оценивать процентное содержание дефектного материала, имеющего изменение яркости от общего объема выборки.

7. Решена задача формирования структурированной библиотеки файлов изображений, исследуемых образцов СМШ, что позволяет создавать выборки объектов, имеющих определенные характеристики для повторного их исследования и применения в качестве обучающего материала для расширения функционала подсистемы автоматизированной классификации.

8. Разработанные методы, модели и алгоритмы прошли апробацию и внедрены для практического применения в программном обеспечении подсистемы контроля качества АСУТП предприятия по производству СМШ.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

ПУБЛИКАЦИИ В ЖУРНАЛАХ, РЕКОМЕНДОВАННЫХ ВАК

1. Гарколь Н.С., Стругайло В.В. Проектирование алгоритмов для медицинских экспертных систем. II Ползуновский вестник № 12. - Барнаул: Алтайский государственный технический университет, 2009 - дополнительные статьи // http://elib.aitstu.ru/elib/books/Files/pv2009 0102/pdf/001qarkol.pdf.

2. Гарколь Н.С., Стругайло В.В. Алгоритмы обработки многомерных данных. // Ползуновский вестник № 1-2. -Барнаул: Алтайский государственный технический университет, 2009 - дополнительные статьи // http://elib.altstu.ru/elib/books/Files/pv2009 0102/pdf/002qarkol.pdf.

3. Стругайло В.В. Обработка цифровых изображений стеклянных микрошариков методами фильтрации и сегментации. II Наука и образование. № 3. - М.: МГТУ им. Баумана, 2012. // http://technomag.edu.ru/doc/403867.html.

ПУБЛИКАЦИИ В ДРУГИХ ИЗДАТЕЛЬСТВАХ

4. Стругайло В.В., Гарколь Н.С. Алгоритмы определения структурной организации данных. // Молодежь и современные информационные технологии. Сборник трудов V Всероссийской научно-практической конференции студентов, аспирантов и молодых ученных. - Томск: ТПУ, 2007. - С. 162163.

5. Гарколь Н.С, Стругайло В.В. Методы обработки цифровых изображений. // Математическое моделирование, обратные задачи, информационно-вычислительные технологии: сборник статей VII Международной научно-технической конференции. -Пенза: РИО ПГСХА, 2007. -С. 57-60.

6. Стругайло В.В., Гарколь Н.С. Методы понижения размерности классифицируемых данных. // Молодежь Сибири - науке России: материалы международной научно-практической

конференции /Сост. Т.А. Кравченко; Сибирский институт бизнеса, управления и психологии. - Красноярск, 2008. - С. 242-246.

7. Стругайло В. В. Нечеткая нейронная сеть для классификации данных. // Математические методы и информационные технологии в экономике, социологии и образовании: сборник статей XXII Международной научно-технической конференции. - Пенза: Приволжский Дом знаний, 2008. - С. 125-128.

8. Стругайло В.В. Нейросетевые методы обработки многомерных данных. // Молодежь и современные информационные технологии. Сборник трудов VII Всероссийской научно-практической конференции студентов, аспирантов и молодых ученных. - Томск: СПБ Графике, 2009. - С. 333-334.

9. Стругайло В.В. Нейросетевая модель классификации объектов на изображениях в медицине. // Методы компьютерной диагностики в биологии и медицине. - Саратов: Сарат. ун-т, 2009-С. 52-54.

Ю.Николаев А.Б., Стругайло В.В. Интегрированная модель обработки цифровых изображений стеклянных микрошариков в виде связных множеств. // Прикладная эконометрика на транспорте и в промышленности. Межвузовский сборник научных трудов. - Москва: Техполиграфцентр - 2011. - С. 3-9.

П.Николаев А.Б., Стругайло В.В. Нейросетевые алгоритмы группирования и классификации цифровых изображений стеклянных микрошариков по форме и размерам. // Прикладная эконометрика на транспорте и в промышленности. Межвузовский сборник научных трудов. - Москва: Техполиграфцентр. - 2011. - С. 59-71.

12.Стругайло В.В., Николаев А.Б. Автоматизация контроля качества в производстве светоотражающих материалов. // Прогрессивные технологии развития. Сборник материалов 8-й международной научно-практической конференции: Наука на рубеже тысячелетий - Тамбов: ТМБпринт. - 2011. - С. 25-26.

13.Стругайло В.В., Товкач П.А. Модификации алгоритмов ориентирования контуров объектов и оценки яркостей по гистограммам при анализе характеристик изображений стеклянных микрошариков. // Имитационное моделирование систем управления. Сборник научных трудов МАДИ. - Москва: Ротапринт МАДИ - 2012. - С. 42-53.

Подписано в печать: 31.05.2012 Тираж: 100 экз. Заказ №837 Отпечатано в типографии «Реглет» 119526, г. Москва, Ленинградский пр-т, д.74, корп.1 (495) 790-47-77; wwvv.reglet.ru

/

61 12-5/3895

МОСКОВСКИЙ АВТОМОБИЛЬНО-ДОРОЖНЫЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ (МАДИ)

СТРУГАЙЛО ВЛАДИМИР ВЛАДИМИРОВИЧ

АВТОМАТИЗАЦИЯ ТЕХНОЛОГИЧЕСКИХ ПРОЦЕССОВ КОНТРОЛЯ КАЧЕСТВА СТЕКЛЯННЫХ МИКРОШАРИКОВ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата технических наук

Научный руководитель

Лауреат премии правительства РФ, заслуженный деятель науки РФ, доктор технических наук, профессор Николаев Андрей Борисович

Москва-2012

СОДЕРЖАНИЕ

Введение.........................................................................................................5

1. Подходы к автоматизации процесса производства и контроля качества стеклянных микрошариков...................................................................14

1.1. Анализ области применения и технологий производства стеклянных микрошариков...............................................................................14

1.2. Анализ подходов к контролю качества производимых стеклянных микрошариков...............................................................................20

1.3. Анализ области применения обработки и анализа изображений в автоматизации промышленных задач.............................................................23

1.3.1. Общие представления о применении обработки и анализа изображений в автоматизации промышленных задач...................................23

1.3.2 Анализ области применения обработки и анализа микрообъектов на изображениях в автоматизации промышленных задач.28

1.4. Обзор подходов к построению систем обработки и анализа визуальной информации в промышленности.................................................32

1.4.1 Обзор общих подходов к построению систем обработки и анализа визуальной информации в промышленности...................................32

1.4.2 Обзор подходов к построению систем обработки и анализа микрообъектов по изображениям в промышленности..................................42

1.5. Математические методы и алгоритмы, применяемые в задачах промышленной микроскопии...........................................................................48

2. Методы обработки и анализа цифровых изображений стеклянных микрошариков........................................................................................................55

2.1. Представление цифровых изображений в компьютере...............55

2.2. Методы предварительной обработки и фильтрации изображений .............................................................................................................................57

2.3. Методы сегментации изображений стеклянных микрошариков 69

2.4. Инвариантность и размерность представления изображений стеклянных микрошариков...............................................................................76

2.4.1. Ориентирование в пространстве контуров стеклянных микрошариков с измененной формой.............................................................76

2.4.2. Масштабирование и нормализация изображений стеклянных микрошариков....................................................................................................86

2.5. Анализ гранулометрического состава и коэффициент сферичности стеклянных микрошариков.......................................................88

2.6. Оценка изменения яркости стеклянных микрошариков по их гистограммам.....................................................................................................92

2.7. Модель обработки цифровых изображений стеклянных микрошариков в виде связных множеств.....................................................100

3. Система анализа цифровых изображений стеклянных микрошариков на основе комбинированных нейросетевых алгоритмов................................105

3.1. Анализ существующих методов кластеризации и классификации объектов на цифровых изображениях применительно к стеклянным микрошарикам.................................................................................................105

3.2. Обоснование выбора методологии для системы кластеризации и классификации цифровых изображений стеклянных микрошариков... ....110

3.3. Нейросетевой алгоритм группирования цифровых изображений стеклянных микрошариков по форме и размерам.......................................113

3.4. Нейросетевой алгоритм классификации цифровых изображений стеклянных микрошариков по форме и размерам.......................................123

4. Разработка модели программного обеспечения контроля качества стеклянных микрошариков по изображениям в промышленном производстве ................................................................................................................................141

4.1. Формулировка задач и требований к программному обеспечению автоматизированной системы контроля качества стеклянных микрошариков по их цифровым изображениям...........................................141

4.2. Структура программного обеспечения автоматизированной системы контроля качества стеклянных микрошариков по их цифровым изображениям...................................................................................................145

4.3. Методы и средства, применяемые при разработке программного обеспечения автоматизированной системы контроля качества стеклянных микрошариков по их изображениям..............................................................153

4.4. Перспективы приложения моделей предложенных в системе контроля качества стеклянных микрошариков по цифровым изображениям ...........................................................................................................................156

4.5. Результаты внедрения разработанного программного обеспечения в подсистему контроля качества стеклянных микрошариков

......................................................................................................................158

Заключение.................................................................................................163

Список используемых источников....................... ...................................165

Приложения................................................................................................181

Приложение 1. Список используемых сокращений..........................181

Приложение 2. Акты внедрения..........................................................182

Введение

Актуальность проблемы. В технологических процессах производственных предприятий зачастую есть необходимость в обработке визуальной информации. Работа, связанная с оценкой зрительных образов, особенно при большом их количестве, достаточно трудоемка и утомительна для человека и, в то же время, требует большой ответственности.

Объем промышленно изготавливаемых стеклянных микрошариков (СМШ) требует соответствующего уровня контроля качества продукции, что предполагает внедрение технологий, позволяющих поддерживать данный этап в производстве на должном уровне. Одним из подходов к автоматизации процесса контроля качества может быть анализ изображений СМШ, внедряемый вместо ручных методов с применением микроскопа. Промышленные анализаторы изображений позволяют сократить временные затраты и значительно снизить количество ошибок, совершаемых человеком при выполнении большого числа рутинных и монотонных операций.

Контроль качества СМШ среди параметров включает в себя оценку таких визуальных характеристик как размеры и форма частиц. Существующие ситовые методы, применяемые при классификации СМШ, имеют оценочный характер и не всегда дают необходимую информацию о форме и размерах фильтруемых объектов.

Между тем, визуальный анализ размеров и формы СМШ дает специалистам представление не только о качестве произведенного материала, но и позволяет оценить состояние параметров производства, соблюдение режимов работы оборудования и его исправность, а также качество используемого сырья.

Однако анализ и обработка характеристик СМШ с помощью промышленных анализаторов изображений предполагает решения ряда задач. Необходимо реализовать возможность комфортной для глаз человека

визуализации изображений, а при необходимости сохранять в виде файлов изображения отдельных микрошариков. Цифровые изображения СМШ не всегда имеют идеальное качество, что требует создания эффективных алгоритмов для обработки образов. Принимая во внимание важность оценки формы СМШ, следует учесть, что объекты на изображении имеют множество возможных вариантов положений, это увеличивает сложность анализа. Даже при очень строгих параметрах технологического процесса производства, СМШ в отдельно взятой пробе могут значительно отличаться по гранулометрическому составу, что затрудняет их представление с фиксированной размерностью. Цифровое изображение пробы может содержать множество замкнутых контуров отдельных СМШ, но также включать неполные контуры или агломерации объектов. Это требует выделения отдельных объектов и исключение из обработки элементов, о форме которых невозможно сделать однозначных выводов. Методы, используемые для классификации СМШ с помощью изображений, должны позволять получать высокоточные и стабильные результаты. Также важным является реализация удобного представления результатов, получаемых в процессе обработки и анализа изображений.

Поэтому исследование и разработка моделей, методов и алгоритмов, позволяющих осуществлять контроль качества СМШ посредством обработки и анализа цифровых изображений, является очень важной задачей, и определяет актуальность данной диссертационной работы.

Предмет исследования модели, методы и алгоритмы обработки и анализа изображений микрообъектов, применительно к контролю качества промышленно производимых СМШ; программное обеспечение (ПО) и компоненты промышленных анализаторов изображений и систем технического зрения; подходы к автоматизации технологических процессов производства СМШ.

Целью диссертационной работы является: повышение эффективности управления производством промышленно изготавливаемых СМШ посредством разработки и внедрения ПО, входящего в состав подсистемы контроля качества, комплексной автоматизированной системы управления (АСУ) производственным процессом предприятия.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Анализируются модели, методы и алгоритмы обработки и анализа информации, заложенной в цифровых изображениях микрообъектов применительно к контролю качества СМШ.

2. Разрабатываются новые и модифицированные модели, методы и алгоритмы обработки и анализа цифровых изображений СМШ.

3. Разрабатывается ПО подсистемы контроля качества СМШ. Описывается методика работы с ПО.

4. Производится экспериментальное исследование разработанных методов и оценка результатов внедрения подсистемы контроля качества, в рамках комплексной АСУ производственным процессом СМШ.

Методы исследования. При разработке методов, моделей и алгоритмов обработки изображений в диссертации использовались элементы теории распознавания образов, методы цифровой обработки изображений и сигналов. Разработка методов группирования и классификации построена на аппарате искусственных нейронных сетей (ИНС). Разработка модели представления метаданных построена на положениях теории множеств и математической логики. Модели подсистемы контроля качества построены на методах математического программирования. Моделирование разрабатываемых и анализируемых методов и алгоритмов производилось с помощью пакетов математических и технических вычислений.

Научная новизна заключается в разработке методов, моделей и алгоритмов представления, обработки и анализа цифровых изображений Г-МТТТ в подсистеме контроля качества промышленного производства.

На защиту выносится:

• Модель обработки цифровых изображений СМШ в виде связных множеств;

• Модификация алгоритма ориентирования изображений контуров объектов, основанная на моментах инерции;

• Алгоритм оценки яркостей изображения по гистограммам;

• Модель группирования файлов цифровых изображений СМШ по форме и размерам, основанная на ИНС Кохонена;

• Модель классификации СМШ по размерам и форме на цифровых изображениях, основанная на комбинированной архитектуре ИНС с обратным распространением ошибки.

Практическая ценность и реализация результатов работы. Научные результаты, полученные в диссертации, доведены до практического использования. Они представляют непосредственный интерес в области автоматизации контроля качества микрообъектов производимых в промышленных условиях.

Методы, модели и алгоритмы, а также программные средства могут быть использованы при решении задач обработки и анализа характеристик микрообъектов на цифровых изображениях в промышленных производствах.

Разработанные методы, модели и алгоритмы прошли апробацию и внедрены для практического применения на предприятии ООО «ПромНаноСистемс».

Апробация работы. Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских и межрегиональных научно-технических конференциях, симпозиумах и семинарах (2007-2012г.г.);

• на заседании кафедры АСУ МАДИ.

Совокупность научных положений, идей и практических результатов исследований представляет интерес в области автоматизации процессов контроля качества микрообъектов в промышленном производстве.

Содержание работы. Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, моделей и алгоритмов.

Во введении обосновывается актуальность научная и практическая значимость темы диссертационной работы, сформулированы цель работы и ее научная новизна, изложены выносимые на защиту положения, приведена краткая характеристика работы.

В первой главе производится анализ технологических процессов производства СМШ. Рассматриваются подходы к автоматизации производства СМТТТ. Исследуются области применения СМШ. Анализируются подходы к контролю качества СМШ. В качестве применяемых методов рассматриваются: ручной метод, основанный на зрительном анализе и автоматизированные подходы с использованием промышленных анализаторов.

Анализируются области применения обработки и анализа изображений при автоматизации промышленных задач. Рассматривается общие представления и подходы к исследованию изображений микрообъектов в производстве. Исследуются технологии обработки частиц на цифровых изображениях в материаловедении, пищевой, перерабатывающей и других отраслях.

Осуществляется обзор подходов к построению систем обработки и анализа визуальной информации в промышленности. Отдельно рассматриваются анализаторы изображений микрообъектов. Выделяется структура систем технического зрения и основные функциональные блоки

ПО анализаторов изображений. Анализируются преимущества и недостатки существующих методологий.

Следующим пунктом первой главы рассматриваются математические методы и алгоритмы, применяемые при реализации задач обработки и анализа изображений. Выделяется эвристические, математические, лингвистические методы и ИНС.

В конце главы анализируются существующие методы обработки и анализа цифровых изображений микрообъектов в промышленности.

Во второй главе вводится понятие о представлении цифровых изображений в памяти компьютера в виде матрицы вещественных чисел, которые характеризуют значение яркости отдельных пикселей.

В качестве методов улучшения изображений, содержащих СМШ, выделяются два подхода, основанные на пространственных и частотных изменениях. Суть пространственных методов заключается в том, что такие алгоритмы оперируют непосредственно с пикселями, представляющими пространство изображения. Основой частотных методов является применение прямого и обратного преобразования Фурье. Исследование методов обработки изображений позволяет сделать вывод, что многие задачи одинаково хорошо решаются как пространственными, так и частотными методами.

На этапе предварительной обработки изображений осуществляется изменение яркостных характеристик и контрастности, далее следуют методы фильтрации. Сглаживающие фильтры решают задачу подавления на изображении аддитивного шума, который проявляется отдельными точками, отличающимися от фона, и имеет гораздо меньший размер, чем СМШ. Однако такие фильтры часто обладают свойством размывать границы объектов. Для повышения четкости границ применяются соответствующие алгоритмы повышения резкости.

Проводится исследование методов и алгоритмов сегментации изображений, целью которых является отделение СМШ от фона и представлении СМШ как отдельных объектов. Из множества алгоритмов применяемых для целей выделения элементов изображений были выбраны градиентные методы, поскольку они легко реализуются программно. Отдельно был рассмотрен метод Canny, который представляет набор алгоритмов, дающих более качественный результат, чем вышеприведенные методы.

Рассматриваются методы масштабирования и нормализации, позволяющие сделать изображения инвариантными к масштабированию. Для оценки формы СМШ реализован алгоритм вычисления коэффициента сферичности Рилея.

Для представления изображений СМШ в виде удобном для последующего анализа разработан алгоритм поворота изображения СМШ с использованием точки центра масс и координат объекта, что позволяет привести СМШ в относительно одинаковое положение.

Так как, контуры большинства СМШ имеют форму близкую к окружности, данный механизм позволяет значительно сократить количество операций по обработке изображений.

Для оценки качес