автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Обработка изображений металлических поверхностей в задачах автоматизированного контроля качества изделий

На правах пуконйс

Ж

ШЕВЧЕНКО НИКИТА АЛЕКСАНДРОВИЧ 4

ООЗОБ744Э

ОБРАБОТКА ИЗОБРАЖЕНИЙ МЕТАЛЛИЧЕСКИХ ПОВЕРХНОСТЕЙ В ЗАДАЧАХ АВТОМАТИЗИРОВАННОГО КОНТРОЛЯ КАЧЕСТВА ИЗДЕЛИЙ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

Владимир 2006

003067449

Работа выполнена во Владимирском государственном университете на кафедре биомедицинской инженерии

Научный руководитель: доктор технических наук, профессор

Сушкова Людмила Тихоновна

Официальные оппоненты: доктор технических наук, профессор

Садыков Султан Садыкович

кандидат технических наук, доцент Новиков Константин Владимирович

Ведущая организация: ЗАО «ЭНТЭК», Научно-

производственный центр высоких технологий

Защита состоится 26 января 2007 г. в 14 часов на заседании диссертационного совета Д 212.025.01 во Владимирском государственном университете по адресу: 600000, г. Владимир, ул. Горького, д.87.

С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета.

Автореферат диссертации разослан « 9eA¿P&PJ? 2006 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу совета университета-600000, г. Владимир, ул. Горького, 87, учёному секретарю диссертационного совета Д 212.025.01.

Учёный секретарь диссертационного совета доктор технических наук, профессор

Cf>á

Р. И. Макаров

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Промышленное производство изделий из различных материалов всегда сопровождается определённым процентом брака, связанным с различными дефектами формы, скрытыми дефектами, проявляющимися при обработке, а также непригодностью рабочих поверхностей к нормальному функционированию готовых изделий в дальнейшем.

До недавнего времени осуществление контроля качества требовало, а на многих предприятиях и до сих пор требует присутствия контролёров, осуществляющих этот контроль визуально, при помощи вспомогательных оптических приборов и без них. Процесс сортировки деталей или изделий, подлежащих контролю (с участием человека), должен осуществляться непосредственно на поточной линии в режиме реального времени независимо от темпов производства. Сам по себе процесс является однообразным и утомительным. К тому же производительность труда человека в ряде случаев оказывается недостаточной для обеспечения необходимой скорости выполнения той или иной операции. Всё это приводит к тому, что процент брака при визуальной проверке с участием человека довольно высок, что влечёт за собой, например, крупные рекламации, которые могут значительно превышать стоимость оборудования для автоматического контроля качества. Более того, убытки от расторжения договора с заказчиком в тех областях, где присутствует жёсткая конкуренция и борьба за рынок, также могут превысить эту стоимость.

Современное состояние промышленности указывает на необходимость разработки проблемно-ориентированных систем управления, способных ускорить процесс автоматизации производства и одновременно обеспечить более высокий уровень качества изделий. Это обусловлено новыми требованиями к конкурентоспособности продукции в условиях современного рынка, а именно, потребностью в снижении стоимости процесса производства с одновременным повышением его точности и надёжности. Поэтому вопрос разработки приборных систем контроля качества изделий становится всё более актуальным. Наличие подобного оборудования на предприятии подразумевает полностью автоматическую (без участия человека) разбраковку или сортировку изделий в соответствии с существующими на данном предприятии критериями качества.

Европа в настоящее время стремительно переходит на полностью автоматическое производство изделий во всех областях

промышленности, начиная с автомобилестроения, станкостроения, производства механизмов, оружия, активных элементов реакторов и заканчивая производством изделий из пластмассы и стекла. Для России проблема автоматизации производства и внедрения автоматизированных систем контроля качества изделий является также чрезвычайно важной как с технической, так и с экономической точки зрения.

Переход на автоматический контроль качества является неизбежным и требует не только создания специальной аппаратуры, но и разработки соответствующего математического и программного обеспечения систем обработки информации.

Применение методов и средств обработки информации для автоматизации контроля качества позволяет значительно повысить эффективность производства. В настоящее время методы визуальной инспекции с применением обработки информации разрабатываются для нужд машиностроительной промышленности,

деревообрабатывающей промышленности, текстильной

промышленности, в производстве стали, а также контроля качества бумаги. Большой вклад в развитие направления внесли такие зарубежные учёные, как Т. Маэнпаа, М. Петикаинен, Ф. Кохен, Т. Ойяла, Р. Харалик, А. Джаин, Т. Ньюман, X. Каупинен, а также отечественные учёные В. А. Соловей, А. Б. Комаров, В. Д. Ивченко, Д. Вагапов и другие.

Одним из ведущих разработчиков автоматизированных систем контроля качества является отдел обработки изображений и медицинской техники Фраунгоферовского института интегральных схем (ФИИС, г. Эрланген, Германия). Основными направлениями деятельности отдела является разработка автоматизированных систем контроля отверстий при помощи точной эндоскопии, контроля качества плоских металлических поверхностей, тонких металлических труб, изделий из пластмассы и др. Ведущими специалистами этого отдела в области проектирования данного оборудования являются Т. Витгенберг, К. Мюнценмайер, А. Кулешов, И. Попп, Я. Кулье, К. Шпиннлер.

Производством оборудования машинного зрения для промышленности занимаются такие фирмы как «Interstaatliche Hochschule für Technik» (Бухс, Германия), «Матрикс Вижн» (представлена в Германии, Франции, Италии), «Surface Inspection» (представлена в США, Германии и восьми странах Европы) и другие.

Таким образом, тема диссертационной работы, посвященная исследованию разработке методов обработки изображений и распознавания образов в задачах автоматического контроля качества металлических изделий, является актуальной, а результаты исследований должны дать новые научно значимые решения в области обработки изображений и текстурного анализа.

Цель и задачи работы

Целью диссертационной работы является исследование существующих и разработка новых, более эффективных методов и алгоритмов распознавания образов в промышленных системах технического зрения и методов текстурного анализа в целях усовершенствования программно - аппаратных средств контроля качества поверхности металлических изделий в промышленности.

Эффективность определяется быстродействием, вероятностью ошибок, устойчивостью к изменению условий освещённости.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Анализ существующих методов и алгоритмов обработки изображений металлических поверхностей и характерных для них систем признаков различных текстур.

2. Экспериментальное исследование зависимости текстурных признаков от параметров системы видеосъёмки (освещённости, выдержки, диафрагмы).

3. Разработка новых алгоритмов обработки изображений металлических поверхностей, обеспечивающих решение таких важных задач, как различение текстурных областей от однородных объектов, маскирование различных поверхностей деталей, повышение быстродействия существующих методов обработки

4. Разработка новой системы текстурных признаков и алгоритмов распознавания текстур, обеспечивающих более высокую эффективность распознавания и качественную классификацию исследуемых типов текстур.

5. Оценка и сопоставительный анализ известных и разработанных методов и алгоритмов распознавания текстур.

Работа выполнялась в рамках совместной с ФИИС научно-образовательной программы «Владимир-Эрланген», а также в процессе научной стажировки в Германии в период с 28.09.2005 по 29.03 2006 по стипендии Президента Российской Федерации.

Научная новизна работы. Научная новизна диссертации состоит в следующем:

1) Проведены экспериментальные исследования зависимости текстурных характеристик металлических поверхностей от освещённости, определяемой параметрами оптической системы, что позволило оценить инвариантность существующих методов текстурного анализа к изменению яркости, а также разработать метод автоматической настройки освещённости в оптической системе, позволяющий избежать потерь информации в процессе получения изображения.

2) Предложены оригинальные методы текстурного анализа, основанные на поиске формы и направленности текстурного элемента при помощи автокорреляционной функции, псевдокорреляции и подсчёта длин строк на бинарном изображении, обеспечивающие более высокую инвариантность к изменениям освещённости и меньшую вероятность ошибки при распознавании.

3) Разработаны новые алгоритмы подсчёта статистических характеристик текстур, позволяющие повысить скорость текстурного анализа с помощью известных методов матриц совпадений и гистограмм суммы и разности.

4) Предложены новые методы различения текстур от однородных объектов, основанные на слиянии взаимосвязанных областей и подсчёте процента перепадов яркости, обеспечивающие достоверное нахождение текстурных участков и их отделение от однородных областей. Апробация метода слияния взаимосвязанных областей была проведена при разработке программного обеспечения для оборудования автоматического контроля качества металлических поверхностей во время научной стажировки в ФИИС (г. Эрланген, Германия).

5) Разработан быстродействующий алгоритм сегментации изображения и адаптивной генерации масок для металлических деталей, способствующий повышению эффективности дальнейшего анализа и поиска дефектов.

Практическая значимость работы:

1. Разработанные методы включены в библиотеку программного обеспечения отдела обработки изображений и медицинской техники Фраунгоферовского института интегральных схем, в результате чего расширена научная база методов обработки изображений (созданное программное обеспечение содержит

4

около 200 страниц программного кода на языке С++), необходимая для дальнейшего использования в системах распознавания на промышленных предприятиях.

2. Предложенные оригинальные алгоритмы и методы обеспечивают эффективность распознавания порядка 95% и предназначены для применения не только в автоматизированных системах контроля качества, но и при решении других задач, связанных с текстурным анализом.

3. Предложенные алгоритмы подсчёта статистических характеристик позволяют ускорить процесс текстурного анализа при в 1,5-2 раза.

4. На основе проведённых исследований влияния условий освещённости на текстурные признаки получены зависимости, представляющие интерес для текстурного анализа в целом и использованные при оценке эффективности методов текстурного анализа, а также при разработке алгоритма автоматической подстройки освещённости, способствующего снижению потерь информации в процессе получения изображения контролируемой детали.

Внедрение результатов. Созданные методы и алгоритмы обработки изображений и текстурного анализа используются на Владимирском предприятии НПП «Электронтехносервис» и в учебном процессе кафедр ПИИТ, БМИ ГОУВПО «Владимирский государственный университет», что подтверждается актами внедрения, включены в библиотеку разработчиков программного обеспечения для использования при создании программно-аппаратных комплексов автоматизации контроля качества в ФИИС (г. Эрланген, Германия).

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на 5-ой МНТК «Перспективные технологии в средствах передачи информации» (Владимир, 2003 г.), МНТК, посвященной 45-летию ВлГУ (Владимир, 2003 г.), МНТК «XII Туполевские чтения» (Казань, 2004), 10-ой МНТК «Радиоэлектроника, электротехника и энергетика» (Москва, 2004), на семинарах: в ОАО «Автоприбор», во Фраунгоферовском институте интегральных схем (г. Эрланген, Германия), МНТК "Digital Manufacture" (г. Ухань, Китай, 2006 г.).

На защиту выносится

1. Оригинальные методы текстурного анализа, основанные на поиске формы и направленности текстурного элемента при

помощи автокорреляционной функции, псевдокорреляции и подсчёта длин строк на бинарном изображении

2. Экспериментальные исследования зависимости текстурных характеристик металлических поверхностей от освещённости, определяемой параметрами оптической системы.

3. Алгоритмы подсчёта статистических характеристик текстур, позволяющие повысить скорость текстурного анализа с помощью известных методов матриц совпадений и гистограмм суммы и разности.

4. Новые методы различения текстур от однородных объектов, основанные на слиянии взаимосвязанных областей и подсчёте процента перепадов яркости, обеспечивающие достоверное нахождение текстурных участков и их отделение от однородных областей.

5. Быстродействующий алгоритм сегментации изображения и адаптивной генерации масок для металлических деталей, способствующий повышению эффективности дальнейшего анализа и поиска дефектов.

Публикации. По теме диссертации опубликовано 7 печатных работ, в том числе 3 - в научно-технических журналах, входящих в перечень ВАК.

Структура и объём работы. Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы из 119 пунктов и приложения. Общий объём работы 153 страницы, в том числе 135 страниц основного текста, 12 таблиц, 117 рисунков, 1 приложение.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, определены цели и задачи исследования, а также представлены научная новизна, практическая значимость и основные положения, выносимые на защиту.

В первой главе описано современное состояние проблемы автоматического контроля качества металлических поверхностей деталей, производимых для нужд машиностроения. Рассмотрены основные этапы начальной обработки изображений, а также поставлены задачи анализа изображений металлических поверхностей. Примеры изображений деталей, поверхности которых подлежат анализу, приведены на рис. 1.

Рис. I. Изображения металлических деталей с различными типами

поверхностей

Приведён обзор существующих систем технического зрения для автоматизации процесса анализа изображений и описан прототип системы контроля качества металлических поверхностей, анализ которой показал необходимость создания новых методов и алгоритмов анализа с целью расширения функциональных возможностей и повышения эффективности распознавания.

Одной га задач системы контроля качества поверхностей является распознавание типов текстур. Основными типами текстур, встречающихся на анализируемых деталях и подлежащих распознаванию, являются текстуры литых, шлифованных и фрезерованных поверхностей (рис. 2). Обоснована необходимость исследования и разработки методов текстурного анализа.

Рис. 2. Некоторыг типы текстур, встречающиеся на металлических

поверхностях

Решение задачи распознавания и различения данных типов текстур о&еспечив&ет выбор соответствующих узкоспециализированных алгоритмов анализа, рассчитанных на конкретный тип поверхности.

Во второй главе рассмотрены современные методы анализа изображений, которые были изучены и исследованы с целью выявления наиболее эффективных методик обработки изображений и распознавания текстур. Рассмотрены основные группы методов анализа, в том числе:

1) Методы выделения границ. Эти методы сводятся, по сути, к построению карты контрастов по всему изображению. При граничных методах пространство между границами классифицируется логическим образом, то есть по принадлежности к той или иной границе. Самое сложное в этих методах - правильно интерпретировать картину границ.

2) Методы сегментации, с помощью которых изображение разбивается на области, отличающиеся по заданному признаку и находятся объекты, относящиеся к тому или иному классу. При пороговой сегментации каждая точка пространства классифицируется посредством сравнения с порогом (математическая операция в каждой точке). Важнейшим этапом такой пороговой сегментации является правильный выбор порога.

3) Методы текстурного анализа, основанные на подходе к изображению как к совокупности текстур с различными свойствами. Данная группа очень обширна и отличается сложным математическим аппаратом. Для анализа текстур применяются теория вероятностей и математической статистики, частотный и вейвлет-анализ и цр.

Для нахождения наиболее перспективных методов текстурного анализа была проведена серия экспериментов по распознаванию текстур металлических поверхностей. В качестве рабочего инструмента была использована специальная программа ТексАС, включающая в себя реализацию наиболее эффективных и широко используемых методов текстурного анализа. Данная программа была разработана в отделе медицинской техники и обработки изображений ФИИС (г. Эрланген, Германия). В ходе данного эксперимента был исследован ряд известных методов текстурного анализа, выбор которых был обусловлен спецификой решаемой задачи автоматического контроля качества металлических изделий. Результаты исследован й приведены в диссертации. Наиболее эффективными в ходе эксперимента оказались методы Р. Харалика и М. Унзера. Метод Р. Хара-'ика значительно уступает методу М. Унзера в скорости, однако даёт лучлее качество распознавания.

Третья глава посвящена экспериментальным исследованиям, для проведения которых была разработана установка, позволяющая:

- провести серию экспериментов с изменением освещённости для последующего подсчёта статистических характеристик и выявления зависимостей этих характеристик от освещённости;

- создать базу данных экспериментальных изображений, необходимых для тестирования новых методов различения текстур.

Описаны проведённые эксперименты по получению текстурных образцов (эксперимент с изменением силы света источника освещения, эксперимент с выдержкой, эксперимент с диафрагмой и эксперимент с вращением), эксперименты по выявлению зависимости статистических характеристик текстур от освещённости.

Выяснилось, что характеристики, предлагаемые в методах Р. Харалика и М. Унзера, сильно зависят от освещённости (рис. 4, 5), что существенно ухудшает качество распознавания в условиях нестабильных параметров оптической системы.

Рис. 3. Структурная схема экспериментальной установки Также неинвариантны к изменениям освещённости и нормированные характеристики, предложенные К. Мюнценмайером (рис. 6, 7). Проведённые экспериментальные исследования способствовали разработке алгоритма автоматической подстройки освещения в системе получения изображений анализируемых поверхностей и постановки задачи разработки новых методов текстурного анализа, обладающих большей инвариантностью к освещённости и эффективностью распознавания.

Зависимость нормированного контраста от яркости

Рис. 4. Зависимость контраста от яркости (литая поверхность)

Рис.

Зависимость аоитраста от щмюст»

5. Зависимость контраста от яркости (шлифованная поверхность)

Зависимость нормированного ком траста от цр«ости

Рис. 6. Зависимость нормированного контраста от яркости (литая пов-сть)

С*аяи* аркастъ |ЗМ ипшЛ)

Рис. 7. Зависимость нормированного контраста от яркости (шлиф, пов-сть)

Четвёртая глава посвящена разработке новых методов обработки изображений, обеспечивающих более высокую эффективность распознавания. Разработан рабочий словарь признаков различных компонентов анализируемых изображений. Описаны процедуры подготовки изображений к дальнейшему анализу (выделение границ, бинаризация и т. п.). Предложено два метода разделения текстур от однородных объектов (метод слияния связных областей и метод подсчёта перепадов) и две методики маскирования текстурных областей на цифровых изображениях деталей (основанные на применении методов различения текстур от однородных объектов и на анализе размера областей с повышенной яркостью). Методы разделения текстур от однородных объектов необходимы для определения области изображения, подлежащей дальнейшему поиску дефектов, так как алгоритмы поиска не рассчитаны на анализ текстурных участков. Задачей методов маскирования является генерация маски, закрывающей текстурные участки.

Описан анализ математических моделей методов Р. Харалика и М. Унзера. Предложены эффективные алгоритмы подсчёта матриц совпадений, замены диагонально-симметричных матриц, предложенных в оригинальной математической модели на несимметричные, что позволяет ускорить процедуру анализа изображений. Предложены алгоритмы подсчёта большинства статистических характеристик, предлагаемых в методах Р. Харалика и М. Унзера без применения матриц совпадений и гистограмм суммы и разности.

Например в оригинальном методе Р. Харалика сначала строятся диагонально-симметричные матрицы совпадений согласно формуле

J) = 77 Е Е У = О'Лх + dx, у + dy) = j)},

N х=0 у=0

где Р - частота совместного появления яркостей, соответствующих ячейке матрицы с координатами (i, j), N - нормирующий коэффициент, равный общему количеству пар, которые могут встретиться на изображении, I - значение яркости в данной точке изображения, z -ширина изображения, h - высота изображения в пикселях.

Затем на их основе подсчитываются статистические характеристики. Например, корреляция подсчитывается по формуле к = - /j)(J - fi)- P(i,j), где ¡и - средняя яркость по

' j

окрестности. Однако проведённые исследования показали, что данную

характеристику можно определить как к —--^(l(x,у) — pi),

N х=о у=о

не прибегая к помощи матриц, экономя тем самым вычислительные ресурсы.

В методе гистограмм суммы и разности аналогично можно обойтись без использования гистограмм. Например, контраст можно определить по формуле:

contrast = X S (7<>> y)-I(x + dx,y + dy)}/N,

У *

где 1(х, у) - яркость в данной точке изображения, х и у - координаты данной точки изображения, dx и dy - смещение по оси х и по оси у. Данные утверждения математически обоснованы в диссертации. Показано, что статистические характеристики текстур складываются из суммы её структурных свойств и освещённости. Это является одной из

11

причин, по которым сложно судить о типе текстуры, опираясь на статистические характеристики. Предложено три аффективных метода распознавания текстур, обладающих большей инвариантностью к освещённости и лучше отражающих структуру анализируемой текстуры.

Первый метод основан на подсчёте автокорреляционной функции и составлении матрицы автокорреляций для различных смещений. Из полученной корреляционной картина текстуры, которая отражает средний размер и форму текстурного примитива (рис. 8), извлекаются текстурные признаки. Процедура извлечения текстурных признаков подробно рассматривается в пятой главе.

Рис, 8. Различные типы текстур (верхний ряд) и визуализированные автокорреляционные матрицы для них (нижний ряд)

Для компенсации влияния глобальных изменений яркости

_ _£

корреляционная матрица нормируется по формуле К =--——""" ■■.

где К - Нормированная корреляция, К - Текущее значение корреляции, Кт№ Ктт максимальное и минимальное значение корреляции соответственно.

Второй метод основан на ожнке функции, подобной функции автокорреляции, но определяемой не для оригинального изображения, а для получаемых из него бинарных образов (метод псевдокорреляции). Такой способ построения корреляционной

матрицы оказывается в ряде случаев более '.эффективным, чем подсчёт но классической формуле.

Процедура преобразования изображения в бинарные образы

включает в себя нормализацию по формуле I =--——, где / -

^max ~~ "^intii

текущая яркость, G - количество уровней яркости на изображении, !„„„ - минимальное значение яркости по окрестности (3 на 3 или 5 на 5 пикселей), lmtB - максимальное значение яркости но окрестности. Данная процедура позволяет частично скомпенсировать глобальные вариации яркости. После этого следует процедура бинаризации нормализованного изображения и маркирования (labeling). Псевдокорреляция находится следующим образом: для каждого значения смещения она принимает значение 1, если в текущей координате находятся пиксели одного цвета и значение 0, если нет. Оценка корреляции между -элементами одного и того же цвета на преобразованном бинарном изображении позволяет получить картину, отображающую средний размер и направленность структурного элемента текстуры. На картине, полученной таким образом, присутствует только один характерный структурный элемент, для которого легче найти геометрические характеристики. Такой метод нахождения корреляций свободен от недостатков, свойственных методу, основанному на обычной классической формуле (рис. 9).

Рис. 9. Сравнение корреляции и псевдокорреляции

Главный принцип третьего метода лежит в подсчёте длин светлых и тёмных строк, лежащих на бинарном изображении в восьми различных направлениях. Строки могут быть подсчитаны следующим образом. Для каждого направления все пиксели изображения

пробегаются последовательно. Длина текущей строки увеличивается до тех пор, пока не встретится переход с белого на чёрный или наоборот. Как только встречается такой переход, начинается новая строка. В качестве примера в диссертации приведён алгоритм подсчёта строк для направления 0 градусов. Результатом такого подсчёта может быть максимальное, среднее значение строки или гистограмма строк. При этом для зернистой текстуры характерна приблизительно одинаковая длина строки во всех направлениях. Для таких текстур характерно большое различие между светлыми строками, отражающими зерно и тёмными строками, которые значительно длиннее. Для направленной текстуры тёмные и светлые строки будут иметь одинаковые значения, и в различных направлениях эти значения будут отличаться друг от друга.

Описаны текстурные признаки, получаемые на основе предложенных методов.

Использование корреляционных подходов предполагает подсчёт суммарного количества перепадов радиуса корреляции 1К, разницы Ок между максимальным Ятах и минимальным /?,„,„ радиусами корреляции, а также среднего радиуса корреляции.

Данные признаки рассчитываются по следующим формулам:

^ [ 1, если К > I

К — \- - бинаризация корреляционной матрицы,

[О, если К <г

где ? - порог бинаризации, К - значение корреляции;

360

/Л = ^ — | - суммарное количество перепадов радиуса

а=0

корреляции, где а - угол, - радиус корреляции, характеризующий ширину бинарной корреляционной матрицы в направлении а, /?„./ -ширина бинарной корреляционной матрицы в направлении а - 1;

= /?тах - Ятт - разница между максимальным Ятах и минимальным Ят,„ радиусами корреляции;

-1/2*(Ктах+ Кт1ц) — средний радиус корреляции.

Использование метода подсчёта длин строк предполагает определение совокупности признаков, подробно описанных в диссертации.

Далее описан ряд вспомогательных методик обработки изображений, которые были разработаны в ходе исследований. Это алгоритмы направленной бинаризации, использование

14

редуцированных матриц совпадений, алгоритмы разрушения слабых контуров на бинарном изображении, а также методика визуализации текстурных признаков. В связи с их перспективностью для текстурного анализа и средств визуализации предполагается их дальнейшее исследование и развитие.

В пятой главе произведена экспериментальная оценка разработанных методов и сопоставительный анализ их с известными статистическими методами.

Исследования на наборе тестовых текстурных образцов с равномерно увеличивающейся яркостью показали, что разработанные текстурные характеристики на основе классической АКФ имеют менее выраженную зависимость от изменения яркости по сравнению со статистическими характеристиками (рис. 10, 11, 12, 13).

Зависимость суммарного количества переладов от средней яркости

р .» л «?•<?> «* «►*> *г »Л о*

* ФV Ф* * * * <?

Средняя яркость

Зависимость суммарного количества перепадов от средней яркости

I

£> $ •> > # *

Средняя яркость

Рис. 10. Литая поверхность

Рис. 11. Шлифованная поверхность

Зависимость разности радиусов корреляции от средней яркости

■> У •!> V & г" * .

Средняя яряоетъ

Зависимость разности радиусов корреляции от средней яркости

Рис. 12. Литая поверхность

«V £ Д<Ь Ъ & <Ь А $ А «Ъ

^

Средняя яркость

Рис. 13. Шлифованная поверхность

Это означает, что использование АКФ при анализе данных типов текстур в условиях изменяющейся освещённости предпочтительней.

Исследования на наборе текстурных образцов, взятых с цифровых изображений металлических деталей, показали, что псевдокорреляция в условиях неравномерного, избыточного освещения и глобальных вариаций яркости обладает лучшей разделительной способностью по сравнению со статистическими характеристиками, классической АКФ

15

и гистограммами длин строк (таблица 3) АКФ в этих исследованиях характеризуется неудовлетворительной эффективностью

распознавания по причине необходимости более сложных, чем для псевдокорреляции алгоритмов анализа корреляционной матрицы. Введение таких алгоритмов позволит достигнуть большей эффективности распознавания.

Таблица 3

Текстурный признак Метод Риск (доверительный интервал) Достоверность доверительного интервала

Контраст Гистограммы, матрицы совпадений {0,165,0,384} 95%

Нормированный контраст Гистограммы, матрицы совпадений {0,131:0,332} 95%

Второй угловой момент Матрицы совпадений {0,282,0,481} 95%

Суммарное количество перепадов Автокорреляция {0,291,0,497} 95%

Разность радиусов корреляции Автокорреляция {0,242,0,446} 95%

Суммарное количество перепадов Псевдокорреляция {0,0,032} 95%

Разность радиусов корреляции Псевдокорреляция {0,0,037} 95%

Отношение длин строк Длины строк {0,036,0,179} 95%

В качестве критерия оценки эффективности распознавания был взят байесовский риск при установлении порога разделения, соответствующего определённому значению.

Например, для литой поверхности характерно меньшее значение признака 1ц (суммарное количество перепадов), чем для шлифованной. Поэтому значения этого признака для литой поверхности будут группироваться левее по оси ординат, а доверительный интервал для функции риска будет уменьшающееся среднее при возрастании значения устанавливаемого порога. Для шлифованной поверхности будет наблюдаться обратная ситуация (рис. 14 а). Если проанализировать доверительную область для функции суммарного риска (рис. 14 б), то можно увидеть, что минимальное значение риск принимает в точке /л =12. Эта точка и является наиболее подходящей для установления порога разделения. Аналогичная ситуация

наблюдается и для признака (разность радиусов корреляции), функции рисков которого приведены на рис. 15.

Доверительные области

-1 _ к Л. л -•$>.- 4» -<$>-

Суммарное количество перепадов

а) б)

Рис. 14. Доверительные области функций риска (суммарное количество перепадов)

Доверительные области

1. .2 _ 3 £ е_ _7 9 „10. 1Д 12.13.

Разность радиусов корреляции

а) б)

Рис. 15. Доверительные области функций риска (разность радиусов

корреляции)

В заключении приведены основные научные и практические результаты работы, заключающиеся в следующем.

1) Исследованы методы матриц совпадений и гистограмм суммы и разности, в результате чего с целью экономии вычислительных ресурсов были предложены возможности их усовершенствования и разработаны соответствующие алгоритмы их реализации.

2) Разработаны новые текстурные признаки, которые позволяют более эффективно распознавать различные типы текстур, свойственных металлическим поверхностям, по сравнению с известными статистическими характеристиками.

3) С помощью созданной экспериментальной установки проведены исследования зависимости статистических характеристик текстур от изменений освещённости. Построены зависимости известных текстурных признаков от

изменений освещённости, что позволило оценить их инвариантность к изменениям освещённости.

4) Проведены экспериментальные исследования и сопоставительный анализ известных и разработанных методов распознавания текстур, результаты которых показали, что разработанные методы характеризуются меньшей вероятностью ошибки при распознавании исследуемых типов текстур, чем методы матриц совпадений и гистограмм суммы и разности и большей инвариантностью к изменениям освещенности. Например, вероятность ошибки распознавания при помощи текстурного признака «суммарное количество перепадов», получаемого путём подсчёта псевдокорреляции, лежит в пределах {0;0,032}, тогда как для статистических характеристик эти пределы будут иметь значения {0,131;0,332} - {0,291;0,497}. Относительное среднеквадратическое отклонение значений текстурных признаков, получаемых на основе автокорреляции, при изменении средней яркости изображения в рабочем диапазоне составляет 0,36 - 0.44, тогда как для статистических характеристик оно составляет 3,5 - 18.

5) Для исследуемых типов текстур разработан рабочий словарь признаков системы распознавания текстур, основанный на существующих признаках, используемых при описании текстур на естественном языке.

6) Разработаны методы и алгоритмы анализа изображений металлических поверхностей машиностроительных деталей -методы различения текстурных областей от однородных объектов и методы маскирования, позволяющие определить области изображения, подлежащие поиску дефектов при помощи алгоритмов, не рассчитанных на анализ текстур, а также методы нахождения текстуры литой поверхности.

7) Предложен ряд перспективных вспомогательных методик обработки изображений, позволяющих при их дальнейшем развитии повысить эффективность распознавания, а также производить непосредственную предварительную оценку эффективности текстурных признаков.

8) Разработано программное обеспечение для реализации разработанных методов и алгоритмов. Созданные программные модули включены в базу данных методов текстурного анализа отдела обработки изображений и

18

медицинской техники Фраунгоферовского института интегральных схем (г. Эрланген, Германия) для дальнейшего использования в системах автоматизации контроля качества металлических поверхностей. В приложении приведены текстурные образцы, полученные при помощи экспериментальной установки, а также взятые с изображений металлических деталей.

Основные положения диссертации опубликованы в работах:

1. Шевченко Н. А., Сушкова Л Т., Кулешов А М. Быстрые методы обнаружения и удаления текстур на цифровом изображении // Перспективные технологии в средствах передачи информации: Материалы 5-ой международной научно-технической конференции. -Владимир: Связьоценка, 2003. - С. 260 - 264.

2. Шевченко Н. А., Кулешов А. М. Подход к сегментации изображений на примере методики распознавания однородных объектов // Материалы научно-технической конференции преподавателей, сотрудников и аспирантов факультета радиофизики, электроники и медицинской техники (к 45-летию ВлГУ) - Владимирский государственный университет, 2003. - С. 77 - 81.

3. Шевченко Н. А., Сушкова Л. Т., Кулешов А. М. Алгоритмы подсчёта статистических характеристик текстур // Научно-технический журнал «Проектирование и технология радиоэлектронных средств», №2, 2006. -С. 69-73.

4. Шевченко Н. А., Сушкова Л. Т., Кулешов А. М. Зависимости статистических характеристик текстур от освещённости // Научно-технический журнал «Наукоёмкие технологии», №9, 2006 г.

5. Шевченко Н. А., Сушкова Л. Т., Кулешов А. М. Применение псевдокорреля-ции в задачах текстурного анализа // Научно-технический журнал «Информационно-измерительные и управляющие системы», №10, 2006 г.

6. Шевченко Н. А. , Кулешов А. М. Автоматизированная система контроля качества поверхности деталей // Материалы международной молодёжной научной конференции «XII Туполевские чтения», -Казань, 2004. - С. 68.

7. Шевченко Н. А., Сушкова Л Т. Программно-аппаратный комплекс автоматизации контроля качества поверхности изделий // Радиоэлектроника, электротехника и энергетика // Десятая

Международная научно-техническая конференция студентов и аспирантов: Тезисы докладов. М: МЭИ, 2004. - Т. 1, С. 421.

Подписано в печать 21.12.06. Формат 60x84/16. Бумага для множит, техники. Гарнитура Тайме. Печать на ризографе. Усл. печ. л. 1,16. Уч.-изд. л. 1,39. Тираж 100 экз.

Заказ Л99-£006г. Издательство Владимирского государственного универститета. 600000, Владимир, ул. Горького, 87.

ВВЕДЕНИЕ

ГЛАВА 1. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРОБЛЕМЫ 13 АВТОМАТИЧЕСКОГО КОНТРОЛЯ КАЧЕСТВА МЕТАЛЛИЧЕСКИХ ПОВЕРХНОСТЕЙ

1.1. Автоматический анализ изображений и контроль качества

1. 2. Задачи анализа металлических поверхностей

1.2.1. Контроль обработанных поверхностей. Маскирование

1.2.2. Одновременный контроль обработанной и необработанной 20 поверхностей. Различение типов текстур

1.3. Существующие системы технического зрения для автоматизации анализа 21 изображений

1.4. Выводы

ГЛАВА 2. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ ОБРАБОТКИ 30 ИЗОБРАЖЕНИЙ И ТЕКСТУРНОГО АНАЛИЗА В СИСТЕМАХ ТЕХНИЧЕСКОГО ЗРЕНИЯ

2.1. Методы обработки изображений в системах технического зрения

2.2. Методы выделения границ

2.3. Пороговые методы

2.4. Методы текстурного анализа 40 2.4.1. Метод локального бинарного разбиения

2. 4. 2. Методика разделения текстур, основанная на кривой сложности

2.4.3. Метод локальных экстремумов 43 2.4. 4. Метод распределения признаков 45 2. 4. 5. Применение Марковских случайных полей 46 2.4. 6. Метод гистограмм с множеством разрешений 47 2.4. 7. Использование фильтров Габора 48 2. 4. 8. Метод матриц совпадений 49 2.4. 9. Метод гистограмм суммы и разности 51 2. 4.10. Гармонический и вейвлет-анализ 51 2. 4.11. Граф кластеров со множеством разрешений 53 2.4.12. Метод длин пробега Галлоуэя 54 2. 5. Сопоставительный анализ методов распознавания текстур

2. 6. Выводы

ГЛАВА 3. ЭКСПЕРИМЕНТАЛЬНАЯ УСТАНОВКА ДЛЯ ПОЛУЧЕНИЯ 61 ЦИФРОВЫХ ИЗОБРАЖЕНИЙ ОБРАЗЦОВ ТЕКСТУР

3.1. Структура экспериментальной установки

3.2. Описание эксперимента

3. 3. Исследование зависимости статистических характеристик текстур от 67 изменения освещённости

3. 4. Выводы

ГЛАВА 4. РАЗРАБОТКА МЕТОДОВ ОБРАБОТКИ ИЗОБРАЖЕНИЙ 73 МЕТАЛЛИЧЕСКИХ ПОВЕРХНОСТЕЙ

4.1. Априорный словарь признаков системы распознавания изображений

4.2. Разработка методов разделения текстур от однородных областей

4. 2.1. Классы объектов и их признаки, критерии разделения

4.2.2. Процедуры для начальной подготовки изображения

4.2.3. Метод, основанный на слиянии связных областей

4. 2.4. Метод, основанный на подсчёте перепадов яркости

4.2.5. Алгоритмы маскирования

4.3. Методы распознавания текстур

4.3.1. Исследование математических моделей методов гистограмм суммы и 89 разности и матриц совпадений

4.3. 2. Метод нахождения областей с литой текстурой

4.3.3. Разработка новых методов текстурного анализа

4.3. 4. Метод, основанный на автокорреляционной функции

4.3. 5. Метод, основанный на псевдокорреляции

4.3. 6. Обработка корреляционной матрицы и текстурные признаки

4.3. 7. Метод, основанный на подсчёте длин строк

4.3. 8. Обработка гистограмм длин строк и текстурные признаки

4.4. Перспективные вспомогательные методики для текстурного анализа и 108 визуализации

4.4.1. Направленная бинаризация

4.4. 2. Редуцированные матрицы совпадений

4.4.3. Эрозия контуров на бинарном изображении

4.4. 4. Визуализация текстурных признаков

4. 5. Выводы

ГЛАВА 5. ЭКСПЕРИМЕНТАЛЬНАЯ ОЦЕНКА РАЗРАБОТАННЫХ 114 МЕТОДОВ ТЕКСТУРНОГО АНАЛИЗА

5.1. Сопоставительный анализ инвариантности текстурных признаков на 114 основе АКФ и гистограмм Унзера к изменению освещённости

5.2. Сопоставительный анализ разделительной способности признаков на 118 основе АКФ и псевдокорреляции

5.3. Сопоставительный анализ разделительной способности текстурных 121 признаков на основе ПК и гистограмм суммы и разности

5.4. Эмпирическая оценка эффективности текстурных признаков на основе 122 гистограмм суммы и разности, АКФ и ПК

5.5. Экспериментальная оценка признаков на основе подсчёта длин строк

5. 6. Выводы 132 ЗАКЛЮЧЕНИЕ 133 Список использованных источников

Актуальность. Промышленное производство изделий из различных материалов всегда сопровождается определённым процентом брака, связанным с различными дефектами формы, скрытыми дефектами, проявляющимися при обработке, а также непригодностью рабочих поверхностей к нормальному функционированию готовых изделий в дальнейшем.

До недавнего времени осуществление контроля качества требовало, а на многих предприятиях и до сих пор требует присутствия контролёров, осуществляющих этот контроль визуально. Процесс сортировки деталей или изделий, подлежащих контролю (с участием человека), должен осуществляться непосредственно на поточной линии в режиме реального времени независимо от темпов производства. Сам по себе процесс является однообразным и утомительным. Контролёры, на которых возложена реализация процесса контроля качества, могут неадекватно оценить состояние детали вследствие усталости, рассеянности или по какой-либо другой причине. К тому же производительность труда человека в ряде случаев оказывается недостаточно высокой для обеспечения необходимой скорости выполнения требуемого процесса и экономного распределения рабочей силы. Например, при производстве деталей для автоматических коробок переключения передач время, отведённое одному контролёру на проверку детали равно 2,5 минутам, тогда как машине потребуется 6 секунд. Это означает, что машина может заменить в данном случае от 25 до 75 человек. Кроме того, контролёры уже не в состоянии обеспечить соблюдение постоянно ужесточающихся требований к точности, с которой должен быть произведён контроль. Это приводит к тому, что процент брака при визуальной проверке с участием человека довольно высок, что влечёт за собой, например, крупные рекламации, которые могут значительно превышать стоимость оборудования для автоматического контроля качества. Более того, убытки от расторжения договора с заказчиком в тех областях, где присутствует жёсткая конкуренция и борьба за рынок, также могут превысить эту стоимость.

Современное состояние промышленности указывает на необходимость разработки проблемно-ориентированных систем управления, способных ускорить процесс автоматизации производства и одновременно обеспечить более высокий уровень качества изделий. Это обусловлено новыми требованиями к конкурентоспособности продукции в условиях современного рынка, а именно, потребностью в снижении стоимости процесса производства с одновременным повышением его точности и надёжности. Поэтому вопрос разработки систем контроля качества изделий является актуальным. Наличие подобного оборудования на предприятии подразумевает полностью автоматическую разбраковку или сортировку изделий в соответствии с существующими на данном предприятии критериями качества.

Европа в настоящее время стремительно переходит на полностью автоматическое производство изделий во всех областях промышленности, начиная с автомобилестроения, станкостроения, производства механизмов, оружия, активных элементов реакторов и заканчивая производством изделий из пластмассы и стекла. Для России проблема автоматизации производства и внедрения автоматизированных систем контроля качества изделий является также чрезвычайно важной как с технической, так и с экономической точки зрения.

Переход на автоматический контроль качества является неизбежным и требует не только создания специальной аппаратуры, но и разработки соответствующего математического и программного обеспечения систем обработки информации.

Применение методов и средств обработки информации для автоматизации контроля качества позволяет значительно повысить эффективность производства. В настоящее время методы визуальной инспекции с применением обработки информации разрабатываются для нужд машиностроительной промышленности [116], [117], деревообрабатывающей промышленности [104], [73], текстильной промышленности [105], [106], в производстве стали [107], а также контроля качества бумаги [108]. Большой вклад в развитие направления внесли такие зарубежные учёные, как Т. Маэнпаа, М. Петикаинен, Ф. Кохен, Т. Ойяла, Р. Харалик, А. Джаин, Т. Ньюман, X. Каупинен, а также отечественные учёные В. А. Соловей, А. Б. Комаров, В. Д. Ивченко, Д. Вагапов.

Одним из ведущих разработчиков автоматизированных систем контроля качества, пионером в производстве подобного оборудования, является отдел Обработки изображений и медицинской техники Фраунгоферовского института интегральных схем (ФИИС, г. Эрланген, Германия) [109]. Этот отдел занимается разработкой автоматизированных систем контроля отверстий при помощи точной эндоскопии [110], контроля качества плоских металлических поверхностей [8], тонких металлических труб [111], изделий из пластмассы [112] и др. Среди ведущих специалистов в области производства данного оборудования такие учёные как К. Мюнценмайер, А. Кулешов, И. Попп, Я. Кулье, К. Шпиннлер.

Также производством оборудования машинного зрения для нужд индустрии занимаются такие фирмы как «Interstaatliche Hochschule fur Technik» (Бухс, Германия) [113], «Матрикс Вижн» (представлена в Германии, Франции, Италии) [114], «Surface Inspection» (представлена в США, Германии и восьми странах Европы и Америки)[116].

Таким образом, тема диссертационной работы, посвященная исследованию и разработке методов обработки изображений и распознавания образов в задачах автоматического контроля качества, является актуальной, а результаты исследований должны дать новые научно значимые решения в области обработки изображений и текстурного анализа.

Цель и задачи работы

Целью диссертационной работы является исследование существующих и разработка новых, более эффективных методов и алгоритмов распознавания образов в промышленных системах технического зрения и методов текстурного анализа в целях усовершенствования программно - аппаратных средств контроля качества поверхности металлических изделий в промышленности.

Эффективность определяется быстродействием, вероятностью ошибок, устойчивостью к изменению условий освещённости.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Анализ существующих методов и алгоритмов обработки изображений металлических поверхностей и характерных для них систем признаков различных текстур.

2. Экспериментальное исследование зависимости текстурных признаков от параметров системы видеосъёмки (освещённости, выдержки, диафрагмы).

3. Разработка новых алгоритмов обработки изображений металлических поверхностей, обеспечивающих решение таких важных задач, как различение текстурных областей от однородных объектов, маскирование различных поверхностей деталей, повышение быстродействия существующих методов обработки.

4. Разработка новой системы текстурных признаков и алгоритмов распознавания текстур, обеспечивающих более высокую эффективность распознавания и качественную классификацию исследуемых типов текстур.

5. Оценка и сопоставительный анализ известных и разработанных методов и алгоритмов распознавания текстур.

Работа выполнялась в рамках совместной с ФИИС научно-образовательной программы «Владимир-Эрланген», а также в процессе научной стажировки в Германии в период с 28.09.2005 по 29.03.2006 по стипендии Президента Российской Федерации.

Научная новизна работы. Научная новизна диссертации состоит в следующем:

1) Проведены экспериментальные исследования зависимости текстурных характеристик металлических поверхностей от освещённости, определяемой параметрами оптической системы, что позволило оценить инвариантность существующих методов текстурного анализа к изменению яркости, а также разработать метод автоматической настройки освещённости в оптической системе, позволяющий избежать потерь информации в процессе получения изображения.

2) Предложены оригинальные методы текстурного анализа, основанные на поиске формы и направленности текстурного элемента при помощи автокорреляционной функции, псевдокорреляции и подсчёта длин строк на бинарном изображении, обеспечивающие более высокую инвариантность к изменениям освещённости и меньшую вероятность ошибки при распознавании.

3) Разработаны новые алгоритмы подсчёта статистических характеристик текстур, позволяющие повысить скорость текстурного анализа с помощью известных методов матриц совпадений и гистограмм суммы и разности.

4) Предложены новые методы различения текстур от однородных объектов, основанные на слиянии взаимосвязанных областей и подсчёте процента перепадов яркости, обеспечивающие достоверное нахождение текстурных участков и их отделение от однородных областей. Апробация метода слияния взаимосвязанных областей была проведена при разработке программного обеспечения для оборудования автоматического контроля качества металлических поверхностей во время научной стажировки в ФИИС (г. Эрланген, Германия).

5) Разработан быстродействующий алгоритм сегментации изображения и адаптивной генерации масок для металлических деталей, способствующий повышению эффективности дальнейшего анализа и поиска дефектов.

Практическая значимость работы:

1. Разработанные методы включены в библиотеку программного обеспечения отдела обработки изображений и медицинской техники Фраунгоферовского института интегральных схем, в результате чего расширена научная база методов обработки изображений (созданное программное обеспечение содержит около 200 страниц программного кода на языке С++), необходимая для дальнейшего использования в системах распознавания на промышленных предприятиях.

2. Предложенные оригинальные алгоритмы и методы обеспечивают эффективность распознавания порядка 95% и предназначены для применения не только в автоматизированных системах контроля качества, но и при решении других задач, связанных с текстурным анализом.

3. Предложенные алгоритмы подсчёта статистических характеристик позволяют ускорить процесс текстурного анализа в 1,5 - 2 раза.

4. На основе проведённых исследований влияния условий освещённости на текстурные признаки получены зависимости, представляющие интерес для текстурного анализа в целом и использованные при оценке эффективности методов текстурного анализа.

Внедрение результатов. Созданные методы и алгоритмы обработки изображений и текстурного анализа используются на Владимирском предприятии НИН «Электронтехносервис» и в учебном процессе кафедр ПИИТ, БМИ ГОУВПО «Владимирский государственный университет», что подтверждается актами внедрения, включены в библиотеку разработчиков программного обеспечения для использования при создании программно-аппаратных комплексов автоматизации контроля качества в ФИИС (г. Эрланген, Германия).

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на 5-ой МНТК «Перспективные технологии в средствах передачи информации» (Владимир, 2003 г.), МНТК, посвящённой 45-летию ВлГУ (Владимир, 2003 г.), МНТК «XII Туполевские чтения» (Казань, 2004), 10-ой МНТК «Радиоэлектроника, электротехника и энергетика» (Москва, 2004), на семинарах: в ОАО «Автоприбор», во Фраунгоферовском институте интегральных схем (г. Эрланген, Германия), МНТК "Digital Manufacture" (г. Ухань, Китай, 2006 г.).

На защиту выносится:

1. Оригинальные методы текстурного анализа, основанные на поиске формы и направленности текстурного элемента при помощи автокорреляционной функции, псевдокорреляции и подсчёта длин строк на бинарном изображении

2. Экспериментальные исследования зависимости текстурных характеристик металлических поверхностей от освещённости, определяемой параметрами оптической системы.

3. Алгоритмы подсчёта статистических характеристик текстур, позволяющие повысить скорость текстурного анализа с помощью известных методов матриц совпадений и гистограмм суммы и разности.

4. Новые методы различения текстур от однородных объектов, основанные на слиянии взаимосвязанных областей и подсчёте процента перепадов яркости, обеспечивающие достоверное нахождение текстурных участков и их отделение от однородных областей.

5. Быстродействующий алгоритм сегментации изображения и адаптивной генерации масок для металлических деталей, способствующий повышению эффективности дальнейшего анализа и поиска дефектов.

Публикации. По теме диссертации опубликовано 7 печатных работ, в том числе 3 - в научно-технических журналах, входящих в перечень ВАК.

Структура и объём работы. Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы из 119 пунктов и приложений. Общий объём работы 160 страниц в том числе 135 страниц основного текста, 12 таблиц, 117 рисунков, 2 приложения.

5.6. Выводы

Анализ приведённых экспериментальных данных позволяет сделать следующие выводы:

1) Исследования показали, что зависимость предложенных признаков на основе АКФ от изменений яркости существенно меньше по сравнению с признаками на основе гистограмм суммы и разности. Следовательно, при анализе текстур в условиях изменяющейся освещённости признаки на основе АКФ более предпочтительны, чем статистические.

2) Результаты исследований подтвердили высказанное ранее предположение, что при анализе случайного набора образцов текстур в сложных условиях распознавания (неодинаковая освещённость, изменяющиеся форма и размеры образца, фокусировка) использование предложенного метода псевдокорреляции предпочтительней, чем АКФ.

3) Экспериментом подтверждено, что предложенные признаки, получаемые на основе подсчёта длин строк, также являются более эффективными (обладают меньшей частотой ошибки), чем признаки на основе гистограмм суммы и разности и могут в ряде случаев быть предпочтительней, чем признаки на основе АКФ или ПК.

ЗАКЛЮЧЕНИЕ

Итоги исследований

Основные научные и практические результаты работы заключаются в следующем:

1) Проведён обзор-анализ существующих систем машинного зрения, а также существующих методов обработки изображений, в результате которого выявлены недостатки существующих средств автоматического анализа изображений и предложены возможные пути их устранения.

2) Исследованы методы матриц совпадений и гистограмм суммы и разности, в результате чего с целью экономии вычислительных ресурсов были предложены возможности их усовершенствования и разработаны соответствующие алгоритмы их реализации.

3) Разработаны новые текстурные признаки, которые позволяют распознавать различные типы текстур, свойственных металлическим поверхностям более эффективно по сравнению с известными статистическими характеристиками.

4) С помощью созданной экспериментальной установки проведены исследования зависимости статистических характеристик текстур от изменений освещённости. Построены зависимости известных текстурных признаков от изменений освещённости, что позволило оценить их инвариантность к изменениям освещённости.

5) Проведены экспериментальные исследования и сопоставительный анализ известных и разработанных методов распознавания текстур, результаты которых показали, что разработанные методы характеризуются меньшей вероятностью ошибки при распознавании исследуемых типов текстур, чем методы матриц совпадений и гистограмм суммы и разности и большей инвариантностью к изменениям освещенности. Например, вероятность ошибки распознавания при помощи текстурного признака «суммарное количество перепадов», получаемого путём подсчёта псевдокорреляции, лежит в пределах (0;0,032), тогда как для статистических характеристик эти пределы имеют значения (0,131;0,332) - (0,291;0,497). Относительное среднеквадратическое отклонение значений текстурных признаков, получаемых на основе автокорреляции, как критерий оценки их инвариантности при изменении средней яркости изображения в рабочем диапазоне составляет 0,36 - 0,44, тогда как для статистических характеристик оно составляет 3,5 - 18.

Для исследуемых типов текстур разработан рабочий словарь признаков системы распознавания текстур, основанный на существующих признаках, используемых при описании текстур на естественном языке.

Разработаны методы и алгоритмы анализа изображений металлических поверхностей машиностроительных деталей - методы различения текстурных областей от однородных объектов и методы маскирования, позволяющие определить области изображения, подлежащие поиску дефектов при помощи алгоритмов, не рассчитанных на анализ текстур, а также методы нахождения текстуры литой поверхности.

Предложен ряд перспективных вспомогательных методик обработки изображений, позволяющих при их дальнейшем развитии повысить эффективность распознавания, а также производить непосредственную предварительную оценку эффективности текстурных признаков.

Разработано программное обеспечение для реализации разработанных методов и алгоритмов. Созданные программные модули включены в базу данных методов текстурного анализа отдела обработки изображений и медицинской техники Фраунгоферовского института интегральных схем (г. Эрланген, Германия) для дальнейшего использования в системах автоматизации контроля качества металлических поверхностей.

Перспективы развития методов текстурного анализа.

Проведённые исследования показали, что такие общепризнанные и широко используемые методы текстурного анализа, как методы Р. Харалика и М. Унзера дают характеристики текстур, неинвариантные к изменениям освещённости. Для получения инвариантных характеристик недостаточно внесения нормирующих коэффициентов, полученных на основе линейной модели изменения освещённости. Требуется введение более сложной, нелинейной модели и, возможно, учёт специфических характеристик оптической системы. Дальнейшее исследование зависимости статистических характеристик текстур от различных параметров оптической системы и от типа и характеристик контролируемой поверхности представляет большой интерес. Также является перспективным развитие инвариантных к освещению текстурных признаков, базирующихся на основе АКФ. Необходимо дальнейшее совершенствование метода обработки корреляционной матрицы и развитие метода подсчёта длин строк

1. A Segmentation Based on Thresholding Ralf Kohler, Computer graphics and image processing, 15, 319 -338, 1981.

2. Boundary Simplification using a Multiscale Dominant-point detection algorithm A. Carrido, N. Perez De La Blanca, M. Garcia-Silvente, Pattern Recognition, Vol. 31, No. 6, pp. 791 - 804, 1998.

3. The Fast Algorithm for the Finite Length Discrete Wavelet Transform -Ruixiang Yin, Weizhen Ma, International Symposium on Speech, Image Processing and Neural Networks, Hong Kong, 1994.

4. On the Canny Edge Detector Lijun Ding, Ardeshir Goshtasby, Pattern Recognition, 43 (2001), 721 - 725.

5. Жирков В. Ф., Новиков К. В., Сушкова JI. Т. Анализ изображений// Радиофизические методы дистанционного зондирования земли: труды научной сессии Издательство ВООО ВОИ ПУ «РОСТ», Владимир, 2001.

6. Unsupervised Texture Segmentation using Gabor Filters Anil K. Jain, Farshid Farrokhia. Pattern Recognition vol 24, no 12, pp 1167-1186, 1991.

7. Personal Identification Based on Iris Texture Analisys Li Ma, Tieniu Tan, Yunhong Wang, Dexin Zhang. IEEE Transactions on pattern analysis and machine intelligence, vol. 25, no. 12, December 2003

8. Textural Features for Image Classification Robert M. Haralick, K. Shanmugam, Its'hak Dinstein. IEEE Transactions on Systems, Man, and Cybernetics, vol. smg-3, no. 6, November 1973.

9. Computer vision Linda Shapiro, George Stockman, Prentice Hall, 2000.

10. Computer Vision Dana H. Ballard, Christopher M. Brown, New Jersey, 1982.

11. Кулешов A. M., Сушкова JI. Т., Шевченко Н. А. Быстрые методы обнаружения и удаления текстур на цифровом изображении.

12. Ross Kindermann, J. Laurie Snell "Markov Random Fields and their Applications" American Mathematical Society, Providence, Rhode Island, Mathematical Subject Classification, 2000.

13. H. Kaneko, E. Yodogawa "A Markov Random Field Application to Texture Classification" IEEE Transactions on Pattern Analysis and Machine Intelligence, 1982.

14. Hassner ans Sklansky "Markov Random Fields as Texture Models" -Computer Graphics and Image Processing 12, 371-375 (1980).

15. Oskar Sandberg "Markov Random Fields and Gibbs Measures" December 15,2004.

16. Julian Besag "Spatial interaction and Statistical Analysis of Lattice Systems" J. Royal Stat. Soc., Ser. В B-36, 192-236.

17. Moran, P. A. P. (1973a) "A Gaussian Markovian Process on a Square Lattice"-J. Appl. Prob., 10, 54-62.

18. Spitzer, F. (1971). "Markov Random Fields and Gibbs Ensembles". Amer. Math Monthly, 78, 142-154.

19. Moran, P. A. P. (1973b) "Necessary conditions for Markovian process on a lattice. J. Appl. Prob., 10,605-612.

20. Preston, C. J. (1973). Generalised Gibbs states and Markov random fields. Adv. Appl. Prob., 5, 242-261.

21. Charles. A. Bouman, Ken Sauer. „Maximum likelihood scale estimation for a class of Markov random fields" IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994.

22. B. Calder, L. Linnett, S. Clarke, and D. Carmichael "Improvements in MRF parameter estimation" IEE, Savoy Place, London WCSR OBL, UK, 1995.

23. Charles A. Bouman "Markov random fields and stochastic image models" -1995 EEE International Conference on Image Processing 23-26 October 1995 Washington, D.C.

24. Yan Qiu Chen, Mark S. Nixon, David W. Thomas "Statistical geometrical features for texture classification" Pattern Recognition, vol. 28, No. 4, pp. 537552, 1995.

25. Joan S. Weszka, Charles R. Dyer, Azriel Rosenfeld "A Comparative Study of Texture Measures for Terrain Classification.

26. Michael Unser "Sum and Difference Histograms for Texture Classification" IEEE Transactions on Pattern Analysis and Machine Inteligence, 1986.

27. Rangasami L. Kashyap, Kie-Bum Eom "Texture Boundary Detection Based on the long Correlation Model" IEEE Transactions on Pattern Analzsis and Machine Intellegence, 1989.

28. S. Sherman "Markov Random Fileds and Gibbs Random Fields".

29. B. Julesz, „Visual pattern discrimination," IRE Trans. Imform. Theory, vol. IT-8, pp. 84-92, Feb. 1962.

30. Harsh Potlapallim, Ren C. Luo "Fractal-Based classification of Natural Textures" IEEE Transactions on Industrial Electronics, vol. 45, NO. 1, February 1998.

31. S. Baheerathan, F. Albregtsen, H. E. Danielsen „New texture features based on the complexity curve" Pattern Recognition № 32 (1999) pp. 605-618

32. К. Jain Ruud, M. Bolle, Kalle Karu Anil „ Is there any texture in the image?" Pattern Recognition Vol. 29, № 9 (1996) pp. 1437-1446.

33. Wen- Chou, Shou- Chou „ Classifying image pixels into smooth, shape and textured points" Pattern Recognition № 32 (1999) pp. 1697-1706

34. S. D. Yanovitz, A. M. Bruckstein A new method for image segmentation" Computer vision, graphics and image processing № 46 (1989) pp. 82-95

35. Nobuyuku Otsu „А threshold selection method from gray-level histogram" IEEE Transactions on Systems, Man and Cybernetics № 1 (1979)

36. Yung-Sheng Chen, Tsay-Der Lin „An investigation into the closure process in human visual perception for line patterns" Pattern Recognition Vol. 31, № 1 (1998) pp.1-13.

37. Kenneth R. Kastelmann „Digital Image Processing" Prentice Hall, 1996.

38. S. Kamata, R. 0. Eason, E. Kawaguchi „Complexity curves versus histogram and their application to image segmentation", process, 7th Scandinavian conf. on Image analysis 1991, pp. 1070 1077.

39. Учебно-методическое пособие по курсу «Технико-экономическое проектирование», составители Ю. В. Брусницын, А. Н. Гармаш, Таганрог, ТРТУ, 1998.

40. Венцтель Е. С., Овчаров JI. А. Теория вероятностей и её инженерные приложения. -М.: Наука, 1988.

41. Линда Шапиро, Джордж Штокман Компьютерное зрение, 2000.

42. Mary М. Galloway Texture Analysis Using Gray Level Run Length. -Computer graphics and image processing, 4, 172-179,1975.

43. A.Kuleschow, K.Spinnler "New Methods for Segmentation of Images Considering the Human Vision Principles", Computer Vision and Graphics, Int. Conf. ICCVG 2004 Warsaw, Poland pp. 1037 1042.

44. Xue-Jing Wu, Yi-Jun Zhang, Liang-Zheng Xia A Fast Recurring two-dimensional entropic thresholding algorithm, Pattern Recognition 32 (1999) 2055 -2061.

45. С. К. Chou, Т. Kaneko Automatic Boundary Detection of the left ventricle from cineangiograms, Computer Biomedical Researches, 5, 388 - 410, 1972.

46. Yasuo Nakagawa, Azriel Rosenfeld Some Experiments on Variable Threshoolding, Pattern Recognition, Vol. 11, pp. 191 - 204, Pergamon Press, 1979.

47. Timo Ojala and Matti Pietikainen Unsupervised texture segmentation using feature distributions"„Pattern Recognition" vol. 31, pp. 477-486, 1998.

48. E. Hadjidemetriou, M.D. Grossberg and S.K. Nayar Multiresolution Histograms and their use for Texture Classification, 3rd International Workshop on Texture Analysis and Synthesis (Texture 2003), Oct, 2003.

49. Yan Qiu Chen Nixon, M.S. Thomas, D.W. Texture classification using statistical geometrical features, Image Processing, 1994. Proceedings. ICIP-94., IEEE International Conference.

50. Swain, M.J. Ballard, D.H. Indexing via color histograms, Computer Vision, 1990. Proceedings, Third International Conference.

51. Pietikainen M, Maenpaa T & Viertola J Color texture classification with color histograms and Local Binary Patterns. Proc. 2nd International Workshop on Texture Analysis and Synthesis, June 1, Copenhagen, Denmark, 109-112, 2002.

52. Arie Pikaz, Amir Averbuch An Efficient Topological Characterization of Gray-Levels Textures, Using a Multiresolution Representation.

53. TI Hsu, AD Calway, R Wilson Texture analysis using the multiresolution Fourier transform, Proc. 8th Scan. Conf. on Image Analysis, 1993.

54. Chang, T. Kuo, C.-C.J. Texture analysis and classification with tree-structured wavelettransform, Image Processing, IEEE Transactions, Oct 1993 Vol. 2, Issue 4, page(s): 429-441.

55. Unser, M. Texture classification and segmentation using wavelet frames, Image Processing, IEEE Transactions, Nov 1995, Vol. 4, Issue 11 On page(s): 1549-1560.

56. Rafael С. Ganzales, Richard Е. Woods Digital image processing, Prentice-Hall, New Jersey, 2002.

57. Maenpaa T, Turtinen M & Pietikainen M Real-time surface inspection by texture. Real-Time Imaging 9(5):289-296 (2003).

58. Maenpaa T, Viertola J & Pietikainen M Optimising colour and texture features for real-time visual inspection. Pattern Analysis and Applications 6(3): 169-175 (2003).

59. M. Tiiceryan, Anil K. Jain Texture Analysis, The Handbook of Pattern Recognition and Computer Vision (2nd Edition), by С. H. Chen, L. F. Pau P. S. P. Wang (eds.), pp. 207-248, World Scientific Publishing Co., 1998.

60. M. Tiiceryan Moment Based Texture Segmentation, Pattern Recognition Letters, vol. 15, pp. 659-668, July 1994.

61. Mihran Tuceiyan, Anil K. Jain Texture Segmentation Using Voronoi Polygons, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-12, pp. 211 - 216, February 1990.

62. Shyan Wang, Robert M. Haralick Automatic Multithreshold Selection, Computer Vision, Graphics and Image Processing, 25, 46 - 67, 1984.

63. Lois Hertz, Ronald W. Shafer Multilevel Thresholding using Edge Matching, Computer Vision, Graphics and Image Processing, 44, 279 - 295, 1988.

64. Francis H. Y. Chan, F. K. Lam, Hui Zhu Adaptive Thresholding by Variational Method, IEEE Transactions on Image Processing, Vol. 7 No. 3, March 1998.

65. M. Cheriet, J. N. Said, C. Y. Suen A Recursive Thresholding Technique for Image Segmentation, IEEE Transactions on Image Processing, Vol. 7 No. 6, June 1998.

66. Azriel Rosenfeld, Russel C. Smith Thresholding using Relaxation, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-3, No. 5, September 1981.

67. H. D. Cheng, Yen-Hung Chen Fuzzy Partition of Two-dimensional Histogram and its Application to Thresholding, Pattern Recognition 32, 1999, pp. 825-843.

68. Nial Friel, Ilya S. Molchanov A new thresholding technique based on random sets, Pattern Recognition 32, 1999, pp. 507 - 517.

69. Paul L. Rosin Unimodal thresholding, Pattern Recognition 34 (2001), pp. 2083 - 2096.

70. Dongming Zhao, Xintong Zhao Range-Data-Based Object Surface Segmentation via Edges and Critical Points, IEEE Transactions on Image Processing, Vol. 6 No. 6, June 1997.

71. Gary A. Hewer, Charles Kenney, B. S. Manjunath Variational Image Segmentation Using Boundary Functions, IEEE Transactions on Image Processing, Vol. 7 No. 9, September 1998.

72. Lalit Gupta, Thotsapon Sortracul A Gaussian-Mixture-Based Image Segmentation Algotithm, Pattern Recognition, Vol. 31, No. 3, pp. 315 - 325, 1998.

73. K. Sunil Kumar, U. B. Desai Joint Segmentation and Image Interpretation, Pattern Recognition 32, (1999), pp. 577 - 589.

74. Ramon Roman-Roldan, Juan Francisco G6mez-Lopera, Chakir Atae-AIIah, Jose Martinez-Aroza, Pedro Luis Luque-Escamilla A measure of quality for evaluating methods of segmentation and edge detection, Pattern Recognition 34 (2001)969-980.

75. Motohide Yoshimura, Shunichiro Oe Evolutionary segmentation of texture image using genetic algorithms towards automatic decision of optimum number of segmentation areas, Pattern Recognition 32 (1999) 2041-2054.

76. Sankar K. Pal, Nikhil R. Pal Segmentation Based on Measures of Contrast, Homogeneity, and Region Size, IEEE Transactions on System, Man, Cybernetics, Vol. SMC-17, No. 5, September-October 1987.

77. S. H. Kwok and A. G. Constantinides A Fast Recursive Shortest Spanning Tree for Image Segmentation and Edge Detection, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 2, FEBRUARY 1997.

78. Demin Wang A Multiscale Gradient Algorithm For Image Segmentation Using Watersheds, Pattern Recognition, Vol. 30, No. 12, pp. 2043-2052,1997.

79. Motohide Yoshimura, Shunichiro Oe Evolutionary segmentation of texture image using genetic algorithms towards automatic decision of optimum number of segmentation areas, Pattern Recognition 32 (1999) 2041-2054.

80. P. Pala, S. Santini Image retrieval by shape and texture, Pattern Recognition 32, (1999), pp. 517-527.

81. P. Kruizinga, N. Petkov, S.E. Grigorescu Comparison of texture features based on Gabor filters, Proceedings of the 10th International Conference on Image Analysis and Processing, Venice, Italy, September 27-29, 1999, pp. 142-147.

82. Vincent Levesque Texture Segmentation Using Gabor Filters, Center For Intelligent Machines, McGill University December 6, 2000.

83. Javier R. Movellan Tutorial on Gabor Filters, http://mplab.ucsd.edu/tutorials/pdfs/gabor.pdf

84. S. W, Zucker and D. Terzopoulos Finding Structure in Co-Occurrence Matrices for Texture Analysis, Computer Graphics and Image Processing, vol. 12. DD. 286-308,1980.

85. A. Rexhepi, A. Rosenfeld, and F. Mokhtarian Extracting boundaries from images by comparing cooccurrence matrices. VHth Digital Image Computing:Techniques and Applications, 2003.

86. E. H. Aria, M. R. Saradjian, J. Amini, and C. Lucas Generalized cooccurrence matrix to classify IRS-ID images using neural network. XXth ISPRS Congress, 1973.

87. Reyer Zwiggelaar Texture Based Segmentation: Automatic Selection of Co-Occurrence Matrices, 17th International Conference on Pattern Recognition (ICPR'04) - Volume 1 pp. 588-591.

88. C. Gotlieb and H. E. Kreyszig. Texture descripors based on cooccurrence matrices. Computer Vision, Graphics, and Image Processing, 51:70-86, 1990.

89. Niskanen M, Silven О & Kauppinen H (2001) Color and texture based wood inspection with non-supervised clustering. Proc. 12th Scandinavian Conference on Image Analysis, June 11-14, Bergen, Norway, 336-342.

90. F. Cohen, Z. Fan, S. Attali, Automated inspection of textile fabrics using textural models, IEEE Transactions on Pattern Analysis and Machine Intelligence 13 (8) (1991) 803-808.

91. A. Kumar, G. Pang, Defect detection in textured materials using Gabor filters, IEEE Transactions on Industry Applications 38 (2) (2002) 425-440.

92. Z. Xu, M. Pietikainen, T. Ojala, Defect classification by texture in steel surface inspection, in: International Conference on Quality Control by Artificial Vision, Le Creusot, Burgundy, France, 1997, pp. 179-184.

93. Вакунов Николай Вячеславович Разработка и исследование многомасштабных алгоритмов обработки и анализа изображений в производственных системах контроля качества: диссертация на соискание степени кандидата технических наук, Владимир, 2005.

94. Горелик А. Л., Скрипкин В. А. Методы распознавания: Учебное пособие для вузов. - 3-е издание, переработенное и дополненное. - М.: Высш. шк., 1989.

95. Mauricio Gomez, Renato A. Salinas A New Technique for Texture Classification Using Markov Random Fields, International Journal of Computers, Communications & Control, Vol. I (2006), No. 2, pp. 41-51.