автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Автоматизированная система контроля паяных соединений на основе модели нейронной сети адаптивно-резонансной теории

На правах рукописи Ерёмин Олег Юрьевич 0, ¿^ил^^-

Автоматизированная система контроля паяных соединений на основе модели нейронной сети адаптивно-резонансной теории

Специальность 05.13.12 - Системы автоматизации проектирования (микроэлектроника)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

с А П р ®

и г. & ' '

Москва-2012

005020026

005020026

Работа выполнена на кафедре «Информационные технологии и автоматизированные системы» ФГБОУ ВПО «Московский государственный институт электроники и математики (технический университет)».

Научный руководитель:

доктор технических наук, доцент Тумковский Сергей Ростиславович

Официальные оппоненты: доктор технических наук, профессор

Иванников Александр Дмитриевич

кандидат технических наук Нисан Антон Вячеславович

Ведущая организация:

ФГБОУ ВПО «Московский государственный технический университет радиотехники, электроники и автоматики» (МГТУ МИРЭА)

Защита состоится « 24 » апреля 2012 г. в 14-00 часов на заседании диссертационного совета Д212.133.03 Московского государственного института электроники и математики (технического университета) по адресу: 109028, Москва, Б. Трехсвятительский пер., д.З.

С диссертацией можно ознакомиться в библиотеке Московского государственного института электроники и математики (технического университета).

Автореферат разослан «_» _2012 г.

Ученый секретарь диссертационного совета

доктор технических наук, доцент

Ю.Л. Леохин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Современный подход при подготовке и реализации технологических процессов во всех областях производственной деятельности требует интеграции систем автоматизации проектирования (САПР, АСТПП, АСУТП) на основе организации информационной поддержки, как отдельных этапов, так и всего жизненного цикла изделий. В качестве базы такой интеграции могут рассматриваться подходы на основе САЬБ-технологий. Особенно это актуально в таких наукоемких областях, как микроэлектроника.

Производство микроэлектронных изделий требует высокого уровня автоматизации основных и вспомогательных этапов, а также контроля каждого из них. Необходимость в этом объясняется высокими темпами развития элементной базы, требованием к повышению скорости проектирования и разработки изделий, увеличением объемов и сложности проектных работ. Поэтому основная сложность контроля и принятие на его основе соответствующих проектных или производственных решений связана с многокритериальностью оценки качества реализации каждого этапа или отдельных операций.

Повышение качества микроэлектронной аппаратуры (МЭА) требует анализа соответствия выполнения технологических операций, прежде всего качества паяных соединений печатных плат.

Анализ дефектов паяных соединений позволяет определить причины, которые привели к их возникновению (нарушение условий проведения технологического процесса; нарушение принципов проектирования микроэлектронной аппаратуры), и при необходимости внести изменения в проектную или технологическую документацию для устранения повторного возникновения дефектов.

Существующие сегодня системы автоматизированного оптического контроля (АОК) позволяют выявлять большое количество дефектов на печатных платах: неправильная установка компонентов, отсутствие припоя или, наоборот, его излишнее количество, и т.д. Миниатюризация и, следовательно, повышение плотности монтажа требует применения более качественных методов с точки зрения пространственного разрешения при контроле, а также новых технологических решений на основе модернизированных конструктивных элементов. Использование компонентов с выводами на нижней части корпуса микросхемы привело к созданию и использованию средств, позволяющих осуществлять контроль оптически невидимых дефектов. Расширение функциональных возможностей оптического контроля было возможно за счет использования дополнительных камер и математических подходов обработки дополнительной информации. Однако такие решения не являются экономически эффективными.

Еще одним подходом повышения качества является использование систем автоматизированного рентгеновского контроля (АРК), либо комбинированных систем АОК и АРК. Поскольку рентгеновские системы существенно отличаются от оптических по типу используемого излучения и

виду получаемых изображений, то развитые методы обработки результатов оптического контроля и анализа изображений оказываются неприменимыми. Существующие методы автоматизации процесса обнаружения дефектов при АРК требуют внесения конструктивных изменений в рисунок печатной платы, что приводит к снижению плотности монтажа и требует внесения изменений в технологический процесс изготовления печатной платы, что часто неприемлемо. Поэтому для оценки качества исследуемого объекта при использовании АРК используются эвристический подход, основанный на опыте оператора. Изображения представляются в виде градаций серого цвета, поэтому многие неоднородные области могут быть незамечены человеком (немаловажную роль также играет фактор усталости). Для этого необходимо повысить информационный уровень изображения. Эта задача решается на основе контекстно-зависимого подхода обработки информации, который основан на выделении областей (кластеров), имеющих сходные характеристики.

Существующие методы кластеризации (статистические алгоритмы, персептроны и т.д.) обладают рядом недостатков, такими как требование начального задания количества кластеров, необходимость участия человека при обучении, не позволяют модифицировать данные в кластерах в процессе своей работы, требуют большого количества параметров для настройки.

Поэтому является актуальной задача создание метода АСТПП, позволяющего повысить качество обнаружения дефектов паяных соединений печатных плат и сократить время на анализ оператором изделия. В качестве основы для автоматизированного метода распознавания дефектов паяных соединений выбрана модель нейронной сети адаптивно-резонансной теории, которая лишена недостатков, присущих другим методам кластеризации.

Цель исследования. Цель настоящей работы заключается в повышении качества МЭА за счет улучшения контроля паяных соединений для обнаружения дефектов при проведении АРК печатных плат с использованием метода распознавания образов на основе модели нейронной сети адаптивно-резонансной теории.

Задачи исследования. Основными задачами исследования являются:

- анализ состояния проблемы качества микроэлектронных изделий в процессе производства;

- анализ методов распознавания образов;

- разработка автоматизированного метода контроля качества паяных соединений АСТПП для обнаружения дефектов при проведении рентгеновского контроля на основе модели нейронной сети адаптивно-резонансной теории;

- разработка алгоритма и программного обеспечения автоматизированного контроля паяных соединений для повышения качества обнаружения дефектов печатных плат;

- внедрение разработанного автоматизированного метода распознавания дефектов паяных соединений в процесс проектирования и производства печатных плат, а также в учебный процесс вуза.

Объект исследования. Объектом исследования данной работы являются вопросы повышения качества микроэлектронных изделий в процессе проектирования, технологической подготовки и производства.

Предмет исследования. Предметом исследования является АСТПП, предназначенная для обнаружения дефектов паяных соединений печатных плат при автоматизированном рентгеновском контроле.

Методы исследования. Для достижения поставленной в работе цели использовались следующие методы исследования: теория принятия решений; системный анализ; анализ процесса проектирования, производства и контроля качества печатных плат; анализ элементов системы распознавания образов, предназначенных для контроля качества паяных соединений печатных плат; моделирование нейросетевой структуры адаптивно-резонансной теории применительно к решаемой задаче; экспериментальный анализ результатов работы нейросетевой модели.

Научная новизна. Научная новизна полученных в диссертации результатов теоретических и экспериментальных исследований заключается в следующем:

- разработана модель автоматизированного контроля паяных соединений на основе нейронной сети адаптивно-резонансной теории, которая, в отличие от уже существующих, позволяет обрабатывать изображения паяных соединений, получаемые в результате проведения автоматизированного рентгеновского контроля печатных плат;

- разработан новый метод контроля паяных соединений, предназначенный для повышения качества обнаружения дефектов при автоматизированном рентгеновском контроле на основе модели нейронной сети адаптивно-резонансной теории, позволяющий, в отличие от известных, адаптивно формировать кластеры при работе с изображениями, характеристики которых изменяются в широких пределах;

- разработаны алгоритм и программное обеспечение АСТПП для автоматизированного контроля качества паяных соединений, позволяющие проводить анализ печатных плат и обнаруживать дефекты;

- разработка научно-обоснованных рекомендаций по применению системы контроля паяных соединений при проведении автоматизированного рентгеновского контроля печатных плат, позволяющего повысить качество МЭА за счет применения модели нейронной сети адаптивно-резонансной теории.

Практическая значимость исследования. На основе методов, предложенных в диссертационной работе, создана автоматизированная система распознавания, предназначенная для обнаружения дефектов печатных плат при рентгеновском контроле. Эта система позволяет повысить эффективность всех этапов жизненного цикла изделий микроэлектронной аппаратуры.

Анализ нейронной сети на основе адаптивно-резонансной теории позволил получить алгоритм, который впервые был применен для кластеризации элементов изображений паяных соединений при рентгеновском контроле. В результате изображения в градациях серого были разделены на

области, которые позволяют оператору намного быстрее выявлять дефекты и неоднородности в паяных соединениях, при этом, изменяя параметры алгоритма, можно изменять чувствительность системы к неоднородностям. Адаптивность алгоритма позволила уменьшить влияние качества съемки на процесс распознавания образов и, следовательно, на обнаружение дефектов.

Реализация результатов работы. Полученные в диссертационной работе результаты внедрены в процесс проектирования и тестирования печатных плат в ООО «ОСАТЕК».

Для использования в учебном процессе кафедры «Информационные технологии и автоматизированные системы» (ИТАС) МИЭМ разработано приложение, позволяющее проводить кластеризацию входных бинарных образов и демонстрировать все этапы работы нейронной сети адаптивно-резонансной теории ART1. Результаты работы использованы при изучении дисциплин «Методы принятия решений» и «Интеллектуальные подсистемы САПР».

Апробация работы. Результаты работы докладывались на Научно-технической конференции студентов, аспирантов и молодых специалистов МИЭМ (Москва) в 2007, 2008, 2009, 2010 гг.; на III Всероссийской научно-технической конференции «Аэрокосмические технологии» (Реутов) в 2007 г.; на Межвузовской научно-технической конференции аспирантов, студентов и молодых ученых «Современные информационные системы и технологии» МГТУ им. Н.Э.Баумана (Москва) в 2007 г.

Публикации. По теме диссертации подготовлено 8 публикаций, в том числе 2 в журналах, включенных в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук, а также получено свидетельство о государственной регистрации программы для ЭВМ.

Структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и двух приложений. Приложения содержат акты внедрения и текст разработанных программ.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Введение

Во введении обоснована актуальность, сформулированы цель, задачи и методы исследования, представлены новизна, научная и практическая ценность, кратко излагается содержание и основные результаты работы.

Глава 1. Анализ состояния проблемы контроля качества микроэлектронных изделий в процессе производства

В первой главе проводится анализ состояния проблемы контроля качества микроэлектронных изделий в процессе производства. Рассмотрены этапы жизненного цикла микроэлектронной аппаратуры, вопросы проектирования и контроля качества, описаны структура и принцип работы систем автоматизированного рентгеновского контроля, а также проанализированы проблемы распознавания дефектов при проведении рентгеновского контроля и подходы к их решению с использованием нейросетевых технологий.

Особенностью изображений, получаемых в системах АРК, является возможность изменения параметров рентгеновского излучения. В результате могут быть получены различные изображения по яркости и по четкости. Результаты съемки одного и того же участка печатной платы при разных параметрах на рентгеновской трубке показаны на рисунке 1.

1щ I

О

е

Рисунок 1. Изображения при разных параметрах рентгеновского излучения (а — 80 кВ, 20мкА; б—80кВ, 40мкА; в —80 кВ, 60мкА;г — 140 кВ, 20 мкА; д — 140 кВ, 40 мкА; е — 140 кВ, 60 мкА)

При настройке системы автоматизированного рентгеновского контроля возникает ряд проблем, связанных с многократными облучением изделия для получения желаемого качества изображения:

1) при анализе одного изделия многократное рентгеновское излучение может нарушить работу электронных компонентов;

2) при анализе большого количества изделий существенные затраты времени на подбор параметров резко снижает производительность систем АРК (именно поэтому контроль осуществляется выборочно).

Таким образом, автоматизированная система контроля качества, предназначенная для распознавания дефектов, должна решать возникшие проблемы, то есть давать удовлетворительный результат при возможности изменения параметров рентгеновской трубки в широком диапазоне. А в случае работы с большим количеством печатных плат, подстройку системы автоматизированного рентгеновского контроля можно проводить постепенно в процессе работы.

Также система контроля качества должна облегчать задачу оператору при обнаружении таких видов дефектов паяных соединений, как трещины, пустоты, отсутствие смачивания.

Для решения задачи распознавания образов применительно к изображениям, полученным в результате рентгеновской съемки, необходимо учесть указанные сложности. Это позволяет определить требования к использованию нейронной сети:

1) нейронная сеть должна иметь способность к адаптации;

2) возможна работа без обучающей выборки, то есть обучение нейронной сети должно осуществляться в процессе работы;

3) нейронная сеть при имеющейся адаптивности должна быть стабильной;

4) нейронная сеть должна формировать устойчивые кластеры;

5) нейронная сеть должна иметь возможность менять свою чувствительность.

Подобной нейронной сетью, обладающей всеми вышеперечисленными свойствами, является модель нейронной сети адаптивно-резонансной теории ART1, которая позволяет проводить кластеризацию двоичных входных векторов и при этом решает «дилемму стабильности-пластичности».

Глава 2. Разработка модели системы распознавания на основе нейронной сети адаптивно-резонансной теории

Во второй главе ставится формальная задача распознавания образов, рассматриваются способы представления входных образов для кластеризации, структура нейронной сети адаптивно-резонансной теории, законы обучения, а также проводится анализ устойчивого состояния нейронной сети, на основе которого будет разработан алгоритм, реализующий функциональные возможности нейронной сети ART1.

Структурная схема модели нейронной сети на основе адаптивно-резонансной теории показана на рисунке 2.

Нейронная сеть ART1 состоит из двух полносвязных слоев с двусторонними связями, а также подсистемой ориентирования.

Работа первого слоя нейронной сети описывается следующим уравнением:

где р - это входной образ, вектор-столбец размерности ; п1 (/), Ь*, ь; - это векторы-столбцы размерности 51,; \Уз' - матрица размерности х52;

\У21 — это матрица размерности х , весовая матрица соединений «Слой 2 -Слой 1», обучение которой осуществляется по правилу выходной звезды (о^аг) Гроссберга.

Слои 2

Рисунок 2. Структурная схема двухслойной сети ART 1 Второй слой нейронной сети ART1 описывается уравнением (2):

где а1 - это вектор-столбец размерности S,, являющийся выходным вектором первого слоя и входным вектором второго слоя; пг(/), Ь], Ь] - это векторы-столбцы размерности S,;

W" - матрица размерности S2xSt , содержащая адаптивные весовые коэффициенты, строки этой матрицы после обучения будут содержать прототипы образов; W', W,2 - матрицы размерности S2xS2.

Работы подсистемы ориентирования описывается уравнением:

£^Г=wW)(w°p)-K (0+V)(wy) ■ (3)

Нейронная сеть позволяет реализовывать два вида обучения: быстрое и медленное. Для реализации в системе распознавания образов было выбрано медленное обучение, поскольку оно позволяет провести анализ устойчивого состояния сети и на основе этого получить ряд следующих уравнений, которые

лежат в основе программной реализации метода контроля качества на основе модели нейронной сети А11Т1.

Матрица весовых коэффициентов нейронной сети изменяется по правилу, следующему из ¡г^аг-обучения:

где С >1, чтобы знаменатель не становился нулем.

Матрица весовых коэффициентов нейронной сети изменяется по правилу, следующему из оЩз1аг-обучения:

<=»'• (5)

На основании анализа устойчивого состояния нейронной сети были получены уравнения, которые легли в основу алгоритма, реализующего функциональность ART1.

Глава 3. Метод автоматизированного контроля паяных соединений печатных плат при рентгеновском контроле

В третьей главе предложен метод автоматизированного распознавания дефектов паяных соединений. Рассмотрены этапы распознавания, вопросы предварительной обработки и выделения признаков, разрабатывается алгоритм, реализующий ART1, для работы на персональных компьютерах.

В общем виде процесс обработки изображений, полученных в результате рентгеновской съемки печатных плат, состоит из следующих этапов:

- получение изображения;

- предварительная обработка;

- сегментация;

- нормализация;

- распознавание;

- интерпретация.

Для работы системы распознавания необходимо выделить признаки изображения, на основе которых будут строиться входные векторы-образы. Поскольку ART1 работает с двоичными входными векторами, то было принято решение строить векторы-образы на основе двоичного представления цвета одного или нескольких элементов изображений. Более того, все образы должны быть одномерными (то есть, быть векторами), по причине одномерной структуры нейронной сети ART1.

Для реализации в системе автоматизированного распознавания на основе нейронной сети ART1 были выбраны три вида образов (размером в 24 бита, в 72 бита и в 216 битов), формирование образов показано на рисунке 3.

Образ: (ху)

! /

(х,у)

Образ: (х-1,у)(х,у)(х+1,у)

2І Л/

ш ш

2С х 3 = 72 ¿//

Образ- (х-1,у- 1){х,у- 1)(х+1,у-1)(х- 1,у)(х,у)(х* 1,у)(х- 1,у* 1)(х,у*1}(х+1,у+V

:*-1,у-1) (х,У-1) :х+1,у-1)

(х-1.У) (х.у) (х+1,у)

:х-1,у+1) (х,у+1) :х+1,у+1)

2С х 9 = 216 ЬИ

Рисунок 3. Схемы формирования входных векторов-образов (а — образ в 24 бита; б— образ в 72 бита; в — образ в 216 битов)

Поскольку нейронная сеть имеет распределенную параллельную структуру, то наибольшую производительность можно получить при реализации AR.I1 на специализированных нейропроцессорах. Результат анализа устойчивого состояния нейронной сети позволил получить простые закономерности, дающие возможность построить алгоритм, реализующий функциональность нейронной сети АЯТ1, и реализовать систему распознавания в виде программы для обычной персональной ЭВМ, которая подключается к системе автоматизированного рентгеновского контроля.

Алгоритм метода распознавания образов на основе модели нейронной сети АИЛ для реализации на персональном компьютере.

Инициализация.

Все элементы матрицы устанавливаются в 1. Таким образом, при начале работы алгоритма первый входной образ сразу вызывает резонанс и происходит адаптация, то есть каждая колонка, которая не подверглась адаптации, будет давать резонанс с любым входным образом.

Поскольку строки в матрице представляют собой нормализованные столбцы матрицы , то каждый элемент матрицы \У|г устанавливается

Шаг 1.

Если в сети нет свободных кластеров, тогда переход на Шаг 10. Нейронной сети представляется входной образ. Так как второй слой неактивен, то выход первого слоя определяется уравнением: а'=р. Шаг 2.

Вычисляется вход второго слоя \У|2а',

2

и активируется нейрон с наибольшим значением по уравнению: 2_|'> если («"^а1

[ 0, в противном случае. В случае совпадения значений выходов нескольких нейронов выбирается нейрон с минимальным номером индекса. ШагЗ.

Рассчитывается ожидание: \У2 V = . Шаг 4.

Объединяются входной вектор и вектор ожидания: а' = р п . Шаг 5.

Подсистема ориентирования определяет величину соответствия между входным образом и ожиданием

0 = I 1, если Ца'Ц'/ЦрЦ2 < р, |0, в противном случае. Шаг 6.

Если а" = 1, тогда устанавливается а)= 0 и затормаживается этот нейрон

до тех пор, пока не произойдет резонанс, и переход на Шаг 1. Если а" = 0, то произошел резонанс и переход на Шаг 7. Шаг 7.

Обновление строки у в матрице \У12, используя уравнение: „ _ Сад

Шаг 8.

Обновление столбца в матрице \У21 по уравнению:

уу^а1.

Шаг 9.

Входной образ убирается, восстанавливаются все заторможенные нейроны второго слоя, и возвращение на Шаг 1 с новым входным образом. Шаг 10.

Конец алгоритма.

Особенностью работы нейронной сети является то, что она выделяет свободные выходные нейроны для построения новых кластеров. Поскольку аппаратные возможности не безграничны, то в алгоритме предусмотрена ситуация, когда все доступные кластеры будут распределены, и нейронная сеть перестанет эффективно работать.

Глава 4. Результаты исследования и экспериментальная оценка эффективности метода контроля паяных соединений на основе модели адаптивно-резонансной теории

В четвертой главе приводятся результаты исследования, и проводится оценка эффективности метода автоматизированного контроля паяных соединений для обнаружения дефектов печатных плат, рассматриваются варианты работы ART1 при различных значениях параметров и входных образах. В конце главы даются рекомендации по применению автоматизированной системы контроля паяных соединений на основе модели нейронной сети адаптивно-резонансной теории.

Исследование в данной работе состоит из двух частей, которые независимы друг от друга:

1) исследование поведения системы контроля качества при различных вариантах изменения параметра бдительности и различных размерах входных векторов;

2) исследование с использованием реальных изображений с разными режимами работы системы контроля качества.

Для исследования поведения при различных вариантах изменения параметра бдительности и различных размерах входных векторов на вход системы подавался одно и то же изображение, а затем изменяя вид входного вектора-образа и значение параметра бдительности.

Рассматривается зависимость количества формируемых кластеров от параметра бдительности при разных размерах входных векторов:

1) 24-битные образы при изменении р от 0,1 до 0,9 с шагом 0,1;

2) 72-битные образы при изменении р от 0,05 до 0,50 с шагом 0,05;

3) 216-битные образы при изменении р от 0,025 до 0,300 с шагом 0,025.

Диапазон изменения параметра бдительности и шаг подбирались из

следующих соображений:

1) количество формируемых кластеров не должно быть более 500;

2) величина шага должна быть равномерной;

3) размер шага должен быть такой, чтобы при значениях р близких к нулю количество кластеров изменялось незначительно.

Полученные данные заносятся в таблицы, а затем на основании таблиц строятся графики зависимости количества кластеров от параметра бдительности. Графики для входных образов показаны на рисунке 4.

о

125 0.150 0.1750.2000.225 0.250 0.275 0.3000.3500.400 0.450 0.500 0,600 0.700 O.SOO 0.900 Параметр бдительности

Рисунок 4. Зависимость количества формируемых кластеров от величины параметра бдительности и размерности вектора входного образа

В результате исследования зависимости количества формируемых ART1 кластеров от значения параметра бдительности можно прийти к следующим выводам:

1) при увеличении количества компонентов во входном векторе система становится более чувствительна к изменению параметра бдительности;

2) полученные графики, очевидно, показывают экспоненциальную природу системы распознавания;

3) если предположить, что неэффективно работать с более чем 30 кластерами, то с увеличением размера входных векторов необходимо иметь в виду, что значения параметра бдительности должно уменьшаться;

4) при увеличении размера входного вектора максимальное количество кластеров растет, и в предельном случае при 1 количество кластеров в каждой ситуации должно стремиться:

- для вектора в 24 бита к 224 кластерам;

- для вектора в 72 бита к 2й кластерам;

- для вектора в 216 битов к 22'6 кластерам.

Для исследования с использованием реальных изображений с разными режимами работы системы распознавания выбираются следующие виды изображений:

- съемка перпендикулярная к плоскости печатной платы;

- съемка под углом к плоскости печатной платы.

В результате сегментации получаем изображение паяных соединений корпуса BGA. На каждом из видов изображений выбраны следующие типы паяных соединений:

1) без дефекта;

2) без дефекта, но с допустимыми отклонениями;

3) с дефектом.

Рассматривается кластеризация в следующих случаях:

1) при различной интенсивности рентгеновского излучения;

2) с одним проходом алгоритма ART1 с разными размерами входных образов;

3) с двумя проходами алгоритма ART1 с разными размерами входных образов;

4) проход алгоритма по изображению, которое подвергли медианной фильтрации на предварительных этапах.

Результаты работы с изображением с Voltage Blooming показаны на рисунке 5.

Напряжение, кВ Сила тока, мкА Исходное изображение Параметр бдительности, р

0,2 0.5 0,9

80 20 SB шшщ. г IvSroft U ¡11 Ш^ЯКЯМЕ* і ■ :{ l»JsM - ' >- SiW т. ШЯ 'fi

140 20 ниитвшипня Ф ГШ - \ \ : ШкМ f 'І '-> % /С ■--Í І

Рисунок 5. Результаты обработки изображений с voltage blooming

Система распознавания на основе АЯТ1, в силу своей адаптивности, позволяет эффективно анализировать изображения, полученные с достаточно широкими параметрами рентгеновского излучения.

Рассмотрение влияния медианной фильтрации на эффективность распознавания.

При предварительной фильтрации изображений возможны ситуации с потерей данных об различных участках изображений (происходит усреднение).

Результаты обработки изображений, полученных в результате съемки перпендикулярно к плоскости печатной платы, показаны на рисунке б.

Номер образца Исходное изображение аіш Медианная фильтрация +акп

2 * | ііірг " ш v-1 .і4 і ій

5 ЯШШі іі1ї ^ііііііік ШШшЩШ \ v.4/ £Ш

Рисунок б. Результат распознавания исходного изображения и изображения после фильтрации (перпендикулярная съемка)

Результаты обработки изображений, полученных в результате съемки под углом, показаны на рисунке 7.

В результате использования фильтрации области на обработанном изображении стали более гладкими, однородными, что и показывает ситуацию, в которой в результате фильтрации могут быть утеряны важные неоднородности на изображении. При возникновении необходимости применения фильтров к исходному изображению желательно выбрать такие параметры, чтобы влияние на изображение было наименьшим.

Рисунок 7. Результат распознавания исходного изображения и изображения после

фильтрации (съемка под углом)

На ряде изображений возникают полосы, которые, с одной стороны, ухудшают качество восприятия изображения, но, с другой стороны,

показывают, как модель ART1 производит адаптацию кластеров к новым входным образам. Подобный дефект называется деградацией кластеров. Для борьбы с ним и улучшения качества изображений предлагается использовать двойной проход ART1.

Для демонстрации улучшения качества распознавания выбраны те исходные изображения, сделанные перпендикулярно плоскости печатной платы, которые в прошлом эксперименте показали наличие полос на фоне или на самом изображении. Параметр бдительности для сравнения работы алгоритма распознавания при однократном и при двукратном проходе будет /> = 0,3 . Результаты работы показаны на рисунке 8.

В результате использования двух проходов ART1 удается решить проблему, связанную с деградацией кластеров. После первого прохода модель ART1 обучается (начальное формирование кластеров), а непосредственно распознавание происходит на втором проходе.

Поскольку при втором проходе изображения ART1 работает только в режиме поиска, то время, затрачиваемое на него, будет меньше, чем на первый проход.

Номер „ , Исходное изображе образца jMHt HI 3 тШ^ШШЯШШЯШг ние После одного прохода ART1 О После двух проходов ART1 □

6 ф ^¡¡glpr шшм | і -І;.- . шШШЁШшШ?

Рисунок 8. Результат распознавания изображения с одним и с двумя проходами ART 1

Способность к обобщению у нейронных сетей позволяет при распознавании уменьшить влияние случайных помех на результаты работы. Использование входных образов разного размера позволяет получить результаты подобные фильтрации. Таким образом, нет необходимости проводить специальную фильтрацию на этапе предварительной обработки. Результаты использования образов разного размера показаны на рисунке 9.

Результат использования входных образов различной длины показывает возможность проводить своего рода фильтрацию изображения именно на этапе распознавания, что с одной стороны сохранит все важные для распознавания признаки, с другой стороны позволит исключить влияние случайных помех.

№ образца

Исходное изображение

Размер входного образа

24 (/> = 0,3)

72 (уэ = 0,24)

ят

7 '

«¡¡Щ® 1 Ш

216 (/з = 0,1)

Рисунок 9. Результаты распознавания с использованием входных образов разной

размерности

После проведения экспериментов и анализа их результатов можно предложить рекомендации для использования предложенных методов обнаружения дефектов:

1) размер входного образа определяет требуемое значение коэффициента бдительности;

2) количество кластеров определяется выбором значения коэффициента бдительности; для лучшего восприятие изображения оператором количество кластеров не должно превышать 30;

3) для получения более качественной картины распознавания необходимо использовать ART1 с двумя проходами; для экспресс-анализа возможно применение ART1 с одним проходом;

4) на этапе предварительной обработки необходимо избежать любой фильтрации изображений, если это не удается, то использовать минимальные параметры фильтрации;

5) изменение способа формирование входных образов позволяет, при необходимости, акцентировать внимание на разных областях изображения (более крупных или более мелких);

6) нежелательны для использования в системе распознавания изображения с большими областями белого цвета; иначе необходимо использовать ART1 с двумя проходами.

Заключение

В заключении сформулированы выводы по диссертационной работе в целом, показана актуальность рассмотренных в работе вопросов, а также изложен ряд предложений, касающихся дальнейшего развития направления

проектирования АСТПП на основе нейросетевых технологий в области контроля качества паяных соединений МЭА.

ОБЩИЕ ВЫВОДЫ

К основным результатом работы можно отнести следующее:

1)На основе анализа состояния проблемы контроля качества МЭА в процессе производства и рассмотрения этапов жизненного цикла изделий сделан вывод о необходимости контроля качества на каждом этапе жизненного цикла. Особое внимание следует проявить к обнаружению дефектов после производства, так как это может выявить возможные ошибки, которые допустил разработчик аппаратуры при проектировании, либо наличие нарушения в технологическом процессе производства. Эффективным средством обнаружения дефектов можно считать системы автоматизированного оптического и рентгеновского контроля (вторые предпочтительнее, так как позволяют обнаруживать дефекты, невидимые при оптическом контроле). Учитывая специфику изображений, полученных в результате рентгеновской съемки, было предложено использовать методы распознавания на основе нейронных сетей, а именно на модели нейронной сети адаптивно-резонансной теории ART1.

2) Формальная постановка задачи распознавания позволяет подойти к рассмотрению структуры модели нейронной сети адаптивно-резонансной теории ART1, в результате чего проводится анализ устойчивых состояний нейронной сети и разработка модели распознавания изображений паяных соединений, получаемых в результате проведения автоматизированного рентгеновского контроля печатных плат.

3) На основе модели нейронной сети адаптивно-резонансной теории создан метод автоматизированного контроля паяных соединений печатных плат при рентгеновском контроле. Для этого были рассмотрены все этапы обработки изображений, способы возможных вариантов извлечения признаков из изображения и построения на их основе векторов входных данных для нейронной сети.

4) На основе анализа устойчивых состояний модели нейронной сети ART1 становится возможным построение алгоритма (поскольку реализация нейронной сети на персональном компьютере является неэффективной), который функционально подобен нейронной сети и может быть положен в основу автоматизированной системы контроля качества паяных соединений.

5) Разработано программное обеспечение АСТПП, реализующее метод автоматизированного контроля паяных соединений при автоматизированном рентгеновском контроле на основе модели нейронной сети адаптивно-резонансной теории и позволяющее проводить анализ изображений печатных плат с целью обнаружения дефектов.

6) Для определения эффективности предложенного метода распознавания были проведены исследования поведения модели ART1 при различных вариациях параметров работы сети, а затем продемонстрирована возможность

решения задачи автоматизированного контроля паяных соединений на основе реальных данных, полученных в результате рентгеновской съемки. Анализируя полученные экспериментальные данные, были предложены практические рекомендации по использованию системы распознавания на основе модели нейронной сети ART1 для операторов систем автоматизированного рентгеновского контроля и проектировщиков аппаратуры.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Ерёмин О.Ю., Тумковский С.Р. Использование адаптивно-резонансной теории для обнаружения дефектов паяных соединений и повышения качества печатных плат //Качество. Инновации. Образование. - 2010 -№ 4 (59). - С.37-42.

2. Ерёмин О.Ю. Модифицированный алгоритм АРТ-1 для повышения качества распознавания дефектов паяных соединений // Качество. Инновации. Образование. - 2010 -№ 5 (60). - С.56-59.

3. Ерёмин О.Ю. Распознавание изображений, полученных в результате аэрофотосъемки // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М.~: МИЭМ, 2007.

4. Ерёмин О.Ю. Нормализация изображений // Аэрокосмические технологии, 2004-2007: Труды Всероссийских и Международной научно-технических конференций (Реутов - Москва, 2004 - 2007) / Под ред. Симоньянца Р.П. - М.: НПО машиностроения, Изд-во МГТУ им. Н.Э. Баумана, 2008.

5. Ерёмин О.Ю., Поп Р.Н. Система обнаружения сетевых вторжений на основе ART. // Межвузовская НТК аспирантов и студентов «Современные информационные технологии». - М.: Изд-во МГТУ им. Н.Э.Баумана, 2008.

6. Ерёмин О.Ю. Сегментация изображений аэрофотосъемки // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М.~: МИЭМ, 2008.

7. Ерёмин О.Ю. Кластеризация элементов изображений аэрофотосъемки // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М.~: МИЭМ, 2009.

8. Ерёмин О.Ю. Обнаружение дефектов печатных плат с помощью нейросетевых технологий // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М.~: МИЭМ, 2010.

9. Свидетельство о государственной регистрации программы для ЭВМ №2011610108 «Система обнаружения дефектов паяных соединений печатных плат». Зарегистрировано в Реестре программ для ЭВМ: 11 января 2011 г.

Подписано в печать: 20.03.12 Тираж: 150 экз. Заказ № 5955 Отпечатано в типографии «Реглет» 119526, г. Москва, ул. Бауманская, д. 33 (495) 979-96-99; svww.reglet.ru

61 12-5/2165

Московский государственный институт электроники и математики (технический университет)

На правах рукописи

Ерёмин Олег Юрьевич

Автоматизированная система контроля паяных соединений на основе модели нейронной сети адаптивно-резонансной теории

Специальность 05.13.12 - Системы автоматизации проектирования (микроэлектроника) Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: д.т.н., доцент Тумковский С.Р.

Москва - 2012

Содержание

Введение....................................................................................................................................4

Глава 1. Анализ состояния проблемы контроля качества микроэлектронных

изделий в процессе производства.........................................................................................11

1.1. Этапы жизненного цикла изделий микроэлектронной аппаратуры........................12

1.2. Проектирование и контроль качества изделий микроэлектронной аппаратуры.... 16

1.3. Системы автоматизированного рентгеновского контроля........................................21

1.4. Проблемы распознавания дефектов при автоматизированном рентгеновском

контроле................................................................................................................................24

1.5. Методы распознавания образов..................................................................................28

1.6. Нейросетевые методы распознавания образов..........................................................30

1.7. Выводы..........................................................................................................................36

Глава 2. Разработка модели системы распознавания на основе нейронной сети адаптивно-резонансной теории.............................................................................................38

2.1. Формальная постановка задачи распознавания образов..........................................39

2.2. Представление образов для кластеризации...............................................................39

2.3. Общая структура нейронной сети ART1....................................................................40

2.4. Модель первого и второго слоев нейронной сети.....................................................44

2.5. Модель подсистемы ориентирования.........................................................................49

2.6. Анализ устойчивого состояния...................................................................................50

2.7. Законы обучения..........................................................................................................53

2.8. Выводы..........................................................................................................................55

Глава 3. Метод автоматизированного контроля паяных соединений печатных плат при рентгеновском контроле........................................................................................................57

3.1. Этапы распознавания образов.....................................................................................58

3.2. Предварительная обработка и извлечение признаков...............................................59

3.3. Алгоритм распознавания образов на основе нейронной сети адаптивно-

резонансной теории.............................................................................................................64

3.4. Особенности работы ART 1..........................................................................................68

3.5. Выводы..........................................................................................................................69

Глава 4. Результаты исследования и экспериментальная оценка эффективности метода контроля паяных соединений на основе модели адаптивно-резонансной теории..........70

4.1. Разработка программного обеспечения контроля качества на основе модели

адаптивно-резонансной теории..........................................................................................71

4.2. Разработка методики и программы экспериментальных исследований.................73

4.3. Работа нейронной сети при различных значениях параметра бдительности.........76

4.4. Результаты эксперимента и анализ экспериментальных данных............................81

4.5. Рекомендации по применению системы контроля качества паяных соединений..91

4.6. Выводы..........................................................................................................................92

Выводы по диссертации........................................................................................................93

Литература..............................................................................................................................95

Приложение 1. Программа для ЭВМ.................................................................................106

Приложение 2. Акты внедрения.........................................................................................138

Введение

Актуальность работы.

Современный подход при подготовке и реализации технологических процессов во всех областях производственной деятельности требует интеграции систем автоматизации проектирования (САПР, АСТПП, АСУТП) на основе организации информационной поддержки, как отдельных этапов, так и всего жизненного цикла изделий. В качестве базы такой интеграции могут рассматриваться подходы на основе САЬ8-технологий. Особенно это актуально в таких наукоемких областях, как микроэлектроника.

Производство микроэлектронных изделий требует высокого уровня автоматизации основных и вспомогательных этапов, а также контроля каждого из них. Необходимость в этом объясняется высокими темпами развития элементной базы, требованием к повышению скорости проектирования и разработки изделий, увеличением объемов и сложности проектных работ. Поэтому основная сложность контроля и принятие на его основе соответствующих проектных или производственных решений связана с многокритериальностью оценки качества реализации каждого этапа или отдельных операций.

Повышение качества микроэлектронной аппаратуры (МЭА) требует анализа соответствия выполнения технологических операций, прежде всего качества паяных соединений печатных плат.

Анализ дефектов паяных соединений позволяет определить причины, которые привели к их возникновению (нарушение условий проведения технологического процесса; нарушение принципов проектирования микроэлектронной аппаратуры), и при необходимости внести изменения в проектную или технологическую документацию для устранения повторного возникновения дефектов.

Существующие сегодня системы автоматизированного оптического контроля (АОК) позволяют выявлять большое количество дефектов на печатных платах: неправильная установка компонентов, отсутствие припоя или, наоборот, его излишнее количество, и т.д. Миниатюризация и, следовательно, повышение плотности монтажа требует применения более качественных методов с точки зрения пространственного разрешения при контроле, а также новых технологических решений на основе модернизированных конструктивных элементов. Использование компонентов с

выводами на нижней части корпуса микросхемы привело к созданию и использованию средств, позволяющих осуществлять контроль оптически невидимых дефектов. Расширение функциональных возможностей оптического контроля было возможно за счет использования дополнительных камер и математических подходов обработки дополнительной информации. Однако такие решения не являются экономически эффективными.

Еще одним подходом повышения качества является использование систем автоматизированного рентгеновского контроля (АРК), либо комбинированных систем АОК и АРК. Поскольку рентгеновские системы существенно отличаются от оптических по типу используемого излучения и виду получаемых изображений, то развитые методы обработки результатов оптического контроля и анализа изображений оказываются неприменимыми. Существующие методы автоматизации процесса обнаружения дефектов при АРК требуют внесения конструктивных изменений в рисунок печатной платы, что приводит к снижению плотности монтажа и требует внесения изменений в технологический процесс изготовления печатной платы, что часто неприемлемо. Поэтому для оценки качества исследуемого объекта при использовании АРК используются эвристический подход, основанный на опыте оператора. Изображения представляются в виде градаций серого цвета, поэтому многие неоднородные области могут быть незамечены человеком (немаловажную роль также играет фактор усталости). Для этого необходимо повысить информационный уровень изображения. Эта задача решается на основе контекстно-зависимого подхода обработки информации, который основан на выделении областей (кластеров), имеющих сходные характеристики.

Существующие методы кластеризации (статистические алгоритмы, персептроны и т.д.) обладают рядом недостатков, такими как требование начального задания количества кластеров, необходимость участия человека при обучении, не позволяют модифицировать данные в кластерах в процессе своей работы, требуют большого количества параметров для настройки.

Поэтому является актуальной задача создание метода АСТПП, позволяющего повысить качество обнаружения дефектов паяных соединений печатных плат и сократить время на анализ оператором изделия. В качестве основы для

автоматизированного метода распознавания дефектов паяных соединений выбрана модель нейронной сети адаптивно-резонансной теории, которая лишена недостатков, присущих другим методам кластеризации.

Цель исследования. Цель настоящей работы заключается в повышении качества МЭА за счет улучшения контроля паяных соединений для обнаружения дефектов при проведении АРК печатных плат с использованием метода распознавания образов на основе модели нейронной сети адаптивно-резонансной теории.

Задачи исследования. Основными задачами исследования являются:

• анализ состояния проблемы качества микроэлектронных изделий в процессе производства;

• анализ методов распознавания образов;

• разработка автоматизированного метода контроля качества паяных соединений АСТПП для обнаружения дефектов при проведении рентгеновского контроля на основе модели нейронной сети адаптивно-резонансной теории;

• разработка алгоритма и программного обеспечения автоматизированного контроля паяных соединений для повышения качества обнаружения дефектов печатных плат;

• внедрение разработанного автоматизированного метода распознавания дефектов паяных соединений в процесс проектирования и производства печатных плат, а также в учебный процесс вуза.

Объект исследования. Объектом исследования данной работы являются вопросы повышения качества микроэлектронных изделий в процессе проектирования, технологической подготовки и производства.

Предмет исследования. Предметом исследования является АСТПП, предназначенная для обнаружения дефектов паяных соединений печатных плат при автоматизированном рентгеновском контроле.

Методы исследования. Для достижения поставленной в работе цели использовались следующие методы исследования: теория принятия решений; системный анализ; анализ процесса проектирования, производства и контроля качества печатных плат; анализ элементов системы распознавания образов, предназначенных для

контроля качества паяных соединений печатных плат; моделирование нейросетевой структуры адаптивно-резонансной теории применительно к решаемой задаче; экспериментальный анализ результатов работы нейросетевой модели.

Персоналии. Существенный вклад в развитие адаптивных нейронных сетей внес создатель адаптивно-резонансной теории (ART - adaptive resonance theory) Стефан Гроссберг (Stephen Grossberg), являющийся директором Центра адаптивных систем (Center for Adaptive Systems) в Бостонском университете, США (Boston University, USA). В настоящее время большая часть работ по адаптивно-резонансной теории создана самим С.Гроссбергом, его женой Гейл Карпентер (Gail Carpenter) и другими соавторами. В связи с истечением срока действия патентов начинаются активные разработки с использованием ART в других научно-исследовательских центрах мира.

В области нейронных сетей свой существенный вклад внесли следующие исследователи: B.C. МакКаллок (W.S. McCullich) и В. Питц (W.Pitts); Д. Хебб (D.O.Hebb); Ф.Розенблатт (F.Rosenblatt); М. Мински (M.L. Minsky) и С. Паперт (S.A. Papert); Д. Румельхарт (D.E.Rumelhart); Дж. Хопфилд (J.J.Hopfield); М. Коэн (М.А. Cohen); Т.Кохонен (T.K.Kohonen); В.Н.Вапник (V.N.Vapnik) и А.Я. Червоненкис (A. Ya. Chervonenkis); А.И. Галушкин; С.И. Барцев и В.А. Охонин; и другие.

В области систем автоматизированного проектирования: И.П. Норенков; JI.H. Кечиев; И.В.Солодовников; С.Р.Тумковский ; Н.И. Борисов; и другие.

Научная новизна. Научная новизна полученных в диссертации результатов теоретических и экспериментальных исследований заключается в следующем:

• разработана модель автоматизированного контроля паяных соединений на основе нейронной сети адаптивно-резонансной теории, которая, в отличие от уже существующих, позволяет обрабатывать изображения паяных соединений, получаемые в результате проведения автоматизированного рентгеновского контроля печатных плат;

разработан новый метод контроля паяных соединений, предназначенный для повышения качества обнаружения дефектов при автоматизированном рентгеновском контроле на основе модели нейронной сети адаптивно-резонансной теории, позволяющий, в отличие от известных, адаптивно формировать кластеры при работе с изображениями, характеристики которых изменяются в широких пределах;

разработаны алгоритм и программное обеспечение АСТПП для автоматизированного контроля качества паяных соединений, позволяющие проводить анализ печатных плат и обнаруживать дефекты;

• разработка научно-обоснованных рекомендаций по применению системы контроля паяных соединений при проведении автоматизированного рентгеновского контроля печатных плат, позволяющего повысить качество МЭА за счет применения модели нейронной сети адаптивно-резонансной теории.

Практическая значимость исследования. На основе методов, предложенных в диссертационной работе, создана автоматизированная система распознавания, предназначенная для обнаружения дефектов печатных плат при рентгеновском контроле. Эта система позволяет повысить эффективность всех этапов жизненного цикла изделий микроэлектронной аппаратуры.

Анализ нейронной сети на основе адаптивно-резонансной теории позволил получить алгоритм, который впервые был применен для кластеризации элементов изображений паяных соединений при рентгеновском контроле. В результате изображения в градациях серого были разделены на области, которые позволяют оператору намного быстрее выявлять дефекты и неоднородности в паяных соединениях, при этом, изменяя параметры алгоритма, можно изменять чувствительность системы к неоднородностям. Адаптивность алгоритма позволила уменьшить влияние качества съемки на процесс распознавания образов и, следовательно, на обнаружение дефектов.

Реализация результатов работы. Полученные в диссертационной работе результаты внедрены в процесс проектирования и тестирования печатных плат в ООО «ОСАТЕК».

Для использования в учебном процессе кафедры «Информационные технологии и автоматизированные системы» (ИТАС) МИЭМ разработано приложение, позволяющее проводить кластеризацию входных бинарных образов и демонстрировать все этапы работы нейронной сети адаптивно-резонансной теории АКТ I. Результаты работы использованы при изучении дисциплин «Методы принятия решений» и «Интеллектуальные подсистемы САПР».

Апробация работы. Результаты работы докладывались на Научно-технической конференции студентов, аспирантов и молодых специалистов МИЭМ (Москва) в 2007, 2008, 2009, 2010 гг.; на III Всероссийской научно-технической конференции

«Аэрокосмические технологии» (Реутов) в 2007 г.; на Межвузовской научно-технической конференции аспирантов, студентов и молодых ученых «Современные информационные системы и технологии» МГТУ им. Н.Э.Баумана (Москва) в 2007 г.

Публикации. По теме диссертации подготовлено 8 публикаций, в том числе 2 в журналах, включенных в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук, а также получено свидетельство о государственной регистрации программы для ЭВМ.

Структура диссертационной работы.

В первой главе проводится анализ состояния проблемы контроля качества микроэлектронных изделий в процессе производства. Рассмотрены этапы жизненного цикла изделий, вопросы проектирования и контроля качества, описаны структура и принцип работы систем автоматического рентгеновского контроля, а также проанализированы проблемы распознавания образов при рентгеновском контроле и подходы к их решению с использованием нейросетевых технологий.

Во второй главе ставится формальная задача распознавания образов, рассматриваются способы представления входных образов для кластеризации, структура нейронной сети адаптивно-резонансной теории, законы обучения, а также приводится анализ устойчивого состояния нейронной сети, на основе которого становится возможна разработка алгоритма, реализующего функциональные возможности нейронной сети ART1.

В третьей главе предложен метод автоматизированного контроля паяных соединений печатных плат при рентгеновском контроле. Рассмотрены этапы распознавания, вопросы предварительной обработки и выделения признаков, разрабатывается алгоритм, реализующий ART1, для работы на персональных компьютерах.

В четвертой главе приводятся результаты исследования и проводится экспериментальная оценка эффе�