автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы определения безразмерных признаков изображений проекций трехмерных объектов и их распознавание

На правах рукописи

ТЕРЕХИН АНДРЕЙ ВИКТОРОВИЧ

АЛГОРИТМЫ ОПРЕДЕЛЕНИЯ БЕЗРАЗМЕРНЫХ ПРИЗНАКОВ ИЗОБРАЖЕНИЙ ПРОЕКЦИЙ ТРЕХМЕРНЫХ ОБЪЕКТОВ И ИХ

РАСПОЗНАВАНИЕ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (технические системы)

АВТОРЕФЕРАТ ~ 8 Ш

диссертации на соискание ученой степени кандидата технических наук

00557ОЗЬ*

005570369

Работа выполнена на кафедре «Информационные системы» Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».

Научный руководитель: Садыков Султан Сидыкович

доктор технических наук, профессор

Официальные оппоненты: Дегтярев Сергей Викторович,

доктор технических наук, профессор, ФГБОУ ВПО «Юго-Западный государственный университет», г. Курск, кафедра вычислительной техники, главный научный сотрудник;

Побаруев Вячеслав Иванович, кандидат технических наук, ведущий научный сотрудник НИИ «Фотон» ФГБОУ ВПО «РГРТУ», г. Рязань.

Ведущая организация: ФГБОУ ВПО «Пензенский

государственный университет», г. Пенза.

Защита состоится 30 сентября 2015 в 12.00 на заседании диссертационного совета Д212.211.01 в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» по адресу:

390005, ул. Гагарина, д. 59/1.

С диссертацией можно ознакомиться в библиотеке и на сайте ФГБОУ ВПО «Рязанский государственный радиотехнический университет», www.rsreu.ru.

Автореферат разослан «£?» 2015 г.

Ученый секретарь диссертационного совета

кандидат технических наук, доцент

Пржсгорлинский В.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Сборочные работы являются важной составляющей технического процесса выпуска промышленных изделий особенно при массовом их производстве. Установлено, что ручная сборка изделий в машиностроении составляет 80% от общего объема сборочных работ. Поэтому увеличение доли автоматизированной и автоматической сборки в общем объеме сборочных работ является актуальной научно-технической и производственной задачей.

В настоящее время для автоматизации сборочных работ в основном используются системы автоматического распознавания (САР) с одной видеокамерой. Эти САР работают при жестко фиксированном расположении деталей в поле зрения системы и в заданных положениях, что требует много ручной подготовительной работы. Кроме того, в них применяются для распознавания объектов наборы признаков с различными единицами измерения, что затрудняет их совместное использование для повышения надежности распознавания. Однокамерные САР, в основном, предназначены для распознавания плоских объектов и с их помощью не могут быть решены задачи распознавания и определения координат, произвольно расположенных в поле зрения системы объемных деталей. Поэтому, для распознавания и определения координат, произвольно расположенных в поле зрения системы как плоских, так и объемных деталей целесообразно применение САР с двумя видеокамерами.

Наиболее известными фирмами, занимающимися созданием и выпуском САР для распознавания трехмерных объектов (ТО), являются Balluff (Германия), Omron (Япония), IFM Electronic (Германия), SICK (Германия). Стоимость технической части выпускаемых этими фирмами САР составляет от 14 до 50 тыс. долларов США, а программное обеспечение часто оказывается специализированным и его стоимость больше стоимости технической части системы. Кроме того, при использовании этих систем возникают сложные задачи стыковки их с роботами манипуляторами. В связи с этим, у нас в стране во многих учреждениях, таких, как ЮЗГУ (г. Курск), ПГУ (г. Пенза), МГУ имени М. В. Ломоносова (г. Москва), университет ИТМО (г. Санкт-Петербург), ПГТУ (г. Йошкар-Ола), ИПМ имени М.В. Келдыша РАН (г. Москва), ГУАП (г. Санкт-Петербург), НГТУ (г. Новосибирск), и др., ведутся научно-технические работы по созданию более дешевых и удобных при эксплуатации САР ТО, однако, на данный момент пока еще не было выпущено их коммерческих образцов.

Таким образом, разработка нового подхода к решению задачи распознавания и определения координат как плоских, так и объемных деталей, новых алгоритмов выделения безразмерных признаков изображений проекций ТО, создание макета САР и экспериментальное исследование ее возможностей является актуальной научно-технической задачей.

Большой вклад в разработку и развитие теоретических основ в задачах обработки, анализа и распознавания изображений для решения вопросов автоматизации отдельных производственных процессов и операций внесли С.В. Абламейко,

B.C. Титов, Е.П. Путятин, B.C. Киричук, В.А. Сойфер, В.В. Сергеев, ЯЛ. Фурман,

C.С. Садыков, A.JI. Жизняков и другие. Из иностранных ученых следует упомянуть А. Розенфельда, Р. Гонсалеса, У. Прэтта, К. Фу, Т. Павлидиса, Р. Дуда и других. Исследования автора опираются на результаты этих ученых.

Цель диссертационной работы - разработка нового подхода к решению задачи распознавания ТО и определения их координат, новых алгоритмов определения безразмерных признаков изображений проекций ТО, создание макета САР и экспериментальное исследование ее возможностей.

Для достижения поставленной цели необходимо выделить следующие задачи:

1. Анализ состояния задачи распознавания отдельно расположенных ТО.

2. Разработка нового подхода к распознаванию ТО с использованием двух камер, одна из которых располагается над сценой, вторая - под углом к сцене.

3. Разработка алгоритма сопоставления изображений проекций на двух снимках, полученных с камер, при наличии в поле зрения САР нескольких ТО.

4. Разработка новых алгоритмов выделения признаков и предварительной обработки изображений, позволяющих решать задачи автоматического распознавания и классификации произвольно и отдельно расположенных ТО.

5. Разработка структуры эталона объекта, включающей в себя информацию о его признаках шести ортогональных проекций, и позволяющей использовать известные алгоритмы вычисления оценок для распознавания ТО.

6. Разработка макета экспериментальной САР ТО с использованием двух камер и проведение исследований по распознаванию тестовых и реальных ТО.

Объект исследования - системы автоматического распознавания ТО.

Предмет исследования - алгоритмы выделения признаков изображений произвольно расположенных на плоскости ТО и их распознавание.

Научная новизна. Новые научные результаты, полученные в работе, состоят в следующем:

- предложен новый подход к распознаванию произвольно расположенных ТО, заключающийся в использовании: 1) двух видео-датчиков, позволяющих получать как ортогональные, так и косоугольные проекции объектов под любым ракурсом; 2) трехмерных моделей ТО; 3) набора безразмерных признаков формы изображений двух проекций объектов; и 4) алгоритма вычисления оценок;

- предложен новый алгоритм определения принадлежности ортогональной и косоугольной проекции на двух снимках.к каждому из трехмерных объектов, обеспечивающий возможность распознавания ТО по двум снимкам проекций;

- предложены алгоритмы вычисления безразмерных диагональных признаков формы изображений проекций ТО инвариантных к переносу, изменению масштаба и повороту ТО в поле зрения системы;

- проведенными исследованиями на реальных ТО доказана перспективность применения предложенного подхода и разработанных алгоритмов для построения САР ТО с повышенной точностью распознавания ТО в сложных ситуациях.

Теоретическая значимость исследования обусловлена тем, что:

- доказана применимость комбинированного подхода (на основе использования плоских изображений и трехмерных моделей) для распознавания произвольно

4

расположенных ТО;

- изложены доказательства необходимости применения трехмерных моделей для формирования косоугольных проекций распознаваемых объектов в случаях наличия одинаковых проекций у разных ТО;

- выявлены закономерности в значениях диагональных признаков плоских выпуклых геометрических фигур, позволяющие создать проекции ТО по их форме.

Практическая ценность работы. Значение полученных результатов исследования для практики подтверждается тем, что:

1. Разработаны алгоритмы вычисления диагональных признаков формы, инвариантных к пространственному расположению бинарных изображений проекций ТО.

2. Создана САР нескольких отдельно расположенных на сцене ТО, находящихся в произвольном порядке.

3. Проведены вычислительные эксперименты по оценке точности разработанных алгоритмов, результаты которых позволили выявить их возможности при распознавании единичных и нескольких отдельно расположенных тестовых и реальных ТО.

4. Разработанные алгоритмы применяются в учебном процессе кафедры информационных систем МИВлГУ в лабораторных и практических работах.

5. Полученные научные результаты приняты к использованию на промышленных предприятиях.

6. По результатам исследований, проведенных автором в рамках диссертации, получены два свидетельства об официальной регистрации на разработанные с его участием программные продукты, и один патент на полезную модель.

Методы исследования. В работе использованы методы геометрии, тригонометрии, алгебры логики, математической статистики, цифровой обработки изображений, планирования экспериментов и распознавания образов.

На защиту выносятся:

1. Алгоритм сопоставления пар изображений, позволяющий отнести ортогональные и косоугольные проекции, полученные с разных камер, к каждому распознаваемому ТО.

2. Алгоритмы вычисления диагональных признаков формы проекций ТО, использование которых позволяет с высокой точностью распознавать тестовые и реальные ТО.

3. САР нескольких отдельно расположенных ТО, которая может использоваться как основа для построения систем машинного зрения промышленного назначения.

4. Результаты экспериментальных исследований на САР по распознаванию нескольких произвольно расположенных реальных ТО, подтвердившие высокую точность идентификации объектов разработанной системой.

Степень достоверности результатов исследований обусловлена тем, что:

1. Теоретическая составляющая диссертации построена на известных и проверяемых данных и согласуется с опубликованными экспериментальными результатами по теме диссертации и смежным отраслям в изданиях, рекомендованных Высшей аттестационной комиссией РФ;

2. Подход базируется на анализе существующих решений в области распознавания объектов, а так же развитии алгоритмов анализа плоских изображений;

3. Использованы современные методики сбора и обработки информации с применением средств вычислительной техники.

Личный вклад соискателя состоит в:

- участии автора на всех этапах процесса исследований по реализации темы диссертации;

- личном участии в теоретических разработках, связанных с созданием и реализацией алгоритмов выделения безразмерных признаков проекций ТО, подготовке основных публикаций по алгоритмам вычисления диагональных признаков;

- непосредственном участии соискателя в получении исходных изображений тестовых и реальных снимков ТО, а также научных экспериментальных исследованиях;

- личном участии в создании макета экспериментальной САР ТО;

- личном участии по внедрению результатов диссертационной работы на предприятиях ОАО ПО «Муроммашзавод» и ОАО «Муромский радиотехнический завод», а так же в учебном процессе кафедры «Информационные системы» МИ (филиала) ФГБОУ ВПО ВлГУ.

Апробация работы. Материалы диссертационной работы докладывались и обсуждались на: Международном симпозиуме «Надежность и качество» (г. Пенза, 2012г., 2013 г.); Международной конференции «Распознавание 2013» (г. Курск, 2013г.); «Перспективы развития информационных технологий» (г. Новосибирск, 2013 г.), «Наука и современность 2013» (г. Новосибирск, 2013 г.), 11-th International Conference on Pattern Recognition and Image Analysis (г. Самара, 2013 г.), Всероссийские научные «Зворыкинские чтения». Регионы России (г. Муром, 2014 г.).

Публикации. Основные результаты диссертации опубликованы в 28 печатных работах, в том числе в 8 статьях в журналах из списка ВАК. Получены 1 патент на полезную модель и 2 свидетельства о регистрации программы для ЭВМ.

Реализация результатов исследований. Разработанные алгоритмы и САР отдельно расположенных ТО приняты к внедрению на промышленных предприятиях ОАО «ПО Муроммашзавод» и ОАО «Муромский радиозавод», а так же используются в учебном процессе по дисциплине «Методы и системы цифровой обработки изображений» в МИ (филиал) ФГБОУ ВПО ВлГУ, о чем свидетельствуют акты, приведенные в приложении к диссертации.

Структура работы. Диссертация состоит из оглавления, введения, четырех глав с выводами по каждой из них, заключения, списка использованных источников и приложений. Основная часть диссертации изложена на 155 страницах машинописного текста и 32 страниц приложения. Работа содержит 110 рисунков, 49 таблиц. Библиографический список включает 142 наименования.

ОСНОВНОЕ СОДЕРЖАЛИ РАБОТЫ

Во введении обоснована актуальность работы, сформулированы цели и задачи исследования, научная новизна и практическая ценность полученных результатов, приведены основные положения, выносимые на защиту.

В первой главе осуществлен анализ алгоритмов, методов и существующих САР ТО, определены требования к характеристикам САР, осуществлен обзор алгоритмов предварительной обработки и распознавания изображений, показана необходимость их реализации в САР, отмечены наиболее известные из них, выбран способ иерархического представления трехмерной модели в виде окто-деревьсв, сделан вывод об актуальности разработки нового подхода к распознаванию ТО. На основе проведенного обзора и анализа были сформулированы следующие выводы:

1. Уровень автоматизации на открытых сборочных конвейерах достаточно низок. Большинство задач решаются преимущественно с применением ручного труда.

2. Сложность производственного процесса, высокие требования к качеству продукции, активная конкурентная борьба, необходимость в повышении качества и темпов производства требуют использования САР с высоким интеллектом.

3. Задача идентификации ТО пока еще является довольно новой, и для ее решения все еще используются средства и алгоритмы плоской геометрии.

4. Использование двух камер на данный момент недостаточно охвачено вниманием в современных подходах к распознаванию ТО. В связи с этим, существует необходимость разработки нового подхода к распознаванию ТО на основе информации, получаемой с использованием двух видео-датчиков.

5. Большинство современных коммерческих ЗБ САР не применимы к распознаванию нескольких произвольно расположенных ТО.

6. Стоимость базовых наборов коммерческих САР начинается от 14 тыс. долл. и может достигать 50 тыс. долл., в зависимости от комплектации.

7. При распознавании нескольких произвольно расположенных ТО с использованием двух камер существует задача сопоставления изображений проекций на получаемых снимках.

8. Необходима разработка новых признаков, инвариантных к переносу, изменению масштаба и повороту ТО, и позволяющих классифицировать объекты по форме с высокой точностью.

9. Наиболее распространенными алгоритмами распознавания, используемыми в современных САР являются алгоритм к-средних, алгоритм вычисления оценок и алгоритм поиска ближайших соседей.

10. Необходим новый подход, позволяющий распознавать произвольно расположенные ТО.

11. Применение объемных моделей позволяет с высокой точностью распознавать произвольно расположенные ТО. Выбор типа трехмерной модели эталона является важным моментом при формировании подхода к распознаванию ТО, что может влиять как на скорость, так и на точность их идентификации.

Во второй главе описываются разработанные алгоритмы: 1) поиска ключевых точек для вычисления диагональных признаков формы для изображений плоских выпуклых геометрических фигур и проекций ТО (ПТО); 2) вычисления диагональных признаков формы проекций ТО; 3) сопоставления проекций на парах изображений нескольких ТО. Обоснована необходимость использования двух ка-

мер в САР ТО. Сформулирован новый подход к распознаванию ТО. Описана структура эталона.

Новый подход к распознаванию ТО с использованием двух видео-датчиков. Он заключается в следующем:

1. Основной видео-датчик располагается над центром сцены и формирует снимок ортогональных проекций произвольно расположенных ТО:

= {/и = 0^551; = 0,1,....от & ] = 0,1,...,«}.

2. Вспомогательный видео-датчик располагается под углом к сцене и дает косоугольные проекции (х,у) рассматриваемых ТО (на этапе обучения - ЭО - располагается в плоскости сцены, для получения боковых проекций вытянутых ТО, а на этапе распознавания - ЭР — под углом к сцене).

3. На ЭО поочередно устанавливается каждый ТО на сцену для получения шести ортогональных проекций («главный вид», «вид сзади», «вид слева», «вид справа», «вид сверху», «вид снизу» - рис. 7а: 1-6). После предварительной обработки, вычисления признаков и заполнения базы данных, шесть изображений ортогональных проекций поступают в подсистему формирования ЗБ модели (рис. 76):

1) Создаются три нулевые матрицы размером й*м>х/ (длина, высота, ширина объекта, определяются по проекциям вид «спереди», «сверху», «слева»), для хранения информации об объекте.

2) Изображения проекций бинаризу- А= {а; ■ |/ = 0,1,...,/г&у =0,1,...,^}, ются, формируя матрицы, хранящие В = {Ь]к |у = 0,1,...,и'&А: = 1,2,...,/}, информацию о принадлежности точек ^_ | ■ _0 ^ Ь&к = \ 2 /} каждой из проекций: ''

3) Матрица А' заполняется копированием слоев для проекции «вид спереди» (по длине объекта I) по следующему правилу:

11><-аи =1

4) Матрица В 'для проекции «вид слева» заполняется по следующему правилу:

[1,<-г>Л*=1

5) Матрица С'для проекции «вид сверху» заполняется по следующему правилу:

6) Выполняется логическая операция пересечения полученных трехмерных матриц, то есть, если соответствующий элемент в каждой трехмерной матрице принимает значение равное 1, то в результирующую матрицу Б записывается 1, и 0 в противном случае. В = А'С\В'глС(<рмс. 1).

Главный вид (рис. 7а - 1) считается точкой отсчета ориентации ТО в плоскостях хОг и уОг, остальные ортогональные проекции получаются поворотом ТО

5

"п 1ш| 2п

'п

а о

Рис. 1 Схема процесса формирования поверхности ТО по его проекциям

на угол, кратный 90 градусам.

Эталоны ТО отличаются смещением относительно центра. Если ТО невозможно расположить какой-либо проекцией к основному видео-датчику, используется вспомогательный. На ЭР изображение, полученное с основного видео-датчика, проходит процедуру распознавания (рис. 2: 1-4) (выполняется предварительная обработка, маркировка ПТО, формирование очереди ТО, вычисление диагональных признаков формы и распознавание существующим алгоритмом общего назначения).

В сложных случаях, когда разные ТО имеют одинаковые ортогональные проекции (рис. 2 - 4), формируется список возможных кандидатов на верное распознавание с одинаковыми вероятностями.

Затем автоматически вычисляются 3 утла (а — наклона ортогональной проекции в плоскости хОу; у, ф - возможной ориентации рассматриваемого ТО в плоскостях хОг и уОг по распознанной ортогональной проекции - берутся из базы данных эталонов). Они поступают в подсистему визуализации трехмерных моделей объектов, которая создает эталонные косоугольные проекции (рис. 2-5) под предполагаемыми ракурсами (для всех ТО, распознанных по ортогональной проекции - рис. 2 - 4).

Далее происходит предварительная обработка, вычисление признаков исходной и сгенерированных косоугольных проекций рассматриваемого ТО и итоговое распознавание (рис. 2 - 6).

Алгоритм поиска ключевых точек для вычисления диагональных коэффициентов формы на примере выпуклых плоских геометрических фигур состоит в следующем:

Шаг 1. Находится контур ПТО. К -множество точек контура, К = {к; (xj; у>1} ,где / = 1,... ,п, п- число точек контура ПТО.

Шаг 2. Затем осуществляется поиск ключевых точек (КТ), К КТ относятся: крайние точки контура ПТО, через которые проводятся парные касательные, параллельные осям прямоугольной системы координат; вершины описанного вокруг контура

Рис. 2 Схема ЭР

ПТО прямоугольника (ОП), точка пересечения диагоналей ОП, точки пересечения контура фигуры и диагоналей ОП.

Шаг 3. На контуре ПТО (рис. 3) выбираются крайние точки Е\ N', М\ D' (E'eK, N'gK, М'еК, £>'е К) таким образом, чтобы:

х4 '= min (х,),*4 'е х,-; х2 '= шах (*,• ),х2'е х,-; у, '= min (У/ ),У\ 'е у,- ;у3'= шах (у,-),У3'е У;

1=1. л /'=1.Л i=¡.л Ы\.л

Шаг 4. К найденным точкам строятся касательные а, с, параллельные оси Ох; Ъ, d, параллельные оси Оу. Далее выполняется вычисление координат вершин описанного прямоугольника DENM: D(x4 ';yf') = d гл а, Е(хг'\y{) = ar\b,

N{x2'-y^) = b^c, M(x4';jy) = crW. Для поиска ОП минимальной площади производится вычисление длины и ширины описанного прямоугольника: lDE т](х4'—х2')2 +0У—>У)2 = \х4 '~х2 '|.

Аналогично: IDM =\Уг~У\\- Площадь ОП: 5 = |(х4 '—х2' )||(>'з '~У\' )| • Далее происходит поворот изображения ПТО на угол ат.

Шаг 5. Для выполнения операции поворота используются аффинные преобразования относительно точки центра ОП - Н(х5';у5'):

( х"-х5 (х - x5')cos(a) -(у- ys')sin(a),

':= (х - ') s in(«) ~ (У - У5') с os («) • Шаг 6. Выполнение предыдущих операций т раз (/я=1,...,180), ^rnin = min(5m).

m=1..180

Длина диагонали: lDN = yj(x4'-x2')2 + {У\~У3)2 ■ Аналогично находится длина второй диагонали (ЕМ).

Для вычисления координат точек пересечения диагонали и контура ПТО строится уравнение прямой / (на которой лежит отрезок, соединяющий противопо-

X_JC ' у •__у '

ложные вершины ОП) по двум точкам:-— = Z—

х4 ' У\~УЪ

В полученное уравнение подставляются точки контура К = {А,-(х,-;>>,}, i = \ ..п, п - длина контура ПТО.

Для нахождения длины максимального отрезка вычисляются длины расстояний между всеми возможными парами точек контура ПТО, определяется максимальное значение: d-, = д/(х,--х,.)2 + (у,-у7)2 , dmax = max(t/(), где d- длина отрезка,

1=1.Л

соединяющего две точки контура ПТО, с/„,„.( - длина самого большого отрезка dt, i = \..n,j = n..\.

Алгоритмы вычисления диагональных признаков формы для выпуклых плоских геометрических фигур. Алгоритм вычисления диагональных признаков формы представлен на рис. 5.

При формировании нового вектора признаков были введены понятия длины фигуры (максимального отрезка) - рис. 2 с, диагональных отрезков описанного пря-

10

м N с

Г ^ N

D 17 -—- Е а

Л Ь

Рис. 3 Пример ПТО произвольной формы и касательных к ее контуру

моуголышка (рис. 4 — НМ, 1Ш, НЕ, ПО), диагональных отрезков объекта, прямоугольного коэффициента формы (ПКФ), диагонального коэффициента формы (ДКФ), коэффициента периметр-площадь (КПП), коэффициентов диагонали объекта (КД), коэффициентов диагональных отрезков (КДО).

Все величины, используемые при вычислении признаков, определяются количеством точек, из которых состоят рассматриваемые отрезки. Область значений всех признаков находится в диапазоне (0;1]. За основу были взяты

_ . _ „ существующие коэффициенты фор-Рис. 4 Пример плоской геометри-

„ , ^ 1 „ ^ мы, такие как отношение периметра

ческой фигуры, вписаннои в прямо- с /г/ч-п-гЧ

^ ' объекта к его площади (КПП), отно-

уголышк /-ггт^\

} шение ширины к длине (ПКФ).

Так же были разработаны новые признаки формы, получившие название диагональных.

Определение 1. Диагональный коэффициент формы (ДКФ) - признак формы, вычисляющийся как отношение длины фигуры (ГГГО) к длине диагонали описанного прямоугольника:

-А.

"дкф - /

(4)

№

Определение 2. Диагонали объекта - отрезки, лежащие на диагоналях минимально описанного вокруг него прямоугольника и соединяющие 2 точки контура объекта. На рис. 4 диагоналями фигуры (ПТО) являются /*'С' и Р'С.

Для диагонали ГС':

кКД\

ис

(5)

МЕ

Определение 3. Коэффициенты диагональных отрезков (КДО), кКд0 - отношение длин диагональных отрезков фигуры (ПТО), к длинам соответствующих диагональных отрезков описанного вокруг нее прямоугольника (рис. 2 - НЫ, НМ, НЕ, НО). Для отрезка НО:

кКДО\ -1

Рис. 5 Общая схема алгоритма вычисления диагональных признаков формы

яс т

(6)

Определение 4. Диагональный отрезок фигуры (ПТО) — отрезок

(рис. 2 — Нв, ОТ, НР', НС), лежащий на одной из диагоналей описанного вокруг фигуры (ПТО) прямоугольника и соединяющий центр фигуры, и точку пересечения ее контура с этой диагональю.

На основе разработанных признаков были сформированы алгоритмы классификации плоских фигур, позволяющие различать по значениям данных признаков такие геометрические фигуры, как: круг, квадрат, прямоугольник, трапеция (рав-

11

нобедренная/произвольная), параллелограмм, треугольник (равнобедренный/равносторонний) и др.

Алгоритм сопоставления пар проекций на двух изображениях: даны два изображения ортогональных и косоугольных проекций N трехмерных объектов (для рис. 6, N=5). При сопоставлении пар проекций для каждого объекта необходимо заполнить двумерные матрицы сопоставления (МС) А, В, С размера NxN. Матрицы А и В называются бинарными матрицами расположения точек ортогональной (МРТОП) и косоугольной проекции (МРТКП). Матрица С называется бинарной матрицей сопоставления смещенных объектов (МССО).

Каждая строка и столбец матриц А и В содержит только 1 элемент. Элементы ■ матриц А и В имеют свои маркеры (для 1 матрицы А - «1», для матрицы В - «2»),

N N

= £й = 2,гдеу=1,...Д ы-число 1=1 ;=1

а ° объектов на сцене. Для того чтобы за-

Рис. 6 Исходная пара снимков без полнить матрицы А и В, необходимо смещения центров проекций объектов вначале вычислить координаты центров проекций объектов на обоих снимках.

Рассмотрим алгоритм заполнения МС на примере матрицы А: Шаг 1. Первоначально обе матрицы А и В являются нулевыми, размером ЛЩУ. Шаг 2. На исходной паре снимков (рис. 6) найдем координаты центров каждой проекции.

Шаг 3. Найденные точки центров проекций обозначим через«,

(а.\(х[,у]),а2(х2,у2).....«лгС^л<>»))> пронумеруем по порядку возрастания их х-

координат (рис. 8а) для изображения ортогональной проекции и Д .■

(А(*1 >У\)^2(х2,у2),..,^м{хы,ум)), (рис. 86) для изображения косоугольной проекции (с координатами (х,.,у;)), I = Цель алгоритма - составить паШ ры (а,,/?у), где у =1,...,ЛЛ

а б Шаг 4. Чтобы сформировать МС

Рис. 7 Схематическое представление си- необходимо заполнить векторы после-туации, когда проекции не смещены довательностей точек: вектор вертикальной последовательности (ВВП) -У1; вектор горизонтальной последовательности (ВГП) -Н,.

4.1. В связи с тем, что точки центров изображений проекций объектов нумеруются по порядку возрастания их х-координат, то Н = {1,2,3,..,/¥} .

4.2. ВВП заполняется по проекции каждой рассматриваемой точки на ось Оу сверху вниз, начиная с максимального значения ^-координаты точек по убыванию. При этом:

Рис. 9 Матрицы А и В

К =1.<~Л =тах(ук), (7)

4 = 1../V

У1=М,<-ук=тт(ук), (8)

к=1..ЛГ

7 где г=7...ТУ.

а б Шаг 5. После заполнения векторов К

Рис. 8 Маркировка центров изображе- и я> формируется матрица сопоставлений проекций тестовой пары снимков ния ^ так что. ^ _ |

Шаг 6. Аналогично формируются ВГП и ВВП для изображения косоугольной проекции, матрица В заполняется маркерами «2». Для изображения на рис. 7а ВВП и ВГП будут иметь следующие значения: V = {4,1,3,5,2}, Н = {1,2,3,4,5}. Так как на рис. 6 центры изображений проекций объектов не смещены, то для рис. 76 ВВП и ВГП будут иметь аналогичные значения (в диссертации рассмотрены так же случаи смещения центров проекций). То есть, объект с центром в точке а1 будет соответствовать маркеру «1» в МРТОП в ячейке Л] 4; а2 в ячейке А2 \; и т.д., как показано на рис. 8, 9.

На основе проведенного анализа была сформирована структура вектора признаков ТО. В структуру эталона ТО входят 6 векторов диаг ональных признаков формы его ортогональных проекций. Кроме числовых характеристик, в базе данных каждый эталон ТО связан с его трехмерной моделью.

В третей главе диссертации представлена схема САР произвольно расположенных ТО и макета для проведения экспериментов, структура разработанного программного обеспечения, сформулированы задачи исследования на тестовых трехмерных объектах, сформирована база тестовых эталонных изображений (240 изображений: 5 эталонов для 6 проекций 8 ТО), сформирована выборка изображений нескольких произвольно расположенных ТО для проведения исследований (13600 ТО на 2200 парах ортогональных и косоугольных проекций для различных комбинаций ТО - по 5, 6, 7, 8 объектов на сцене), приводятся результаты исследований на тестовых изображениях плоских геометрических фигур, проекциях тестовых макетных ТО при использовании существующих алгоритмов распознавания. Были вычислены отклонения диагональных признаков формы между эталонами проекций каждого ТО.

Для проведения исследования была разработана и реализована программа-генератор объектов, которая создает N фигур выбранного типа со случайными значениями параметров, вычисляет их признаки и выводит в таблицу. Объем выборки N = 18000 (2000 генераций для каждого типа фигур).

Таблица 1

Фрагмент таблицы СКО диагональных признаков плоских геометрических фи-

Фигура Диагональные признаки формы

ПКФ ДКФ КПП КД01 КД02 КДОЗ КД04 КД1 КД2

Кр. Мин. 0,9936 0,9738 0,0418 0,6842 0,6826 0,6826 0,6970 0,9555 0,9631

Макс. 1,0000 0,9938 0,0441 0,7077 0,7144 0,7144 0,7222 0,9973 0,9973

Откл. 0,0064 0;0200 0,0037 0,0235 0,0317 0,0317 0,0253 0,0419 0,0342

Кв. Мин. 1,0000 0,71 14 0,0592 0,9697 0,9551 0,9714 0,9706 0,9847 0,9847

Макс. 1,0000 0.7177 0,0629 0,9880 1,0000 1,0000 1,0000 0,9940 1,0000

Откл. 0,0000 0,0064 0,0037 0,0183 0,0449 0,0286 0,0294 0,0092 0,0152

РбТ Мин. 0,1831 0.1831 0,1407 0,9811 0,5041 0,9811 0,5041 0,6865 0,6865

Макс. 0,1887 0,1887 0,1678 0,9880 0,5218 1,0000 0,5236 0,6995 0,6995

Откл. 0,0056 0,0056 0,0272 0,0068 0,0177 0,0189 0,0195 0,0130 0,0130

1-7 7 ---1 "ГУ ----» , ши 1 ПС исини.

Аналогичные результаты получены и для равностороннего треугольника, прямоугольника, эллипса, параллелограмма и трапеции.

Результаты экспериментов на плоских изображениях показали, что диагональные признаки формы обладают достаточной информативностью для решения задач распознавания ПТО по их бинарным изображениям.

Рассмотренные алгоритмы распознавания общего назначения показали высокую среднюю скорость (6,37 - 8,34 мс), но низкую среднюю вероятность распознавания (0,54-0,57) ТО только по ортогональной проекции по причине ложных срабатываний в сложных случаях, что в свою очередь доказывает необходимость применения второй проекции и трехмерной модели при распознавании ТО.

Алгоритм вычисления оценок обладает хорошей скоростью распознавания (-6,37 мс) и относительной простотой реализации, поэтому он был выбран для дальнейших исследований по распознаванию ТО на парах изображений их проекций.

Экспериментальная проверка алгоритма вычисления оценок на парах снимков отдельных объектов показала, что часть объектов распознавались по одной (ортогональной) проекции со средней скоростью 6,55 мс.

В сложных случаях, когда требова-

Оерт-тнсш ¡):мка«ш*:шч ориччншькш ирогаднй грехмеркоге эоьесги Л';! «як>р}тя»| к-<'р%\;н;ь\

Рис. 9 График распознавания ПТО № 1 по одному изображению

лось построение трехмерной модели, средняя скорость распознавания составляла 2,1 с. для одного объекта.

Средняя ошибка для всей выборки составила 10"4, что означает в среднем на 13600 объектов - 1,36 будут распознаны неверно.

В четвертой главе диссертации представлены результаты распознавания реальных ТО (деталей шарового крана рис. 10 а, б, радиодеталей рис. 10

в, г), сборка которых осуществляется на старт-стопном ленточном конвейере. Процесс обработки одной проекции представлен на рис. 11.

Объекты являются сложными в связи с тем, что имеют проекции одинаковой формы. Выбор объекта исследования обосновывается массовостью производства данного продукта, и механическим процессом сборки, который можно автоматизировать при помощи разработанного подхода.

Выявлено, что точность распознавания нескольких отдельно расположенных реальных ТО с использованием 5 эталонов проекций ТО и изображений с двух камер составляет 99,95%, при этом минимальное время распознавания ТО составило 5,56 мс, максимальное (в сложных случаях) - 2,3 с. при 5 эталонах.

Объем экспериментальной выборки для проверки алгоритма распознавания на изображениях ортогональных проекций отдельных реальных ТО составил 124000 штук (96000: 2000 генераций 6 проекций для 8 деталей шарового крана, 16000 испытаний при распознавании нескольких деталей шарового крана на сцене и 12000 для радиодеталей).

Установлено, что для распознавания ортогональных проекций реальных трехмерных объектов достаточно 5 эталонов на каждую проекцию. Дальнейшее увеличение числа эталонов является нецелесообразным, поскольку не дает существенного прироста к точности распознавания, увеличивая при этом время работы системы: при 5 эталонах - от 1,7 до 2,3 е., при 6 эталонах - 3,4 с. При этом, вероятность верного распознавания деталей шарового крана составила от 0,99937 до 0,99991, радиодеталей - от 0,997 до 0,999.

Разработанная система позволяет решать задачу автоматического анализа и распознавания как единичных, гак и нескольких отдельно и произвольно расположенных в поле зрения САР ТО. Предложенная двухкамерная система является удобным средством обработки и анализа проекций ТО, и их распознавания для использования в промышленных САР.

В приложении приведены изображения проекций тестовых и реальных ТО; таблицы расчетов; копии патентных документов и свидетельств о регистрации программы на ЭВМ, акты, подтверждающие использование результатов работы на промышленных предприятиях и в учебном процессе.

В заключении приведены основные результаты работы:

1. Установлено, что на промышленных предприятиях задачи сборки узлов реализуются в основном с применением ручного труда.

2. Существующие подходы к распознаванию ТО, применяемые в современных коммерческих САР, использующие одну камеру или датчики расстояний, не позволяют распознавать произвольно расположенные ТО.

Рис. 10 Реальные ТО

3. Разработан новый подход к распознаванию ТО с использованием двух ка мер, одна из которых располагается над сценой, и дает ортогональные проекции ТО, вторая - под углом к сцене, и дает косоугольные проекции, позволяющий с высокой точностью идентифицировать произвольно расположенные в поле зрения САР ТО.

4. Созданы наборы изображений проекций тестовых и реальных ТО различной формы и размеров, для проведения исследований возможностей разработанных подхода и алгоритмов.

5. Разработан алгоритм сопоставления изображений проекций на двух снимках и отнесения полученных пар к каждому из объектов, позволяющий автоматически определять к какому из ТО, расположенных на сцене относится изображения ортогональной и косоугольной проекций.

6. Разработана структура нового вектора признаков для описания формы бинарных изображений проекций ТО, позволяющего описать форму проекции объекта при помощи безразмерных коэффициентов.

7. Разработана экспериментальная система автоматического распознавания ТО с использованием двух камер для проведения исследований, позволяющая распознавать произвольно расположенные ТО по двум снимкам.

8. Проведен экспериментальный сравнительный анализ известных алгоритмов распознавания с использованием разработанного вектора признаков на бинарных изображениях тестовых геометрических фигур и проекциях тестовых отдельных 10, показавший хорошие возможности алгоритма вычисления оценок при распознавании проекций ТО.

9. Проведено исследование алгоритма вычисления оценок на парах изображений проекций отдельных тестовых ТО, полученных с двух камер, точность распознавания тестовых ТО (при использовании 5 эталонов) на первом этапе распознавания (по одному изображению ортогональной проекции) составила 42%; на втором этапе (по двум изображениям) - 100%.

10. Экспериментальный анализ алгоритма распознавания нескольких отдельно расположенных ТО на бинарных изображениях реальных объектов показал, что точность распознавания с использованием 5 эталонов проекций ТО и изображений с двух камер составляет 99,95%, при этом минимальное время распознавания трехмерного объекта составило 5,56 мс, максимальное (в сложных случаях) - от 1,7 до 2,3 с. при 5 эталонах.

о Е .

Рис. 11 Процесс выделения КТ на изображении проекции реального ТО

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи, в изданиях, рекомендованных ВАК

1. Терехин, A.B. Распознавание трехмерных объектов по изображениям двух проекций / A.B. Терехин // Информационные технологии. - 2014. - №4. - С. 43 -48.

2. Терехин, A.B. Распознавание объектов методом вычисления оценок с использованием диагональных признаков формы / A.B. Терехин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2014. - №1. - С. 17 -25.

3. Садыков, С.С. Классификация геометрических фигур, вписанных в квадрат, по их форме с использованием диагональных признаков / С.С. Садыков, A.B. Терехин // Прикаспийский журнал. Управление и высокие технологии. - 2014. — №1. - С. 81-91.

4. Терехин, A.B. Алгоритм классификации выпуклых плоских фигур с помощью диагональных коэффициентов формы объекта / A.B. Терехин // Автоматизация и современные технологии. - 2014. - №5. - С. 35-41.

5. Терехин, A.B. Подход к классификации плоских геометрических фигур вписанных в квадрат, по их форме на основе диагональных отрезков / A.B. Терехин // Современные проблемы науки и образования. - 2013. - № б. - URL: www.science-education.ru/113-11535 (дата обращения 12.01.2014).

6. Терехин, A.B. Распознавание трехмерных объектов с использованием двух камер / A.B. Терехин // Радиотехнические и телекоммуникационные системы. -2013.-№4.-С. 57-62.

7. Садыков, С.С. Алгоритм классификации выпуклых фигур с использованием диагональных признаков формы / С.С. Садыков, A.B. Терехин // Вестник КГУ им. H.A. Некрасова. - 2013. - №6. - С. 13-17.

8. Садыков, С.С. Система автоматического распознавания произвольно расположенных трехмерных объектов / С.С. Садыков, A.B. Терехин // Динамика сложных систем XXI век. - 2015. - №1. - С. 3-6

Патент

9. Патент на полезную модель №135165. Устройство вычисления диагональных признаков формы плоских фигур / Терехин A.B.; зарег. в Государственном реестре полезных моделей РФ 27.11.2013, Бюл. № 33.

Свидетельства о регистрации программ на ЭВМ

10. Свидетельство о государственной регистрации программы для ЭВМ № 2013615189 РФ. Система идентификации проекций реальных трехмерных объектов с использованием диагональных признаков формы // Терехин A.B.; зарег. в реестре прогр. для ЭВМ 30.03.2013.

11. Свидетельство о государственной регистрации программы для ЭВМ № 2013661839 РФ. Система распознавания реальных трехмерных объектов методом вычисления оценок с использованием диагональных признаков формы и моделей окго-деревьев // Терехин A.B.; зарег. в реестре прогр. для ЭВМ 17.12.2013.

В других изданиях

12. Терехин, Л.В. Метод формирования вектора признаков для идентификации проекций реальных трехмерных объектов / A.B. Терехин // Наука и современность - 2013: Сб. мат. XX МНПК. - Новосибирск, 20 февраля 2013. - С. 167 - 172.

13. Терехин, A.B. Алгоритм вычисления диагональных признаков формы / A.B. Терехин // Алгоритмы, методы и системы обработки данных. - 2012 - № 4 (22). -С. 129- 138.

14. Садыков, С.С. Определение диапазонов значений признаков формы плоских геометрических фшур при их произвольном расположении в области сцены / С.С. Садыков, A.B. Терехин, К.С. Захаров // Надежность и качество - 2013: тр. межд. симп. - Пенза: изд. ПГУ. - С. 343 - 345.

15. Терехин, A.B. Технология классификации плоских геометрических фигур с использованием диагональных признаков формы / A.B. Терехин // Перспективы развития информационных технологий: Сб. мат. XI МНПК. - Новосибирск, 28 февраля 2013. -С. 62-66.

16. Терехин, A.B. Метод описания эталонов трехмерных объектов по форме их проекций и признакам отверстий / A.B. Терехин // Алгоритмы, методы и системы обработки данных.-2013.-№ 1 (23).-С. 65-71.

17. Садыков, С.С. Технология формирования эталонов трехмерных объектов для их распознавания / С.С. Садыков, A.B. Терехин, А.О. Кравченко // Надежность и качество - 2012: тр. межд. симп. - Пенза: изд. ПГУ. - С. 373 - 376.

18. Терехин, A.B. Алгоритм формирования косоугольной проекции трехмерного объекта по модели окто-дерева / A.B. Терехин, С.В. Савичева // Алгоритмы, методы и системы обработки данных. - 2013. - № 3 (25). - С. 74 — 81.

19. Терехин, А.В Инновационный подход к распознаванию трехмерных объектов на промышленных сборочных конвейерах с использованием двух камер / A.B. Терехин // Актуальные проблемы развития науки и образования: сб. научных трудов по мат. МНПК. В 7 частях / «ЛР-Консалт» - Москва, 2014. - ч. IV, С. 44 - 45.

20. Садыков, С.С. Реализация и исследование системы распознавания трехмерных объектов с использованием видео-датчиков, расположенных под углом / С.С. Садыков, A.B. Терехин, Г.А. Григорьев // V Всероссийские научные Зворыкин-ские чтения Научный потенциал молодежи - будущее Ррссии: сб. тез. докл. - Муром, 2013-С. 778-779.

21. Терехин, A.B. Метод идентификации плоских геометрических фигур с использованием диагональных признаков формы и D-функции / A.B. Терехин // Перспективы развития информационных технологий: сб. мат. XI МНПК. - Новосибирск, 28 февраля 2013. - С. 58 - 62.

22. Садыков, С.С. Распознавание и классификация не наложенных объектов методом морфологического водораздела по диагональным признакам формы / С.С. Садыков, A.B. Терехин // Распознавание - 2013: сб. мат XI МНТК. - Курск, 2013 -С. 93-96.

23. Sadykov, S.S. Identification of three-dimensional objects by computing estimates based on diagonal features of forms and octree / S.S. Sadykov, A.V. Terekhin. H Pattern Recognition and Image Analysis: New Information Technologies (PRIA-11-2013) : The 11-th International Conference. - Samara: IPSI RAS, 2013. - Vol. 2. - P. 721 - 723.

24. Терехин, A.B. Распознавание нескольких не наложенных трехмерных объектов по двум снимкам / A.B. Терехин // "Наука и образование в развитии промышленной, социальной и экономической сфер регионов России" "Регионы России - 2014": сб. маг. VI Всероссийской межвузовской научной конференции. -Муром, 2014. - С. 415.

25. Садыков, С.С. Сравнительный анализ алгоритмов распознавания объектов на примере СТЗ / С.С. Садыков, A.B. Терехин, Д.А. Смирнов // V Всероссийские научные Зворыкипские чтения Научный потенциал молодежи - будущее России: сб. тез. докл. - Муром, 2013 - С. 787 - 788.

26. Терехин, А.В Исследование алгоритма вычисления оценок при распознавании проекций тестовых трехмерных объектов / A.B. Терехин // Актуальные проблемы развития науки и образования: Сб. науч. тр. по магер. МНПК. В 7 частях. -Москва, 2014. - ч. IV, С. 89- 90.

27. Терехин, A.B. Концепция распознавания произвольно расположенных трехмерных объектов по двум изображениям проекций / A.B. Терехин // Алгоритмы, методы и системы обработки данных. - 2014. - № 2 (27). - С. 29-40.

28. Садыков, С.С. Экспериментальное исследование алгоритмов распознавания бинарных изображений на тестовых проекциях трехмерных объектов / С.С. Садыков, A.B. Терехин // Надежность и качество сложных систем. - 2014. - №4. - С. 48 -52.

Терехин Андрей Викторович

АЛГОРИТМЫ ОПРЕДЕЛЕНИЯ БЕЗРАЗМЕРНЫХ ПРИЗНАКОВ ИЗОБРАЖЕНИЙ ПРОЕКЦИЙ ТРЕХМЕРНЫХ ОБЪЕКТОВ И ИХ РАСПОЗНАВАНИЕ

Автореферат диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 10. Об'. 2015 . Формат бумаги 60x84 1/16. Бумага офсетная. Печать трафаретная. Усл.печ. л. 1,0. Тираж 130 экз. Заказ 819.

Рязанский государственный радиотехнический университет. 390005, Рязань, ул. Гагарина, 59/1.

Издательство Муромского института (филиала) федерального государственного бюджетного образовательного учреждения высшего

профессионального образования «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича

Столетовых»

602264, Владимирская обл., г. Муром, ул. Орловская, 23.