автореферат диссертации по машиностроению и машиноведению, 05.02.05, диссертация на тему:Программно-алгоритмическое обеспечение систем технического зрения для автономных манипуляционных роботов

Введение.4

1. Структура и алгоритмическое обеспечение систем технического зрения.

1.1. Основные функциональные задачи СТЗ в робототехнике.10

1.2. Методы получения видеоинформации.17

1.3. Принципы построения алгоритмического обеспечения СТЗ.27

1.4. Требования к техническому зрению адаптивных роботов.44

1.5. Выводы к главе.46

2. Разработка алгоритмического обеспечения

2.1. Калибровка видеокамеры.—.48

2.2. Предварительная обработка изображений.49

2.3. Окончательная обработка.56

2.4. Определение объектов лежащих сверху для разбора навала из неизвестных объектов.89

2.5. Вычисление параметров объектов по описанию его контура.94

2.6. Рекомендации по созданию базы данных эталонных образов . 101

2.7. Выводы по главе.103

3. Математическое моделирование разработанных алгоритмов.

3.1. Обработка изображений не прикасающихся объектов.107

3.2. Обработка изображений вложенных объектов.114

3.3. Выводы к главе.124

4. Экспериментальные исследования с реальными объектами.

4.1. Экспериментальная установка.138

4.2. Результаты экспериментальных исследовании.140

4.3. Связь с системой управления робота.154

4.4. Экспериментальные исследования на изображениях сложных объектов.155

4.5. Выводы из экспериментальных исследований.

Современный период развитая экономики промышленно развитых стран характеризуется переходом ко второму этапу научно-технической революции - научно-технологическому, на основе компьютеризации и информатизации всего общественного производства. Для реализации этого этапа во всем мире приняты широкие программы разработки компьютеров пятого и роботов третьего поколений. Последние представляют собой адаптивные системы, гибко программируемые, снабженные средствами очувствления для получения информации об окружающей среде и предметах производства. Перед обществом встают задачи комплексной механизации и автоматизации всего хозяйства, освобождения человека от тяжелого физического и многих аспектов умственного труда с предоставлением широких возможностей для творческой деятельности.

На данном этапе развития производства промышленные роботы первого поколения широко используются в самых различных отраслях народного хозяйства на операциях погрузки-разгрузки, сборки, обслуживания технологического оборудования и т. п. Однако применение роботов этого класса требует жесткой организации среды их функционирования, что приводит к необходимости создания специализированного вспомогательного оборудования (остнаски) - накопителей, укладчиков, устройств точ

------—.— ной ориентации и подачи деталей и т. д. Довольно часто затраты на ост-наску превосходят стоимость самого робота и обслуживаемого им оборудования и составляет основную часть расходов связанных с внедрением всего робототехнического комплекса. Вспомогательное оборудование трудно поддается переналадке и часто приходится разрабатывать его заново даже при незначительных изменениях технологии производства и номенклатуры выпускаемых изделий. Таким образом создание гибких, легко переналаживаемых автоматизированных производственных систем сталкивается с рядом трудностей, обусловленных ограниченными возможностями роботов первого поколения.

Допущение недетерминированного характера рабочей обстановки приводит к необходимости разработки средств анализа состояния и внешней среды в автоматизированных системах, т. е. средств очувствления, позволяющих в зависимости от конкретной ситуации управлять ходом технологического процесса. Поэтому решение актуальных задач автоматизации производства требует серьезной перестройки существующей структуры парка промышленных роботов с учетом необходимости разработки отмеченных средств. Наряду с преобладающими сегодня простейшими промышленными роботами, функционирующими по жестким программам, в широкую практику должны войти робототехнические системы качественно иного класса, обладающие адаптивными возможностями и элементами искусственного интеллекта. Адаптивные роботы, снабженные различными средствами очувствления действующими в реальном времени и способные гибко перестраивать свои действия в соответствии с воспринимаемой информацией о рабочей среде, являются одним из важнейших компонентов гибких производственных систем (ГПС). Способность к адаптации также очень важна при проведении работ в космосе, под водой и в других экстремальных средах.

При создании адаптивных роботов весьма существенная роль среди возможных средств очувствления отводится системам технического зрения (СТЗ), обеспечивающим восприятие видеоинформации об окружающей среде, автоматическую обработку и анализ изображений рабочих сцен в целях формирования команд управления роботом в процессе его работы. К преимуществам СТЗ относятся - бесконтактный способ получения информации, возможность работы в опасных производственных условиях , высокая информативность и гибкость методов обработки информации.

СТЗ позволяет роботу работать в условиях неполной определенности производственной среды и применять его на операциях контроля процесса механообработки, сборки и качества выпускаемых изделий. Сочетание визуального и силомоментного очувствления позволяет успешно автоматизировать различные многооперационные точные сборочные one- * рации.

Диапазон применения СТЗ достаточно широк и продолжает расширятся благодаря дальнейшему совершенствованию самих систем. Развитие СТЗ позволило на принципиально новой основе решать многие задачи современного производства. Системы нашли широкое применение в области автоматизированного контроля и управления технологическими процессами, при изготовлении изделий машиностроения, электронной техники, оптико-механики, дефектоскопического контроля изделий, для считывания и обработки графической и символьной информации, зрительного очувствления различных манипуляторов, составляющих основу робото-технических комплексов нового поколения, при решении многочисленных задач идентификации объектов и полей электромагнитного излучения, астроориентации и навигации, для автоматизации научного эксперимента и т. д. В этой связи актуальной является задача создания достаточно гибких и эффективных систем технического зрения, предназначенных для использования в различных отраслях народного хозяйства. При этом специфика робототехнических приложений требует развития оригинальных подходов к созданию СТЗ с учетом новых функциональных задач, конкретных возможностей реализации и условий работы в составе робототехнических систем.

Целью данной диссертационной работы является разработка алгоритмического и программного обеспечения СТЗ для роботов, функционирующих в недетерминированных условиях внешней среды.

В соответствии с этим в работе решались следующие задачи:

1. Разработка алгоритма выделения контуров при неравномерной освещенности сцены.

2. Разработка процедуры сегментации контуров, работоспособность которой не зависит от размеров изображения объектов.

3. Разработка алгоритмов аппроксимации контурных линий независимо от их типа.

4. Разработка алгоритмов интерпретации результатов первичной аппроксимации контурных линий, позволяющих получить полное описание объекта.

5. Разработка программного обеспечение для реализации рассмотренных алгоритм ов.

6. Проведение математического моделирования и экспериментальных исследований работоспособности разработанных алгоритмов и программного обеспечения на изображениях реальных объектов.

Научная новизна работы заключается:

- в разработке усовершенствованного алгоритма для выделения контуров объектов с использованием глобального порога бинаризации, позволяющий сократить время предварительной обработки и получить качественные результаты как при неравномерной освещенности сцены так и при изменении освещенности во время работы;

- в разработке процедуры сегментации изображения на основе анализа направления градиентов яркости, которая позволяет выполнить качественную сегментацию изображения независимо от размеров изображений рассматриваемых объектов;

- в разработке методик и алгоритмов аппроксимации участков контура объекта, позволяющих сформулировать общий подход для аппроксимации контурных линии независимо от их вида;

- в разработке обобщенного алгоритма интерпретации, позволяющего получить описание контуров объекта на основе анализа параметров аппроксимации отдельных участков.

В результате применения алгоритмов аппроксимации и интерпретации выполняется преобразование исходного растрового изображения в векторное. Новизна такого преобразования заключается в том, что при его использовании сохраняется характер контурных линий, что обеспечивает однозначность описания объектов и их распознавание, сокращается объем обрабатываемой видеоинформации и соответственно уменьшается общее время обработки.

Практическое значение диссертационной работы заключается в создании эффективных алгоритмов обработки изображения и программного обеспечения, реализующего эти алгоритмы, позволяющего повысить качество обработки изображения и расширить область применения СТЗ. Разработанный комплекс алгоритмического и программного обеспечения может быть непосредственно использован в реальных робототехнических системах, а также для решения других задач, связанных с идентификацией объектов с помощью СТЗ.

Внедрение результатов работы: Основные научные и практические результаты диссертации внедрены в "М НТК-РОБОТ" при проектировании многоцелевого робота по техническому заданию № 540-08/80 для Смолен-скАтомТехЭнерго г. Деснагорск. Созданный программный пакет используется в Научно-Учебном Центре "Робототехника" МГТУ им. Н.Э. Баумана при выполнении научно-исследовательских работ и в учебном процессе.

Апробация работы. Основные результаты диссертационной работы докладывались и были обсуждены на следующих научно-технических конференциях и совещаниях:

1. 7-ой Российской научно-технической конференции " Экстремальная робототехника ", г. Ст.-Петербург, Россия, 1996г.

2. 14-ой Российской научно-технической конференции "Контроль и диагностика", г. Москва, Россия, 1996г.

3. 9-ой научно-технической конференции "Экстремальная робототехника", г. Ст.-Петербург, Россия, 1999г.

4. на семинарах Научно-учебного центра "Робототехника" МГТУ им. Н.Э. Баумана в 1995-1998гг.

Публикации. Основные результаты диссертационной работы нашли 9 отражение в 6 научных трудах, среди которых 3 статьи [50, 51, 55] и 3 отче та по НИР [52, 53, 54].

5. ОБЩИЕ ВЫВОДЫ ПО РАБОТЕ

В результате проведенных исследований:

1. Предложен усовершенствованный алгоритм для выделения контуров объектов с использованием глобального порога бинаризации, позволяющий сократить время предварительной обработки и получить качественные результаты как при неравномерной освещенности сцены так и при изменении освещенности во время работы.

2. Разработана процедура сегментации изображения на основе анализа направления градиентов яркости, которая позволяет выполнить качественную сегментацию изображения независимо от размеров изображений рассматриваемых объектов.

3. Предложены методика и алгоритмы аппроксимации участков контура объекта позволяющих сформулировать общий подход для аппроксимации контурных линии независимо от их вида.

4. Разработан обобщенный алгоритм интерпретации позволяющий получить описание контуров объекта на основе анализа параметров аппроксимации отдельных участков. В результате применения алгоритмов аппроксимации и интерпретации выполняется преобразование исходного растрового изображения в векторное. Новизна такого преобразования заключается в том, что при его использовании сохраняется характер контурных линий, что обеспечивает однозначность описания объектов и их распознавание, сокращается объем обрабатываемой видеоинформации и соответственно уменьшается общее время обработки.

5. Разработан алгоритм выделения объектов, лежащих сверху навала, работа которого основана не на анализе заранее известных фрагментов контуров, а на анализе связности и замкнутости контурных линий. В результате данный алгоритм можно использовать при работе с заранее неизвестными объектами.

165

6. Для реализации предложенных алгоритмов разработано ПО.

7. Проведены моделирование и экспериментальные исследования с реальными объектами которые подтвердили работоспособность разработанных алгоритмов и программного обеспечения.

Таким образом разработанные для СТЗ универсальные алгоритмы и ПО, позволяют работать с неизвестными объектами сложной формы, с частичным перекрытием и при неравномерной освещенности. Следовательно результаты данной работы можно использовать в СТЗ автономных роботов функционирующих в недетерминированной среде.

1. Аксененко М. Д., Бараночников^ М. Л. Приемники оптического излучения: Справочник М.: Радио и связь, 1987. - 296 с.

2. Быков Р. Е., Гуревич С. Б. Анализ и обработка цветных и объемных изображений М.: Радио и связь, 1984. - 248 с.

3. Жаботинский Ю. Д., Исаев Ю. В. Адаптивные промышленные роботы и их применение в микроэлектронике М.: Радио и связь, 1985. - 104 с.

4. Использование визуальной информации в задачах автоматической сборки / Д. Е. Охоцимский, С. И. Гримайло, С. С. Камынин // Роботизация сборочных процессов М.: Наука, 1985. - С. 12-37.

5. Куафе Ф. Взаимодействие робота с внешней средой : Пер. с франц -М.: Мир, 1985.-285 с.

6. Кузьмин С. А. Методы определения ориентации объектов в системах технического зрения // Измерения, контроль, автоматизация. 1986. -Вып. 2 (58). - С. 37-46.

7. Машинное зрение. Тематический выпуск: Пер. с англ. // ТИИЭР. -1988.-Т. 76,№8.-С. 7-18.

8. Мишкинд С. И. Системы технического зрения для автоматизации машиностроительного производства // Обзор С-6-3. Технология металлообрабатывающего производства М.: НИИМАШ, 1982. - 88 с.

9. Петров А. А. Алгоритмическое обеспечение обеспечение информационно-управляющих систем адаптивных роботов (алгоритмы технического зрения роботов) // Итоги науки и техники ВИНИТИ .Техническая кибернетика. 1984. - Вып. 17. - С. 251-294.

10. Проблемы машинного видения в робототехнике/Под ред. Д. Е. Охоцимского М.: ИПМ АН СССР, 1981.-245 с.

11. Прэтт У. Цифровая обработка изображений: Пер. с англ М,: Мир, 1981. - Т. 1. - 310 е.; Т. 2. - 290 с.

12. Робототехника / Ю. Д. Андрианов, Э. П. Бобриков, В. Н. Гонча-ренко и др.; Под ред. Е. П. Попова и Е. И. Юревича М.: Машиностроение, 1984. - 288 с.

13. Розенфельд А. Распознавание изображений: Пер. с англ. // ТИИЭР.- 1981.-Т. 69, №5.-С. 120-133.

14. Техническое зрение роботов / Под ред. А. Пью -М.: Машиностроение, 1987. 320 с.

15. Техническое зрение роботов / В. И. Мошкин, А. А. Петров, В. С. Титов, Ю. Г. Якушенков; Под общ. ред. Ю. Г. Якушенкова М.: Машиностроение, 1990. - 272 с.

16. Фу К., Гонсалес Р., Ли К. Робототехника: Пер. с англ М.: Мир, 1989.-624 с.

17. Грачев A.A., Кошевой Б.Ф., Рыбак В.И. Сборка изделий электронной техники с использованием систем технического зрения Н Обзор по электронной технике. Сер. 7, Технология, организация производства и оборудование. 1986. - С 25-32.

18. Передающая камера ПЗС для промышленного телевидения IVC 500: Проспект NUMELEC, Франция.

19. Твердотельное телевидение / Л.И. Хромов, Н.В. Лебедев, А.К. Цыкулин, А.Н. Куликов М.: Радио и связь, 1986. -130 с.

20. Проблемы технического зрения / A.B. Бородин, В.М. Златкис, Ю.П. Зуев, В.И. Шикирин // Разработка систем технического зрения и их применение в промышленности: Тез. докл. ВНТК. Устинов, 1986. -С. 7980.

21. Денисов Д.А., Дудкин А.К.,Пяткин В.П. Структурные методыописания объектов изображений. Новосибирск, 1988. - 40 с. ( Препр, ВЦ СО АН СССР №799)

22. Matsuyama Т. Knowledge organization and control structure in image understanding II Proc. VII Intern. Conf. Pattern Recognition. Monreal, 1984. -P. 1118-1127.

23. Denisov D., Orkin A., Tudkin A. Hierarchical. Modular structure in production systems // Computers and artificial intelligence. Bratislava, 1989. -P. 47-54.

24. Жаботинский Ю.Д., Исаев Ю.В. Адаптивные промышленные роботы и их применение в микроэлектронике. М.: Радио и связь, 1985. -104 с.

25. Калядин Н.И. Алгоритмические и технические аспекты при автоматическом анализе текстурных изображений // Возможности исследования природных ресурсов дистанционными методами. JL: Изд-во ЛГУ, 1985.-С. 55-61.

26. Бутаков E.A., Островский B.H., Фадеев И.Л. Обработка изображений на ЭВМ. М. Радио и связь, 1987. - 240 с.

27. Использование визуальной информации в задачах автоматической сборки / Д.Е. Охоцимский, С.И. Гримайло, С.С. Камынин и др. //Роботизация сборочных процессов. М.: Наука, 1985. - С. 196-227.

28. Яшида М., Тсуйи С. Обучаемая система машинного зрения дляраспознавания сложных промышленных деталей // Тр. IV Междунар. объ-ед. конф. по искусств, интеллекту. М.: 1975. - Т. 8. - С. 858-871.

29. Porter A., Rossini F. Robotics in the year 2000 // Robot. Tuday. -1987. -Vol. 9. P. 27-28

30. Системы очувствления и адаптивные промышленные роботы /В.Б. Брагин, Ю.Г. Войлов, Ю.Д. Жаботинский и др.; Под ред. Е.П. Попова, В.В. Клюева. М.: Машиностроение, 1985. - 256 с.

31. Проблемы создания гибких автоматизированных производств /Под ред. И.М. Макарова, К.В. Фролова, П.Н. Белянина. М.: Наука, 1987. - 254 с.

32. Shirai Y. Robot vision // Robotics. 1986. - Vol. 2, N 3. -P. 175-203.

33. CEDEFOP. Robotics developments and future applications. Luxembourg: Off. offic. publ. Europ. Commun., 1985. -p. 272.9

34. Программно-аппаратные средства очувствления адаптивных роботов / Д.Е. Охоцимский, А.К. Платонов, В.Е. Пряничников и др. // Препр. ИПМ им. М.В. Келдыша. 1985. - № 104. - 28 с.

35. Системы технического зрения / А.Н. Писаревский, А.Ф. Чернявский, Г.К. Афанасьев и др. -JL: Машиностроение, 1988. 424 с.

36. Системы технического зрения/ А.Н. Писаревский, А.Ф. Чернявский, Г.К. Афанасьев и др. JI.: Машиностроение, 1988. - 424 с.

37. Анисимов Б.В., Курганов В.Д., Злобан В.К. Распознавание и цифровая обработка изображений. М.: Высшая школа, 1983. - 295 с.

38. Александров Е.И., Жданов A.A. Использование камер на ПЗС-матрицах в СТЗ для измерения линейных размеров // ВНТК. Иркутск, 1987. С. 37-45.

39. Матвеенко В.И., Староверов Ю.Г. Полутоновая система технического зрения // Микропроцессоры: средства и системы. 1987. - № 2. -С. 6871.

40. Денисов Д.А., Низовкин В.А. Сегментация изображений на ЭВМ // Зарубежная радиоэлектроника. -1986. -№ 10. -С. 5-30.

41. ТИИЭР Тематический выпуск Промышленные роботы: системные проблемы. -1983. -Т. 71, № 7, -163 с.

42. Proc. IEEE Int. Workshop on Sensorial Integration for Industrial Robots, -Saragosa (Spain), 1989. -403 p.

43. Аппаратная реализация алгоритмов предварительной обработки изображений / В.И. Рыбак, А.И. Болдырев, B.C. Ланбин и др. -Киев, 1985. -20 с.

44. Хоменок A.B. Универсальный фильтр для обработки яркостных и дальностных изображений II Математические и технические средства робототехники и распознавания образов. -Киев: ИК АН УССР, 1981. -С. 2531.

45. Завьялов Ю.С., Квасов Б.И., Мирошниченко В.Л. Методы сплайн-функций. -М.: Наука, 1980. -350 с.

46. Габриелян А.Р., Михайлов Б.Б. Усовершенствованный алгоритм выделения кромок объектов // Экстремальная робототехника: VII Российской научно-технической конференции. -СПб., 1996. -С. 252-256.

47. Габриелян А.Р., Михайлов Б.Б. Алгоритмы выделения и описания контурных линии // Контроль и диагностика: Тез. докл. 14 Российской научно-технической конференции. -М., 1996. -С. 315.

48. Разработка информационного обеспечения интеллектуальных ро-бототехнических систем : Отчет по НИР по теме НИЧ 1-33/97, / МГТУ им. Н.Э. Баумана ГР № 01.9.80004529, инв. № 02.9.80003956. М., 1997. -51с.

49. Разработка и создание интеллектуального робототехнического комплекса сборки // Отчет по НИР по теме НИЧ 1-48/98, / МГТУ им. Н.Э. Баумана ГР № 01.9.800050003, инв. № 02.9.80004378. М., 1998. -54с.171

50. Корн Г., Корн Т. Справочник по математике. -М.: Наука, 1978.831с.

51. Беклемишев Д.В. Курс аналитической геометрии и линейной алгебры. М.: Наука, 1984. - 320 с.

52. Helmholtz H.L., Handbook of Phusiological Optics. JPC Soutball, -Dover, 1962.-138p.

53. Гусак A.A. Элементы методов вычислений. -Мн.: Изд-во БГУ, 1982.-166 с.

54. FInp = fopen( argvargc-2., "rb" ); FOut = fopen( argv[argc-l], "wb" );else {

55. FInp = fopen( "contdif.cod", "rb" ); FDat = fopen( "aproxdat.cod", "wb");

56. Xx=x1., Xy=yi.; if(x[i]<xx)xx=x1., xy=yi.; if(y[i]>Yy)