автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.07, диссертация на тему:Поляризационный метод распознавания формы поверхности

Министерство образования и науки Российской Федерации САНКТ-ПЕ ГЕРБУРГСКИЙ ГОСУДАСТВЕННЫЙ УНИВЕСИ ГЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

На правах рукописи УДК 007 52

ПАСЯДА Александр Васильевич

ПОЛЯРИЗАЦИОННЫЙ МЕТОД РАСПОЗНАВАНИЯ ФОРМЫ ПОВЕРХНОСТИ

Специальность 05 11 07 Оптические и оптико-электронные приборы

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

□ОЭОВВ13Э

Санкт-Петербург

2007

003066139

Работа выполнена в Санкт-Петербургском государственном университете информационных технологий, механики и оптики

Научный руководитель

кандидат технических наук, доцент.......................................С А Алексеев

Официальные оппоненты

доктор технических наук, профессор Стафеев С К

кандидат технических наук Горляк А Н

Ведущая организация — Северо-западный государственный заочный технический университет

Защита состоится "/<$ " (ЮП9&рЯ. 2007 г в /¿чЗ^мин на заседании учёного совета Д212 227 01 "Оптические и оптико-элекггронные приборы и комплексы" при Санкт-Петербургском государственном университете информационных технологий, механики и оптики по адресу 190000, г Санкт-Петербург, пер Гривцова 14, ауд 314-а

С диссертацией можно ознакомиться в библиотеке университета Автореферат разослан " /6" СЛШП^Ш 2007 г

Ваши отзывы и замечания по автореферату (в двух экземплярах, заверенных печатью) просим высылать по адресу 197101, г Санкт-Петербург, Кронверкский пр, д 49

Ученый секретарь

диссертационного совета Д 212 227 01,

В М Красавцев

Общая характеристика работы

Актуальность темы

Развитие робототехники в современном мире сталкивается с проблемами определения ориентации объектов в пространстве Один из важных принципов кибернетики говорит о необходимости учета обратной связи при воздействии на среду А в связи с тем, что одним из наиболее перспективных способов получения информации об окружающей среде является техническое зрение, исследования в области технического зрения, адекватного хранения и обработки трехмерной визуальной информации представляют особый интерес в сфере создания интеллектуальных роботов, навигации и систем наблюдения

Различные решения задачи распознавания трёхмерной информации на основе изображений предлагаются на протяжении трех десятилетий Наиболее сильно развитыми оказались системы распознавания трёхмерной формы по стереоизображениям и по ряду изображений объекта, сделанных вокруг него при его полном обороте

Менее известны методы распознавания формы объекта по монокулярному» изображению Они ограничиваются рядом условий, в частности характером освещения Метод распознавания формы поверхности по затенению находит применение в установках технического зрения, где характер освещения известен или его можно задать инструментальными средствами Этот метод может применяться в промышленных установках, системах наблюдения на открытом воздухе при известном положении светил по отношению к наблюдателю и других подобных условиях

Несмотря на то, что процесс создания систем машинного зрения является сложной научно-технической задачей, требующей учёта значительного числа факторов, современное развитие вычислительной техники уже позволяет реализовывать распознавание в реальном масштабе времени Тем не менее, существует ряд проблем, с которыми сталкивается распознавание поверхности по затенению Это ограничения при распознавании поверхности в области полной тени при подсветке рассеянным фоновым излучением Также не удаётся достаточно адекватно различать поверхности близких объектов с одним материалом, то есть с одной функцией отражательной способности И также существует проблема распознавания поверхности полупрозрачных материалов

Учет изменения параметров поляризации при отражении от поверхности повышает точность методов распознавания по затенению и открывает возможность в дальнейшем решить перечисленные проблемы По аналогии с расширением возможностей зрения при переходе от изображения в градациях серого к цветному изображению, использование параметров поляризации также способны помочь различить несколько типов поверхностей (например, поверхности с различной шероховатостью) Это расширяет возможности в целом, и в отличии от спектральных характеристик параметры поляризации носят дополнительную информацию о рельефе отражающей поверхности

Несмотря на актуальность применения поляризации в техническом зрении, развитие этого научно-технического направления до лоследнего времени носило разобщенный характер Систематических исследований, посвященных распознаванию изображений с применением поляризации излучения, не производилось Ряд важных проблем, имеющих принципиальное значение для определения формы поверхности по монокулярному изображению, до сих пор не достаточно изучены Потому необходимо изучить особенности использования параметров поляризации в задачах распознавания рельефа по изображению для расширения возможностей машинного зрения

Цель и задачи диссертационной работы. Целью работы является исследование и

разработка методов распознавания формы поверхности по монокулярному изображению с использованием параметров поляризации излучения, отраженного от поверхности Для достижения поставленной цели необходимо решить следующие задачи

1 провести анализ существующих методов распознавания формы поверхности по изображениям диффузно-отражающих объектов,

2 проанализировать влияние ориентации отражающей поверхности на изменение параметров поляризации диффузно-отраженного излучения

3 разработать метод определения функции отражательной способности в зависимости от ориентации отражающей поверхности, а также метод определения изменения параметров поляризации при отражении также в зависимости от ориентации отражающей поверхности

4 Выбрать оптимальный метод измерения параметров поляризации Определить оптимальные параметры освещения сцены с распознаваемыми объектами

5 Разработать алгоритм восстановления геометрии поверхности по известному изображению со значениями параметров поляризации, если известна функция отражательной способности и изменение параметров поляризации излучения при отражении

Научная новизна работы:

1 Предложенный метод распознавания развивает направление технического зрения по распознаванию формы на изображении в условиях монокулярного зрения с использованием поляризации Использование поляризации в решении проблемы распознавания геометрии поверхности повышает точность восстановления формы и информативность изображения в целом

2 В целях распознавания формы поверхностей различных объектов с одинаковыми отражательными свойствами (одинаковым материалом) формируется выборка значений интенсивности и параметров поляризации для различной ориентации поверхности Получение этих данных предложено проводить на основе изображения эталонного объекта с известной геометрией На основе такой выборки при заданном освещении открывается возможность восстанавливать форму поверхности с аналогичными свойствами отражения

3 Оптимальным вариантом в качестве эталонного объекта является шар В связи с этим в работе предложен новый помехоустойчивый метод распознавания шара на растровом изображении, который в каждой точке изображения определяет геометрию поверхности

4 Рассмотренный в работе фотометрический метод измерения поляризации с бескомпенсаторной схемой ограничивает возможности измерения параметров поляризации Он не позволяет определить степень поляризации, направление обхода эллипса и ориентируется на линейные составляющие поляризации при вычислении эллиптичности и азимута Тем не менее, в работе показано, что даже при сильной деполяризации полученные эллиптичность и азимут могут успешно использоваться для восстановления формы по изображению

5 В литературе известно решение задачи восстановления поверхности из изображения по интенсивности на основе алгоритма стохастической регуляризации, с использованием парадигмы случайных полей Маркова в окрестности каждой точки и минимизацией функции энергии итерационным алгоритмом релаксации Но использование в данном алгоритме параметров поляризации наряду с интенсивно-

стью является новым Результаты восстановления формы представляют значения относительных высот поверхности в единицах радиуса эталонного шара 6 При реализации алгоритма на однослойной нейроподобной сети с обратными связями было учтено существующее в живых зрительных нервных сетях ослабление взаимодействия нейронов с ростом расстояния между ними

Научные положения и результаты, выносимые на защиту*

1 Распознавание формы поверхности проводится по карте отражательной способности и поляризации отраженного излучения Такая карта определяется отражательными свойствами материала и позволяет установить связь между параметрами отраженного излучения и произвольным наклоном отражающей поверхности Карта предварительно получается для эталонного объекта из исследуемого непрозрачного материала

2 Для решения задачи распознавания поверхности по затенению и поляризации отраженного излучения модифицирован алгоритм стохастической регуляризации, основанный на моделировании случайных полей Маркова и минимизации значения функции энергии (функция вычислительной энергии в динамической системе) итерационным алгоритмом релаксации Использование случайных полей Маркова учитывает зависимость пространственного распределения яркости и поляризации на изображении, а функция энергии представляет относительную ошибку решения

3 Используемый итерационный алгоритм эффективно реализуется на ячеистой нейроподобной сети Выборка значений для обучения нейросети получена из данных карты отражающей способности и поляризации отраженного излучения

4 Предложенный поляризационный метод распознавания восстанавливает геометрию поверхности с достаточно высокой точностью даже при существенном зашумлении сигнала (изображения) Также метод устойчив к искажениям, возникающим из-за поляризационной чувствительности фотоприемника, и к нелинейности чувствительности световой характеристики фотоприёмника

5 Для излучения, освещающего исследуемую поверхность, оптимальной является линейная поляризация при использовании фотометрического метода определения параметров поляризации в установке технического зрения

Практическая ценность диссертации и использование полученных результатов

Предложенный метод распознавания формы поверхности предназначен для использования в монокулярных системах технического зрения в условиях с известными параметрами поляризации и геометрией освещения Результаты исследования ясно показывают возможность распознавания сложных диффузно отражающих поверхностей непрозрачных материалов Помехоустойчивость и низкие требования к калибровке оптической части установки позволяют рассматривать метод в качестве одного из наиболее перспективных среди оптико-поляризационных методов технического зрения с монокулярным изображением

После обучения нейроподобной сети реализация вычислений данного метода технического зрения на СБИС позволяет приблизиться к работе в реальном времени В схеме для распознавания наиболее медленным элементом является вращающийся анализатор, так как каждое новое изображение необходимо получать при новом угловом положении анализатора

Достоверность результатов

Достоверность результатов, приводимых в настоящей работе, подтверждается близкими результатами, представленными в литературе в аналогичных работах на тему распознавания поверхностей по интенсивности

Апробация работы и публикации

Основные результаты диссертационной работы обсуждались на XXXIII научно технической конференции профессорско-преподавательского состава СПбГУ ИТМО (Санкт-Петербург, 2004), Первой конференции молодых ученых СПбГУ ИТМО (Санкт-Петербург, 2004), XXXIV научно технической конференции профессорско-преподавательского состава СПбГУ ИТМО (Санкт-Петербург, 2005), Второй конференции молодых ученых СПбГУ ИТМО (Санкт-Петербург, 2005), XXXV научно технической конференции профессорско-преподавательского состава СПбГУ ИТМО (Санкт-Петербург, 2006), Третьей конференции молодых ученых СПбГУ ИТМО (Санкт-Петербург, 2006)

Результаты диссертации опубликованы в 5 научных журналах и трудах конференций

Личный вклад автора

Разработка метода экспериментального измерения зависимости параметров отражённой волны от ориентации отражающей поверхности, изготовление экспериментальной установки технического зрения, выбор оптимальной функции энергии в алгоритме статистической регуляризации, решающем задачу распознавания поверхности, разработка компьютерной модели нейросети для данного алгоритма, а также проведении численной оптимизации режимов обучения и представленные результаты выполнены лично автором

Структура и объем работы

Диссертация состоит из введения, пяти глав, заключения, списка цитируемой литературы и приложения Общий объем работы 129 страниц основного текста, 72 рисунка, _2_ таблицы и списка литературы, содержащего _94_ наименования

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной темы, сформулированы цель работы и научные результаты, выносимые на защиту, приведены сведения об апробации работы, охарактеризована структура диссертации

В первой главе представлен обзор публикаций, посвященных теоретическим исследованиям в области распознавания формы по монокулярному изображению Рассмотрены особенности формирования изображения, а также подходы, основанные на использовании пространственного распределения амплитудных характеристик излучения, позволяющие восстанавливать геометрию поверхности, в том числе изменение отражающей способности при различных ориентациях поверхности, положения освещающего пучка и наблюдателя Изложены результаты работ, посвященных использованию методов распознавания при использовании стохастической релаксации, парадигмы случайного поля Маркова и функции энергии

Во второй главе поднимаются вопросы измерения близости состояний поляризации при представлении их в комплексной плоскости Рассматривается общая схема уста-

новки технического зрения для распознавания формы поверхности, условия ее работы и принципы изменения поляризационных характеристик излучения при отражении от поверхности

Для измерения поляризации отраженного от исследуемой поверхности излучения выбран фотометрический метод для случая идеального линейного анализатора В качестве поляризационных параметров выбраны угол эллиптичности е и азимутальный угол 9 эллипса поляризации (рис 1) При исследовании отражающегося от поверхности излучения используется бескомпенсаторная схема с вращающимся анализатором (рис 2)

^--Тэ "Л

/У \

(/.У ^ £

Рис.1 — Угол эллиптичности е и азимутальный угол б эллипса поляризации светового вектора

Рис.2 — Схема прохождения излучения 1 — осветитель, 2 — поляризатор, 3 — исследуемая поверхность, 4 —вращающийся анализатор, 5 — видеокамера

Зависимость яркости на изображении от наклона поверхности лежит в основе методов распознавания формы по затенению В свою очередь измерение параметров поляризации излучения, отраженного от исследуемой поверхности, позволяет получить зависимость изменения поляризации от геометрии отражающей поверхности, если поляризация исходного пучка известна Перед видеокамерой установлен вращающийся анализатор (рис 2) Угловое положение анализатора а В случае идеального линейного анализатора достаточно измерить интенсивность /(а), прошедшую анализатор, на интервале 0<a<2къN положениях с углами

ак=—— >гдеА: = 0, 1,2 N-1 (1)

N

Значения интенсивности Да), прошедшей идеальный линейный анализатор, представляют функцию, которую можно разложить в ряд Фурье

/(а) = а0 +а2 сов(2а) + Ь2 зт(2а), (2)

где а0, Ь2- коэффициенты разложения Фурье, которые вычисляются по формулам

5 'V-!

^ттЕ7^')' (За)

" к=О

(Зв)

На основе полученных формул определяется угол эллиптичности Е = ± ап^

1

а0/2-1/а22+Ь22_ ^

а0/2 + т]а2

Фотометрический метод не определяет знак угла эллиптичности е, то есть направление обхода эллипса поляризации Азимутальный угол рассчитывается как

8=- (ап^-^-+71й0, (5)

2 а2

где ¿ = —1,0, 1 в зависимости от положения максимума Да) Интенсивность излучения, отраженного от сцены с объектами

10 = 2а0/К, (6)

где К— коэффициент потерь в оптической системе анализатора

При отражении волны компоненты светового вектора параллельные плоскости падения (р) и перпендикулярные этой плоскости (5) изменяются в разной степени Известно, что значение коэффициента отражения «-волны Лх больше значения коэффициента отражения ¿>-волны Яр, Поэтому азимут эллипса поляризации зависит от наклона поверхности как при зеркальном, так и при диффузном отражении

Для распознавания формы объектов из исследуемого материала изменение поляризации в зависимости от наклона поверхности определялось экспериментально Известно, что отраженный (и преломленный) луч частично поляризован, даже в случае, если падающее излучение не поляризовано Для этого в схеме необходим осветитель, равномерно освещающий поле зрения поляризованным светом А для уменьшения деполяризации отраженной волны угол, образованный осветителем, сценой с объектами и видеокамерой, взят малым

Общая схема определения параметров поляризации на изображении распознаваемого объекта на рис 3 На сцене, ограниченной фоновым экраном, определяется форма объектов из одного непрозрачного материала Осветитель равномерно освещает сцену линейно поляризованным светом Линейная поляризация выбрана в связи с тем, что диффузного отражения от произвольной шероховатой поверхности и деполяризации определяемый фотометрическим методом угол эллиптичности растёт, а в фотометрическом методе без использования в схеме компенсатора невозможно отличить круговую поляризацию от неполяризованного света Под заданным углом к осветителю располагается вращающийся линейный анализатор и фотоприемник (ПЗС матрица видеокамеры), изображение с которого передается на ЭВМ для обработки

Для распознавания изображения формируется карта отражательной способности и поляризации для исследуемого материала (покрытия) объектов, которая связывает ориентацию отражающей поверхности с отражательной способностью Отражательная способность К определяется яркостью полученного изображения I Традиционно карта отражательной способности строится на плоскости "пространства градиентов" — в координатах (р, ц), где р = (Ь/ск и <7 = сЬМу градиенты соответствующих направлений х и у на поверхности и изображении, а г — высота поверхности с положительным направлением в сторону наблюдателя

Для удобства описания введено альтернативное представление карты отражательной способности на сфере в координатах (*{', Е). где Ч' и Е углы сферической системы координат на рис 4 а, представляющие наклон и азимут наклона поверхности соответственно На видимой наблюдателем частью сферы — полусфере при известном угле g между источником излучения и наблюдателем (рис 4 б) можно представить значения отражательной способности в зависимости от наклона поверхности Е) — рис 4 в

Рис. 3 — Схема экспериментальной установки 1 — осветитель, 2 — сцена с распознаваемыми объектами (в данном случае с шаром), 3 — фоновый экран сцены, 4 — вращающийся анализатор, 5 — фотоприемник (видеокамера), 6 — обрабатывающая изображения ЭВМ

Если известна зависимость отражательной способности RQ¥, В) для материала при заданном угле g, то при известной яркости I в какой-либо точке исследуемого изображения можно найти изолинию со значениями ориентации поверхности на карте отражательной способности (рис 4 в) Тем не менее, однозначного решения по одному значению яркости получить нельзя А использование поляризационных характеристик в задаче способно найти конкретную точку на изолинии яркости на карте отражательной способности R(*V, Е) и параметров поляризации отражённого излучения eOF.S) и 0(4*,Н)

Если интенсивность излучения, освещающего поверхность, задана параметрами осветителя /вх = const, то достаточно получить на изображении зависимость интенсивности отражённого излучения

I0(4>,E) = R(4>,E)IBX (7)

и для исследований можно использовать зависимость /0(1Р, S) вместо функции отражательной способности ЩЧ', Е)

Получение зависимостей IoQV, Е), е(Ч', Е) и 9(VF, Е) для рассматриваемого в эксперимента материала проводится на эталонном объекте В качестве эталонного (или калибровочного) объекта удобно выбрать шар, так как на нем представлены все варианты ориентации поверхности Преимущество шара также в том, что его просто распознать, определить ориентацию поверхности в каждой точке на изображении и смоделировать, а также определить и скомпенсировать линейное искажение масштаба

В результате из полученных на изображении координат центра (xIleHTpa, Уцентра) и значений радиуса г, наклон поверхности в точке растра (х,у) определяется как

1T, V^ ? Уценим )

т = arctg—---

{

\

z. = arctg

a. = arda

У ■ У,„

МрИ -ïï-Хце^р,.

:-+л/2 при л- < д-[]е1ГТрт.

(8) (9а)

(96)

H - + л/4 при .v = .wpa и У Ш'вд.ггеи, (9в)

Е=- я/4 при X = .^центра И у <уиытри (9г)

,_= не определено при я = ",к-ктр,п и У = Vuempa-

а относительное расстояние до поверхности в единицах радиуса на изображении как ; = ;■(! - cos (4'))- СЮ)

11AD ПОД АГ Е Г Ь

ИАБГТЮДЛТЁПЬ

Рис, 4 — а) полусфера с системой координат для представлеfiия Ориен тации поверхности. 0; — направление на наблюдателя, ÛP — нормаль к поверхности, б) угол g между источником излучения и наблюдателем: в) пример карты отражательной способности RÇW 3) на полусфере с изолиниями яркое™. Белый цвет на блике соответствует R = l, а черный R 0.

И третьей главе предлагается шумоустойчивый метод поиска и прослеживании контуров для определения границ калибровочного шара. Контур выделяется в три прохода: вычисление усреднённого градиента, вычисление разности между двумя усреднёнными по малой и большой апертуре значениями градиента и вычисление непосредственно координат центра круга п радиуса на прост еже иной границе.

Чтобы вычислить значение усреднённого градиента на растре, проводится сложение значений интенсивности в окрестности гонки (i.j) по круговой апертуре. Распределения весовых коэффициентов к на рис. 5а и рис. 56, позволяют вычислить (средний на пятне) перепад интенсивности в двух ортогональных направлениях

Х(!) £ к,/,.. и (На)

(116)

При попадании пятна на кргш магрицы, яркость за пределами изображения / берётся от ближайшей точки на краю изображения.

Перепады л(Г) и )'(/) представляют собой, "конечные развести"' интенсивности и аналогичны вычислению градиента лУ-Ут и йЬЩ' на непрерывной функции. Каждое значение перепада можно нредетавич ь н виде вектора с соответствующим направлением и

модулями А" к У, Общее значение перепада на плоскости изображения будет представлять векторную сумму О Х- У.

л -1

Л л •1 л -1 л

.1 л л л л

•1 •1 л л •1 л л л

Л .1 ,1 -1 -1 л л

.1 Л Л ■1 -1 -1 л -I -1

л ■] Л л л ■! 0 л л л л л

■1 л ■ 1 л л л л -i л

■1 ■1 л ■1 л л л л 1

■1 .1 л .1 л л ч *!■ •1

Л л .1 л л л л

л л л л л

л

л л л

л ■ 1 л л л л л

л ■1 л л '1 л л

л л л л л л л л л ■1

л л л ■1 л ■1 ■ 1 л л

л л л л л л л л л .1 л

□

1 л л л л л л л л л л -t

л л л л 1 -1 л л л ■i

л л л л л -1 л л -1 л

л л л л л -i л л л

л л л л л ■ 1 J

л л л

Рис. 5 — а) и 0) распределения весовых коэффициентов кх и ку для горизонтальной X и вертикальной У составляющих перепала яркости соответственно; в} общий вектор перепада яркости О = У для позиции растра (/,Д

Интерес представляет модуль |G|, который вычисляется как

1С = Vl Л1 игр .

(12)

Величина |С| после данной процедуры тем больше, чем сильней серенад яркости I па данном участке изображения. 13 операции контрастирования усреднение значения перепала Iпо пятну большою размера призвано преодолеть влияние шумов и случайных локальных искажений па растровом изображении. В свою очередь форма пятна а виде дискретного круга для коэффициентов на рис. 5а и рис. 50 выбрана по соображениям соблюдения изотропии на прямоугольном растре. Результат работы над изображением шара (рис. 6а) представлен на рис. 66.

Локальные максимумы |С| указывают наточки контура, но для того, чтобы на полученной картине значений С' (-0 на рис, об дополнительно увеличить точность выделения контуров, проводится второе преобразование. Оно является аналогом преобразования нейронов - детекторов контраста, распространенных в зрительной системе всех высших живы\ организмов. Модель исходит из нейрофизиологических принципов, относящихся к яркостному анализу: один из ключевых этапов выделения контуров представлен тремя слоями 11ейроподобных элементов, сохраняющих топологическое соответ-егвис со слоем рецепторов. Усредняющие поля пейро подобных элементов C^i.J) и Ciihj) первых двух слоев имени форму пятна с центром в положении Q,j). Как и в предыдущем преобразовании в качестве такой фигуры также взя т круг, Размеры усредняющих полей нейроподобпых элементов одного слоя одинаковы. Но размер усредняющего поля элементов первого слоя превышает размер усредняющего поля элементов второго слоя. В примере коэффициенты подобраны в виде двоичных кругов с большим радиусом для первого слоя па рис. 7а и малым для второго на рис. 76. ">ги два слоя нейроподобных элементов усредняют изображение с различным масштабом, а в третьем слое выполняется операция вычитания одного расфокусированного изображения из второго. 11оскольку степень расфокусировки в первых двух слоях разная, то при вычитании иыявляются ¡раницы более или менее равномерно освещенных областей:

!',.,= - V ( У WK'^D-- У ! У к2,„.„ |GmJ), (13)

где п i и >¡2 — число элементов растра, охватываемое пятном (в примере «¡= 221 парис. 7а и п2=21 на рис. 76). Настройка алгоритма па выделение границы осуществляется

мН % V /

t, ш

V J

■

Л

б

Рнс. íi — а) изображение калибровочног о шара, б) градиентное преобразование О'.

J-3

у1

¡•Ъ Я j-ч j-3 1-2 М i >1

J'í j*4

i'5

И

3-8

Рис. 7 — а) распределения весовых коэффициентов A't первою усредняющего поля и б) распределения весовых коэффициентов к1т „ второго усредняющего поля.

подбором размера большого и размера мат ого усредняющего полей. Чем меньше размер малого поля, тем точнее очерчивается граница области, но вместе с тем увеличивается количество ложных контуров, отражающих случайные скачки яркости на равномерно освещенной области. Чем размер малого поля больше, тем менее детализированными и более сглаженными становятся границы областей, но и ложных контуров на изображении появляется меньше. Расфокусировка изображения малым полем диктуется необходимостью сглаживания структурных элементов изображения, размер которых меньше заданной величины, которая, и свою очередь, определяется точностью, с которой требуется найти границы областей в процессе яр костной сегментации изображения. При этом на изображении шара подразумевается наличие протяжённого контура С одинаковой кривизной, что позволяет проводить существенное сглаживание.

После рассмотренного преобразования <13) наиболее близко расположенные экстремумы к настоя тему контуру представляют отрицательные минимумы m¡n(/'j. г) < Ü. На рис. 8а представлены значения при Г^у< 0.

Затем прослеживается контур шара. Исходную точку можно определить по подобранному экспериментально критерию "абсолютное значение отрицательного минимума/число саких минимумов па изображении" или зкен ер и мен таль но подобранному пороговому диапазону (или вручную). Следующие соседние точки контура определяются исходя из соблюдения двух параметров

а) наименьшее неположительное значение тт(7'<;) < 0 и

I'9t-7I-61-5I-4MI-ÍI-l i И(-2Ш*ЧР!!№-71-8

j-S-71- 61-51- 4I-3I-; 1-1 I I-Ií»it^l-4I-5I-61-7I'B

2 ♦1 1-3 Г

2 М *L j-T t

-г JT >1 ♦i ♦1 *i 3 j-6 _

•1: •I м. 5 ♦i 3 ¿i j-5

Э -i Si -1 ♦i -1 ♦i ♦i ■i" j-4

ВШШИШШШИИЕШШЮШЕШ

ЯЕЯЕШШШШШШШШИШШШИ) л -i •1

Р1 ■1 *1 -1 '1 ■! -1 -1 >1 -I -1 -1 -I : j-i '1 •i „ •1

El и ■1 *1 -i -1 ■] >i 5 ч *1 -1 *1 -1 -i и i í i „ 3 a я

я и ■1 л § '1 ч 3 -i *i •] ■) -i а 9 i j'i Ц 5

ВШШ И Б ОШВ В Ш И Ш D BfflSii 3

т ЕЗШ Ш Ш ВБВ В В В ВВ BSiSI

Í' 91 Ей Я Л «з Я я Sí 51 31 SI 91 T Sil jrfi

м] и 3 'i ■íj 3 i'S -

É ш га л M и ."1 Г 1 1-6 □

Г Ш 8 ♦Í м| gj pn ¡i i-:" и i.J

■ i ♦i LJJ Mj Rj 'i j-s _

б) малая кривизна контура.

В данной работе предложено условие, обеспечивающее малую кривизну — точка рассматривается на минимум Г, р только если на протяжении И последних точек (х„,у„), {хп-\,Упл\ (х„-ъУп 2), (х„-и !,Уп а+;) по одной из координат постоянно идет приращение Ах = +1 или Ах = -1 или Ау = +1 или Ау = -1, а по оставшейся координате на протяжении последних к точек не встречаются приращения разных знаков, то есть или только А = 1 и Д = 0 или только Д= -1 и Д=0 В эксперименте прослеживания границы, представленном на рис 86 число отслеживаемых точек выбрано к = 5

В случае а) замыкания, б) ухода за пределы изображения или в) остановки из-за невозможности найти минимум (все значения в точках-кандидатах равны) будет получен замкнутый контур или дуга В случае (б) или (в) также прослеживается контур от исходной точки в противоположном направлении до достижения любого из этих трех условий Чтобы определить центр и радиус, наиболее близкие к вычисленной границе, предлагается метод перебора всех точек, ориентированный на наименьшую разность между радиусами в каждой точке растра (лцентра, з>цеНтра) вычисляется сумма

-*») +(У,„-У„)2 ~\{хч—-х „) +(у„а-у т)2\, (14)

где т — чётное число распознанных точек контура на растре, а п — номер точки контура (х„, у„) в диапазоне 1 >п>т Минимум суммы соответствует ближайшей к центру шара точке растра (лцентра, ,Уце„тра) А за вероятный радиус шара на изображении взят средний радиус

Ха) +(Уцеитра У я)

---(15)

В результате определена область на кадре с центром в (хцеш.ра, ^центра) и радиусом г как изображение калибровочного шара Этот заключительный этап распознавания границы шара показан на рис 86 и 8в

Благодаря распознаванию эталонного шара можно определить ориентацию поверхности Н) на изображении в точке {х,у) Например, угол наклона поверхности

агаш Ц{х-хц,нтра)2 + {у-уц,ш,ра)2 /г, (16)

Из (16) и (10) также можно найти высоту г в единицах радиуса шара

В четвертой главе рассматривается метод восстановления формы поверхности Для удобства представления результатов вместо ориентации поверхности (4х, Н) в этой главе рассматривается относительная высота поверхности г, которая связана с углом наклона Ч* выражением (10), а параметры у), Е(х у) могут быть получены из распределения г(х, у)

На данном этапе зависимости /0(г), е(£) и 9(г), связывающие высоту поверхности и параметры отраженного излучения, получены на распознанном эталонном объекте

Возникает задача в точке (х, у) восстановить высоту г произвольного объекта со свойствами отражения аналогичными эталонному объекту, если в точке (х, у) известны /о 8 и 0 Эту задачу предлагается решить с помощью нейроподобной сети

Задача распознавания формы по изменению интенсивности и параметров поляризации отраженного излучения относится к зрительной реконструкции и может

„ « - * ,V A'*" *

a 6 в

Put. (f — a) изображение контуров после вычисления значений /'<0: б) вычисленная граница и вероятная окружность шара на фоне значений /', в) распознанная вероятная окружность на фоне изображения шара.

трактоваться как проблема оптимизации. Эта некорректная задача решается посредством техник минимизаций. Характерной чертой некорректных задач является неустойчивость их решения: малые изменения исходных данных могут вызвать произвольно большие изменения решений. Эта неустойчивость при наличии погрешностей в данных приводит к тому, что решение не будет единственным. Один из двух основных подходов подразумевает применение метода регуляризации, идея которог о заключается ы сужении класса функций, среди которых идёт поиск решения. 13 данной работе поиск решения (обучение нейросети) ведется е помощью минимизации функции энергии нейросети. представляющей ошибку решения. Рассматривается ячеистая нейронодоб-яая сети ( ЯНС), в которой подобранная функция энергии представляет собой функцию Ляпунова, и устойчивость решения доказывается как в нейросети Хопфилда.

Также распределение значений в окрестности каждой точки изображении носит важную информацию, потому ячеис тые нейромодобпые сети эффективны для выполнения такой техники регуляризации за счёт парадигмы распределения случайных нолей Маркова и локальной природы связей между нейронами. Гак как ячеистая нейро-сеп, управляется значениями интенсивное™ и параметров поляризации, то для случайных полей интенсив ноет, угла эллиптичности и азимута в малой окрестности допускается иметь свойства случайных полей Маркова, m есть распределение Гиббса и соседствующую структуру. Ячеистые нейросети являются массивами идентичных динамических ячеек, связанных только локально. Любая ячейка соединена только со своими соседними ячейками: на несоседние ячейки оказывается косвенное взаимодействие из-за распространяющегося эффекта динамик« в сети Каждая ячейка С,, двумерного .массива M х Л' имеет окрестность Лдц1 размером (2 r+ 1 ) х (2 г + 1 ), где г — целое число. характеризую г нее размер квадрата вокруг центральной точки (/,/). Схема ячейки дискретного (по времени) дейс твия показана на рис. 9.

На схеме /. s. б — ряд постоянных значений на входе; \>ч — внутреннее состояние ячейки С,у, vn — первоначальное внутреннее состояние, a D - постоянное смещение. Матрица весовых коэффициентов обратной связи Woc действует на выходные значения соседних ячеек, а матрицы Wh IVL, Ид, воздействуют на входные значения. Значение относительного расстояния до поверхности на выходе z,,(t) = _/ïv,.(/)), где функция mmwmnfly) может быть любой подходящей нелинейной функцией, В работе выбрана сигмоилная функция с крутизной у;

z=f№ = 0,5(1 Mh(yv)) ( i 7)

Такая система ЯНС является видом рекуррентной модели Хопфилда Но в отличие от хопфилдовской данная модель требует синхронного режима работы, только локальных соединений, а также требует использование переменных, непрерывно меняющихся в диапазоне [0,1] В такой динамической системе нейросети с непрерывным значением градиент хорошо определен, и можно применить классические оптимизационные алгоритмы При использовании подходящей функции энергии устойчивость ЯНС может быть доказана так же, как в аналоговой сети Хопфилда

Рис 9 — Блок-схема ячейки С, , ячеистой нейроподобной сети

Так как ЯНС является управляемым интенсивностью и поляризацией процессом, то для случайного поля интенсивности в малой области допускается иметь свойства случайных марковских полей, то есть распределение Гиббса и соседствующую структуру Пространственно-временное соседство пикселей нам дано в виде структуры ячеистых нейросетей и изображения выбранного эталонного объекта, т к в окрестности любой точки растрового изображения шара форма поверхности изменяется плавно и закономерно

В первом приближении можно считать, что угол g между падающим и отраженным лучом во всех точках изображения калибровочного шара постоянен (идеальный случай постоянства фазового угла g показан на рис 46 ) В таких условиях изображение калибровочного шара представляет собой карту отражательной способности и поляризации в полярных координатах, на которой допускается существование свойств случайных полей Маркова

Если в качестве выборки рассмотреть растровое изображение, то основной путь для вычисления г — это минимизировать функцию энергии Е, которая в данном случае будет

Е = Еа(£)+Еь{х) (18)

Энергия модели Еа(г) является членом регуляризации, похожим на ограничение гладкости, классически используемое для решения некорректно поставленных задач А Еь(г) энергия относительной ошибки высоты поверхности г

Е= Е {ка[(г1]-г,^)2+(г1;-гиН)2Ц2ч-г,_и)2+(ги-г,,н)2] + кь |(2ту-гтреб) /гтреб|}, (19)

п

где г,, — текущее расстояние до поверхности на выходе нейрона С,р ггре6 — истинное значение г, определяемое на распознанном изображении, к„ — нормирующий коэффициент для суммы ограничения гладкости, и кь — нормирующий коэффициент для энергии относительной ошибки Минимум энергии можно вычислить, используя или алгоритмы стохастической релаксации типа «имитации отжига», или детерминистические алгоритм

Для определения расстояния г берется ряд наблюдений на пиксельном уровне с зависимостью / (гтреб), Фтреб) и 0(2тре6) После распознавания границы калибровочного шара определяется область из пикселей с известными значениями относительного расстояния гтреб, интенсивности / и параметрами £ и 0 Строится однослойная ЯНС с числом нейронов, соответствующих числу значений в выборке, то есть числу пикселей на изображении

Каждый нейрон ЯНС охватывает сигналы от пикселей внутри квадрата. В данном эксперименте у всех нейронов С,; одинаковые матрицы весовых коэффициентов (в частности, в эксперименте размерность взята 7*7) отдельный набор весовых коэффициентов для входных значений интенсивности, для эллиптичности, для азимута и отдельный для коэффициентов обратной связи

В методе «имитации отжига» на первом шаге весовые коэффициенты нулевые, и вычисляется энергия Е(п=0), где п — номер шага обучения В начале отвечающий за вероятность изменения весов параметр температура Т0 берется высоким (до 10) И методом «имитации отжига» вычисляются весовые коэффициенты

1) .О и хГ) изменяются с вероятностью Р = 0,4 на шаги ±Ди>ди±Ди>1 В зависимости от температуры Т веса интенсивности тг/, угла эллиптичности м>с, азимута и<0 и обратной связи и>0с случайно изменяются на шаги ±Аи'/, ±Ди>Е и ±Ди>о с вероятностью

Р = ехр (- Д>е2/ Т2) (20)

2) На вход нейрона Сч подаются значения выборки 7,^/, и £> и вычисляется выходное значение На следующих итерациях нейрон учитывает также значения от обратных связей В [1] показано, что можно добиться хорошего схождения алгоритма при 3-4 итерациях

3) Вычисляется энергия Е из (4)

Если энергия уменьшилась, то шаг 1 принят и веса сохраняются, иначе изменения в шаге 1 могут сохраниться с вероятностью

Р = ехр (Д£ / Т) (21)

4) Если энергия уменьшилась, то уменьшается температура в ат раз

7^1= Тп ат (22)

Эти шаги повторяются до достижения Т < Гм„„, которое взято 7МИ„ = 1 Затем можно уменьшить шаг изменения веса ±Дуу и продолжить до достижения £мин или, как в настоящей работе, до достижения минимума среднего (по всему изображению) значения относительной ошибки

Метод дополняется учетом следующего фактора известно, что взаимодействие нейронов в живых нервных сетях зрительного анализатора ослабляется с ростом расстояния между ними По аналогии с этим для достижения более плавного перехода между обрабатываемой и не обрабатываемой нейроном областями в эксперименте в схему на рис 9 добавлена передаточная функция, которая представляет матрицу множителей той же размерности 7*7 Г), где к = - 3, -2, 3 и /= - 3, -2, 3 Причем центральные коэффициенты >сПф = 1, а крайние приближаются к 0 При помощи матрицы передаточной функции множителей затухания уменьшаются входные сигналов, поступающие на соответствующие входы нейрона В качестве коэффициентов такой матрицы были взяты коэффициенты, скомбинированные из единиц в центральной области (аналогичной фигуре на рис 76) и убывающие к краям по двумерному нормальному закону для более равномерного воздействия на входные значения Двумерное нормальное распределение представляет собой функцию

/норм(х,у) =----J== е 2 " '> (23)

2 Î СГ, (72 л/'-/?

где а и b средние случайных величин хну, cti и сь стандартные отклонения случайных величина и/, р коэффициент корреляциии v Предполагается, что корреляция отсутствует, и коэффициенты р = 0, cti = с2 = о, о = b = О

Так как угловая величина 0 циклична и находится в диапазоне -л/2 < 0 < л/2, а значения за пределами этого диапазона можно свести к значениям из -л/2 < 0 < я/2, то предлагается представить угловую величину в виде направления единичного вектора и складывать единичные векторы с умножением на соответствующий весовой коэффициент WjH= w9 и wn<i> и Тогда направление суммарного вектора будет

3 3

з з

0' = arctg ^=2- при £ £ cos е,н * 0 (24а)

к— З/.-З

0' = л/2 при £ £ cos %,+kH wu = 0 (246)

к—гы-ъ

Рассмотренный метод применим для получения параметров ориентации поверхности Аналогично вычислению z ЯНС может быть настроена на вычисление угла наклона поверхности У или 3

Пятая глава работы посвящена экспериментальному изучению предложенного метода распознавания поверхности

С помощью разработанного программного обеспечения было обработано изображение эталонного шара, ряда положений куба со скругленными углами, цилиндра, конуса и других объектов, равномерно окрашенных серой нитроэмалью На основе фотометрического метода в каждом пикселе проводилось измерение поляризации по четырём положениям анализатора 0°, 45°, 90° и 135° Интенсивность перед обработкой нормируется к 1

В эксперименте сцена с объектами равномерно освещается светом с горизонтальной линейной поляризацией Угол между осветителем и фотоприёмником (фазовый угол) g= 12° Так как высота поверхности z зависит от ее наклона 1Р, то после получения координат калибровочный шар на рис 10а даёт следующие данные для обучающей выборки 7(4"), е(*Р), 0(4*) на рис 11 а, б и в Эти зависимости показывают присутствие корреляции между величинами согг(/, Y) = -0,87, corr(e,40 = 0,39 и corr(0, Т) = 0,07 Значение корреляции близкое к нулю указывает на то, что связь между азимутом 0 и углом наклона VF не носит линейного характера или слаба Тем не менее, после усреднения картины интенсивности (что будет иметь место в нейросети) по квадрату 5x5 точек сглаженные значения корреляции изменяются согг(/, У) —0,82, согг(е, У) = 0,46, согг(0, ЧР) = 0,14 Это показывает, что при уменьшении шумов линейность связи между I и Ч* падает, а между 0 и 4* растёт

Компьютерное программное обеспечение позволило подобрать оптимальные параметры режима обучения нейросети методом «имитации отжига» Шаги изменения начального смещения и начального значения ячейки AwD = Дwx = ±0,004 Шаг изменения Aw£o = ±0,001 Шаги изменения остальных весовых коэффициентов взяты Aw = ±0,002 Начальная температура Т0 = 9 , Tnoporoeoe = 1 Множитель для вычисления новой температуры выбирается равным ат = 0,9999 Коэффициенты для вычисления энергии

ка— 0,2 И Щ= I. Крутизна функции активации была выбрана у 0,14 и гакже изменялась в процессе «бучения но принципу = у(( - }) (1 ± Щ), где 1уу = 0,0001.

11роцесс обучения был остановлен при достижении среднего значения относительной ошибки и 12.8 %. В результате обучения распознаны поверхности для калибровочного шара на рис. 10а и б, куба на рис. 12а и 126 и ряда других объектов. 11ри обучении ЯНС на примерах с изображением эталонного объекта 50*50 точек возникают искажения на краях объект™ — уступы на правь® частях диаграмм на рис. 106 и 126., что не наблюдается при обучении на изображениях большего размера (100* 100 или 250*250 точек). В связи с тем, что нейросеть не была настроена на тип поверхности фона, в областях с фоном высота изменялась хаотически. Это потребует в дальнейшем создания дополнительных алгоритмов сегментации, различающего типы поверхностей на изображении по поляризации, цвету, текстуре или другим признакам. Погрешность напрямую зависит от числа циклов обучения. Из преимуществ метода следует отметить устойчивость к шумам на изображении, малому искажению при изменении масштаба изображения объекта и при изменении направления освещения.

Среди недостатков метода экспериментально была показана малая эффективность распознавания полированны* кркальньтх поверхностей из-за резко™ выделения блика на общем темном фоне объекта.

В заключении изложены основные результаты работы. Выполненное в настоящей диссертационной работе систематизированное теоретическое и экспериментальное исследование оптимизационного метода восстановления формы поверхности гю изображению объекта с учётом поляризационных характеристик подтверждаем актуальность

и перспективность дат.....ей ш его проведения работ в данном научном направлении.

Также обоснована возможность нейросетевой реализации метода распознаваний формы со скоростью, сопоставимой с реальным временем обработки изображения и рассмотрены особенности его применения в системах технического зрения. В дополнение к -этому покатано, что обработка поляризации расширяет возможности сегментации изображения в системах технического зрения, что также может быть использовано для различения материалов.

а б

Рис. И) а) изображение эталонного шара (граница обозначена белым), б) распознанная поверхность.

а б в

Рис. 11 а, о и в зависимость значений интенсивности / в i ратаниях серого, угла эллин гичности к и азяму га эллипса поляризаций 0 от угла наклонаотражающей поверхности эталонного Шара (обозначено черными точками, серые точки значения после усреднении по квадрату 5*5).

а 6

Рис. 12 — а) изображение куба: б) распознанная по верх ¡гость куба,

Фсновньт РЕЗУЛЬТАТЫ РАБО ТЫ

1. Распознавание формы поверхностей проводится для известного материала при заданном освещении. Метод заключается в измерении интенсивности и состояния поляризации излучения в зависимости от наклона отражающей поверхности на изображении калибровочного объекта. Полученная таким образом карта отражательной способности и поляризации в дальнейшем используется в качестве обучающей выборки алгоритма, определяющего форму поверхности по изображению исследуемых объектов.

2. Ьлагодаря простой геометрии и присутствию всех вариантов ориентации поверхности в качестве калибровочного объекта выбран шар. Предложен помехоустойчивый метод распознавания границы шара па изображении и определения наклона в каждой точке его поверхности.

3 Представлен метод распознавания формы по затенению и поляризации на основе регуляризации, исходя из модетирования случайных полей Маркова и минимизации энергии итерационным алгоритмом релаксации Высокая степень точности восстановления формы достигается благодаря учету пространственно-временного соседства значений яркости и параметров поляризации излучения, которое помогает извлечь существенную информацию об изменении ориентации отражающей поверхности Данный подход показал значительную устойчивость к помехам на изображении и ошибкам моделирования

4 Представленный метод восстановления формы реализован на ячеистой нейропо-добной сети с векторным расчётом азимута эллипса поляризации В качестве алгоритма обучения нейросети рассмотрен метод «имитации отжига» с инерцией изменения весовых коэффициентов

5 Сформулированы рекомендации для оптимальных условий освещения распознаваемой сцены и практического ускорения метода обучения нейроподобной системы

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

1 Алексеев С А , Пасяда А В Распознование формы поверхности по поляризационным характеристикам отраженного света Сб тезисов НТК ППС, СПбГУИТМО СПб, СПбГУИТМО, 2004, с 15

2 Алексеев С А , Пасяда А В Распознавание формы поверхности на основе интенсивности и поляризации отраженного света // Научно-технический вестник СПбГИТМО Выпуск 18 Исследование в области оптики и физики СПб, СПбГУИТМО, 2005, с 7786

3 Пасяда А В Распознавание ориентации поверхности по отраженной интенсивности и поляризации излучения // Вестник II Межвузовской конференции молодых ученых Санкт-Петербургского Государственного Университета Информационных Технологий Механики и Оптики СПб, СПбГУИТМО, 2005, том 3, с 3-17

4 Пасяда А В Распознавание глубины изображения по затенению и поляризации// Научно-технический вестник СПбГИТМО Выпуск 26 Исследование в области приборостроения СПб, СПбГУИТМО, 2006, с 81-86

5 Пасяда А В Распознавание глубины поверхности по интенсивности и поляризации отражённого излучения //Международная школа-конференция по приоритетным направлениям развития науки и техники с участием молодых учёных, аспирантов и студентов Тезисы докладов, Российский государственный университет инновационных технологий и предпринимательства, М , РИО Р1 УИТП, 2006, с 57

6 Алексеев С А, Пасяда А В Поляризационный метод распознавания трехмерных образов И Научно-технический вестник СПбГУИТМО Выпуск 31 Исследования и разработки в области физики и приборостроения СПб, СПбГУИТМО, 2007, стр 144-150

Тираж 80 экз