автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Исследование и разработка оптико-электронных информационно-управляющих систем на основе метода теневой локации

На правах рукописи

Литманович Андрей Михайлович /

!\

/

Исследование и разработка оптико-элеюронных информационно-управляющих систем на основе метода теневой локации.

Специальность: 05.13.0t> - "Автоматизация и управление технологическими процессами и производствами (в приборостроении)"

Автореферат

диссертации на соискание ученой степени кандидата технических наук

3 МАЗ 20:2

Москва-2012 г.

005016280

005016280

кандидат технических наук, доцент

Научный руководитель. Кандид ^^ шу ^^

В.И. Демкин

ппппнентьг лисов Олег Иванович,

ОФ—" ' Ж^Жвсниумиэх

Чистяков Игорь Михайлович, кандидат технических наук

зам. директора по науке ОАО

«АНГСТРЕМ»

Ведущая организация:

Институт системного анализа РАН.

о 2012 г.

Защита диссертации состоится ^

В^_часов на заседании -ярссу: 124498

Шальном исследовательском инстату

Москва, Зеленоград, проезд 4806, д. 5,

С диссертацией можно ознакомиться в библиотеке МИЭТ.

2012 г.

Автореферат разослан

Ученый секретарь ПМ'^!

диссертационного совета Ш' I А и. Погалов

даор технических наук, профессор //^

Актуальность проблемы.

Удешевление жидкокристаллических мониторов,

интегрированных с сенсорными панелями, выполненными на основе ультразвуковых, инфракрасных и емкостных технологий, способствовало широкому использованию интуитивно понятного взаимодействия с программным обеспечением. Появились системы, анализирующие изображение окружающей сцены в непосредственной близости от экрана монитора и распознающие набор определенных жестов оператора.

Для игровой индустрии впечатляющим прорывом стала разработанная Microsoft консоль Kinect, осуществляющая измерения пространственного положения человеческого тела. Эта система позволяет фактически осуществить «погружение» человека-оператора в виртуальное пространство, дает новые формы взаимодействия с программным обеспечением. Это тем более становится актуальным в связи с появлением 3D дисплеев. Становится возможным «придать объем» управляющим элементам (кнопкам, переключателям и т.п.), расположить их на разных уровнях и глубине виртуального пространства.

Принципы построения управляющих систем, использующих в контуре обратной связи стереотелевизионный датчик пространственного положения, рассматривался еще в ставшей классической монографии Г. П. Катыса «Оптические системы роботов-манипуляторов», изданной в 1977 году. Еще более давнюю историю имеют системы измерения пространственного положения, основанные на использовании зондирующего излучения, обозначаемые термином «оптико-локационные». Эти системы позволяют решать задачи наведения на цель в военных и космических приложениях (угловые координаты цели) и измерять ориентацию кооперированных (оборудованных отражателями) объектов. Использование в этих системах фазовых или импульсных методов оптического зондирования позволяет измерить, кроме того, и дальность до объекта, отражающего это излучение.

Появление высокопроизводительных однокристальных процессоров, ориентированных на потоковую обработку видеоинформации, позволило решить огромное число практических

задач. На рынке появилось большое число фирм, предлагающих системы технического зрения, ориентированные как на простые задачи типа обнаружения, так и на структурирование, логический анализ, выявление дефектов механических заготовок и управления процессами металлообработки и сборки.

Однако использование зондирующего излучения не потеряло своей актуальности. Использование специального типа подсветки, получившей в настоящее время название «структурированная», в сочетании с новыми типами приемников оптического сигнала позволило получить практически значимые технические решения.

К таким системам относится, например, ЗБ-сканер, позволяющий восстановить форму объектов трехмерной сцены, выполненный на основе позиционно-чувствительного диода (PSD), оптически сопряженного с лазерной сканирующей системой.

В сенсорных системах роботов нашли применения датчики препятствий, выполненные на основе PSD оптически сопряженного с лазерным излучателем.

Появление специальных фоточувствительных матриц, измеряющих фазовый сдвиг принятого сигнала относительно зондирующего, позволило решить задачу определения фазовой задержки от отдельных точек объекта контроля, подсвечиваемого матрицей светоизлучающих диодов.

Управление фазовьм сдвигом зондирующего излучения с помощью MEMS-устройств позволило получить субпиксельную точность измерения координат изображения объекта на ПЗС-матрице.

Генерация псевдослучайного распределения зондирующего излучения, позволило обойти проблему нахождения идентичных точек на изображениях стереопар.

Из отечественных разработок можно назвать работу, проведенную в институте математики и механики Уральского отделения РАН. В этой работе предложена система, обеспечивающая взаимодействие пользователя с объектами виртуальной реальности. В Московском государственном техническом университете им. Баумана разработан ряд устройств на основе структурированной подсветки, предназначенных для задач идентификации личности. В Центральном НИИ Робототехники и технической кибернетики (С.-Петербург) разрабатывается система пространственного измерения положения

космического аппарата в ближней рабочей зоне, основанная на принципах структурированного освещения.

Таким образом, использование специальных зондирующих подсветок трехмерной сцены позволяет упростить алгоритмы обработки видеоданных, повысить точность и помехоустойчивость, что в итоге приведет к удешевлению конечного устройства, а создание информационно-управляющих систем для построения пользовательских интерфейсов, основанных на теневой локации, позволяющих обеспечить новые типы взаимодействия человека с «виртуальной реальностью», можно уверенно считать актуальной задачей.

Цель и задачи диссертационной работы

Целью диссертационной работы является исследование и разработка оптико-электронных информационно-управляющих систем, позволяющих определять пространственное положение (координаты, ориентацию и скорость) указателя (в частности пальца кисти руки) на основании информации о его теневых составляющих. Должна быть разработана математическая модель этого процесса и проведен анализ его технической реализации. В диссертации рассмотрена возможность использования этой системы в составе пользовательского управляющего интерфейса, который может служить формальной «заготовкой» для создания перспективных методов трехмерного манипулирования.

Методы исследования

Для решения поставленных задач в работе использованы: программный пакет «Matlab» для имитационного моделирования, среда разработки Embarcadero Delphi, САПР MentorGraphics, пакет разработки проектов ПЛИС на базе кристаллов XILINXISE и EDK ver.10.03, система моделирования цифровых устройств ModelSim.

Научная новизна диссертации состоит в том, что автором, на основе впервые введенного в практику измерений понятия "поверхность теневой локации", рассмотрен вопрос определения пространственного положения объекта контроля. В ходе решения этой задачи:

- получено матричное уравнение, описывающее процесс формирования теней от двух пространственного разнесенных точечных излучателей;

- показано, что его решение позволяет определить положение

пространственного объекта;

- разработаны оптико-геометрические схемы устройств для определения пространственного положении объекта контроля, в которых может отсутствовать функция построения изображения;

-разработаны функциональные схемы оптико-электронных информационно-управляющих систем, использующие поверхность

теневой локации;

- созданы математические модели их функционирования;

- разработано математическое обеспечение специализированных вычислительных устройств обработки видеоинформации, входящих в состав информационно-управляющих систем, позволяющее определить пространственое положение (координат и ориентации) объекта

контроля; ____

- предложены принципы взаимодействия человека-оператора с

информационно-управляющей системой.

Новизна предложенных автором технических решений подтверждена патентом РФ № 2362216 от 12.05.2008 г.

Практическая значимость работы заключается в следующих результатах:

- разработаны новые типы оптико-геометрических и функциональных схем информационно-управляющих систем пространственного положения, работающих на основе анализа теневых составляющих, формируемых на поверхности теневой локации;

-предложены алгоритмы и созданы модели построения интерфейсов трехмерного взаимодействия человека-оператора с программным обеспечением информационно-управляющих систем;

- разработано программное обеспечение специализированного устройства обработки видеоинформации и формальное описание аппаратных модулей информационно-управляющей системы;

- разработана библиотека программ для построения специализированных интерфейсов пространственного манипулирования

данными; ,

-проведено натурное испытание прототипа информационно-

управляющей системы пространственного положения, реализованного на основе идеологии «система на кристалле»;

- проведено моделирование работы отдельных функциональных модулей информационно-управляющей системы.

Достоверность полученных результатов подтверждается хорошей сходимостью результатов моделирования с результатами натурного испытания информационно-управляющей системы.

Личный вклад автора.

Результаты, представленные в диссертационной работе, получены автором лично. Проанализированы существующие и разработаны новые оптико-геометрические и функциональные схемы управляющих устройств пространственного положения, получены математические формулы и построены модели ошибок. Основными результатами являются:

- оптико-геометрические и функциональные схемы информационно-управляющих систем, использующих для получения информации о пространственном положении объекта управления «поверхность теневой локации»;

- решения по интеграции информационно-управляющей системы в интерфейс пространственного манипулирования графическими элементами интерфейса персонального компьютера;

- принципы построения интерфейсов пространственного манипулирования для человека-оператора, взаимодействующего с трехмерными виртуальными пультами управления;

- модели функционирования информационно-управляющих систем пространственного положения на основе пакета МаЛаЬ;

- статистический анализ результатов натурных испытаний.

Внедрение результатов

Результаты разработок и исследований, полученные в диссертационной работе, нашли следующее внедрение:

- оптико-геометрические и функциональные схемы информационно-управляющих систем, используются при выполнении ОКР (шифр «Сфера»), выполняемой ОАО «Ангстрем»;

- модели функционирования информационно-управляющих систем, используются при проведении лабораторных работ по курсу

омические —* «р—* к,федры

САУиКНИУМИЭТ.

На^чш^е™!^^ составляющих

1. Метод использования тен™ чем даумя

пространственного обь«

теневых составляющих ^^^^"^еі^СОСТОВЛЯЮЩИХ, ДЛЯ

3. Алгоритмы обРаб°™ Т™ении объекта контроля, извлечения данных О схемы устройств,

4. Оптико-электронные и ФУ™^ извлечения использующие поверхность теневой локации ДЛЯ информации о пространственном положеоти^ в системах

вирту¿¿^¡ЯГ^еі _

указателя.

диссертационной рабо», доклад— и

обсушись на следуюшихконферга№ ориентация и

1. «современные пробземм опредал н навигации космических аппаратов». Институт

№Д0ВГ^6-^«росс£>ск», межвузовская

конференция «Микроэлектроника н информатика • 2009» МИ

,Зелено?а, 2009

место в конусе

ЗГЇЇ^ = «—пр.— »

иаб^По^Г——^'Ь— —

г.Адлер 2010 г.

б. 18-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика г Зеленоград 2011 г. Награжден дипломом за 1-ое место в конкурсе

работ рангов по секции «Информационно-управляющие и

молодых ученых и

и и™«« и

Проектов' молодежи «РИТМ Зеленоград», г.Зеленоград 2011 г. проектов молодежи конкурсе проектов среди

Награжден дипломом за 2-ое место в киш^р ^

аспирантов и специалистов.

^ГеХ«"^ к растре,™.■— экспертизы по существу. Без соавторов опубликовано 5 работ.

Гтоуктуоа и объем работы

Диссертационная~^ГГостоит из введения, четырех глав

заключения, списка литературы из 94 наименований,^ "Р—ии и 2 актов использования результатов диссертационно* работы. Работа содержит 121 страницу основного текста и 106 рисунков.

актуальность темы диссертации, цель и задачи диссертационной работы, научная новизна, пражская значимость, достоверность полученных результатов, апробация и гГбл—; работы, приведено краткое содержание по главам.

В певвойглаве дается анализ существующих методов обработки видеошформации "в системах построения пользовательских

^^сматрив-ся известные оптико-геометрическиесатурыи

метолы обработки информации в системах пространственных изме^ний Предлагается расширенная классификация оптико-

\

электронных систем пространственного положения, которая охватывает как системы технического зрения, так и системы, использующие специальные виды зондирующего излучения.

Рассмотрены получившие наибольшее распространение методы анализа трехмерного пространства, основанные на обработке изображений стереопар, восстановлении формы по фокусировке, измерении времени пролета световых пучков до отдельных точек объекта контроля и на использовании специального вида структурированного освещения рабочего пространства. Приводятся оптико-геометрические схемы этих систем и примеры технической реализации в коммерческих и экспериментальных устройствах.

В рамках поставленной в диссертации цели, а именно для построения пользовательских интерфейсов, от информационно-управляющей системы требуется ряд специфических качеств, а именно:

- необходимость размещения сенсорной части системы на минимально близком к пальцам оператора расстоянии и организации рабочего объема, позволяющего комфортное пространственное

манипулирование;

- большой динамический диапазон освещенности рабочего

объема;

- размещение измерительной системы в пределах рабочего стола, либо ее интеграция в клавиатуру или монитор.

Во второй главе проведен анализ системы измерения пространственных координат, удовлетворяющий поставленным выше требованиям.

На рис. 1 предлагаются варианты организации рабочих мест оператора при наличии ЗБ-фрагментов, (рабочих зон) в которых обеспечивается взаимодействие оператора с программным интерфейсом (рассматриваемым в главе 4) и называемым далее в тексте «ЗБ-интерфейсным пространством».

(а) (Ь) (с)

Рис. 1. Варианты организации рабочих мест оператора при наличии пространственных рабочих зон.

Так на рис. 1(а) представлен пример расположения «ЗБ-интерфейсного пространства» вблизи стандартной клавиатуры, а на рис.1(Ь), эта зона находится в непосредственной близости от экрана монитора. На рис.1 (с) приведен пример использования человеком-оператором ЗБ-очков, благодаря которым происходит формирование изображения виртуального рабочего пространства Одновременно с этим информационно-управляющая система должна формировать аппаратное рабочее пространства Р, в котором осуществляется измерение положения пространственного указателя (в частности пальца кисти человека-оператора).

Данное расположение «ЗБ-интерфейсного пространства», диктует специфические требования к оптической схеме устройства. Необходимо обеспечить открытый для оператора обзор рабочей зоны, т.е. эту рабочую зону не должны загораживать никакие оптические датчики и излучатели. Малый объем свободного нижнего пространства, да и занимаемого устройством пространства вообще, затрудняет съем первичной оптической информации (обзор рабочего пространства).

Для решения этих проблем автором введено понятие поверхности «теневой локации», которая представляет гибкую сенсорную поверхность, охватывающую часть рабочего пространства и оборудованную расположенными на ее поверхности фотоприемниками. Сенсорная поверхность должна воспринимать значения освещенности и позволять их передачу в центральный процессорный модуль информационно-управляющей системы.

Вычисление пространственных координат производиться на основе известного метода стерео-измерений, причем роль

и

фотоприемных матриц выполняет «поверхность теневой локации», на которой формируется световое поле от двух, пространственно разнесенных излучателей. Таким образом, формируется теневой аналог параллакса, в котором в данной схеме является смещение теней, отбрасываемых объектом, при его подсветке пространственно разнесенными излучателями.

На рис. 2. приведена оптико-геометрическая схема данного способа измерений.

Рис. 2. Оптико-геометрическая схема вычисления пространственных координат методом теневой локации, где: Iі и I2 - излучатели инфракрасного излучения; і - объект контроля (указательный палец оператора); 5,1 и Б,2- тени, образуемые действием излучателей; - сенсорная поверхность.

Предложены два варианта функциональных схем устройства для измерения пространственных координат, изображенные на рис.3 и рис.4.

21

Рис. 3. 1-й вариант функциональной схемы системы для измерения пространственных координат, где: - сенсорная поверхность, организованная в виде матрицы фото приемников;

/1 и I2- оптические излучатели;

С - специализированное вычислительное устройство;

Ь - объект контроля.

Специализированное вычислительное устройство С осуществляет поочередное включение излучателей I1 и I2, ввод оптического состояния фототранзисторов сенсорной поверхности при включенном состоянии каждого из излучателей и расчет пространственного положения объекта контроля Ь по соответствующим ему затененным участкам поверхности ¡¡X

пространственных координат, где: Г2 - поверхность теневой локации; 11 и /2— оптические излучатели; Р - пентапризма; Н - объектив;

М - фотоприемная матрица;

С - специализированное вычислительное устройство; Ь - объект контроля.

В данном случае поверхность теневой локации выполнена из оптически прозрачного, рассеивающего излучение материала.

Рассмотрим математическую модель, описывающую предлагаемый способ измерений.

На рис. 5 представлена его оптико-геометрическая схема, где: /1,I2 - излучатели, используемые для получения теневых образов; и(х, у, г)- точка принадлежащая объекту контроля; Ур и Ур первая и вторая проекции точки и(х, у, г), формируемые излучателями I1 и I2.

Выбрав положение излучателя Iі в системе координат ХУХ 2, получим очевидные соотношения:

Хр, Ур - координаты точки v*, и в более привычном виде имеют

Однородные координаты v точки v = (х, у, z) определяются с помощью формулы V = (ых, ыу, шг, oj), где со - произвольная константа. Причем, действительные декартовы координаты точки v могут ^быть получены из ее однородных координат путем деления каждой из первых трех компонент однородного вектора на четвертую компоненту.

(1)

где:

вид:

Рис. 5. Оптико-геометрическая схема, поясняющая способ измерения трехмерных координат объекта в рабочем пространстве

устройства.

Прямое перспективное преобразование, заданное формулами (1) и (2), является линейным, когда оно записано в однородных координатах и имеет вид:

(3) = Рй,

где:

Р- матрица линейного преобразования; Щ - однородные координаты точки ; й - однородные координаты точки и.

Для оптико-геометрической схемы, изображенной на рис.2, автором получено, что матрица Р, имеет вид:

ГІ 0 0 0-1

0 1 0 0

0 0 1 0

0 0 / X 1

Эта матрица является линейным преобразованием, которое переводит точку объекта в точку изображения (записанные в однородных координатах). Т.е.:

(5) vp = Pv ,

а для данной точки объекта v = (шх, cuy, шг), соответствующая точка в однородных координатах определяется формулой:

(б)

vi = Pv =

(ÚX

Cúy

шу

L Т+Ш

Обратное преобразование Р 1 позволяет перейти от аппаратных значений (хр, у,) к пространственным координатам точки согласно выражению:

(7) й = Р"1'*

где:

(В)

Р"1 =

Vp,

-1 0 0 0

0 1 0 0

0 0 1 f 0

0 0 г 1

а = т-1?-^2

Рассмотрим действие смещенного относительно I1:

(9) - - I . . р

где: Г"1 - матрица обратная матрице сдвига;

v2p - однородные координаты точки Матрица сдвига имеет следующий вид:

[10 0 -х2 0 1 0

второго источника излучения /2

Т -

(10) а обратная:

(П)

где:

хо, yo, z0 - координаты излучателя I2 в системе XYZ. Решение системы:

т-і =

0 0 1 0

-У2 1 J

х2 У2

1J

Ü = P_1v,

-ітТҐ.

п = Т_1Р-

позволяет определить координата точки V в рабочей зоне, перекрываемой излучениями от / и / .

к третьей главе приводятся результаты по разработке и исследованию математической модели информационно-измерительнои системы. Данная модель, разработанная в среде МаНаЪ, позволяет проанализировать влияние геометрических параметров системы на ее

точностные характеристики.

На рис. 6 приведена математическая схема измерительной

системы пространственного положения, где: П - поверхность теневой локации; Ф - отображаемая поверхность; 11( I, - первый и второй излучатели;

Р.. _ фотоприемник с координатами 1, ], на поверхности теневой локации;

Дх, Ду - расстояние между фототранзисторами; 1 - номер строки; ] - номер пикселя вдоль строки;

х1)У; _ координаты фотоприемника на плоскости Ф (в системе координат Охуг).

п(х,.у,)

Рис. 6. Математическая схема измерительной системы.

На рис 6 показан пример отображения фотоприемника Рц в точку р с координатами хі)Уі в системе Оху2. При этом учитывается дискретный характер преобразования координат тени, отбрасываемой

пространственным указателем, в дискретные значения номера фотоприемника, из множества (х^у))1=1..п ,где:

п - количество строк, в которые организованны фотоприемники;

т - количество фотоприемников в строке.

Ниже представлен процесс преобразования пространственного положения указателя в аппаратные значения в виде диаграммы, приведенной на рис. 7, где:

А - матрица (3 х 2) пространственного положения указателя (координата точки А и углов);

В - матрица (3 х 2) пространственного положения первого и второго излучателей;

С - матрица координат центра теней пространственного указателя на плоскости Л;

В - матрица координат центра теней пространственного указателя на плоскости Ф;

Е - матрица аппаратных значений пространственного положения указателя (координаты точек А и В);

<3 - матрица аппаратных значений пространственного положения указателя (координаты кончика пальца А и направляющие углы).

І=1..ш

А

С

О

Рис. 7. Диаграмма преобразований.

Для моделирования точностных характеристик первоначально были определены конструктивные ограничения на выполнение сенсорной поверхности. На рис. 8 представлен фрагмент поверхности теневой локации, в которой использованы фототранзисторы типа КР-3216РЗС8МЮ, имеющие размер 1.2мм на 0.6мм.

Рис. 8. Фрагмент поверхности теневой локации, где: Ах - расстояние между центрами фототранзисторов в линейке; Лу - расстояние между линейками.

В результате моделирования были получены зависимости распределения ошибки в рабочем пространстве.

(Ь)

Рис. 9. Распределение погрешности р. (а) - реальный масштаб осей, (Ь) - произвольный масштаб, позволяющий лучше увидеть «всплески»

ошибок.

Получено, что максимальная и средняя ошибки равны соответственно:

ер = 4.0971мм; = 3.22%;

ртах '

ер .= 0.9281мм; = 0.73%.

я четвертой главе описана техническая реализация оптико-

-яЁйетда;

базе ПЛИС Spartan it w^n j, ? чИП-фототранзисторов,

^еГГГоГГХГ — Jm. ^Разработана

структурная схема системы на кристалле.

Рис 10 Структурная схема системы на кристалле, где: Г- ¿«Апаратного вычисления координат теневой зоны

на фототранзисторов;

3 - ІР модуль управления включением излучателей;

4 - ІР модуль управления видео-сенсором;

5 - видео-сенсор; „„рст?-

матрицей 10;

==

в виде фототранзисторной матрицы), либо вводом информации с БИС видео-сенсора, фильтрации входных данных, управления излучателями и обмена информацией с персональным компьютером.

Разработанные 1Р-модули, входящие в состав системы на кристалле, обеспечивают решение следующих задач:

- ЬГЫЕ_8СА№\ГЕ11 обеспечивает сканирование фоточувствительной линейки «бегущим нулем», он осуществляет позонный опрос фоточувствительной линейки. При этом интервал сканирования должен уложиться в длительность импульса включения излучателя;

- ЬЕВ_СОИТЯОЬЬЕК осуществляет управление излучателями, обеспечивает их поочередное импульсное включение в соответствии с тем, какая строка в данный момент опрашивается модулем ЬМЕ_8САКЕК;

- МЮ_РОШТ определяет середину области затенения на поверхности теневой локации и работает на частоте большей, чем основной модуль, что обеспечивает возможность определения областей затенения от каждого из выключателей до того момента, когда будет просканирована следующая линейка;

- САМ_ССЖТ110ЬЬЕК осуществляет опрос оптического сенсора для получения изображения. Эта информация служит для определения положения тени на поверхности теневой локации способом, проиллюстрированным на рис. 3 и 4.

1Р-модули «БРГ» и «118232» входят в состав стандартных 1Р-модулей ЕОК Х1ЬШХ и не нуждаются в адаптации, если не считать настройки скоростей передачи и приема данных. Процессы, исполняемые в модулях «ЬШЕ_8САМЫЕ1Ъ> и «МГО_РОШТ», протекают параллельно с программным кодом, исполняемым процессором.

Предложен принцип, который может использоваться при практическом использовании информационно-управляющей системы для взаимодействия оператора с прикладным ПО. Его основой является псевдотрехмерный оконный интерфейс и трехмерный интерфейс «пространственно вложенных кубов», являющихся логическим расширением мульти-оконной системы.

Пример, поясняющий сказанное, изображен на рис. 11, где набор {8ЬБ2,83,84,85,86, Бе) представляет открытые «окна» интерфейса, причем, все они, кроме «окна» 83, имеют показатель прозрачности 100%,

и поэтому не отображаются на экране монитора и не активны для пользовательских действий. «Окно» Бз выбрано пользователем для работы погружением указателя и (пальца) вглубь рабочей зоны

устройства над сенсорной поверхностью й).

Рис. 11. Схематическое изображение пространственного «листания

окон».

Таким образом, формальное описание этих действий имеет вид: (13) I = П(г);

где:

£ - номер выбранного окна;

г - глубинная координата точки £ пространственного указателя; П- таблично заданная функция переходов к выбранному «окну». Более глубокое «погружение» пользователя в интерфейсное пространство, достигается с помощью формирования сегмента поверхности цилиндра, на котором размещены управляющие элементы, или отдельные «окна». Вид на этот цилиндр извне «виртуального пространства» приведен на рис. 12.

о

Рис. 12. Фрагмент цилиндра 0 с размещенными на нем «окнами»

С поворотом этой фигуры относительно пользователя, перед ним будут появляться различные пункты меню. Сказанное иллюстрируется на рис. 13. Набор «окон» {51,5'2,5'3,54,55,56} находится на поверхности цилиндра 0. Поворот осуществляется поворотом указателя и в горизонтальной плоскости, а выбор требуемого окна осуществляется наклоном и вниз (аналог «клика»).

Рис. 13. Геометрическая схема организации листания «окон».

Формальное описание этих действий имеет вид: (14) ) = Ф(а),

где:

] - номер выбранного окна; а- угол направления на требуемое окно;

Ф- таблично заданная функция переходов к выбранному «окну». Объединение этих функций дает возможность выбора 1, вариантов выбора «окон»:

Создание интуитивно понятного интерфейса становится возможным путем объединения 2D и 3D технологий управления прикладной программой. Реализация такого интерфейса может быть осуществлена в системе разработки программного обеспечения высокого уровня, в которой возможно создание оконного приложения. Для этого была использована среда разработки Delphi 2010, входящая в состав пакета Embarcadero RAD Studio 2010.

На рис. 14 схематически изображено пространство виртуальной реальности с пятью доступными для пользователя интерфейсными окнами, представленными в виде полупрозрачных прямоугольников. Их выбор осуществляется посредством наклона пространственного указателя в направлениях, обозначенных тонкими стрелками. «Проход» сквозь окно виртуального пространства отмечен толстой стрелкой.

Рис. 14. Схематическое изображение виртуальной реальности с пятью

«окнами».

(15)

Р

«Погружение» в «окно» может осуществляться движением пальца возникает необходимость «™П>УЗ^

=;У=о=я «погрузиться» в него,

КаКЭТСмеГГдГноГ'взаимодействия с окнами в виртуальном пространстве изображен на рис. 15, где видны связи между окнами в виртуальном пространстве пользовательского взаимодействия.

Рис. 15. Межоконные связи в виртуальном пространстве.

В включении сформулированы основные выводы и полученные результаты.

„ивопы и результаты работы.

В ходе выполнения диссертационной работы:

1 Пгюведен анализ существующих оптико-электронных „змерительньТсисхем, проанализировано их применение в задачах управления^ объектами^ ^^ ^ оптико.электронной

информацшнно-утфавляющей "

—ие и функцион^ьные схемы

оптико-электронных информационно-управляющих систем на основе предложенного автором принципа «теневой локации».

4. разработана —«о рГ «X"»™ составляющих от двух пространственно разнс

системы матричных уравнении^ информации «теневых .

5. разработаны ™ авл!щих интерфейсов, составляющих» и приняв ™^енГпространственного указателя.

использующих информацию О по™шпр тр^ мационно.

исполнения. г\гнпиных узлов данной системы, а

именно «поверхности

устройства, Объединяющий аппаратные и Основные результаты диссертационной работы отражены в

трехмернойманипуляции^Патентг - сжаТие потокового

3. Литманович АМ" "Зданием в шахматном порядке видеоизображения попиксельным МиКроэлек1роника и

в -темах ^

информатика - 200У. ю ан ^ м . л^эт 2009 г., с.159.

¿¿ж о6?ега

4. Литманович A.M. системах взаимодействия

основанный на методе теневои локации в систе _ ^ ^

человек-машина. конференция. Тезисы

Всероссийская межвузовская научни

докладов. — М.: МИЭТ, 2010 г., с.202.

\

5. Литманович A.M. Устройство определения трехмерных координат объекта основанное на методе теневой локации. 7-ая научно-техническая конференция «Системы наблюдения, мониторинга и дистанционного зондирования земли». Тезисы докладов,- г.Адлер 2010 г.,с.343-347.

6. Литманович A.M., Литманович Д.М. Измерение положения пространственного указателя методом теневой локации. Микроэлектроника и информатика - 2011. 18-ая Всероссийская межвузовская научно-техническая конференция. Тезисы докладов. - М.: МИЭТ, 2011 г., с.191.

7. Литманович A.M., Демкин В.И. Оптико-электронная измерительная система для определения пространственого положения объекта на основе метода теневой локации. Известия вузов: Электроника 2011 г., № 3, с.69-74.

8. Литманович А.М. Измерение положения пространственого указателя основанное на методе теневой локации. Зеленоград-космосу. Тезисы докладов,- г.Зеленоград 2011 г.,с.Ю9.

9. Литманович A.M., Литманович Д.М. Измерение положения пространственого указателя в специализированных интерфейсах управления. Естественные и технические науки. 2011 г., №3, с.316-319.

10. Литманович A.M., Евтешин Д.Н. Метод вычисления координат объекта основанный на теневой локации в системах взаимодействия человек-машина. 3-я Научно-техническая конференция молодых ученых и специалистов. Тезисы докладов,- г.Зеленоград 2011г., с. 30.

Формат 60x84 1/16. Уч.-юд. л. 1,5. Тираж 100 экз. Заказ № 23

Отпечатано в типографии ИПК МИЭТ.

124498, Москва, Зеленоград, проезд 4806, д.5, МИЭТ.

61 12-5/2615

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«МИЭТ»

На правах рукописи

Литманович Андрей Михайлович

Исследование и разработка оптико-электронных информационно-управляющих систем на основе метода теневой локации.

Специальность: 05. 13. 06 Автоматизация и управление технологическими процессами и производствами (в приборостроении)

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель кандидат технических наук, доцент кафедры САУиК НИУ МИЭТ В. И. Демкин

Москва, 2012 г.

ОГЛАВЛЕНИЕ

Введение..............................................................................^

Глава 1. Методы обработки видеоинформации в системах построения

пользовательских интерфейсов...........................................................15

1.1. Классификация оптико-электронных систем для использования в

пользовательских интерфейсах...........................................................15

21

1.2. Системы стереовидения.......................................................

1.3. Системы с восстановлением формы по фокусировке.................39

1.4. Системы с измерением пролетного времени...........................42

1.5. Системы с использованием структурированного освещения........47

1.6. Восстановление формы по затенению...................................56

1.7. Восстановление формы по тени............................................59

Цели и задачи исследования......................................................62

Глава 2. Разработка оптико-электронных систем основанных на методе

64

теневой локации..............................................................................

2.1. Измерение пространственных координат методом теневой

локации с использованием стереосистемы.............................................64

2.2. Измерение пространственных координат методом теневой локации

69

однокамерной системой...........................................................................

2.3. Измерение пространственных координат с использованием

пространственно-распределенной сенсорной поверхности.....................73

Глава 3. Исследование точностных характеристик на основе математической модели системы......................................................82

Глава 4. Разработка и практическая реализация оптико-электронной информационно-управляющей системы .................................................93

4.1. Основные технические решения по использованию теневых составляющих..............................................................................93

4.2. Реализация аппаратно-программного модуля..........................98

4.3. Разработка пользовательского интерфейса.............................105

Заключение........................................................................113

Введение

Актуальность проблемы.

Удешевление жидкокристаллических мониторов, интегрированных с сенсорными панелями, выполненными на основе ультразвуковых, инфракрасных и емкостных технологий, способствовало широкому использованию интуитивно понятного взаимодействия с программным обеспечением. Появились системы [1] анализирующие изображение окружающей сцены в непосредственной близости от экрана монитора и распознающие набор определенных жестов оператора.

Для игровой индустрии впечатляющим прорывом стала разработанная Microsoft консоль Kinect [2], осуществляющая измерения пространственного положения человеческого тела. Эта система позволяет фактически осуществить «погружение» человека-оператора в виртуальное пространство, дает новые формы взаимодействия с программным обеспечением. Это тем более становится актуальным, в связи с появлением 3D дисплеев. Становится возможным «придать объем» управляющим элементам (кнопкам, переключателям и т. п.), расположить их на разных уровнях и глубине виртуального пространства.

Принципы построения управляющих систем, использующих в контуре обратной связи стереотелевизионный датчик пространственного положения, рассматривался еще в ставшей классической монографии Г. П. Катыса «Оптические системы роботов-манипуляторов», изданной в 1977 году [3]. Еще более давнюю историю имеют системы измерения пространственного положения, основанные на использовании зондирующего излучения, обозначаемые термином «оптико-локационные». Эти системы позволяют решать задачи наведения на цель в военных и космических приложениях (угловые координаты цели) и измерять ориентацию кооперированных (оборудованных отражателями) объектов. Использование в этих системах

фазовых или импульсных методов оптического зондирования, позволяет измерить кроме того и дальность до объекта, отражающего это излучение.

Появление высокопроизводительных однокристальных процессоров, ориентированных на потоковую обработку видеоинформации, позволило решить огромное число практических задач. На рынке появилось большое число фирм, предлагающих системы технического зрения, ориентированных как на простые задачи типа обнаружения, так и на структурирование, логический анализ, выявление дефектов механических заготовок и управления процессами металлообработки и сборки [4].

Тем не менее, использование специального типа подсветки (получившей название «структурированная») трехмерной сцены, в сочетании с новыми типами приемников оптического сигнала, позволило получить практически значимые технические решения [5].

К ним относится, например, ЗБ-сканер, позволяющий восстановить форму объектов трехмерной сцены и выполненный на основе позиционно-чувствительного диода (PSD) [6], оптически сопряженного с лазерной

сканирующей системой.

Серийно производится ряд датчиков пространственного положения на базе PSD, которые обладают высокой помехоустойчивостью и точностью, однако решают узкий ряд задач (датчик дальности ближней зоны [7], триангуляционный дальномер [8]).

Появление специальных фоточувствительных матриц, измеряющих фазовый сдвиг принятого сигнала относительно зондирующего, позволило решить задачу определения фазовой задержки от отдельных точек объекта контроля.

Управление фазовым сдвигом зондирующего излучения, с помощью MEMS-устройств, позволило получить субпиксельную точность измерения координат изображения объекта на ПЗС-матрице [9].

Генерация псевдослучайного распределения зондирующего излучения, позволило обойти проблему нахождения идентичных точек на изображениях стереопар (упомянутая выше система Ктесг).

Из отечественных разработок можно упомянуть работу, проведенную в институте математики и механики Уральского отделения РАН [10]. Там предложена система, обеспечивающая взаимодействие пользователя с объектами виртуальной реальности. В Московском государственном техническом университете им. Баумана разработан ряд устройств на основе структурированной подсветки, предназначенных для задач идентификации личности [11]. В Центральном НИИ Робототехники и технической кибернетики (С. - Петербург) разрабатывается система пространственного измерения положения космического аппарата в ближней рабочей зоне, основанная на принципах структурированного освещения [12].

Таким образом, использование специальных зондирующих подсветок трехмерной сцены позволяет упростить алгоритмы обработки видеоданных, повысить точность и помехоустойчивость, и в конечном счете, удешевить устройство.

При этом разработка оптико-электронных информационно-управляющих систем, обладающих простотой, быстродействием и точностью, и позволяющих их встраивание в новые типов интерфейсов взаимодействия человека с «виртуальной реальностью», безусловно, следует считать актуальной задачей.

Цель и задачи диссертационной работы.

Целью диссертационной работы является исследование и разработка

оптико-электронных информационно-управляющих систем, позволяющих

определять пространственное положение (координаты, ориентацию и

скорость) указателя (в частности пальца кисти руки) на основании

информации о его теневых составляющих. Должна быть разработана

математическая модель этого процесса и проведен анализ его технической

б

реализации. В диссертации рассмотрена возможность использования этой системы в составе пользовательского управляющего интерфейса, который может служить формальной «заготовкой» для создания перспективных методов трехмерного манипулирования.

Методы исследования.

Для решения поставленных задач в работе использованы: программный пакет «Matlab» для имитационного моделирования, среда разработки Embarcadero Delphi, САПР Mentor Graphics, пакет разработки проектов ПЛИС на базе кристаллов XILINX ISE и EDK ver. 10.03, система моделирования цифровых устройств ModelSim.

Научная новизна диссертации состоит в том, что автором, на основе

ГС «-*

впервые введенного в практику измерении понятия поверхность теневой локации", рассмотрен вопрос определения пространственного положения объекта контроля. В ходе решения этой задачи:

- получено матричное уравнение, описывающее процесс формирования теней от двух пространственного разнесенных точечных излучателей;

- показано, что его решение позволяет определить положение пространственного объекта;

- разработаны оптико-геометрические схемы устройств для определения пространственного положении объекта контроля, в которых может отсутствовать функция построения изображения;

- разработаны функциональные схемы оптико-электронных информационно-управляющих систем, использующие поверхность теневой локации;

- созданы математические модели их функционирования;

- разработано математическое обеспечение специализированных

вычислительных устройств обработки видеоинформации, входящих в

состав информационно-управляющих систем, позволяющее определить

7

пространственое положение (координат и ориентации) объекта контроля;

- предложены принципы взаимодействия человека-оператора с информационно-управляющей системой.

Новизна предложенных автором технических решений подтверждена патентом РФ № 2362216 от 12.05.2008г.

Практическая значимость работы заключается в следующих результатах:

- разработаны новые типы оптико-геометрических и функциональныхсхем информационно-измерительных систем пространственного положения, работающих на основе анализа теневых составляющих, формируемых на поверхности теневой локации;

- предложены алгоритмы и созданы модели интерфейсов трехмерного взаимодействия человека-оператора с программным обеспечением информационно-управляющих систем;

- разработано программное обеспечение специализированного устройства обработки видеоинформации и формальное описание аппаратных модулей информационно-управляющей системы;

- разработана библиотека программ для построения специализированных интерфейсов пространственного манипулирования данными;

- проведено натурное испытание макета информационно-управляющей системы пространственного положения, реализованного на основе идеологии «система на кристалле»;

- проведено моделирование работы отдельных функциональных модулей информационно-управляющей системы.

Достоверность полученных результатов подтверждается хорошей сходимостью результатов моделирования с результатами натурного испытания информационно-управляющей системы.

Личный вклад автора.

Результаты, представленные в диссертационной работе, получены автором лично. Проанализированы существующие и разработаны новые оптико-геометрические и функциональные схемы управляющих устройств пространственного положения, получены математические формулы и построены модели ошибок. Основными результатами являются:

- оптико-геометрические и функциональные схемы информационно-управляющих систем, использующих для получения информациио пространственном положении объекта управления «поверхность теневой локации»;

- решения по интеграции информационно-управляющей системы в интерфейс пространственного манипулирования графическими элементами интерфейса персонального компьютера;

- принципы построения интерфейсов пространственного манипулирования для человека-оператора, взаимодействующего с трехмерными виртуальными пультами управления;

- модели функционирования информационно-управляющих систем пространственного положения на основе пакета МаИ.аЬ;

- статистический анализ результатов натурных испытаний.

Внедрение результатов.

Результаты разработок и исследований, полученные в

диссертационной работе, нашли следующее внедрение:

- оптико-геометрические и функциональные схемы информационно-управляющих систем, используются при выполнении ОКР(шифр «Сфера»), выполняемой ОАО «Ангстрем»;

- модели функционирования информационно-управляющих систем, используются при проведении лабораторных работ по курсу «алгоритмические и технические средства обработки сигналов» кафедры САУиК НИУ МИЭТ.

Научные положения, выносимые на защиту.

1. Метод использования теневых составляющих пространственного объекта, формируемых не менее чем двумя пространственно разнесенными оптическими излучателями;

2. Матричное уравнение, представляющее модель образования теневых составляющих пространственного объекта;

3. Алгоритмы обработки теневых состовляющих, для извлечения данных о пространственном положении объекта контроля.

4. Оптико-электронные и функциональные схемы устройств, использующие поверхность теневой локации для извлечения информации о пространственном положении.

5. Метод организации взаимодействия оператора в системах виртуальной реальности, использующийпространственное положение указателя.

Апробация работы.

Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях:

- «Современные проблемы определения ориентации и навигации космических аппаратов». Институт космических иследований. г.Таруса 2008 г.

- 16-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2009» МИЭТ г.Зеленоград 2009 г.

- 17-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2010» МИЭТ г.Зеленоград 2010 г. Награжден дипломом за 1-ое место в конкурсе работ аспирантов по секции «Информационно-управляющие и вычислительные системы и приборы».

- Конференция «Зеленоград-космосу». г.Зеленоград 2010 г.

- 8-ая научно-техническая конференция «Системы наблюдения, мониторинга и дистанционного зондирования земли» г.Адлер 2010г.

- 18-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2011» МИЭТ г.Зеленоград 2011 г. Награжден дипломом за 1-ое место в конкурсе работ аспирантов по секции «Информационно-управляющие и вычислительные системы и приборы».

- 3-я Научно-техническая конференция молодых ученых и специалистов, г.Зеленоград 2011 г.

- 2-ая Ярмарка научно-технических и инновационных идей и проектов молодежи «РИТМ Зеленоград», г.Зеленоград 2011 г. Награжден дипломом за 2-ое место в конкурсе проектов среди аспирантов и специалистов.

Публикации по работе.

Основные положения диссертационной работы опубликованы в 10 печатных работах, в том числе 2 работы в журналах входящих в список, утвержденный ВАК. По 1 работе получен патент РФ на изобретение. Кроме того 2 заявки приняты к рассмотрению и проходят этапы экспертизы по существу. Без соавторов опубликовано 5 работ.

Структура и объем работы.

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 94 наименований, 5 приложений и 2 актов использования результатов диссертационной работы. Работа содержит 121 страницу основного текста и 106 рисунка.

Содержание работы

Во введении показаны актуальность темы диссертации, цель и задачи диссертационной работы, научная новизна, практическая значимость, достоверность полученных результатов, апробация и публикации работы и приведено краткое содержание по главам.

В первой главе дается анализ существующих методов обработки видеоинформации в системах построения пользовательских интерфейсов.

Рассматриваются известные оптико-геометрические структуры и методы обработки информации в системах пространственных измерений. Предлагается расширенная классификация оптико-электронных систем пространственного положения, которая охватывает как системы технического зрения, так и системы, использующие специальные виды зондирующего излучения.

Рассмотрены получившие наибольшее распространение методы анализа трехмерного пространства, основанные на обработке изображений стереопар, восстановлении формы по фокусировке, измерении времени пролета световых пучков до отдельных точек объекта контроля, и на использовании специального вида структурированного освещения рабочего пространства. Приводятся оптико-геометрические схемы этих систем, и примеры технической реализации в коммерческих и экспериментальных устройствах.

В рамках поставленной в диссертации цели, а именно для построения пользовательских интерфейсов, от информационно-управляющей системы требуется ряд специфических качеств, а именно:

- необходимость размещения сенсорной части системы на минимально близком расстоянии, порядка единиц миллиметров, при том, что рабочий объем, в кото�