автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Разработка новых принципов построения информационно-измерительных систем технического зрения мобильных роботов

Андреев Виктор Павлович

РАЗРАБОТКА НОВЫХ ПРИНЦИПОВ ПОСТРОЕНИЯ ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫХ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ МОБИЛЬНЫХ РОБОТОВ

Специальность 05.11.16 Информационно-измерительные и управляющие системы (промышленность)

Автореферат

диссертации на соискание учёной степени доктора технических наук

1 2 'и\ Др Ш1

Москва-2011

005014846

Работа выполнена в Государственном бюджетном образовательном учреждении высшего профессионального образования "Московский Государственный Университет Приборостроения и Информатики" (МГУПИ) и Институте прикладной математики им. М.В.Келдыша РАН (ИПМ РАН)

Валентин Евгеньевич ПРЯНИЧНИКОВ

Официальные оппоненты:

Ведущая организация: Открытое акционерное общество «Научно-

исследовательский институт «Кулон» (ОАО «НИИ «Кулон»)

Защита состоится "28" марта 2012 г. в 12.00 на заседании диссертационного совета Д 212.119.01 при Государственном образовательном учреждении высшего профессионального образования "Московский Государственный Университет Приборостроения и Информатики" (МГУПИ) по адресу: 107996 Москва, ул. Стромынка д. 20.

С диссертацией можно ознакомиться в библиотеке МГУПИ. Автореферат разослан « » 2012 г.

Ученый секретарь специализированного совета

Научный консультант: доктор технических наук, профессор МГУПИ

доктор технических наук, профессор Олег Сергеевич ИПАТОВ

доктор технических наук, профессор Юрий Викторович ПОДУРАЕВ

доктор технических наук, профессор Владимир Владимирович СЛЕПЦОВ

доктор технических наук, профессор

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время, как в России, так и за рубежом широко ведутся разработки систем технического зрения (СТЗ) различного назначения. Практически все мобильные роботы (МР) снабжаются СТЗ. Это роботы, используемые в чрезвычайных ситуациях, для военного применения, патрулирования и охраны важных объектов, подводные роботы. СТЗ устанавливаются на дистанционно пилотируемые летательные аппараты (ДПЛА) и космические аппараты различного назначения, а также широко используются в домашних и учебных роботах. Наконец, это планетоходы, предназначенные для исследования поверхности других планет. Большое прикладное значение имеют специализированные СТЗ, работающие в ИК-диапазоне: это медицинские и военные тепловизоры, тепловизоры для роботов МЧС и ДПЛА.

В последнее время среди разработчиков МР сформировалось понимание того, что современные достижения науки и техники в большинстве случаев не позволяют создавать полностью автономные системы, оставаясь в рамках приемлемой стоимости таких МР. Поэтому всё большее внимание уделяется супервизорному управлению МР, при котором лишь часть функций выполняется автономно с помощью бортовых систем, а конечный анализ обстановки, принятие решений и выдача команд на включение тех или иных программ управления возлагается на оператора. При этом предлагаемые решения должны распространяться и на супервизорное управление группой мобильных роботов.

Отличительной особенностью подобных систем является: а) наличие в составе информационно-измерительной и управляющей системы (ИИУС) МР двух контуров управления - внутреннего и внешнего, которые разделены коммуникационной средой, причём в оба контура управления входит СТЗ, установленная на мобильной часта ИИУС; Ь) во внешнем контуре управления присутствует человек-оператор. Коммуникационная среда может вносить существенные задержки, помехи и искажения, в то же время полнота информации о рабочем пространстве и её достоверность являются необходимым условием минимизации ошибок при формировании целей управления.

Полнота данных обеспечивается возможностью полного обзора места действия, а достоверность информации определяется как техническими характеристиками сенсоров, так и способами извлечения информации. Отсюда вытекает актуальная проблема: формирование на борту МР данных, удовлетворяющих требованиям полноты и достоверности, обеспечение их надёжной передачи по коммуникационному каналу и разработка робастных алгоритмов обработки этих данных в реальном масштабе времени.

Полный обзор места действия может быть обеспечен: а) использованием телекамеры, снабжённой поворотно-наклонным механизмом, Ь) установкой на борт нескольких телекамер, с) созданием специальных систем кругового обзора. Применительно к МР с супервизорным управлением наиболее эффективным представляется вариант с многокамерной СТЗ, использующей телекамеры с управляемым поворотно-наклонным механизмом. Однако в этом случае требуется организовать передачу по радиоканалу видеосигналов от множества телекамер, что сопряжено с рядом технических и организационных трудностей. Поэтому актуальной является проблема поиска новых принципов организации и соответствующих технических решений передачи многопотокового видео по радиоканалу.

Полный обзор места действия также может быть обеспечен с помощью СТЗ кругового обзора, в которых изображение панорамы проецируется на плоскость фотоматрицы единственной телекамеры. Такое решение позволяет существенно сократить объем передаваемых по радиоканалу данных. Однако геометрия сцены на изображении в этом случае оказывается искажённой. Поэтому при решении задач навигации возникает комплекс проблем, связанных разработкой соответствующего программного обеспечения для бортового модуля, выполняющего в масштабе реального времени анализ видеоданных для автоматического формирования цели управления, и актуальной становится проблема выделения объектов на изображениях со сложной геометрией и вычисление их координат для целеуказания.

Достоверность получаемой информации оказывает существенное влияние на формирование цели управления с точки зрения минимизации ошибок управления. Достоверность информации в первую очередь определяется качественными характеристиками и точностными параметрами сенсоров. Повышение технических и эксплуатационных характеристик сенсоров обычно достигается как за счёт новых конструктивных решений, так и совершенствованием технологий их производства. Более эффективным представляется путь построения математических моделей сенсоров, учитывающих не идеальность параметров датчиков, и на основе этих моделей разработка методов предобработки в реальном масштабе времени получаемого сигнала с целью коррекции вносимых искажений. Представление сигналов сенсоров в цифровом виде позволяет использовать современные достижения вычислительной техники для реализации такой предобработки. Необходимо на конкретных примерах предложить эффективные методы повышения характеристик датчиков видеосигнала и предложить варианты реализации этих методов в ввде функциональных схем цифровых спецпроцессоров.

При ликвидации последствий чрезвычайных ситуаций оказывается наиболее эффективным использование группы роботов, например, технологические роботы и роботы-наблюдатели. Решение данной задачи возможно посредством создания многоуровневой иерархической системы формирования и обмена информационными и управляющими потоками данных. В этом случае актуальной становится проблема разработки механизма, посредством которого можно организовать взаимодействие группы оснащенных СТЗ мобильных роботов, постов управления, обслуживаемых несколькими операторами одновременно, и командного пункта.

Задача группового управления МР непосредственно связана с возможностью удалённого управления организацией работ группировки МР, что невозможно без соответствующего информационного обеспечения, для которого требуется создание коммуникационного канала с ситуационным центром, обычно располагающимся за много километров от зоны работ. Решение данной задачи лежит в использовании сетевых технологий. В этом случае ИИУС всех мобильных роботов должны быть объединены в локальную вычислительную сеть (ЛВС) с мобильными узлами и входить в состав территориально распределённой ИИУС. Данное решение требует проведения исследований для определения оптимальной структуры такой системы и формулирования требований к параметрам устройств ЛВС.

Перечисленные особенности и проблемы построения управляемых многокамерных систем технического зрения для мобильных роботов с супервизорным управлением требуют разработки единого подхода к созданию подобных СТЗ.

В связи с отмеченным актуальным является комплексное решение следующих проблем: 1 - построение для МР систем технического зрения, обеспечивающих возможно больший обзор места действия робота для эффективного управления его исполнительными механизмами из безопасных для человека зон; 2 - организация удалённого группового управления мобильными роботами и обеспечение передачи сенсорных данных с МР в ситуационный центр; 3 - создание учебно-научных мобильных роботов и учебно-тренировочных классов электронных тренажёров (КЭТ) для подготовки операторов МР; 4 - создание виртуальных лабораторий, оснащёшгых мобильными роботами, для подготовки квалифицированных специалистов при отсутствии возможности прямого контакта с дорогостоящим оборудованием; 5 - улучшение технических и эксплуатационных характеристик СТЗ посредством цифровой предобработки видеосигнала.

Учитывая важность этих проблем, подобные исследования и разработки СТЗ активно ведутся во всех развитых странах. Благодаря деятельности таких видных учёных, как Д.Е. Охоцимский, ЕЛ. Девянин, AJI. Ярбус, JI.H. Курбатов, Е.И. Юре-вич, В.В. Клюев, А.К. Платонов, Ю.Ф. Голубев, С.Ю. Желтов и работам Д.Г. Лебедева, Д.С. Лебедева, Г.Г. Вайнштейна, В.Е. Пряничникова, С.М. Соколова, IO.B. Визильтера, Н.В. Завалишина, К.И. Кия и др. были получены существенные результаты, продвинувшие исследования в данном направлении. Также широко известны работы таких зарубежных учёных, как Rosenfeld A. (University of Mariland), Roberts L.G. (MIT), Marr D. (МП ), Winston P.H. (MIT), Waltz D. (University of Illinois), Hunt E.B. (University of Washington), HueckelM.H. (Stanford University), Lloyd J.M. (Radiation Center Lexington, Massachusetts) и других.

Однако, специфика супервизорного управления МР и использования управляемых систем технического зрения в контуре распределённых ИИУС не находит достаточного отражения в известных публикациях. Особенно это относится к использованию многопотокового видео и применения сетевых технологий для решения проблем удалённого и группового управления МР и формирования коммуникационной среды для получения и передачи данных. Это касается также методов цифровой предобработки сигналов с целью улучшения технических и эксплуатационных характеристик датчиков видеоинформации.

Диссертационная работа посвящена решению актуальной проблемы создания таких распределённых информационно-измерительных систем, как управляемые многокамерные системы технического зрения для мобильных роботов с супервизорным управлением, совершенствованию методов обработки видеосигналов и анализа изображений, разработке новых принципов построения таких систем, в том числе с использованием сетевых технологий и свойств зрения человека.

Целью исследований являлась разработка новых принципов построения и путей совершенствования распределённых (в том числе территориально распределённых) информационно-измерительных систем технического зрения мобильных роботов, базирующихся на современных технологиях, новых технических решениях и высокоэффективных методах обработки видеосигнала для улучшения их технических и эксплуатационных характеристик, а также создание новых действующих образцов таких систем, реализующих предлагаемые технические решения и методы обработки видеосигнала.

Для достижения указанной цели были поставлены следующие задачи:

1. Разработать общий подход и предложить концепцию построения управляемых многокамерных СТЗ для MP с супервизорным управлением, определить оптимальный состав необходимых технических средств. На их основе реализовать удалённое управление мобильными роботами, оснащёнными СТЗ, путем объединения через Internet робототехнического оборудования физически расположенного на разных территориях, в том числе в разных городах.

2. Разработать принцип объединения в локальную вычислительную сеть управляемых многокамерных СТЗ, передающих на большие расстояния с мобильных систем многопотоковое видео то радиоканалу. Создать метод построения ЛВС с мобильными узлами, который позволяет обеспечить устойчивую передачу многопотокового видео в стандарте Wi-Fi, в том числе при отсутствии прямой радиовидимости. Разработать интерфейс для оператора MP, обеспечивающий приём многопотокового видео и формирование полноформатных в телевизионном стандарте изображений одновременно с нескольких телекамер.

3. Показать эффективность использования разработанных сетевых технологий для группового управления MP на примере создания учебно-тренировочного класса электронных тренажёров, объединяющих модели нескольких роботов, действующих в одной трёхмерной сцене и моделирующих удалённое управление одновременно несколькими операторами группой роботов, снабжённых СТЗ.

4. Создать программно-аппаратные средства, которые обеспечивают выполнение задач автономной и супервизорной навигации MP на основе обработки кадровых последовательностей изображений, полученных с помощью СТЗ кругового обзора (360°) в недетерминированной искусственной среде.

5. С целью улучшения технических и эксплуатационных характеристик СТЗ разработать адаптивные (без использования эталонных источников излучения) способы и системы для борьбы с «геометрическим» шумом многоэлементных линейных и матричных приёмников излучения, применяемых при построении специальных СТЗ ИК-диапазона. Предложить варианты функциональных схем цифровых спецпроцессоров, работающих в реальном масштабе времени.

Методы исследований базировались на использовании математической статистики, теории ошибок и кластерного анализа, теории вычислительных систем и компьютерных сетей, теории и практики построения информационно-измерительных и управляющих систем, на использовании результатов психофизических исследований зрительной системы приматов. Достоверность результатов обеспечивалась аналитическими, вычислительными и экспериментальными методами верификации предлагаемых решений.

Научная новизна работы заключается:

1.В разработке концепции построения управляемых многокамерных СТЗ для мобильных систем с супервизорным управлением, которая позволяет найти единые принципы формирования СТЗ различного назначения, унифицировать их структуру и функциональный состав, обосновать технические требования к их компонентам в зависимости от решаемых задач.

2. В разработке методов и технических решений при использовании сетевых технологий для объединения компонент СТЗ и систем управления MP, а также группировки MP в локальную вычислительную сеть. Это позволило: обеспечить полноту получения видеоданных и исключить искажения сенсорной информации; организовать устойчивую передачу видеоданных одновременно с нескольких телекамер по цифровому радиоканалу, в том числе при отсутствии прямой радиовидимости; объединить ИИУС нескольких мобильных роботов в территориально распределённую ИИУС посредством использования коммуникационного канала в условиях существенных задержек, помех и искажений (VPN-канал Internet); обеспечить на мониторах пульта управления формирование цветных изображений (25 кадров в секунду при формате 800x600 пикселей) одновременно с нескольких телекамер; разработать механизм удалённого (более 400 метров) и группового управления мобильными системами; обеспечить возможность динамического реконфигурирования распределённых ИИУС мобильных роботов.

3. В разработке эффективных, основанных на межкадровой разности методов комплексного анализа кадровой последовательности, получаемой с частотой 25 Гц, с целью идентификации специальных ИК-маяков, определения дальности до них и азимута по телевизионным изображениям, получаемым с помощью СТЗ кругового обзора. Это позволило реализовать возможность использования мобильными роботами видеоинформации от таких СТЗ (изображений с искажённой геометрией) для автономного решения навигационных задач мобильным роботом в реальном масштабе времени за счёт повышения «интеллектуальности» их бортовых ИИУС.

4. В разработке комплекса новых эффективных методов адаптивной цифровой обработки видеосигнала для коррекции искажений, вызванных разбросом параметров многоэлементных линейных приемников излучения ИК-диапазона. Эта обработка позволила повысить эксплуатационные и технические характеристики тепловизионных СТЗ и значительно (в разы) снизить стоимость производства сканирующих СТЗ за счёт отказа от установки в прецизионную систему оптико-механического сканирования эталонных источников ИК-излучения.

5. В разработке новых методов цифровой обработки видеосигнала для борьбы с геометрическим шумом матричных приёмников излучения ИК-диапазона, основанных на модели зрительной системы приматов. Предложенные методы позволили по-новому организовать предобработку изображений, учитывающую свойства зрения человека, и значительно повысить эксплуатационные и технические характеристики тепловизионных СТЗ за счёт применения дешёвых и удобных в эксплуатации фотоприёмных устройств (ФПУ), ранее считавшихся непригодными из-за их низких технических характеристик.

Практическая значимость работы

1. Разработаны и изготовлены (на основе предложенной концепции построения управляемых многокамерных СТЗ) два комплекта СТЗ для робототехнических комплексов «BROKK-llOD» и «BROKK-ЗЗО» в 294 Центре по проведению спасательных операций особого риска МЧС России. Каждый комплект имеет в своем составе 4 бортовые телекамеры (одна из которых - скоростная купольная), 2 выносные - также скоростные купольные телекамеры и ретранслятор. Все элементы СТЗ объединяются в ЛВС посредством радиоканала Wi-Fi.

2. Предложено структурное решение построения СТЗ и разработано программное обеспечение (ПО), которые в совокупности позволили устойчиво передавать многопотоковое видео с бортовых телекамер на пульт упраления по радиоканалу на расстояние более 400 метров даже при отсутствии прямой радиовидимости.

3. Разработаны и изготовлены (на основе предложенной концепции) автономные учебно-научные мобильные роботы Амур-5м,5,6,7 и экспериментальный робот «Марсоход», оснащённые развитой сенсорной системой (телекамеры, ультразвуковые сенсоры, одометры) и учебно-научные мобильные стенды (для ДВФУ и ИАПУ ДВО РАН - г. Владивосток и ИНОТиИ РГГУ - г. Москва).

4. Создан прототип виртуальной лаборатории, объединяющей по VPN-каналам в Internet робототехнические стенды ИПМ им. М.В. Келдыша РАН (г. Москва), ИНОТиИ РГГУ (г. Москва) и ИАПУ ДВО РАН (г. Владивосток).

5. На основе сетевых решений создан учебно-тренировочный класс электронных тренажёров для Московского филиала ФГУП «АТЦ МИНАТОМА РОССИИ» (ИТУЦР), позволяющий обучать групповому управлению MP одновременно до 7 операторов.

6. Разработан и изготовлен учебный робот «Кронус» с СТЗ кругового обзора; разработано ПО, позволившее по изображению круговой панорамы с искажённой геометрией, формируемому такой СТЗ, успешно решать навигационные задачи в изменяющейся искусственной среде.

7. Разработаны функциональные схемы цифровых спецпроцессоров, способных выполнять в реальном масштабе времени обработку видеосигналов с моногоэлементных приемников ИК-излучения с целью компенсации свойственного таким датчикам геометрического шума.

8. Разработан и изготовлен подключённый к ЭВМ научно-исследовательский стенд, предназначенный для проведения исследований по разработке методов улучшеЕ1ия технических характеристик тепловизионных СТЗ с матричными ФПУ; в его состав входит тепловизионная охлаждаемая фотоматрица формата 64x64 элемента, германиевый объектив, управляемый от ЭВМ пьезокерамический дефлектор и телевизионный монитор с двухпортовой памятью.

Во всех перечисленных работах автор принимал личное участие в качестве ответственного исполнителя и соруководителя проектов.

Основные научные результаты диссертации, на которых базируются перечисленные внедрения, получены лично автором в процессе работы по договорам и планам ИПГТИ им. АЛ. Харкевича РАН по темам: «Кворум» (1986г., 1990г.), «Ель-5-1АН» (1987г.), «Кримат» (1988г.), «Кордон» (1988г.), «Сплав» (1989г.); ИПМ им. М.В. Келдыша РАН: по проекту «Компьютерное зрение» в рамках «Соглашения о сотрудничестве в области перспективных проблем роботики между РАН и Национальным Центром Научных Исследований (НЦНИ) Франции» (1995г., 1997г.); Института механики МГУ: гранты РФФИ 00-01-00403 и УР 99-5419 и научно-исследовательским работам ИПМ РАН - MJI «Сенсорика»: грант РФФИ № 10-07-00612-а и других программ Российской академии наук, что подтверждает их высокий уровень, обоснованность и достоверность, направленность на решите крупных научных и практических задач при создании систем технического зрения.

Апробация работы. Основные положения диссертации докладывались на 38 Международных и Российских конференциях (опубликованы 30 докладов) и семинарах, в том числе: Научная школа-конференция «Мобильные роботы и мехатронные системы», Москва, 2000, 2001, 2004, 2011; XIX Международная конференция по компьютерной графике и зрению «ГрафиКон'2009» (приглашённый доклад), Москва (МГУ), 2009; XVIII, XIX XXI и XXII Всероссийская науч.-технич. юонф, «Экстремальная робототехника», СПб, 2007, 2008, 2010, 2011; Межд. научно-технич. конф. Нано-,микро- и макророботы. СПб, 2008, 2009; Межд. шк.-сем. «Адаптивные роботы» (п. Дивноморсюе 2009); XVIII, XX, XXI, XXII Межд. симпоз. «Интеллектуальное производство и автоматизация» DAAAM Int. Vienna, 2007, 2009, 2010, 2011; VI Всероссийская научно-практич. конф. «Перспективные системы и задачи управления», Таганрог, 2010; I Междунар. научно-практич. конф. «Техника и технология: новые перспективы развития», Москва, 2011; Научно-технич. конф. «Техническое зрение в системах управления», Москва (ИКИ РАН), 2011; XII Междунар. интерактивный форум образовательных технологий «Дополняя реальность», Москва (РГГУ), 2011; семинар «Сетевые международные гуманитарные исследования по проблемам информатики, мехатроники и робототехники», Москва (РГГУ), 2009 и на семинарах в ИПМ им.М.В.Кеддыша РАН, Москва, 2008,2009,2010 и 2011.

Публикации. Основные положения диссертации и результаты научных исследований по теме диссертации отражены в 76 публикациях (17 без соавторов), в том числе в 1 монографии и 15 статьях в журналах по перечню ВАК РФ, 6 работ входят в список Web of Science (Conference Proceedings Citation Index of Thomson Reuters). Результаты также отражены в 38 докладах на Всесоюзных совещаниях и семинарах и докладах Fia Международных конференциях. Среди публикаций - 1 авторское свидетельство, 1 свидетельство об официальной регистрации программы для ЭВМ и 8 зарегистрированных научно-исследовательских отчётов.

Структура и объём работы. Диссертация состоит из введения, шести глав, заключения, списка литературы и приложения. Общий объем диссертации - 358 е., в тексте имеется 103 рисунка. Список литературы состоит из 294 наименований. Приложение на 4-х стр. содержит акты о внедрениях.

СОДЕРЖАНИЕ РАБОТЫ

Во введении даётся общая характеристика диссертационной работы, обосновывается актуальность темы, формулируется цель исследований, определяются научная новизна и положения, подлежащие защите. Приводятся сведения об апробации, публикациях и практической значимости результатов работы.

В первой главе приведено описание этапов развития СТЗ и рассмотрено современное состояние их использования в информационно-измерительной и управляющей системе (ИИУС) MP. На основе анализа решаемых MP задач и особенностей супервизорного управления выделены проблемы, возникающие при использовании СТЗ в мобильных системах. Для определения путей решения этих проблем рассмотрена операционная среда MP, т.е. информационное пространство его мультисенсорной системы. В заключительной части главы формулируются основные задачи исследования.

Системами технического зрения (computer vision) обычно называют совокупность аппаратных и программных средств получения, передачи, хранения и обработки изображений (а также шлейфов данных), включая автоматический анализ изображений и формирование решений (например, измерение параметров объектов на изображении) или выработку сигналов управления, которые подаются на исполнительные механизмы (например, при организации движения MP и манипулировании наблюдаемыми объектами). Под шлейфом данных будем понимать структурированный непрерывный поток данных от всех бортовых сенсоров MP и команды управления, которые выстраиваются в некоторую последовательность по определённым правилам.

Системы технического зрения, предназначенные для установки на MP, обладают рядом особенностей, которые в совокупности отличают их от иных СТЗ. Во-первых, на входе имеется внешняя среда, характеризующаяся неопределенностью. Во-вторых, внешняя среда постоянно меняется, поэтому получение, формирование, передача и обработка поступающей видеоинформации должны выполняться со скоростью изменения внешней среды (реальное время). В-третьих, супервизорное (и дистанционное) управление подразумевает наличие в ИИУС мобильного робота человека, который на основе анализа видеоинформации формирует цель управления и принимает решение о выполнении управляющего действия. В-четвертых, присутствие человека-оператора требует наличия в системе модуля формирования качественных и в нужном количестве (в разных ракурсах) растровых изображений окружающей среды. В-пятых, мобильный аппарат должен иметь беспроводную систему связи с пультом управления с тем, чтобы иметь свободу передвижения. Необходимо разработать единый подход (концепцию) к построению подобных СТЗ для MP различного назначения, который учитывает все перечисленные особенности. Этому посвящена глава 2.

Рассмотрим информационные потоки в ИИУС MP на примере его операционной среды, приведённой на рис.1 (проблемы, относящиеся к неокрашенным модулям на схеме, в работе не рассматриваются). ИИУС мобильных роботов, как и любая сложная управляющая система, включает функции оценки состояния внешней среды и состояния самой управляющей системы (УС), выработки сигнала обратной связи и сигнала управления. На основе анализа полученных данных выполняется формирование цели управления и составляется

Распределенная ИИУС МР |

Коммуникационна« среда ] ...... " '

¡I Информзциоимо-измерительмзн система •

Формирозаиме шпйифз данных : ■

1ы>!. фзэмиривук управления м иитяашййп, .ПО)

3

[Боргован ШУС]-

формирований !упрайгемия

пшл|.ч;йс, ПО;

т

(С(10Н"р0Л?0СС01) рлзпьнок» иремэн»!_5__

ФОрЬЩХХЮНЧ*

упр<щлецпя —1

| Формирование олягзое | управнаиия :)л*-ог>Г1ррн0''.т.0р)

гйнциониый санах»» уморы, е*»«ирукмци

1

Исполнительные

1

Внешняя СРЭДЗ

Рис. 1. Операционная среда МР

программа достижения этой цели, включающая набор команд, с помощью которых вырабатываются сигналы управления для исполнительных механизмов. Анализ данных и формирование цели управления может выполняться как с помощью удалённого интерфейса, так и с помощью внутреннего интерфейса, в зависимости от сложности решаемых задач.

Удалённый интерфейс входит в состав внешнего контура ИИУС. С его помощью человек-оператор выполняет анализ данных и формирование цели управления. Известно, что человек получает более 80% информации через зрение. Следовательно, информацию об окружающей МР среде ему необходимо предоставлять в привычном для него виде, т.е. в виде растрового изображения. Поэтому в качестве основного дистанционного сенсора следует использовать телевизионную камеру (или несколько ТУ-камер). В видимом диапазоне это стандартные матричные телекамеры, в ИК-диапазоне - тепловизоры.

Видеосигналы от телекамер должны быть включены в шлейф данных, который необходимо подготовить для передачи по каналам связи (коммуникационная среда) на удалённый интерфейс. Для внутреннего интерфейса, который входит в состав внутреннего контура ИИУС, могут быть использованы широкополосные цифровые каналы передачи данных, когда «очищенные» от различного вида шумов цифровые изображения попадают непосредственно в мультипортовую память блока анализа данных. С таким огромным потоком данных обычный компьютер не справится, поэтому предварительно, выполняется сегментация изображений с помощью специализированных процессоров.

Коммуникационная среда обычно представляет собой либо кабельный, либо беспроводной канал связи. При использовании анатоговых радиоканалов для передачи стандартных телевизионных видеосигналов от множества телекамер возникает проблема полосы пропускания, которая в этом случае должна быть достаточно широкой, что очень сложно и дорого обеспечить. Кроме того, известна низкая помехоустойчивость аналоговых радиоканалов. Переход на цифровой способ передачи данных по радиоканалам решает эти проблемы. В главе 3 на примере создания управляемых многокамерных СТЗ для робототехнических комплексов (РТК) МЧС приведены конкретные результаты решения проблемы передачи многопотокового видео по радиоканалу через объединение компонент СТЗ в ЛВС с мобильными узлами.

Альтернативный путь многопотоковому видео лежит в создании СТЗ кругового обзора, когда оптическое изображение окружающей среды проецируется на фотоматрицу единственной телекамеры с помощью специального зеркального конуса. В этом случае формируемое цифровое изображение панорамы сцены имеет вид, непривычный для человека (специфические геометрические искажения),

поэтому может быть использовано только для работы внутреннего блока анализа изображений и формирования цели управления. Возможности использования такой СТЗ для выполнения ряда задач автономной навигации MP посвящена глава 4.

Достоверность получаемой на борту MP информации зависит не только от качества коммуникационного канала. Качественные характеристики и точностные параметры сенсоров в первую очередь определяют достоверность получаемых данных. На примере разработки методов борьбы с «геометрическим» шумом линейных и матричных приёмников оптического излучения, в главе 5 рассмотрены пути повышения технических и эксплуатационных характеристик тепловизионных СТЗ. Предложена модель изображения, основанная на сильных корреляционных связях смежных строк, позволившая разработать метод предобработки видеосигнала, исключающий обычное в таких случаях использование эталонных источников ИК-излучения. Приведены варианты функциональных схем цифровых спецпроцессоров, реализующих разработанный метод. Разработан метод борьбы с влиянием на видеосигнал разброса параметров матричных приёмников ИК-излучения, основанный на свойствах зрения приматов. Метод позволяет использовать в таких СТЗ фотоматрицы, обычно считающиеся непригодными по своим низким техническим характеристикам.

Современное представление об использовании MP ориентируется на групповое управление, как наиболее эффективное. В главе б предложен механизм, позволяющий осуществлять многоуровневое управление группировкой, когда каждым MP управляет человек-оператор, и имеется командный пункт, где формируется общая цель и с которого осуществляется групповое управление. В основе такого механизма лежит использование сетевых технологий для создания территориально распределённой ИИУС. Приводятся результаты разработки и создания класса электронных тренажёров, как прототипа механизма группового управления MP. Исследование сетевого взаимодействия элементов территориально распределённой системы позволило создать виртуальную лабораторию, объединяющую в ЛВС с мобильными узлами отдельные группы учебно-научных MP, физически расположенных в разных городах (г. Владивосток и г. Москва).

Во второй г/iaee на основе подробного анализа особенностей СТЗ, предназначенных для установки на мобильные аппараты, приведён комплексный подход к построению подобных систем, составляющий концепцию построения управляемой многокамерной СТЗ.

Основные функции рассматриваемых СТЗ подразумевают наличие, как минимум, следующих компонент:

1. Один или несколько датчиков оптического излучения с соответствующей оптикой и электронной системой формирования видеосигнала (телекамера).

2. Система сбора видеоданных и фильтрации видеосигнала (аналоговая или цифровая) для коррекции искажений видеосигнала и преобразования изображения в иную форму представления (например, спецпроцессор для предобработки видеосигнала и/или видеосервер для преобразования аналогового видеосигнала в цифровую форму, его сжатия и приведения к стандарту Ethernet, и т.п.).

3. Система формирования радиоканала (приём-передача) для связи между бортовым модулем (БМ) и пультом управления (коммуникационная среда). Канал связи может использоваться как для передачи видеоданных (и телеметрии), так и для передачи на борт управляющих команд, например, при использовании телекамер, установленных на поворотно-наклонной платформе.

4. Пульт управления (ПУ), включающий систему формирования радиоканала (приём-передача), интерфейс оператора (пульт оператора с элементами управления) и систему преобразования видеосигнала в растровое изображение на мониторах (это может быть стандартный ПК или специализированный вычислитель).

5. Системы питания электронных блоков, в том числе автономного для мобильных модулей.

6. Вычислительное устройство БМ мобильного робота с супервизорным управлением, выполняющее анализ данных и формирование цели управления.

7. Выносные модули (ВМ) с установленными на них управляемыми телекамерами; ВМ («спутники») размещаются в непосредственной близости от места работы MP и позволяет оператору со стороны наблюдать за работой ею исполнительных механизмов. Эти устройства должны быть автономны (должны иметь элемент формирования радиоканала для непосредственной связи с ПУ). ВМ могут размещаться на упрощённом подвижном шасси (на роботе-наблюдателе).

При использовании на MP многокамерной СТЗ возникает проблема передачи по радиоканалу многопотокового видео. Использование широкополосного радиоканала, защищенного от индустриальных и иных помех, - это затратный путь, поскольку он требует установки на обеих сторонах дорогостоящей высокочастотной многоканальной аппаратуры и получение частного решения Государственной комиссии по радиочастотам (ГКРЧ) на использование радиоканала в разрешённом диапазоне частот. Иной путь подсказывают современные разработки из области сетевых технологий. Переход от аналоговой техники к цифровой позволяет использовать аппаратное сжатие изображений, что позволяет решить эту проблему более дешёвым и надёжным способом. Для цифрового способа представления видеосигнала существенно упрощается создание радиоканала, например, если использовать беспроводную технологию стандарта Wi-Fi. Тогда задача сводится к созданию ЛВС, мобильными узлами которой становятся цифровые телекамеры и вычислительные устройства, устанавливаемые в БМ и ВМ, с одной стороны, и вычислитель в ПУ, с другой стороны. В результате ЛВС становится элементом распределённой ИИУС мобильного робота.

СТЗ приобретает такие свойства ЛВС, как реконфигурируемость -возможность легко наращивать или изменять любые ресурсы СТЗ: телекамеры, вычислители, радиоканалы; распределенность — возможность распределять вычислительные ресурсы между модулями; многопользовательский режим -возможность получать изображения с телекамер одновременно на нескольких пультах оператора и управляемость одновременно с разных ПУ; управление через Интернет - возможность анализировать работу MP и выдавать управляющие команды на любых расстояниях через подключение к СТЗ через Интернет; возможность цифровой обработки сигналов — использование спецпроцессоров и универсальных ЭВМ, что позволяет чисто алгоритмически постоянно совершенствовать используемые алгоритмы обработки изображений и программ управления; высокое качество изображений - возможность использования телекамер высокого разрешения и с высоким качеством цветопередачи; функциональность - по цифровому каналу можно передавать как видеосигнал, так и сигналы управления элементами СТЗ (например, поворотно-наклонными

платформами) и исполнительными механизмами MP; многопотоковость видео -возможность передавать видеосигналы одновременно с нескольких телекамер без снижения качества изображений, что достигается за счёт использования высокоэффективных алгоритмов сжатия последовательности кадров; объединение модулей СТЗ в ЛВС через радиоканал - использование стандарта Wi-Fi или Wi-Max (и т.п.); высокая помехозащищённость - в отличие от аналоговых систем цифровые каналы передачи данных обладают большей помехоустойчивостью; заирпцённостъ - возможность использовать методы защиты информации от несанкционированного доступа (например, VPN-каналы и/или шифрование).

Особенностью использования MP является их работа в экстремальных условиях, в первую очередь это касается РТК для МЧС и, отчасти, учебных роботов (вандалозащищённость). В этом случае телекамеры должны быть уличного исполнения и быть работоспособными в большом диапазоне температур окружающей среды. Такие IP-телекамеры очень дороги и их повреждение, например, при разборе завалов, может привести к дорогостоящему ремонту. Поэтому на мобильной части следует устанавливать относительно дешёвые аналоговые телекамеры, а обработку видеосигнала (преобразование в цифровую форму, сжатие и приведение к стандарту Ethernet) следует производить с помощью видеосервера, который должен устанавливаться в защищенном месте.

Известно, что устройства Wi-Fi имеют ограниченный радиус действия. Для его увеличения следует идти несколькими путями. Самый простой из них -повышение мощности точки доступа (приёмо-передатчика), что не всегда возможно из-за сложного порядка регистрации и получения частного решения ГКРЧ. Второй путь - это использование узконаправленных антенн, что, как правило, затруднительно в случаях мобильных систем. Третий путь - создание повторителей (репитеров) радиосигнала на тех же точках доступа. В этом случае радиоканал между неподвижным (или малоподвижным) репитером и ПУ организуется с помощью узконаправленных антенн, формируя тем самым устойчивый радиоканал большой дальности, и репитер, который устанавливается недалеко от MP, в свою очередь формирует радиоканал с БМ с помощью всенаправленной антенны.

С помощью репитеров решается проблема работы MP в условиях городских кварталов, когда распространению радиосигнала мешают здания и иные препятствия. Известна способность оборудования Wi-Fi работать на отражённых сигналах. Кроме того, точка доступа (с антенной), питание которой осуществляется по стандарту РоЕ, может быть вынесена от пульта оператора на расстояние до 100 метров при их соединении с помощью кабеля типа «витая пара» (UTP), что позволяет управлять работой MP даже в условиях подвалов или из-за защитной стены. Такой вынос антенны от приёмо-передатчика при использовании аналоговых систем невозможен из-за сильного затухания сигнала в ВЧ-кабеле.

В третьей главе приведены результаты использования предложенной концепции при разработке управляемых многокамерных СТЗ для РТК BROKK-llOD и BROKK-ЗЗО (Рис.2а и Ь). На основе предложенной концепции были разработаны и изготовлены также учебно-научные MP тина «АМУР» (Рис.2с) и MP на основе макета марсохода (Рис.2с1). Их объединяет использование унифицированной элементной базы для объединения компонент СТЗ в ЛВС.

a) b) с) ................d)

Рис. 2. Робототехнические комплексы BROKK-110D (а) и BROKK-330 (b), MP типа «ЛМУР» (с) и робот высокой проходимости «Марсоход» (d) Работы по созданию СТЗ для РТК были проведены для 294 Центра по проведению спасательных операций особого риска МЧС России. В рамках данного проекга на борт каждого РТК установлено 3 стационарно закреплённых телекамеры с ИК-подсветкой (одна сзади и две спереди по бортам) и одна скоростная купольная телекамера, снабженная управляемым поворотно-наклонным механизмом и системой 10-кратнош оптического масштабирования (PTZ). Кроме того, изготовлено три выносных модуля (ВМ): один для BROKK-llOD и два для BROKK-330, снабжённых такой же купольной телекамерой, и два репитера (по одному на каждый РТК). Имеется система дистанционного программного управления системой PTZ всех купольных телекамер (как на борту, так и на ВМ).

Все компоненты СТЗ объединены в ЛВС. Для обеспечения надежного радиоканала были проведены исследования по поиску оптимальных настроек всех компонент системы. Разработано специальное программное обеспечение (ПО), которое совместно с соответствующими настройками параметров видеосерверов и точек доступа обеспечило надёжную и устойчивую передачу стандартного видеосигнала на расстояние более 200 м от всех пяти/шести телекамер на ПУ в зоне прямой радиовидимости. Для увеличения дальности связи (более 400 м) было изготовлено устройство-ретранслятор с автономным питанием для ретрансляции на пульт управления (ПУ) радиосигналов с бортового модуля (БМ) и ВМ. Точка доступа ПУ подключается к системам ПУ по кабелю FTP длиной до 100 м; совместно с ретрансляторами данное конструктивное решение позволило обойти условие прямой радиовидимости. Был разработан программный модуль, обеспечивающий устойчивую работу с видеопотоками (в том числе устойчивость к пропаданию отдельных кадров), и выполняющий на ІГУ формирование изображений в телевизионном стандарте на экранах двух мониторов от всех 6 телекамер одновременно. Удаленное управление системой PTZ всех купольных телекамер и переключением 6 экранов на 2-х мониторах осуществляется с помощью специально разработанного ПО.

Основой для ПО является операционная система (ОС) Linux Ubuntu. При разработке программ использован язык программирования Python, который позволяет выполнять быструю разработку и отладку программ за счет динамической типизации языка, что дает возможность оперативно вносить изменения в архитектуру Г10.

Использование данных результатов подтверждено актом о внедрении, выданным автору руководством 294 Центра по проведению спасательных операций особого риска МЧС России. РТК с установленными на них СТЗ в 2009 - 2011гг. прошли испытания в реальных условиях при ликвидации аварий, что подтверждает обоснованность предложенной концепции.

■"Уі

Рис. 3. Схема оптической системы робота «Кронус»

В четвертой главе исследуется возможность использования СП кругового

---------........................... обзора с одной телекамерой (рис.3) для решения

ряда навигационных задач МР в автономном

режиме. Решение данной проблемы позволяет

обеспечить полноту получения видеоданных без

использования многокамерной СТЗ. Цель —

разработать методы анализа видеоданных, на

основании которых возможно формирование цели

управления средствами бортовых систем.

Одновременно с достижением основной

цели решааась задача создания площадки для

проведения практических занятий для студентов

старших курсов механико-математического

факультета МГУ Был разработан и изготовлен

робот «Кронус», предназначенный для участия в

соревнованиях Фестиваля «Мобильные роботы».

Круговой обзор обеспечивается

установленным в оптической системе СТЗ зеркальным- конусом, с помощью

которого круговая панорама проецируется на поле фотоматрицы телекамеры.

Основная задача СТЗ такого робота - обнаружение специального ИК-маяка и

определение азимута и расстояния до него. Как сами обьекты-маяки, так и фон

имеют на плоском изображении специфический вид - маяк из практически

точечного обьекта превращается в

вытянутое пятно. На изображении

проявляются блики от любых

источников света, попадающих в

поле зрения оптической системы

телекамеры. На рис.4а приведён Рис. 4. Этапы фильтрации изображения «маяка» гф1щер такого юображения.

Маяки имеют ряд особых признаков, позволяющих выделить их на изображении. Во-первых, маяк является источником ИК-излучения; следовательно, часть «ложных» объектов можно отфильтровать с помощью ИК-фильгра (рис.4б). Видно, что флуктуационные шумы остаются весьма значительными и часть ложных объектов всё ещё проявляется на изображении; поэтому были применены методы сегментации изображения. В первой версии робота «Кронус» был использован адаптивный метод пороговой сегментации. Опыт показал, что метод обладает низкой точностью и требует больших вычислительных мощностей для организации динамической адаптации к быстро меняющемуся при движении робота изображению.

Во-вторых, маяк мигает с частотой 16 Гц. Было предложено использовать межкадровую разность с целью выделения объектов и подавления помех. Метод основан на предположении, что объекты, не являющиеся маяками, за короткий промежуток между двумя последовательными кадрами не могут изменить мощность своего излучения сильнее, чем это сделает маяк. На рис.4в приведён

пример разностного изображения между двумя соседними полукадрами (модуль разности). Основная часть ложных объектов исчезает; остаётся лишь высокочастотный флуктуационный шум. Теперь можно использовать простой пороговый метод сегментации с постоянным значением порога.

Однако на разностном изображении всё ещё остаётся часть «шумовых» элементов. С целью повышения помехоустойчивости алгоритма было предложено использовать метод фильтрации по связности. Анализ связности проводится в предположении, что объект (маяк) формирует на разностном цифровом изображении достаточно плотное множество точек.

Определение. Метод фильтрации по признаку и-связности - это преобразование матрицы изображения А еМ(тх п)к матрицей е М{тхп): Г О, П(Л)(*',у)<н

О(Л)(|,у)>и

На рис.4г приведен пример фильтрации разностного изображения для п = 3.

С целью локализации объектов-маяков определяются их азимуты и дальности до них. Цифровое изображение разбивается на сектора с углом в центре, и вычисляется сумма значений яркостей пикселей разностного изображения, принадлежащих каждому из секторов. В результате получим массив чисел, который назовем развёрткой по окружности. Угол, образованный лучом, соответствующим направлению движения робота, и лучом, соответствующим направлению на локальные максимумы полученной функции, определяет азимут объекта-маяка.

Дальность до объектов-маяков определяется расстоянием их образов от центра изображения, совпадающего с оптическим центром. Выполняется проекция всех точек секторов, которые пересекаются с выделенным на первом этапе объектом, на луч, проходящий через центр изображения и точку на окружности, соответствующую локальному экстремуму, полученному на предыдущем этапе «суммирования на окружность». Далее, луч разбивается на отрезки и вычисляется сумма значений пикселей разностного изображения, попавших в каждый из отрезков (суммирования на радиус). В результате получается функция, локальные максимумы которой, соответствуют центрам объектов.

Оказалось, что вычислить с необходимой точностью расстояние до маяков по их проекциям на фотоматрице телекамеры не удаётся вследствие не идеальности оптической системы. Была построена математическая модель реальной оптической системы, учитывающая неточности её изготовления, для двух вариантов конструкции оптической системы (д < 0 и ц > 0, см. рис.3). Было показано, что из-за ошибок в расположении и ориентации зеркального конуса, объектива и фотоматрицы окружность радиуса I на плоскости маяков преобразуется на плоскости фотоматрицы в улитку Паскаля (рис.5, для ц < 0), причём для определения закона преобразования пространственных координат объекта в координаты проекции объекта на плоскости фотоматрицы достаточно на этапе калибровки сделать всего 4 измерения.

На основе видеоданных, получаемых с помощью СТЗ кругового обзора, роботом «Кронус» были успешно

Клпжнис маяки Дальни* «шя

Рис 5 Улитки Паскаля решены следующие элементы автономной навигации: движение из произвольной точки полигона на маяк,

прохождение ворот, образованных двумя маяками, движение вокруг двух маяков -«восьмёрка», прохождение нескольких ворот с последующим выходом на одиночный маяк — «змейка», прохождение по траектории, несколькими маяками -«куча».

Для распознавания бело-чёрной полосы на чёрно-белом шахматном поле полигона робот был снабжён дополнительной телекамерой. Полоса имеет сложную траекторию, и задача состояла в организации автономного :

движения робота по этой траектории. Был разработан ! М.....

алгоритм, использующий кластерный анализ, который I практически нечувствителен к таким помехам как блики. рИс.6. Пример Пример работы алгоритма приведен на рис. 6. распознавания полосы

Таким образом, экспериментально показана эффективность предложенных методов комплексной сегментации изображений при использовании СТЗ кругового обзора для автономного решения навигационных задач.

В пятой главе рассматривается вопрос обеспечения достоверности получения сенсорных данных за счёт улучшения технических и эксплуатационных характеристик используемых в СТЗ линейных и матричных многоэлементных приёмников оптического излучения посредством обработки видеосигнала с помощью специализированных цифровых процессоров. Предложены методы обработки видеосигнала, отличающиеся высокой эффективностью, приведены варианты функциональных схем соответствующих спецпроцессоров.

I. СТЗ, использующие сканирующую линейку фотодатчиков.

Подобные системы обычно используются в тепловизорах, когда фотоприёмные устройства (ФПУ) с линейкой устанавливаются в систему оптико-механического сканирования. В таких системах видеосигнал формируется в процессе последовательной коммутации фотодатчиков, которые, как единое целое, перемещаются в направлении, перпендикулярном расположению фотодатчиков на линейке. В процессе сканирования каждый из N фотодатчиков формирует электрический сигнал Щх), величина которого, пропорциональна потоку излучения Е,(х), попадающему на фотодатчик через объектив. В результате каждый фотодатчик: формирует одну строку изображения.

В большинстве случаев функция преобразования излучения в электрический сигнал фотодатчика может быть описана следующей моделью:

и,.(х) = 5,£((х)+^ , для /= 1,2,..., N, (1)

где: - интегральная чувствительность /-го фотодатчика (0 < < 1);

V, - составляющая, обусловленная темновым током фотодатчика (К, > 0 ).

Несоответствие сигнала Щх) изображению Е,{х) возникает вследствие разброса значений { } и значений { V,}. Данное явление принято называть геометрическим шумом многоэлементного ФПУ. Особенно сильным геометрическим шумом отличаются ФПУ ИК-диапазона.

Учитывая линейный характер модели фотодатчика (1) можно выполнить коррекцию видеосигнала:

У;(Х) = Л:,[[/((*)+С,Ьдля/= 1,2,..., N, (2)

где: С, — аддитивный корректирующий сигнал (С, = —К);

Ki - мультпликативный корректирующий сигнал (К, = A/S,).

В процессе эксплуатации линейки фотодатчиков под воздействием целого ряда факторов происходит изменение параметров {5,} и { V,}. Время, в течение которого чувствительность фотодатчика изменится на величину, соизмеримую с его пороговой чувствительностью, много раз больше времени сканирования одного кадра изображения.

Процесс коррекции разделяется естественным образам на две части: одна - это собственно компенсация неравномерности видеосигнала по формуле (2), которую следует выполнять с частотой опроса фотодатчиков линейки, и другая - это вычисление корректирующих коэффициентов, которое может выполняться с более медленной скоростью.

Недостатком известных способов эталонной коррекции геометрического шума является низкая точность компенсации вследствие большой сложности организации равномерной засветки (особенно в ИК-диапазоне), а также из-за влияния флуктуационных шумов датчиков и эталонных источников излучения. Известен безэталонный способ, основанный на предположении, что изображение есть случайная функция яркости, обладающая свойством эргодичности. Однако использовать свойство эргодичности можно лишь в случае, когда имеется совокупность нескольких тысяч или миллионов кадров.

Предлагается метод, использующий модель изображения, основанную на сильных корреляционных связях смежных строк изображения. Это позволяет повысить точность вычисления корректирующих коэффициентов при малой длине реализаций. Изображение рассматривается как N реализаций (строк) конечной длины (X = L) случайной функции яркости Е,(х), где / - номер строки, которые обладают следующими свойствами:

1. Вероятность того, что в пределах одного кадра дисперсии функции яркости D,{E) и A+i(E) смежных строк одинаковы (событие Aii+i), много больше вероятности того, что они различны (событие В,,ц): /'(Д.,.,) »

2. Вероятность того, что в пределах одного кадра средние значения функции яркости Е, и Я,,,смежных строк одинаковы (событие FiM), много больше вероятности того, что они различны (событие //, ,+,): /•(/■: м ) » Р(Н, 14J ).

3. События 1 и B,j,\, а также F,J+[ и //,,+, образуют соответственно полную группу событий: Р(АШ) + P(BUJ = 1 и P(Fljtl) + ?(Я,,+1) = 1.

Используя данные свойства, можно вычислить относительные значения ( S, } и { V, } из итерационных формул:

¡К =

-Q,j«+V«-G,M (3)

(С-6м,

J = k\

где = л/Д((/)/Д+|(С0, а7+, = £/,. -С^ ■ С/,+1, для каждого кадра; О — дисперсия видеосигнала, к — номер опорного фотодатчика.

Повысить точность вычисления переходных коэффициентов £,<?>, и 0« можно простым усреднением по р значений этих параметров, полученных для последовательности из Р кадров (Р>3). Очевидно, что с увеличением числа разносюжетных кадров возрастает точность вычисления данных параметров.

Введём в модель изображения еще одно свойство, основанное на сюжетных различиях в кадрах:

4. События Аи+1 и Вт, а также /^,+1 и Н,^ для любой из N-1 пар смежных строк в разных (т и п) кадрах независимы:

, вгм)=пя*) • ) и , н?м)=). р(н:м >.

Так как { 5/ ] имеют случайный характер, то и {(У| в пределах одного р-го кадра будут иметь случайные значения. Однако для каждой пары соответственных смежных фотодатчиков значение будет повторяться во всех (./-) = /1+, кадрах. Тогда для каждой пары смежных фотодатчиков переходные коэффициенты, вычисленные по разным кадрам, в большинстве случаев будут иметь близкие (типовые) значения, и лишь для отдельных т кадров будут от них отличаться. Используя терминологию теории ошибок, значения { С/"}, } назовём аномальными. Аналогичный результат имеет место и ДЛЯ { }. Повысить точность вычисления переходных коэффициентов можно посредством отбрасывания аномальных значений. Для этого можно использовать критерий Шовене или методы кластерного анализа.

На основании предложенного метода были разработаны варианты спецпроцессоров, способных со скоростью сканирования выполнять компенсацию разброса параметров линейки фотодатчиков (Рис.7).

! АЦП ]_ огг/

3 ! 4

1 I

Макропроцессор

Блок синхронизации

регистр & ) Г~ ...........

б г 11 Регистр К^

; ЦАП ; ; ЦАП ;

м

; Ш'-« : 41

: : ГЧ

1 Л 1 Ж.

| АНП 1 3

Микрипршшдор :

т

Клок тШфМННШЦЖ!

Г'еП1сг[)

Регистр А, ;

!

*

Гч |И ¡у

а) Ь)

Рис.7. Функциональные схемы спецпроцессоров

Решение на рис.7а, требует использования многоразрядного скоростного аналого-цифрового преобразователя (АЦП) из-за больших темновых токов фотодатчиков (¿', х Е,(х) « V), что потребует соответственного увеличения разрядности ОЗУ и регистров, необходим более сложный и более дорогой микропроцессор. В решении на рис.7Ь за счёт обратной связи аддитивная составляющая вычитается из входного сигнала до АЦП. Однако такое решение потребует усложнения алгоритма работы микропроцессора.

Для исключения

СМ*

сЦУ'

СМ.У

эп»

1

ФПУ

эп,

Рис.8. Вариант ФПУ

высокочастотных шумов коммутации, предлагается " ] изменить схемотехническое решение ФПУ (рис.8). Вводится дополнительный коммутатор аналоговых сигналов (I), на который синхронно подаются Г - значения аддитивного корректирующего сигнала. I Вводятся N элементов хранения аналогового сигнала (ЭП) и на каждый канал фотодатчика устанавливается аналоговый сумматор (СМ,). Тогда между сменой кадров коммутатор передает с, значения корректирующих сигналов на соответствующие ЭП. которые сохраняют эти значения неизменными во время активной части сканирования. Сумматор 10 из схемы исключается, весь тракт компенсации аддитивной составляющей оказывается низкочастотным, что существенно повышает помехоустойчивость устройства.

Было выполнено компьютерное моделирование спецпроцессора

(рис.7а). В качестве исходных использовались 16 разносюжетных цифровых чёрно-белых изображений формата 512x512 пикселей при 256 уровнях квантования видеосигнала. Параметры линейки были сгенерированы генератором псевдослучайных чисел с равномерным распределением с пределами разброса параметров 0,1 < $ < 1,0 и 0 < У, < 230. Было реализовано три метода вычисления корректирующих коэффициентов по нескольким кадрам: метод накопления статистики (рис.9а), метод усреднения переходных коэффициентов (рис.9Ь) и з«ачм«еи»0Ул»»г

метод усреднения с отбрасыванием Рис.9. Результаты экспериментов по аномальных значений (рис.9с). коррекции геометрического шума

Все методы исгтытывались на одинаковых последовательностях изображений. В качестве критерия была использована зависимость количества «ложных» контуров п, появившихся на скорректированном изображении ровного фона, от значения модуля лапласиана (величина контурного сигнала), попадающего в заданный диапазон, поскольку воздействие геометрического шума приводит к появлению на таком изображении контуров подобного типа. Выбор данного критерия определяется его согласованностью со свойствами зрения человека.

Метод накопления статистики показал наилучшие результаты даже при небольшом количестве исходных изображений, причём при использовании семи и более входных изображений наблюдаются практически одинаковые показатели

эффективности. Можно предположить, что метод с отбрасыванием аномальных значений при той же эффективности будет более устойчив к качеству входных изображений.

Сократить количество анализируемых кадров и повысить точность коррекции можно за счёт организации сканирования одного и того же участка изображения соседними светочувствительными элементами линейки. Тогда согласно (3) даже для одного изображения за время двух сканирований можно получить точные значения переходных коэффициентов. Однако при подвижных изображениях будет возникать существенная ошибка. Кроме того, подобное внесение изменений в систему сканирования является сложной технической задачей.

Предлагается подобную организацию сканирования выполнять за счёт движения самого изображения. Если в течение времени нескольких кадров оптическое изображение перемещается по прямолинейной траектории в направлении, перпендикулярном направлению сканирования со скоростью, существенно меньшей скорости сканирования, то достаточно найти критерий, по которому можно определить момент, когда изображение переместится на величину межэлементного расстояния. Сложность решения данной задачи заключается в наличии сильного геометрического шума в видеосигнале.

В соответствии с (1) отсчеты j выходного сигнала смежных фотодатчиков при сканировании соответственно /'-й и (/'- 1)-й строк оптического изображения можно представить (пока без аддитивной составляющей) в дискретном виде: ии = S, X Et ¡ и [/,..,J = X .

В процессе перемещения линейки фотодатчиков перпендикулярно направлению сканирования (г - 1)-й фотодахчик постепенно будет приближаться к участку изображения с яркостью Ец, и в тот момент, когда (/'- 1)-й фотодатчик займет место /-то фотодатчика, т.е. будет сканировать но строку оптического изображения, для всех j отсчетов строки

Л = Ln{Uu) - = I«(S,) - Ь(5М) = Л£ = Consí.

Для фиксации этого момента необходимо сначала для ¿-го фотодатчика и для всех j его отсчетов запомнить значения tf' = Ln(U1;]), где индекс [Í] означает номер сканируемой строки оптического изображения, и с периодичностью сканирования выполнять вычисления по формуле = /J/' - ) при каждом q-u

сканировании. В идеальном случае, когда (/' - 1)-й фотодахчик займет место ¡-го фотодатчика, для кавдой пары отсчетов m и и (из M отсчетов на строке) •Л'Г-Í" = =0 для всех m i-п. Тогда можно предложить следующий

интегральный критерий, позволяющий работать с реальным изображением:

У-2

где dq - линейное расстояние между /-й строкой оптического изображения и центром чувствительной площадки (¡^1}-го фотодатчика при q-u сканировании, г = m - п > 1. Минимум функционала Jij4(d) соответствует моменту, когда (i - 1)-й фотодатчик будет сканировать йо строку изображения.

Предложенный критерий можно применить и к случаю, когда в видеосигнале фотодатчика присутствует аддитивная составляющая. Для этого достаточно выполнить дифференцирование видеосигнала вдоль строки и использовать модуль полученных значений в качестве входных данных.

Эффективность метода был а проверена путем моделирования на

■и

'ГТ 1|

¡и:

1 м

2.1 .2.2. '2.3

■2JK

ujr^i'iJ,

ш

|4Ж

Исходное изображение

ад' :.ЫМ'

т

АХ

в

Направление сканирования

Рис.10. Моделирование сканирования изображения фотоприемной линейкой

результате одного сканирования

ЭВМ

работы сканирующей линейки фотодатчиков с использованием двух цифровых изображений разного контраста формата 2790x480 пикселей, полученных из аэрофотоснимков. Параметры модели приведены на рис.10. Значение выходного сигнала (отсчет) есть нормированная сумма значений яркости цифрового изображения в окне аха (а = 20) пикселей исходного цифрового изображения. Фотодатчики располагаются по вертикали (Л = 25 пикселей). Разброс по чувствительности составляет 25%.

Считается, что сканирование выполняется в горизонтальном направлении, и отсчёты видеосигнала производятся с шагом Ь пикселей, исходного изображения формировалось

цифровое изображение формата ЫхМ элементов дискретного растра (М=80). Перемещение оптического изображения в направлении, перпендикулярном направлению сканирования, моделировалось смещением «окон», на один пиксель исходного изображения (А* = Ду) за один кадр. В результате через 50 кадров каждый фотодатчик займёт на исходном изображении место своего предшественника (смежного фотодатчика). Результаты моделирования для контрастного входного изображения приведены на рис. 11.

а)

/

b)

.»■■■So рійцх / : / / djL

V

/

1

d)

Рис.11. Результаты моделирования отслеживания строки Рис. 11а соответствует эксперименту, когда r = 1. Рис.lib - исходный вариант при г = 5: использование менее коррелированных отсчётов приводит к улучшению вида функции - она становится более гладкой с хорошо выраженным экстремумом. Рис.Пс - моделируется движение исходного изображения под углом а=5,7° к нормали относительно направления сканирования. С увеличением угла а (до 11 ) экстремум функции становится менее выраженным и происходит небольшое смещение положения экстремума, Рис.Ш - вариант с дифференцированием видеосигнала вдоль строк при г = 1: многомодальность определяется, по-видимому, существенным снижением количества ненулевых значений разностного сигнала.

Моделирование показало: а) критерий позволяет зафиксировать смещение изображения на величину межэлементного расстояния с точностью до долей этого расстояния; Ь) критерий устойчив к разбросу параметров фотодатчиков линейки; с) критерий устойчив к качеству исходного изображения; d) критерий устойчив к изменению направления смещения (в пределах ±11°) оптического изображения относительно направления сканирования.

II. СТЗ, использующие матрицу фотодатчиков. Широкое применение фотоматриц дальнего ИК-диапазона в системах СТЗ наталкивается на проблему геометрического шума. Одним из известных методов «выравнивания» параметров фотоматриц является метод эталонирования, недостатки которого были описаны ранее. Воспользуемся методом временной задержки и накопления (ВЗН), который широко применяется в специальных приборах с зарядовой связью (ПЗС). Особенность режима ВЗН заключается в организации перемещения ПЗС-матрицы относительно оптического изображения в направлении, перпендикулярном строкам, и синхронно с ней электрических зарядов. В результате суммирования на выходе формируется электрический сигнал, эквивалентный тому, который был бы получен -¡г ^ , чувствительным элементом фотоматрицы с параметрами, усредненными по столбцу элементов.

__ ^ Используем принцип ВЗН для

--—.....«смотрящих» фотомшриц, работающих

ПлОП ' Х П- ■ ГПТЕЧОСЮГ' -

к-: ••;»» без систем оптико-механического

; сканирования. Введем в оптическую

систему дефлектор, способный отклонять оптическое изображение на малые углы (на 1-3 межэлементного тага Рис. 12. Модель микросканирования фотоматрицы в любую сторону).

Введем три взаимно параллельные плоскости I, II и III, как показано на рис.12. Оптическое изображение задаётся в плоскости I в системе координат (X, У). Путем ортогональной проекции отобразим координатные оси плоскости I на плоскости II и Ш. Построим координатные сетки с одинаковым шагом Дх = Ду равным межэлементному шагу фотоматрицы. В начальный момент времени проекция точки 01 совпадает с точками 02 и 03. Управляемое смещение оптической проекции изображения по полю фотоматрицы опишем как смещение сетки (п, т), жестко связанной с фотоматрицей в плоскости II, относительно системы координат (X, У), связанной с оптическим изображением Е(ху). Смещение может производиться лишь на целое число шагов (р, и), причем величина шага совпадает с межэлементным шагом фотоматрицы.

Согласно (1) функция преобразования излучения в электрический сигнал: ии(х,у) = х Е{и](х,у) + ,

где Е^'\х,у) -значение функции яркости участка оптического изображения с координатами (х, у), проецируемого на (г,_/)-й фото датчик ((х, у) ¿0). Используя переходные уравнения: х = Ахх(п+р) и у = Аух(т + и\ можно записать выходной сигнал фотодатчиков при смещении на {р, и) шагов:

и1Т = хЕ((п + р)х&х,{т + и)х&у)+ К .

Выполним смещение полученного цифрового изображения в обратном направлении на (-р, -и) шагов с тем, чтобы «компенсировать» первоначальный сдвиг оптического изображения. Проекция смещённого цифрового изображения с плоскости II на плоскость III дает выходное изображение (р, и)-й реализации, записанное на дискретной сетке (/, у) через уравнения перехода: / = п +р и/ = т + и.

+ЙЖ

■ Пф.чкоСИ* иг..»; | т <}х:т>ътрЩ'

ГЕчоа ■'СП- и 1.\'.',иы\>

В результате (р, и)-я реализация цифрового изображения

и<>") = х £(< х Ах,7 х Ду) + У^ .

Конечным итогом метода является цифровое изображение, полученное методом усреднения отдельных реализаций:

£/<? = Е(&хх1,&ух j)x■~ £ Д £ » (4)

о р=-г, «—г, 0 г—> «—'1

где (5 - число усредняемых реализаций (для квадратного растра, образуемого сдвигами, /7 = (V 1 )/2).

Используя (4), получим выражение для дисперсии выходного сигнала:

Ф,'":»]=Й] + Е-(гк Ах, jxAy)x^.

1 6 5

Видно, что в результате пространственно-временного накопления по окрестности в 5 элементов происходит снижение дисперсии видеосигнала, вызванной неоднородностью параметров фотодатчиков матрицы, в 5 раз. Назовём предлагаемый метод пространственно-временным накоплением (ПВН).

Для существенного снижения влияния геометрического шума методом ПВН необходимо усреднение по большому числу элементов фотоматрицы, что сопряжено с трудностями организации большого смещения оптического изображения относительно фотоматрицы. Кроме того, это приводит к увеличению числа кадров, необходимых для усреднения.

Анализ модели зрительной системы человека приводит к совершенно иному способу борьбы с разбросом параметров матричных ФПУ. Обработку видеосигнала можно организован, аналогично той, которая предположительно используется в зрительной системе человека, когда выделение контуров происходит за счёт использования дрейфа зрительных осей глаз. Для восстановления изображения применяется способ анализ-синтез: выделение контурного сигнала изображения (анализ) и затем восстановление изображения из контуров (синтез) путем сложения с низкочастотной компонентой изображения.

Сам по себе способ анализ-синтез геометрический шум не устраняет. Существенным является способ пространственно-временного выделения контуров, заимствованный из модели зрительной системы человека и реализованный с помощью управляемого дрейфа оптической проекции изображения на поле фотоматрицы и процессорной обработки.

Способ заключается в сдвигах оптического изображения относительно ФПУ, преобразовании этого изображения в электрический сигнал при каждом сдвиге, запоминании отсчетов в памяти, выделении с помощью процессорной обработки высокочастотной и низкочастотной компонент изображения и суммировании этих компонент в определенных пропорциях. В отличие от других способов, использующих суммирование частотных компонент, в данном способе для выделения сигнала высокочастотной компоненты используются сигначы от точки входного оптического изображения и точек её окрестности, которые считаны одним и тем же светочувствительным элементам фотоматрицы.

Вернемся к рис.12. Возьмем разность значений сигналов, считанных (г,у)-м элементом фотоматрицы, при отсутствии сдвига и при сдвиге на (р, и):

цсм) _{/№»)= , х х Дх,} х Ду) - 5,. (х £((/ + р) х Ах, (_/ +■ и) х Ду). (5)

Выполним усреднение разностных сигналов (5), полученных при всех значениях (р, и) сдвигов оптического изображения (для г =вг- ту

Щ» = ^ Е Ё К хЕ('х Лх>} * Д-у)" ^ х £((( + р) X д*, С/ + И) X Ау)] , или после несложных преобразований

= £(/ХДх,7ХД^)-1^^£((/ + Р)ХД»:,ОЧИ)ХА^) . (6)

Разность между значением яркости в точке (<хДх,ухДу) и усреднённым значением яркости в ее окрестности дает высокочастотную компоненту оптического изображения, т.е. разностный лапласиан:

АЕ^ = £(/ х

Тогда выражение (6) для выходного сигнала фотоматрицы принимает вид

ДУ^^хДЕ^ . (7)

Будем называть полученный сигнал контурным изображением.

Таким образом, выходной сигнал с элементов фотоматрицы представляет собой сигнал от высокочастотной компоненты оптического изображения, подверженный воздействию геометрического шума фотоматрицы. Возникновение «ложных» контуров невозможно, так как все сигналы от (/хДх,ухДу)-й точки оптического изображения и точек ее окрестности, считаны одним и тем же (/,у)-м элементом фотоматрицы. Поэтому, согласно выражению (7), на тех участках исходного изображения, где контуры отсутствуют (А/;/'1 = 0), значение высокочастотной компоненты будет нулевым; там, где эти контуры есть (Л£,'7* 0), очи будут и на котурном изображении, правда искажённые воздействием геометрического шума. В соответствии со свойствами зрительной системы человека мультипликативная помеха, действующая на контурный сигнал, не оказывает влияние на восприятие синтезированного изображения.

Контурное изображение в совокупности с граничными значениями, взятыми из исходного изображения, содержит всю информацию об исходном изображении; поэтому в обратном преобразовании (из контурного изображения в исходное полутоновое) формально нет необходимости. Это действительно так, если СТЗ выполняет автоматический анализ изображения. Если же в системе присутствует человек-оператор, например в системах с супервизорным управлением, то задача обратного преобразования становится обязательной.

Для восстановления полутонового изображения воспользуемся методом суммирования высокочастотных и низкочастотных компонент, который используется в системах с латеральным торможением. Основная операция — это однократное расфокусирование:

+ + + Е<»,)+±(Е?>м + Е&., + + АЕ'У ,

где Е'-' - яркость (/, /)-го элемента цифрового изображения после £-го шага расфокусировки; А - оператор однократной расфокусировки.

Рис. 13. Обработка изображения объекта с реальной фотомагрицы ИК-диапазона

Тогда Ц. = АЕ<°> = - АЕ™, (8)

где Е^' - яркость элемента исходного цифрового изображения.

Изображение, расфокусированное на g шагов, получается последовательным применением оператора однократной расфокусировки А:

^^[А-ДАЯ^А*^' . (9)

Таким образом, приходим к задаче восстановления исходного изображения по контурному изображению (8) и изображению, расфокусированному на £ шагов (9).

Низкочастотную компоненту также можно получить, считывая одним и тем же (¿,/)-м элементом фотоматрицы сигналы от точек окрестности.

На рис.13 приведены результаты экспериментов, выполненные на

специальном научном оборудовании, состоящем из подключённого к ЭВМ самостоятельно изготовленного тепловизора с фотоматрицей размера 64x64 элемента, охлаждаемой с помощью жидкого азота. Фотоматрица имеет максимальную интегральную чувствительность к излучению в диапазоне X = 3 -з- 5мкм. Для организации смещения оптического изображения относительно фотоматрицы был использован пьезокерамический дефлектор, управляемый от ЭВМ.

На рис. 13а приведена фотография изображения, снятая с экрана полутонового дисплея тепловизора. Увидеть малоконтрастный объект на этом изображении не представляется возможным, вследствие значительного геометрического шума.

На рисЛЗЬ приведена фотография изображения, соответствующего высокочастотной компоненте, выделенной пространственно-временным оператором. Можно видеть, что матокштрастный объект (металлическая стрелка на ровном фоне) четко проявляется своими контурами. На рис. 13с приведена фотография синтезированного изображения.

Применение пространственно-временного оператора для выделения еигначов высокочастотной и низкочастотной компонент изображения, привело к перемещению составляющей геометрического шума в сигнале из высокочастотной в низкочастотную компоненту сигнала, что дает возможность избавиться от возникновения «ложных» контуров и, тем самым, существенно снизить влияние геометрического шума фотоматрицы на качество выходного изображения.

Таким образом показано, что повышение достоверности получаемой информации может быть обеспечено за счет цифровой предобработки видеосигнала.

В шестой главе приводятся результаты исследований по созданию механизма группового управления МР на базе разработанного класса электронных тренажёров. Предложено объединение нескольких МР в единую распределённую

ИИУС. На примере создания учебно-научных MP, оснащённых развитой сенсорной системой (включающей СТЗ), и их объединения в территориально распределённые виртуальные классы приведены результаты удаленного управления MP через каналы Internet.

Разработка учебно-научных роботов имеет целью создание MP, предназначенных для обучения молодых специалистов (студентов и аспирантов) навыкам программирования и математического моделирования реальных мобильных робототехнических систем, оснащенных набором различных сенсоров.

В рамках данного направления были разработаны и изготовлены учебно-научные роботы типа «АМУР» (см. рис.2с) и робот высокой проходимости на базе макета «Марсохода» (рис.2с1). Эти роботы снабжены развитой сенсорной системой, включающей телекамеру, ультразвуковой датчик и одометрические датчики, установленные на колесах. На борту каждого робота имеется видеосервер, который преобразует аналоговые сигналы сенсоров в цифровую форму, и микропроцессор, который управляет электродвигателями исполнительных механизмов. Этот микропроцессор имеет канал связи с установленным на борту ПК (типа Netbook), который, в свою очерещь, связан по беспроводному каналу Wi-Fi с вычислителем ПУ. При разработке был использован принцип, полностью соответствующий предложенной концепции, описанной в главе 2. Это позволило объединить ИИУС нескольких учебно-научных MP в распределённую ИИУС посредством создания из компонентов MP локальной вычислительной сета с мобильными узлами, создав тем самым группировку роботов. Было разработано программное обеспечение, учитывающее сетевую структуру распределённой ИИУС.

При создании данных систем были решены следующие задачи. Определён состав комплектующих, обеспечивающих полноту функциональности робота. Определена технология разработки программных комплексов, обеспечивающих удобные средства и интерфейс для удалённого динамического перепрограммирования бортового компьютера. Главная особенность этой технологии состоит в том, что на бортовой вычислитель могут передаваться не только отдельные команды, но и целые программные модули, которые сразу же интерпретируются бортовым вычислителем и исполняются. Это позволило часть сложного процесса обработки сенсорной информации и формирования цели управления переложить на центральный процессор ПУ, а подготовку сенсорной информации к передаче на ПУ и исполнение принятых решений возложить на бортовой вычислитель. Тем самым решается фундаментальная проблема робототехники, заключающаяся в создании программных технологий, обеспечивающих динамическое перепрограммирование бортовых систем MP в процессе исполнения ими локомоционных задач. Разработаны соответствующие функциональные и электрические схемы.

Три учебно-научных робота «АМУР» с супервизорным управлением (колесный, гусеничный и шагающий) с соответствующим ПО были разработаны и поставлены в ДВФУ и ИАПУ ДВО РАН (г. Владивосток). Использование данных результатов подтверждено актами о внедрении.

Владивосток ИЛПУ ДНО РАН

Развитием данного направления явилось создание виртуальной территориально распределённой лаборатории. Использование сетевых технологий для создания СТЗ MP позволило применить тот же подход для объединения ИИУС нескольких MP в территориально распределённую ИИУС. В качестве среды передачи информации был использован Internet (рис.14). Для обеспечения защищённости от несанкционированного досгупа объединение было выполнено посредством VPN-каналов. Проведены работы по объединению ЛВС учебно-научных робототехиических стендов в Институте новых образовательных технологий и информатики РГГУ, в здании ИПМ РАН в Москве и в ИАПУ ДВО РАН (г. Владивосток). Показана возможность осуществлять удалённое управление несколькими MP с одного ПУ или одним MP с нескольких ПУ. В этом случае особую роль приобретают выносные i модули, с помощью которых можно удалённо наблюдать за действиями робота со стороны, контролируя их визуально.

Разработанное ПО позволяет не только удалённо видеть сцену , но и удалённо управлять этими роботами по созданной технологии преодоления неравномерностей и задержек в каналах связи. Вычислительная сеть построена на базе стека протоколов tcp\ip, поскольку такие сети хорошо масштабируются и имеют множественные технические реализации, что позволяет объединять различные программно-аппаратные модули всех MP в единую сеть.

Использование сетевых технологий даёт возможность организовать удалённое управление работой группировки MP. В этом случае должна быть построена трёхуровневая система управления. Первый уровень - это автономные ИИУС отдельных роботов. Второй уровень - операторы MP: один робот - один оператор. Третий уровень - системы правил верхнего уровня, контролируемые и изменяемые командиром, выполняющим координацию работы операторов. В этом случае командир должен видеть всю сцену и получать видеоинформацию с СТЗ всех участвующих в работе MP и выносных модулей. При построении вычислительной сети достаточно включить в эту сеть ПК командира и обеспечить компоненты системы соответствующим ПО по предложенной технологии.

Показано, что в качестве основы для создания такого ПО можно использовать программные решения учебно-тренировочного класса электронных тренажёров (КЭТ), разработанного и созданного для ИТУЦР. Класс был создан на основе программного комплекса «RobSim-4» и включал в себя 8 ПК и один сервер, которые

Рис.14. Виртуальная распределённая лаборатория

составили ЛВС. КЭТ позволяет выполнять одновременное обучение и тренировку до 7 операторов MP одним преподавателем. Здесь, помимо определения структуры сети, была решена задача формирования общей сцены при сетевом взаимодействии до семи роботов, управляемых семью операторами. Тренажёр функционирует в клиент-серверном и одиночном режимах.

В процессе исследования был выявлен и исправлен ряд особенностей работы основного программного комплекса «RobSim»:

1. Использование рабочей станции в качестве сервера в некоторых ситуациях приводит к потере плавности при перемещении роботов у всех участников обучения. Была предложена структура ЛВС с выделенным серверам, на котором рассчитывается физическая модель, а клиенты лишь визуализируют эту модель. В результате данный эффект пропадает.

2. Было показано, что использование многопроцессорных компьютеров (или многоядерных процессоров) не приводит к росту производительности.

3. Если окно тренажёра перестает быть активным, то выполнение рабочего цикла тренажёра приостанавливается. Преодоление данной проблемы было решено путем изменения алгоритма основного цикла обработки сообщений приложения-интерфейса

Такая сетевая и программная структура симулятора, использующая взаимодействие компьютерных моделей мобильных роботов, эквивалентна сетевому взаимодействию элементов трёхуровневой территориально распределенной ИИУС, предназначенной для удалённого управления группировкой MP и может быть перенесена (с определённой доработкой и модернизацией) на реально действующий комплекс из нескольких MP, ИИУС которых объединены в локальную вычислительную сеть. В качестве командира в этом случае выступает инструктор (преподаватель). Автором получен соответствующий акт о внедрении результатов.

Основные результаты исследования и выводы

Благодаря проведенным исследованиям получепы следующие результаты:

1. Разработана новая концепция построения управляемых многокамерных СТЗ для мобильных систем с супервизорным управлением, которая позволила сформировать единые принципы их построения и получить соответствующие технические решения, унифицировать функциональный состав систем и обосновать технические требования к их компонентам. Доказана обоснованность данной концепции путём реализации соответствующих технических решений в виде действующих образцов СТЗ: по единым принципам были разработаны и изготовлены управляемые многокамерные СТЗ для РТК МЧС BROKK-llOD и BROKK-330, а также учебно-научные MP с супервизорным управлением серии «АМУР» и экспериментальный робот «Марсоход».

2. Разработаны методы и получены конкретные решения использования сетевых технологий для объединения как компонент СТЗ, устанавливаемых на борту MP, так и систем удалённого управления в локальную вычислительную сеть с мобильными узлами. Это позволило: организовать устойчивую передачу многопотокового видео по радиоканалу в стандарте Wi-Fi, в том числе при

отсутствии прямой радиовидимости; обеспечить отображение в телевизионном стандарте на мониторах пульта управления полноформатных растровых изображений одновременно с нескольких телекамер; выявить пути совершенствования супервизорного управления мобильными системами.

3. Применение предложенной концепции и сетевых технологий позволило объединить ИИУС нескольких учебно-научных MP в распределённую ИИУС, создав тем самым группировку роботов с возможностью её динамического реконфигурирования. Реализована возможность динамического перераспределения процесса обработки сенсорной информации и формирования цели управления между бортовым вычислителем и центральным процессором ПУ. Такое распределение вычислительных ресурсов в рамках поставленной задачи позволило создать программную технологию, обеспечивающую динамическое перепрограммирование бортовых систем MP в процессе исполнения ими различных локомоционных задач, что решает одну из фундаментальных проблем робототехники.

4. Показана возможность использования модернизированного программного комплекса «RobSim» для построения эффективной системы многоуровневого удалённого управления группировкой MP, что особенно важно для решения задач МЧС.

5. Разработано ПО, позволяющее удаленно наблюдать окружающую обстановку и эффективно управлять роботами на основе созданной технологии преодоления неравномерпостей и задержек в каналах связи. Это дало возможность посредством использования VPN-каналов в Internet объединить в территориально распределённую ИИУС робототехническое оборудование, физически расположенное в разных городах, создав тем самым виртуальную лабораторию, и обеспечить полнофункциональную связь между командным пунктом группировки MP и ситуационным центром.

6. Успешно решена проблема локализации объектов на изображениях с искажённой геометрией, что доказало возможность использования видеоданных СТЗ кругового обзора (360°) с зеркальным конусом в оптической системе для выполнения анализа изображений и формирования цели управления средствами бортовой ИИУС MP. Показана возможность использования такой СТЗ для выполнения задач автономной навигации MP по световым маякам. Показан путь совершенствования супервизорного управления через повышение «интеллекта» бортовой ИИУС MP.

7. Разработаны новые методы эффективной борьбы с «геометрическим» шумом многоэлементных линейных ФПУ, применяемых в специальных сканирующих СТЗ ИК-диапазона. Эти методы позволяют исключить технически сложное использование эталонных источников оптического излучения в прецизионных оптических системах и значительно улучшить технические и эксплуатационные характеристики СТЗ. Предложены варианты построения цифровых спецпроцессоров (в виде функциональных схем).

8. Разработаны новые методы снижения влияния «геометрического» шума многоэлементных матричных ФПУ на качество выходного изображения. Использование специальных методов обработки видео сигналов, имитирующих обработку сигналов в зрительной системе приматов, позволило качественно улучшить технические и эксплуатационные характеристики тепловизионных СТЗ.

Кроме того, эти методы позволяют использовать ранее считавшиеся непригодными ФПУ из-за их низких технических характеристик, что приведёт к существенному снижению стоимости таких систем.

Внедрение перечисленных решений позволило создавать эффективные информационно-измерительные и управляющие системы мобильных роботов, а также обеспечить успешное тиражирование соответствующих аппаратно-программных средств для широкого применения в других областях техники.

Совокупность полученных теоретических и технических результатов позволяет сделать вывод о том, что в представленной работе решена крупная научно-техническая задача, связанная с развитием нового направления в создании мобильных систем с супервизорным управлением на базе сетевых технологий. При этом создана научная и технологическая база для построения высокоэффективных территориально распределённых информационно-измерительных и управляющих систем мобильных роботов, использующих в контуре управления многокамерные управляемые СТЗ.

Основные положения диссертации опубликованы в следующих работах:

Статьи в периодических изданиях по перечню ВАК

1. Андреев В.П. Опыт построения набора основных алгоритмов для задач анализа зрительной информации / Андреев В.П., Вайнштейн IX, Москвина Е.А. // Вопросы радиоэлектроники,сер. Общетехническая.- 1974.-Вып.14.-С.114-125,

2. Андреев В .П. О выделении трехмерного объекта в сложном изображении / Андреев В.П., Вайнштейн ГГ., Москвина Е.А. // Вопросы радиоэлектроники, сер. Общетехническая. -1975. - Вып.8. - С.62 - 69.

3. Анализ изображений трехмерных сцен по их текстурным свойствам / Андреев В.П., Вайнштейн Г.Г., Еги М.Г., Завалишин Н.В., Мучник И.Б., Шейнин Р.Л. //. "Автоматика и телемеханика". -1976. -№1. С. 164-173.

4. Андреев В.П. Устройство для ввода телевизионного изображения в электронную вычислительную машину / Андреев В.П., Вайнштейн Г.Г. // Приборы и техника эксперимента, 1979. -№5. - С.106-109.

5. Андреев В .П. Особенности использования ассиметричных VLAN для построения структурированной локальной вычислительной сети / Андреев В.П., Врублевский В.В. // Информационно-измерительные и управляющие системы. -М.: Изд-во "Радиотехника", 2009. -Т.7, №6. -С.109- 113.

6. Построение системы технического зрения мобильного робота с использованием беспроводной технологии Wi-Fi/Андреев В.П., Кирсанов К.Б., Прысев Е.А., Пронкин В.Ю., Пряничников В.Е., Травушкин А.С.//Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2009. - Т.7, №6. - С.49 - 63.

7. Проблемы построения сети интернет-лабораторий с использованием автономных мобильных учебных роботов "АМУР" / Андреев В.П., Денисов В.И., Кирсанов К.Б., Кувшинов C.B., Левинский Б.М., Пряничников В.Е. // Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2009. - Т.7, №6. - С. 124 -131.

8. Создание класса электронных тренажёров на основе быстродействующей локальной вычислительной сети / Андреев В.П., Кирсанов К.Б., Левинский Б.М. [и др.] // Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2009. - Т.7, №6. - С.82 - 92.

9. Андреев В.П. Адаптивный метод коррекции видеосигнала для систем технического зрения со сканирующей линейкой фотодатчиков / Андреев ВН. // Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2011. - Т.9, №9. - С.77 - 84.

10. Андреев В.П. Метод отслеживания подвижного изображения по видеосигналу сканирующей фотоприёмной линейки в тепловизионных системах контроля продукции / Андреев В.П. // Вестник МГТУ «Сганкин», 2011. - Т.2, №4. - С. 156-160.

11. Андреев В.П. Система технического зрения с круговым обзором для мобильного робота / Андреев В.П. // Мехатроника, Автоматизация, Управление, 2011.-№6.-С.8-14.

12. Андреев В.П. Система технического зрения, использующая свойства зрения человека для борьбы с геометрическим шумом / Андреев В.П. // Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2011. - Т.9, X29.-C.50-55.

13. Андреев В.П. Спецпроцессор для системы технического зрения со сканирующей линейкой фотодатчиюв, выполняющий адаптивную коррекцию видеосигнала / Андреев В.П. // Приборы, 2011. - №4. - С.ЗЗ - 40.

14. Мобильные технологические роботы: система сжатого описания и анализа цветных изображений в реальном масштабе времени / Пряничников В.Е., Андреев В.П. Ивченко В.Д. [и др.] // Информационно-измерительные и управляющие системы. М.: Радиотехника. -2011. - Т.9, №9. - С.56-62.

15. Технологии модернизации и очувствления мобильных роботов специального назначения / Пряничников В.Е., Андреев В.П., Кирсанов К.Б. [и др.] // Известия Южного Федерального университета Технические науки. ISSN 1999-9429. -Таганрог: 2011,- №3.-С.166-171.

Авторские свидетельства СССР, патенты РФ

16. А.С. СССР SU №1282106 А1 от 24.12.1984 по заявке 3828829. Устройство для ввода информации / Андреев В.П., Соколов С.М.

17. Свидетельство об официальной регистрации программы для ЭВМ №990510. -РОСПАТЕНТ, г.Москва, 16 июля 1999г. Комплексная система спасения базы данных на дисках серверов ("ServSave") / Андреев В.П., Заев С.Н. - 1999.

Статьи в гаданиях, включенных в систему цитирования Web of Science (Conference Proceedings Citation Index of Thomson Reuters)

18. Intelligent «head» design for local navigation and distributed control of mobile robots with ultrasonic and TV sensors / Andreev V., Kirsanov K., Kuvshinov S. [et al.] //Annals of DAAAM for 2007&Proc. of the 18th Intern. DAAAM Symp. "Intelligent Manufacturing & Automation", ISSN 1726-9679, Zadar, Croatia 2007. - P.615 - 616 (золотая медаль - лучшая работа года).

19.Pryanichnikov V. Computer vision and control for special mobile robots / Pryanichnikov V., Andreev V., Prysev E. II Annals of DAAAM for 2009&Proc. of the 20th Intern. DAAAM Symp. "Intelligent Manufacturing & Automation" 25-28th Nov., 2009, Vienna, Austria. ISSN 1726-9679.2009. -P.l 857-1858.

20. Andreev V. Multi-access control of distributed mobile robotic systems on the base of networking technologies / Andreev V., Pryanichnikov V., Prysev E. // Annals of DAAAM for 2010&Proc. of the 21st Intern. DAAAM Symp. "Intelligent Manufacturing & Automation" 20-23rd October 2010 Zadar, Croatia. ISSN 1726-9679.2010. - P.15 - 16.

21. Andreev V. Video Signal Correction for Scanning Photocell Array in the IR-Computer Vision Systems / Andreev V. // Annals of DAAAM for 2010&Proc. of the 21st Intern. DAAAM Symp. "Intelligent Manufacturing & Automation" 20-23 rd October 2010 Zadar, Croatia. ISSN 1726-9679.2010. -P.17 -18.

22. Adaptive environment for developing and programming of mobile robots / Pryanichnikov V., Andreev V., Ivchenko V. [et al.] // Annals of DAAAM for 201 l&Proc. of the 22th Intern. DAAAM Symp. "Intelligent Manufacturing & Automation" 23-26th Nov., 2011, ISSN 1726-9679, Vienna, Austria2011. -V.22,No 1. -P.609 - 610.

23. Andreev V. Operation environment of mobile robots with supervision control / Andreev V., Pryanichnikov V. // Annals of DAAAM for 2011&Proc. of the 22th Intern. DAAAM Symp. "Intelligent Manufacturing & Automation" 23-26th Nov. 2011 Vienna, Austria, ISSN 1726-9679,2011.-V.22,No 1.-P.21 -22.

Монографии

24. Эксперименты с машинным зрением: монография / Андреев В.П., Белов Д. А., Вайнштейн Г.Г., Москвина Е.А. - М.: Наука, 1987. - 128с.

Доклады, опубликованные на международных конференциях

25. Концепция программного обеспечения управления интеллектуальных мобильных роботов / Кирсанов К.Б., Левинский Б.М., Пряничников В.Е., Андреев

B.П. // Труды XIX науч.-техн. конф. с междунар. участием: Экстремальная робототехника:. - СПб.: Изд-во Политехи. Ун-та, 2008.- С.257 - 265.

26. Распределенная система IAR и ее применения для симуляции, моделирования гусеничных и шагающих роботов, навигационных, управляющих систем с дистанционными сенсорами / Андреев В.П., Кирсанов К.Б., Кий К.И. [и др.] // Труды междунар. научно-технич. конгресса «Мехатроника и робототехника МиР-2007». - СПб.: Изд-во Политехнического ун-та, 2008. - С.211 - 215.

27. Система технического зрения для супсрвизорпого управления роботизированных средств, построенная с использованием беспроводной технологии Wi-Fi / Андреев В.П., Кирсанов К.Б., Пронкин В.Ю. [и др.] // Материалы XX Междунар. научно-технич. конф.: Экстремальная робототехника. Нано- микро- и макророботы (ЭР-2009). -Таганрог: Изд-во ТТИ ЮФХ 2009. - С.364 - 368.

28. Algorithms of Mobile Robots with Remote Sensors / Pranichnikov V., Andreev V., Kirsanov K. [et al.] // Extreme robotics. Nano- micro- and macrorobots (ER-2009). Proc. of XX Intern. Scientific-and-Technological Conf.-Taganrog: TTISFEDU, 2009.^.216-219.

29. Андреев В.П. Коррекция искажений видеосигнала для систем технического зрения, использующих сканирующую линейку фотодатчиков с большим разбросом параметров /Андреев В.П. //Груды XXI Междунар. научно-технич. конф.: Экстремальная робототехника. - СПб.: Изд-во «Политехника-сервис», 2010. -

C.418 -427.

30. Андреев В.П. Групповое управление мобильных роботов средствами Ethernet-технологий / Андреев В.П., Пряничников В.Е., Прысев Е.А. // Труды XXI Междунар. научно-технич. конф.: Экстремальная робототехника - СПб.: Изд-во «Политехника-сервис», 2010. - С.427 - 430.

31. Пряничников В.Е. Интеллектуализация специальных мобильных роботов, включая обеспечение возврата в зону устойчивого радиоприёма / Пряничников В.Е., Андреев В.П. // Мехатроника и робототехника (МиР-2010): Итоговый сборник статей. - СПб.: Изд-во «Политехника-сервис», 2010. - С. 104-107.

32. Андреев В.П. Исследование эффективности метода стабилизации изображения для сканирующих систем технического зрения, использующих линейку фотодатчиков с большим разбросом параметров / Андреев В.П., Умнов А.В. // Труды Междунар. научно-технич. конф.: Экстремальная робототехника (ЭР-2011). -СПб.: Изд-во «Политехника-сервис», 2011. -С.376 -381.

Доклады и труды, опубликованные в российских гаданиях

33. Зрительный модуль для робототехнических комплексов и гибких производственных систем / Александров Е.И., Андреев В.П., Жданов A.A., Соколов С.М. // В кн: Всесоюз. научно-технич. конф. "Агрегатно-модульное построение техники". Тез. докл. - Иркутск: ИрДНТИ, 1987. - С.38 - 41.

34. Андреев В.П. Система технического зрения для анализа сложных трехмерных сцен. Искусственный интеллект: Справочник: В 3 кн. Кн.1: Системы общения и экспертные системы: под ред. Э.В.Попова / Андреев В.П. - М.: Радио и связь, 1990. -Кн.1.-С. 184-190.

35. Мобильный робот "КРОНУС" / Безоян М.Г., Беляев A.C., Горбушина O.A., Соколова A.A., Андреев В.П., Буцалов В.М., Девянин Е.А. // Мобильные роботы и мсхатронные системы: Материалы научной школы-конференции (Москва, 5-6 декабря 2000г.). - М.: Изд-во Моск. ун-та, 2000. - С.68 - 88.

36. Андреев В.П. Анализ телевизионных изображений в системе технического зрения робота "Кронус" / Андреев В.П., Трушкин Ф.А. // Мобильные роботы и мехатронныс системы: Материалы ночной цщшы-конференции (Москва, 3-4 декабря 2001г.). - М.: Изд-во Моск. ун-та, 2001. - С.42 - 53.

37. Разработка системы управления и навигации мобильного робота с ультразвуковым и ТВ-сенсорами / Пряничников В.Е., Андреев ВН., Баранов И.А. [и др.] // Экстремальная робототехника; Материалы XVIII науч.-техн. конф. - СПб.: СПбГТУ - 2007. - С.36 - 39.

38. Концепция построения программного обеспечения управления интеллектуальных мобильных роботов / Андреев В.П., Кирсанов КБ., Левинский Б.М., Пряничников В.Е. // Материалы XIX научно-технич. конф. Экстремальная робототехника. - СПб.: СПбГТУ. - 2008. - С.96 - 97.

39. Андреев B.II. Коррекция геометрического шума в СТЗ со сканирующей линейкой фотодатчиков методом отслеживания строк подвижного изображения / Андреев В.П. // Техническое зрение в системах управления - 2011. Тезисы докладов научно-технич.конф.(15- 17марта2011г.).-М.: ИКИРАН,2011.-С.37-39.

40. Андреев В.П. Системы технического зрения мобильных роботов с супервизорным сетевым управлением / Андреев В.П., Пряничников В.Е. // Техническое зрение в системах управления - 2011. Тез. докладов научно-технич. конф. (15-17 марта 2011г.). - М.: ИКИ РАН, 2011. - С.26 - 27.

Отчеты по научно-исследовательским работам

41. Андреев В.П. Разработка безэталонного метода фильтрации геометрического шума линейных фотоприемников и оценка его эффективности посредством моделирования на ЭВМ: Научно-технический отчет, шифр «Кворум» / Андреев В.П., Лебедев Д.Г. - М.: ИППИ АН СССР, 1986. - 30с.

42. Андреев В.П. Требования к построению измерительных систем технического зрения: отчёт по договору с Московским городским центром информатики ГКВТИ СССР от 05.05.1989 / Андреев В.П. - М.: Ин-т проблем передачи информации АН СССР, 1989.-38с.

43. Андреев В.П. Разработка метода фильтрации геометрического шума линейного фотоприёмника, основанного на статистической обработке видеосигнала: Научно-технический отчёт по хоз.дог. №28/92 от 01.10.1992. / Андреев В.П., Лебедев Д.Г. -М.: Ин-т проблем передачи информации АН СССР, 1992г. - 32с.

44. Опытный образец учебно-тренировочного класса для подготовки операторов подвижных аппаратов: Отчет по ОКР / Андреев В.П., Травушкин A.C., Орлянский Д.Л., Пряничников В.Е., Левинский Б.М., Кирсанов К.Б. - М.: Московский филиал ФГУП «АТЦ МИНАТОМА РОССИИ» ИТУЦР - ООО «ТехИнвест», 2007. - 75 с.

Подп. в печать 18.01.2012. Заказ №15. Тираж 110 экз.

ООО «Фирма Печатный двор», 107076, г. Москва, Колодезный пер., д. 14 (499) 269-80-41, (499) 269-80-42

ВВЕДЕНИЕ.

Глава 1. ПРОБЛЕМЫ ПОСТРОЕНИЯ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ

ДЛЯ МОБИЛЬНЫХ РОБОТОВ.

1.1. Этапы развития исследований по системам технического зрения.

1.2. Последовательность процедур обработки изображений.

1.2.1. Предобработка изображений, фильтрация шумов.

1.2.2. Сегментация изображений.

1.2.3. Выделение геометрической структуры.

1.2.4. Определение структуры и семантики сцен.

1.2.5. Вычислительная сложность предобработки.

1.3. Особенности использования систем технического зрения в мобильных роботах с супервизорным управлением.

1.3.1. Классификация систем технического зрения.

1.3.2. Информационные потоки в информационно-измерительной и управляющей системе мобильного робота.

1.3.3. Четыре принципа построения робототехнических систем.

1.4. Практическая реализация систем технического зрения для мобильных роботов МЧС России.

1.5. Использование систем технического зрения кругового обзора для решения навигационных задач мобильным роботом в автономном режиме.

1.6. Повышение технических и эксплуатационных характеристик сенсоров методами цифровой обработки сигналов.

1.6.1. Специализированные системы технического зрения ИК-диапазона

1.6.2. Проблема геометрического шума многоэлементных приемников излучения ИК-диапазона.

1.7. Задача группового управления мобильными роботами.

1.8. Постановка задачи.

Глава 2. КОМПЛЕКСНЫЙ ПОДХОД К ПОСТРОЕНИЮ УПРАВЛЯЕМЫХ

МНОГОКАМЕРНЫХ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ.

2.1. Анализ информационных потоков в информационно-измерительной и управляющей системе мобильных роботов.

2.2. Функции и компоненты системы технического зрения.

2.3. Система технического зрения как локальная вычислительная сеть с мобильными узлами.

2.3.1. Обеспечение полного обзора места действия.

2.3.2. Цифровая обработка сигналов и сетевые технологии.

2.3.3. Обеспечение достоверности получаемой информации.

2.3.4. Принцип выбора формата сжатия изображений.

2.3.5. Использование микропроцессорной техники для предварительной обработки изображений.

2.4. Формирование шлейфа данных.

2.5. Формирование радиоканала на основе стандарта IEEE 801.11 .*.

2.5.1. Беспроводное сетевое соединение Wi-Fi.

2.5.2. Безопасность беспроводного сетевого соединения Wi-Fi.:.

2.6. Удалённый интерфейс.

2.7. Концепция построения систем технического зрения для мобильных роботов с супервизорным управлением.

Глава 3. ИССЛЕДОВАНИЕ ОБОСНОВАННОСТИ РАЗРАБОТАННЫХ МЕТОДОВ И РЕШЕНИЙ НА ПРИМЕРЕ РЕАЛИЗАЦИИ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ ДЛЯ МОБИЛЬНЫХ РОБОТОВ МЧС РОССИИ.

3.1. Робототехнические комплексы BROKK-330 и BROKK-llOD.

3.2. Определение функционального состава управляемой многокамерной системы технического зрения (СТЗ).

3.3. Определение технического состава модулей СТЗ.

3.3.1. Бортовой модуль.

3.3.2. Выносной модуль.

3.3.3. Ретранслятор.

3.3.4. Пост управления.

3.4. Интерфейс оператора системы технического зрения.

3.4.1. Организация взаимодействия оператора с системой технического зрения.

3.4.2. Программное обеспечение для сетевого взаимодействия элементов системы технического зрения.

3.5. Выводы.

Глава 4. ИССЛЕДОВАНИЕ ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ СТЗ С

ОПТИЧЕСКОЙ ТРАНСФОРМАЦИЕЙ ИЗОБРАЖЕНИЙ ДЛЯ ОБЕСПЕЧЕНИЯ КРУГОВОГО ОБЗОРА ПРИ РЕШЕНИИ ЗАДАЧ АВТОНОМНОЙ НАВИГАЦИИ МОБИЛЬНЫМИ РОБОТАМИ.

4.1. Аппаратное устройство мобильного робота «Кронус».

4.2. Математическая модель оптической системы мобильного робота.

4.2.1. Математическая модель идеальной оптической системы с зеркальным конусом.

4.2.2. Математическая модель реальной оптической системы.

4.2.3. Коррекция ошибок при определении координат объекта-маяка.

4.2.4. Методика калибровки оптической системы.

4.3. Обнаружение объектов-маяков по их цифровым изображениям.

4.3.1. Фильтрация.

4.3.2. Сегментация.

4.3.3. Построение структуры и семантики видимой сцены.

4.4. Решение задач навигации по изображениям объектов-маяков.

4.5. Решение задач навигации на основе анализа изображений полосы.

4.5.1. Сегментация изображений с использованием фильтра первой производной (выделение контуров).

4.5.2. Сегментация изображений методами кластерного анализа.

4.6. Выводы.

Глава 5. УЛУЧШЕНИЕ ХАРАКТЕРИСТИК ДАТЧИКОВ ВИДЕОСИГНАЛА

ТЕПЛОВИЗИОННЫХ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ.

5.1. Использование датчиков теплового излучения в системах технического зрения.

5.2. Классификация систем технического зрения РЖ-диапазона по способу формирования изображения.

5.3. Геометрический шум многоэлементных датчиков видеосигнала.

5.4. Методы коррекции видеосигнала.

5.5. Метод адаптивной коррекции видеосигнала для сканирующей линейки фотодатчиков.

5.5.1. Статистическая модель изображения.

5.5.2. Определение параметров коррекции видеосигнала.

5.5.3. Варианты повышения точности вычисления параметров коррекции.

5.5.4. Алгоритм вычисления значений корректирующих коэффициентов

5.5.5. Критерий эффективности методов коррекции видеосигнала.

5.5.6. Моделирование метода на ЭВМ.

5.5.7. Цифровой спецпроцессор для динамической коррекции видеосигнала.

5.6. Использование движения оптического изображения для повышения точности коррекции видеосигнала линейки фотодатчиков.

5.6.1. Метод отслеживания строк подвижного изображения.

5.6.2. Результаты машинного моделирования.

5.7. Методы коррекции видеосигнала для систем технического зрения с матричными датчиками излучения.

5.7.1. Метод пространственно-временного накопления (ПВН).

5.7.2. Метод анализ-синтез, основанный на модели зрительной системы приматов.

5.7.3. Аппаратура для экспериментального исследования методов выравнивания параметров матричных приёмников излучения.

5.7.4. Результаты натурно-машинного моделирования.

5.8. Выводы.

Глава 6. ГРУППОВОЕ УПРАВЛЕНИЕ МОБИЛЬНЫМИ РОБОТАМИ.

6.1. Сетевая структура управления группировкой мобильных роботов.

6.2. Использование класса электронных тренажёров для организации удалённого управления группировкой мобильных роботов.

6.2.1. Объект исследования.

6.2.2. Анализ структуры системы и модернизация.

6.2.3. Виртуальный пульт управления.

6.2.4. Методика тестирования сетевого взаимодействия компонентов.

6.2.5. Тестирование сетевого взаимодействия.

6.2.6. Тестирование производительности симулятора RobSim-4.

6.2.7. Проектирование, монтаж и настройка компьютерного класса.

6.3. Виртуальная территориально-распределённая лаборатория.

6.3.1. Учебно-научная робототехника.

6.3.2. Учебно-научные мобильные роботы типа «АМУР».

6.3.3. Экспериментальный робот «Марсоход».

6.3.4. Архитектура программного обеспечения мобильного робота.

6.3.5. Проблемы и реализация управления группировкой мобильных роботов через Internet.

6.4. Выводы.

Системами технического зрения (computer vision) обычно называют совокупность аппаратных и программных средств получения, передачи, хранения и обработки изображений (а также шлейфов данных), включая автоматический анализ изображений и формирование решений (например, измерение параметров объектов на изображении) или выработку сигналов управления, которые подаются на исполнительные механизмы (например, при организации движения мобильных роботов и манипулировании наблюдаемыми объектами). Под шлейфом данных будем понимать структурированный непрерывный поток данных от всех бортовых сенсоров мобильного робота (MP) и команды управления, которые выстраиваются в некоторую последовательность по определённым правилам.

Системы технического зрения (СТЗ) находят своё применение в космических, авиационных, наземных, надводных и подводных мобильных средствах, т.е. там, где необходим анализ внешней обстановки в режиме реального времени. Бурное развитие современных технологий в микроэлектронике привело к созданию миниатюрных и энергетически экономичных линейных и матричных приемников оптического излучения. Обладающие высокой чувствительностью и достаточно высоким уровнем пространственного и цветового разрешения (в том числе в инфракрасной области спектра), СТЗ, построенные на базе таких твёрдотельных датчиков видеоинформации, служат незаменимыми источниками информации при создании мобильных систем с супервизорным управлением.

В настоящее время, как в России, так и за рубежом широко ведутся разработки СТЗ для роботов различного назначения. Это роботы, используемые в чрезвычайных ситуациях [8, 9, 93], для военного применения [24, 28, 82, 104, 125], патрулирования и охраны важных объектов [4, 120,161], подводные роботы [109, 146, 162]. Это гибкие транспортные системы, предназначенные для не детерминированной среды [44], домашние и учебные роботы [110, 134, 147]. СТЗ устанавливаются на самолёты [27] и космические аппараты различного назначения [5, 41, 48] (мониторинг земной поверхности [61, 88, 102, 103] с целью, например, обнаружения пожаров, поиска полезных ископаемых, обнаружения подвижных объектов; для информационного обеспечения задач сближения, стыковки и посадки космического аппарата [136] и т.п.). Наконец, это планетоходы, предназначенные для исследования поверхности других планет [15, 115]. С точки зрения использования СТЗ космические аппараты и самолёты можно также рассматривать как мобильные роботы, причём наиболее близким аналогом наземного MP следует считать дистанционно пилотируемые летательные аппараты [53, 135]. Большое прикладное значение имеют специализированные СТЗ, работающие в инфракрасном (ИК) диапазоне: это тепловизоры для дефектоскопии [50], медицинские [133] и военные тепловизоры [30, 31, 161], тепловизоры для роботов МЧС [16, 99], тепловизоры на воздушных и космических аппаратах [27] и т.п.

Одной из основных целей функционирования MP является их перемещение по частично неизвестной местности - решение локомоционной задачи на а) - трёхмерном, Ь) - двухмерном или с) - одномерном подпространстве. К первой группе (а) относятся роботы для бездорожья (военные применения, мобильное патрулирование, для чрезвычайных ситуаций), подводные роботы (поисковые и исследовательские), дистанционно пилотируемые летательные аппараты (ДПЛА). Ко второй группе (Ь) относятся гибкие транспортные системы для недетерминированной среды (движение по коридорам в офисах, больницах, при охране помещений), учебные и домашние роботы. К третьей группе (с) относятся автоматизированные транспортные системы для детерминированных и размеченных сред передвижения (внутрицеховые роботы).

В качестве примера достижения наиболее высоких результатов в данном направлении исследований можно привести образцы автономных MP, созданных по проектам американского агентства передовых оборонных исследовательских проектов DARPA (Defense Advanced Research Projects Agency). Так в 2007 году в штате Калифорния (США) успешно прошла гонка в городских условиях автомобилей-роботов DARPA Urban Challenge. Основной целью таких исследований является создание полностью автономных транспортных средств, в первую очередь для военных применений.

Данный пример можно рассматривать лишь в качестве иллюстрации научно-технических достижений в области использования современной вычислительной техники в совокупности с комплексом информационно-измерительных и управляющих систем (ИИУС), поскольку использование подобных дорогостоящих MP в большинстве случаев оказывается экономически неэффективным. Поэтому можно считать, что имеющиеся решения не оптимальны и, следовательно, есть основания для поиска новых принципов построения подобных систем. Прежде всего, это касается технического и программного обеспечения (ПО) бортовых систем, их энергоёмкости, способов и условий получения достоверной информации об окружающей среде бортовыми информационно-измерительными системами.

В последнее время среди разработчиков MP сформировалось понимание того, что современные достижения науки и техники в большинстве случаев не позволяют создавать полностью автономные системы, оставаясь в рамках приемлемой стоимости таких MP. Поэтому всё большее внимание уделяется супервизорному управлению MP, при котором лишь часть функций выполняется автономно с помощью бортовых систем, а конечный анализ обстановки, принятие решений и выдача команд на включение тех или иных программ управления возлагается на человека-оператора. В работе [158] ЮревичаЕ.И. и Цариченко С.Г. прямо указано, что на сегодняшний день «. вследствие предельной неопределенности и изменчивости внешней среды программное управление пригодно только в качестве нижнего уровня супервизорного управления, а основным способом управления стало, прежде всего, дистанционное управление с помощью джойстиков с оснащением роботов системами технического зрения и другими сенсорными системами».

Тем не менее, в связи с развитием вычислительной техники, в настоящее время интенсивно разрабатывается направление автоматического решения ряда задач управления. Особенно показательным являются исследования в области технологии автоматического обнаружения целей (ATR - Automatic Target Recognition). Однако, как отмечено Визильтером Ю.В. и Желтовым С.Ю. в работе [27, с.14], «. несмотря на явный прогресс в области разработки систем АТ11, за рубежом по-прежнему наблюдается большой интерес к созданию автоматизированных человеко-машинных систем управления летательными аппаратами (ЛА) с элементами технического зрения. Авиационные специалисты не торопятся переходить на полностью автоматические системы целеуказания .». Авторы работы полагают, что такая осторожность во многом оправдана, поскольку существующие на сегодняшний день системы распознавания ещё не достаточно надёжны. Поэтому представляется более целесообразным ориентироваться на включение элементов АТЯ в системы информационной поддержки автоматизированных систем управления ЛА. В этом случае требования к надёжности распознавания смягчаются, поскольку окончательное решение принимает человек-оператор, которому в обязательном порядке должна быть доступна и первичная информация от дистанционных сенсоров. Таким образом, в области создания ИИУС летательных аппаратов наиболее перспективным следует считать создание систем с супервизорным управлением. Это замечание можно отнести не только к летательным аппаратам, но и к другим МР - наземным, подводным и т.п.

В настоящей работе рассматриваются проблемы создания информационно-измерительных систем технического зрения, применяемых в мобильных роботах с супервизорным управлением.

Отличительной особенностью подобных систем является: a) наличие в составе информационно-измерительной и управляющей системы МР двух контуров управления - внутреннего и внешнего, которые разделены коммуникационной средой, причём в оба контура управления входит СТЗ, установленная на мобильной части ИИУС; b) во внешнем контуре управления присутствует человек-оператор.

Наиболее показательным примером подобной структуры могут служить космические аппараты с установленными на них СТЗ реального времени: луноход, марсоход, роботы-манипуляторы на МКС и т.п.

Коммуникационная среда может вносить существенные задержки, помехи и искажения, в то же время полнота информации о рабочем пространстве и её достоверность являются необходимым условием минимизации ошибок при формировании целей управления. С позиции конструирования СТЗ полнота данных обеспечивается организацией возможно более полного обзора места действия, а достоверность информации определяется как техническими характеристиками сенсоров, так и способами извлечения и обработки информации. Отсюда вытекает актуальная проблема', формирование на борту МР данных, удовлетворяющих требованиям полноты и достоверности, обеспечение их надёжной передачи по коммуникационному каналу и разработка робастных алгоритмов обработки этих данных в реальном масштабе времени.

Полный обзор места действия может быть обеспечен: a) использованием телекамеры, снабжённой поворотно-наклонным механизмом; b) установкой на борт нескольких телекамер; c) созданием специальных оптико-механических систем кругового обзора.

Применительно к МР с супервизорным управлением наиболее эффективным представляется вариант с многокамерной СТЗ, использующей телекамеры с управляемым поворотно-наклонным механизмом и оптическим масштабированием. Однако в этом случае необходимо передавать по радиоканалу видеосигналы от множества телекамер, что сопряжено с рядом технических и организационных трудностей. Одним из типовых решений данной задачи является организация широкополосного радиоканала связи, защищённого от индустриальных и иных помех, что является довольно дорогостоящим решением. Организационная трудность заключается в получении частного решения Государственной комиссии по радиочастотам (ГКРЧ) на использование радиоканала в разрешённом диапазоне частот. Поэтому актуальной является проблема поиска новых принципов организации и соответствующих технических решений передачи многопотокового видео по радиоканалу.

В работе [115] отмечено, что «. робототехника с чисто дистанционным управлением имеет ряд принципиальных недостатков, обусловленных ограничениями канала связи и необходимостью постоянного участия человекаоператора в процессе управления». И делается вывод, что обязательным требованием к организации супервизорного управления является повышение автономности бортовых систем робототехнических средств посредством передачи бортовым средствам управления ряда рабочих действий. Данное требование приводит к перераспределению функций обработки сенсорных данных и принятия решений в пользу бортового вычислителя. В этом случае обеспечение полноты данных с помощью многокамерной СТЗ наталкивается на проблему обработки на борту огромного потока видеоинформации в реальном масштабе времени. В первую очередь это связано с ограничениями на вычислительные ресурсы бортового компьютера. Как отмечено в работе [27], несмотря на «. колоссальный прогресс вычислительной техники и создание обширной специализированной процессорной базы для обработки изображений, для основной массы бортовых приложений реального времени характеристики вычислителей и их свойства всё ещё далеки от желаемых». В то же время решение целого ряда локомоционных задач не требует наличия изображений окружающей среды, полученных с высоким разрешением, но обеспечение полного обзора места действия является непременным условием. Разрешить данное противоречие позволяет комплексный подход, сочетающий в себе использование специальных технических средств и соответствующего ПО бортового вычислителя. Кроме того, следует использовать то обстоятельство, что для работы алгоритмов автоматического анализа изображений не требуется создавать интерфейс, аналогичный системе с человеком-оператором. Это даёт существенную экономию вычислительных ресурсов.

В качестве технического средства в данном случае могут быть использованы СТЗ кругового обзора, в которых изображение панорамы сразу проецируется на плоскость фотоматрицы единственной телекамеры. Однако геометрия сцены на изображении в этом случае оказывается искажённой. Поэтому при решении задач навигации возникает комплекс проблем, связанных разработкой соответствующего ПО для бортового модуля, выполняющего в масштабе реального времени анализ видеоданных для автоматического формирования цели управления, и становится актуальной проблема выделения объектов на изображениях со сложной геометрией и вычисление их координат для целеуказания.

12

Достоверность получаемой информации оказывает существенное влияние на формирование цели управления с точки зрения минимизации ошибок управления. Достоверность информации в первую очередь определяется качественными характеристиками и точностными параметрами сенсоров. Известно [118], что одна из основных проблем «. алгоритмического обеспечения СТЗ связана с конструктивными недостатками их технической реализации». Это ограничение динамического диапазона свето- и цветопередачи, дискретность современных многоэлементных фотоприёмников, астигматизм оптического канала, ошибки калибровочных характеристик и временных привязок потока видеоданных. Поэтому борьба с различного вида помехами и искажениями видеоданных является главной алгоритмической задачей при внедрении зрительной обратной связи в контур ИИУС МР. Это требует серьёзного развития математических методов и алгоритмов анализа изображений и, в первую очередь, кадровых последовательностей в процессе решения конкретных задач управления мобильными аппаратами. Несовершенство технических решений извлечения информации из сенсорных данных может приводить к потерям существенных данных и, следовательно, к ошибкам управления. Повышение технических и эксплуатационных характеристик сенсоров обычно достигается как за счёт новых конструктивных решений, так и совершенствованием технологий их производства. Более эффективным представляется путь построения математических моделей сенсоров, учитывающих неидеальность параметров датчиков, и на основе этих моделей разработка методов предобработки в реальном масштабе времени получаемого сигнала с целью коррекции вносимых искажений. Представление сигналов сенсоров в цифровом виде позволяет использовать современные достижения вычислительной техники для реализации такой предобработки. Актуальной является задача разработки высокоэффективных методов цифровой обработки видеосигналов с целью повышения технических и эксплуатационных характеристик датчиков видеоинформации. Особенность таких методов заключается в том, что они должны быть ориентированы на использование в СТЗ мобильных роботов. Следовательно, спецпроцессоры, реализующие эти методы, должны быть способны работать в реальном масштабе времени.

При построении СТЗ основным датчиком информации является телекамера. Однако при попадании МР в зону задымления или запылённости данные от обычных (длина волны X = 0,35 -г 0,75 мкм) телекамер становятся недостоверными, и возникает необходимость перехода к использованию ультразвуковых или тепловизионных устройств, остающихся работоспособными и в этих условиях. Поэтому интерес представляют специализированные СТЗ, работающие в ИК-диапазоне (А, = 3 ч- 20 мкм) -тепловизоры, поскольку они позволяют «видеть» в темноте, в дыму, и днём, и ночью, т.е. именно в тех экстремальных условиях, для работы в которых, в первую очередь, и предназначены МР рассматриваемого класса. Такой тепловизор может устанавливаться на борту МР, образуя совместно с обычными телекамерами многодиапазонную СТЗ. Однако до настоящего времени технологически не решена проблема борьбы с так называемым геометрическим шумом, присущим высокочувствительным многоэлементным датчикам теплового излучения, что приводит к значительным искажениям изображений. В первую очередь это касается датчиков на основе КРТ (широко используемый полупроводник Кадмий-Ртуть-Теллур). Актуальность исследований в области борьбы с геометрическим шумом подтверждается наличием значительного количества современных публикаций по данной тематике [18, 137, 139, 140, 154]. В данной работе ставится задача: повысить технические и эксплуатационные характеристики СТЗ, использующих многоэлементные (линейные и матричные) приемники излучения ИК-диапазона, за счёт разработки новых эффективных способов борьбы с геометрическим шумом, и показать возможность их реализации в виде цифровых спецпроцессоров реального времени.

При ликвидации последствий чрезвычайных ситуаций (ЧС) оказывается наиболее эффективным использование группы роботов, снабжённых различными инструментами: манипулятором, ножницами и т.п. «Исследования, выполненные различными научными центрами и компаниями в области роботостроения, показали, что создание многоэлементной группировки мобильных роботов, действующих как единый взаимосвязанный комплекс, является одной из основных задач по разработке эффективной интеллектуальной безлюдной технологии, способной работать в боевых условиях, в том числе при ликвидации тяжёлых ЧС» [66]. Аналогичная задача ставится и в области построения робототехнических систем космического назначения. Так в работе [65] перечислены основные направления развития робототехнических систем космического назначения на период до 2015 г., в том числе - «разработка способов группового управления робототехническими системами космического назначения различного вида, а также их информационного взаимодействия; - развитие методов дистанционного управления автономными робототехническими системами космического назначения на базе сетевых технологий, самодиагностики и самообучения; -организация развитого человеко-машинного интерфейса.». Ведутся исследования в области разработки стратегии группового управления роботами [55]. Такая постановка задачи естественным образом приводит к ее решению через создание многоуровневой иерархической системы формирования и обмена информационными и управляющими потоками (шлейфами) данных. В этом случае актуальной становится проблема разработки механизма, посредством которого можно организовать взаимодействие группы оснащенных СТЗ мобильных роботов, постов управления, обслуживаемых несколькими операторами одновременно, и командного пункта.

Задача группового управления МР непосредственно связана с возможностью удалённого управления организацией работ группировки МР, что невозможно без соответствующего информационного обеспечения [56]. Так, при ликвидации последствий крупных техногенных катастроф, как правило, возникает необходимость организации оперативных консультаций специалистов. В этом случае наиболее эффективным механизмом оказывается возможность передачи видеоинформации с СТЗ и показаний других датчиков мобильных роботов в ситуационный центр, который может располагаться за много километров от зоны работ. Решение данной задачи лежит в использовании сетевых технологий. В этом случае ИИУС всех мобильных роботов должны быть объединены в локальную вычислительную сеть (ЛВС) с мобильными узлами и входить в состав территориально распределённой ИИУС. Данное решение требует проведения исследований для определения оптимальной структуры такой системы и формулирования требований к параметрам устройств ЛВС.

Приведённый в настоящей работе обзор современной научно-технической литературы по данной тематике показывает, что на решение перечисленных проблем направлены силы как зарубежных, так и Российских ученых. Особенно это актуально для активно развивающихся в настоящее время средств экстремальной робототехники, предназначенных для опасных или принципиально неосуществимых человеком видов деятельности, в которых роль СТЗ приобретает наиважнейшее значение. В работе [74], посвященной методологическим и практическим аспектам критических технологий экстремальной робототехники, отмечено, что в настоящее время в России имеется серьёзное отставание в уровне автономности создаваемых робототехнических средств по сравнению с аналогичными разработками в США или Западной Европе. Чтобы ликвидировать такое отставание, необходимо сосредоточить усилия по следующим критическим направлениям (технологиям).

• Повышение уровня унификации аппаратной части роботов.

• Разработка средств повышения автономности.

• Создание средств поддержки группового взаимодействия роботов, а также создание многоканальных и многоракурсных систем технического зрения; специализированных сенсорных и навигационных комплексов.

• Создание многофункциональных, реконфигурируемых робототехнических систем. Цель - разработка открытой, реконфигурируемой архитектуры и структуры систем управления; унифицированных механических, электрических, информационных интерфейсов; унифицированных программных средств; новых видов человеко-машинного интерфейса с учетом специфики применения.

• Создание стендово-испытательной базы для отработки робототехнических средств, современных тренажёров и средств обучения управлению робототехническими комплексами».

Исследования, изложенные в настоящей диссертации, четко вписываются в рамки отмеченных критических направлений. Перечисленные особенности и проблемы построения информационно-измерительных систем технического зрения для мобильных роботов с супервизорным управлением требуют разработки единого подхода к созданию подобных СТЗ.

В связи с отмеченным актуальным является комплексное решение следующих проблем:

1. Построение для МР систем технического зрения, обеспечивающих возможно больший обзор места действия робота для эффективного управления его исполнительными механизмами из безопасных для человека зон.

2. Организация удалённого группового управления мобильными роботами и обеспечение передачи сенсорных данных с МР в ситуационный центр.

3. Создание учебно-научных мобильных роботов и учебно-тренировочных классов электронных тренажёров (КЭТ) для подготовки операторов МР.

4. Создание виртуальных лабораторий, оснащённых мобильными роботами, для подготовки квалифицированных специалистов при отсутствии возможности прямого контакта с дорогостоящим оборудованием.

5. Улучшение технических и эксплуатационных характеристик СТЗ посредством цифровой предобработки видеосигнала.

Учитывая важность этих проблем, подобные исследования и разработки СТЗ активно ведутся во всех развитых странах. Благодаря деятельности таких видных учёных, как Д.Е.Охоцимский, Е.А.Девянин, А.Л.Ярбус, Л.Н.Курбатов, Е.И.Юревич, В.В.Клюев, А.К.Платонов, Ю.Ф.Голубев, С.Ю.Желтов и работам Д.ЕЛебедева, Д.С.Лебедева, Г.Г.Вайнштейна, В.Е.Пряничникова, С.М.Соколова, Ю.В.Визильтера, Н.В.Завалишина, К.И.Кия и др. были получены существенные результаты, продвинувшие исследования в данном направлении. Также широко известны работы таких зарубежных учёных, как RosenfeldA. (University of Maryland), RobertsL.G (MIT), MarrD. (MIT), Winston P.H. (MIT), WaltzD. (University of Illinois), HuntE.B. (University of Washington), HueckelM.H. (Stanford University), Lloyd J.M. (Radiation Center Lexington, Massachusetts) и других.

Однако, специфика супервизорнош управления МР и использования управляемых систем технического зрения в контуре распределённых ИИУС не находит достаточного отражения в известных публикациях. Особенно это относится к использованию многопотокового видео и применения сетевых технологий для решения проблем удалённого и группового управления МР и формирования коммуникационной среды для получения и передачи данных. Это касается также методов цифровой предобработки сигналов с целью улучшения технических и эксплуатационных характеристик СТЗ.

Диссертационная работа посвящена решению актуальной проблемы создания таких распределённых информационно-измерительных систем, как управляемые многокамерные системы технического зрения для мобильных роботов с супервизорным управлением, совершенствованию методов обработки видеосигналов и анализа изображений, разработке новых принципов построения таких систем, в том числе с использованием сетевых технологий и свойств зрения человека.

Целью исследований являлась разработка новых принципов построения и путей совершенствования распределённых (в том числе территориально распределённых) информационно-измерительных систем технического зрения мобильных роботов, базирующихся на современных технологиях, новых технических решениях и высокоэффективных методах обработки видеосигнала для улучшения их технических и эксплуатационных характеристик, а также создание новых действующих образцов таких систем, реализующих предлагаемые технические решения и методы обработки видеосигнала.

Методы исследований базировались на использовании математической статистики, теории ошибок и кластерного анализа, теории вычислительных систем и компьютерных сетей, теории и практики построения информационно-измерительных и управляющих систем, на использовании результатов психофизических исследований зрительной системы приматов. Достоверность результатов обеспечивалась аналитическими, вычислительными и экспериментальными методами верификации предлагаемых решений.

18

Научная новизна работы заключается:

1. В разработке концепции построения управляемых многокамерных СТЗ для мобильных систем с супервизорным управлением, которая позволяет найти единые принципы формирования СТЗ различного назначения, унифицировать их структуру и функциональный состав, обосновать технические требования к их компонентам в зависимости от решаемых задач.

2. В разработке методов и технических решений при использовании сетевых технологий для объединения компонент СТЗ и систем управления MP, а также группировки MP в локальную вычислительную сеть. Это позволило: обеспечить полноту получения видеоданных - организовать устойчивую передачу видеоданных одновременно с нескольких телекамер по цифровому радиоканалу, в том числе при отсутствии прямой радиовидимости; объединить ИИУС нескольких мобильных роботов в территориально распределённую ИИУС посредством использования коммуникационного канала в условиях существенных задержек, помех и искажений (VPN-канал Internet); обеспечить на мониторах пульта управления формирование цветных изображений (25 кадров в секунду при формате 800x600 пикселей) одновременно с нескольких телекамер; разработать механизм удалённого (более 400 метров) и группового управления мобильными системами; обеспечить возможность динамического реконфигурирования распределённых ИИУС мобильных роботов.

3. В разработке эффективных, основанных на межкадровой разности методов комплексного анализа кадровой последовательности, получаемой с частотой 25 Гц, с целью идентификации специальных ИК-маяков, определения дальности до них и азимута по телевизионным изображениям, получаемым с помощью СТЗ кругового обзора. Это позволило реализовать возможность использования мобильными роботами видеоинформации от таких СТЗ (изображений с искажённой геометрией) для автономного решения навигационных задач мобильным роботом в реальном масштабе времени за счёт повышения «интелелектуальности» их бортовых ИИУС.

4. В разработке комплекса новых эффективных методов адаптивной цифровой обработки видеосигнала для коррекции искажений, вызванных разбросом параметров многоэлементных линейных приемников излучения ИК-диапазона.

Эта обработка позволяет повысить эксплуатационные и технические характеристики тепловизионных СТЗ и значительно (в разы) снизить стоимость производства сканирующих СТЗ за счёт отказа от установки в прецизионную систему оптико-механического сканирования эталонных источников ИК-излучения. 5. В разработке новых методов цифровой обработки видеосигнала для борьбы с геометрическим шумом матричных приёмников излучения ИК-диапазона, основанных на модели зрительной системы приматов. Предложенные методы позволили по-новому организовать предобработку изображений, учитывающую свойства зрения человека, и значительно повысить эксплуатационные и технические характеристики тепловизионных СТЗ за счёт применения дешёвых и уцобных в эксплуатации фотоприёмных устройств (ФПУ), ранее считавшихся непригодными из-за их низких технических характеристик.

Практическая значимость работы.

1. Разработаны и изготовлены (на основе предложенной концепции построения управляемых многокамерных СТЗ) два комплекта СТЗ для робототехнических комплексов (РТК) «BROKK-llOD» и «ВБЮКК-ЗЗО» в 294 Центре по проведению спасательных операций особого риска МЧС России. Каждый комплект имеет в своем составе 4 бортовые телекамеры (одна из которых - скоростная купольная), 2 выносные - также скоростные купольные телекамеры и ретранслятор. Все элементы СТЗ объединяются в ЛВС посредством радиоканала Wi-Fi.

2. Предложено структурное решение построения СТЗ и разработано программное обеспечение, которые в совокупности позволили устойчиво передавать многопотоковое видео с бортовых телекамер на пульт управления по радиоканалу на расстояние более 400 метров даже при отсутствии прямой радиовидимости.

3. Разработаны и изготовлены (на основе предложенной концепции) автономные учебно-научные мобильные роботы Амур-5м,5,6,7 и экспериментальный робот «Марсоход», оснащённые развитой сенсорной системой (телекамеры, ультразвуковые сенсоры, одометры) и учебно-научные мобильные стенды (для ДВФУ и ИАПУ ДВО РАН - г.Владивосток и ИНОТиИ РГГУ - г.Москва).

4. Создан прототип виртуальной лаборатории, объединяющей по VPN-каналам в Internet робототехнические стенды ИПМ им.М.В .Келдыша РАН (г.Москва), ИНОТиИ РГГУ (г.Москва) и ИАПУ ДВО РАН (г.Владивосток).

20

5. На основе сетевых решений создан учебно-тренировочный класс электронных тренажёров для Московского филиала ФГУП «АТЦ МИНАТОМА РОССИИ» (ИТУЦР), позволяющий обучать групповому управлению МР одновременно до 7 операторов.

6. Разработан и изготовлен учебный робот «Кронус» с СТЗ кругового обзора; разработано ПО, позволившее по изображению круговой панорамы с искажённой геометрией, формируемому такой СТЗ, успешно решать навигационные задачи в изменяющейся искусственной среде.

7. Разработаны функциональные схемы цифровых спецпроцессоров, способных выполнять в реальном масштабе времени обработку видеосигналов с моношэлементных приемников ИК-излучения с целью компенсации свойственного таким датчикам геометрического шума.

8. Разработан и изготовлен подключённый к ЭВМ научно-исследовательский стенд, предназначенный для проведения исследований по разработке методов улучшения технических характеристик тепловизионных СТЗ с матричными ФПУ; в его состав входит тепловизионная охлаждаемая фотоматрица формата 64x64 элемента, германиевый объектив, управляемый от ЭВМ пьезокерамический дефлектор и телевизионный монитор с двухпортовой памятью.

Во всех перечисленных работах автор принимал личное участие в качестве ответственного исполнителя и соруководителя проектов.

Основные научные результаты диссертации, на которых базируются перечисленные внедрения, получены лично автором в процессе работы по договорам и планам ИППИ им. A.A. Харкевича РАН по темам: «Кворум» (1986г., 1990г.), «Ель-5-1АН» (1987г.), «Кримат» (1988г.), «Кордон» (1988г.), «Сплав» (1989г.); ИПМ им. М.В. Келдыша РАН: по проекту «Компьютерное зрение» в рамках «Соглашения о сотрудничестве в области перспективных проблем роботики между РАН и Национальным Центром Научных Исследований (НЦНИ) Франции» (1995г., 1997г.); Института механики МГУ: гранты РФФИ 00-01-00403 и УР 99-5419 и научно-исследовательским работам ИПМ РАН - МЛ «Сенсорика»: грант РФФИ № 10-07-00612-а (2009 - 2011 гг.) и других программ Российской академии наук, что подтверждает их высокий уровень, обоснованность и достоверность, направленность на решение крупных научных и практических задач при создании систем технического зрения.

Апробация работы. Основные положения диссертации докладывались на 38

Международных и Российских конференциях (опубликованы 30 докладов) и семинарах, в том числе: Научная школа-конференция «Мобильные роботы и мехатронные системы», Москва, 2000, 2001, 2004, 2011; XIX Международная конференция по компьютерной графике и зрению «ГрафиКон'2009» приглашённый доклад), Москва (МГУ), 2009; XVIII, XIX, XXI и XXII

Всероссийская научно-техническая конференция «Экстремальная робототехника»,

СПб, 2007, 2008, 2010, 2011; Международная научно-техническая конференция

Нано-,микро- и макророботы, СПб, 2008, 2009; Международная школа-семинар

Адаптивные роботы» (п. Дивноморское 2009); XVIII, XX, XXI, XXII

Международный симпозиум «Интеллектуальное производство и автоматизация»

DAAAM International Vienna, 2007, 2009, 2010, 2011; VI Всероссийская научнопрактическая конференция «Перспективные системы и задачи управления»,

Таганрог, 2010; I Международная научно-практическая конференция «Техника и технология: новые перспективы развития», Москва, 2011; Научно-техническая конференция «Техническое зрение в системах управления», Москва (ИКИ РАН),

2011; XII Международный интерактивный форум образовательных технологий

Дополняя реальность», Москва (РГГУ), 2011; семинар «Сетевые международные гуманитарные исследования по проблемам информатики, мехатроники и робототехники», Москва (РГГУ), 2009 и на семинарах в ИПМ им.М.В .Келдыша

РАН, Москва, 2008,2009,2010 и 2011. /

Публикации. Основные положения диссертации и результаты научных исследований по теме диссертации отражены в 76 публикациях (17 без соавторов), в том числе в 1 монографии и 15 статьях в журналах по перечню ВАК РФ, 6 работ входят в список Web of Science (Conference Proceedings Citation Index of Thomson Reuters). Результаты также отражены в 38 докладах на Всесоюзных совещаниях и семинарах и докладах на Международных конференциях. Среди публикаций -1 авторское свидетельство, 1 свидетельство об официальной регистрации программы для ЭВМ и 8 зарегистрированных научно-исследовательских отчётов.

Структура и объём работы. Диссертация состоит из введения, шести глав, заключения, списка литературы и приложения. Общий объем диссертации - 358 е., в тексте имеется 103 рисунка. Список литературы состоит из 294 наименований. Приложение на 4-х стр. содержит акты о внедрениях.

Основные результаты диссертационной работы и выводы

Благодаря проведенным исследованиям получены следующие результаты:

1. Разработана новая концепция построения управляемых многокамерных СТЗ для мобильных систем с супервизорным управлением, которая позволила сформировать единые принципы их построения и получить соответствующие технические решения, унифицировать функциональный состав систем и обосновать технические требования к их компонентам. Доказана обоснованность данной концепции путём реализации соответствующих технических решений в виде действующих образцов СТЗ: по единым принципам были разработаны и изготовлены управляемые многокамерные СТЗ для робототехнических комплексов МЧС России BROKK-llOD и BROKK-330, а также учебно-научные MP с супервизорным управлением серии «АМУР» и экспериментальный робот «Марсоход».

2. Разработаны методы и получены конкретные решения использования сетевых технологий для объединения как компонент СТЗ, устанавливаемых на борту MP, так и систем удалённого управления в локальную вычислительную сеть с мобильными узлами. Это позволило: организовать устойчивую передачу многопотокового видео по радиоканалу в стандарте Wi-Fi, в том числе при отсутствии прямой радиовидимости; обеспечить отображение в телевизионном стандарте на мониторах пульта управления полноформатных растровых изображений одновременно с нескольких телекамер; выявить пути совершенствования супервизорнош управления мобильными системами.

3. Применение предложенной концепции и сетевых технологий позволило объединить ИИУС нескольких учебно-научных MP в распределённую ИИУС, создав тем самым группировку роботов с возможностью её динамического реконфигурирования. Реализована возможность динамического перераспределения процесса обработки сенсорной информации и формирования цели управления между бортовым вычислителем и центральным процессором пульта управления. Такое распределение вычислительных ресурсов в рамках поставленной задачи позволило создать программную технологию, обеспечивающую динамическое перепрограммирование бортовых систем мобильных роботов в процессе исполнения ими различных локомоционных задач, что решает одну из фундаментальных проблем робототехники.

4. Показана возможность использования модернизированного программного комплекса «RobSim» для построения эффективной системы многоуровневого удалённого управления группировкой MP, что особенно важно для задач МЧС.

5. Разработано ПО, позволяющее удалённо наблюдать окружающую обстановку и эффективно управлять роботами на основе созданной технологии преодоления неравномерностей и задержек в каналах связи. Это дало возможность посредством использования VPN-каналов в Internet объединить в территориально распределённую ИИУС робототехническое оборудование, физически расположенное в разных городах, создав тем самым виртуальную лабораторию, и обеспечить полнофункциональную связь между командным пунктом группировки MP и ситуационным центром.

6. Успешно решена проблема локализации объектов на изображениях с искажённой геометрией, что доказало возможность использования видеоданных СТЗ кругового обзора (360°) с зеркальным конусом в оптической системе для выполнения анализа изображений и формирования цели управления средствами бортовой ИИУС мобильного робота. Показана возможность использования такой СТЗ для выполнения задач автономной навигации MP по световым маякам. Показан путь совершенствования супервизорного управления через повышение «интеллекта» бортовой ИИУС.

7. Разработаны новые методы эффективной борьбы с «геометрическим» шумом многоэлементных линейных фотоприёмных устройств (ФПУ), применяемых в специальных сканирующих СТЗ ИК-диапазона. Эти методы позволяют исключить технически сложное использование эталонных источников оптического излучения в прецизионных оптических системах и значительно улучшить технические и эксплуатационные характеристики СТЗ. Предложены варианты построения цифровых спецпроцессоров (в виде функциональных схем).

8. Разработаны новые методы снижения влияния «геометрического» шума многоэлементных матричных ФПУ на качество выходного изображения. Использование специальных методов обработки видеосигналов, имитирующих обработку сигналов в зрительной системе приматов, позволило качественно улучшить технические и эксплуатационные характеристики тепловизионных СТЗ. Кроме того, эти методы позволяют использовать ранее считавшиеся непригодными ФПУ из-за их низких технических характеристик, что приводит к существенному снижению стоимости таких систем.

Практическая значимость работы состоит в том, что предложенная концепция построения управляемых многокамерных систем технического зрения для мобильных роботов с супервизорным управлением применима как для разработки собственно систем технического зрения для МР, так и для разработки ИИУС мобильных роботов, а также территориально распределённых ИИУС МР, включая ИИУС группировки МР. Её использование позволяет ещё на этапе разработки определить оптимальный функциональный состав комплекса и сформулировать требования к используемому оборудованию. Предложенные в работе методы цифровой предобработки изображений позволяют существенно улучшить технические характеристики датчиков видеосигналов, что должно привести к значительному снижению стоимости СТЗ, особенно тепловизионных СТЗ. Показано, что предложенные в работе алгоритмические и схемотехнические решения могут быть непосредственно использованы в новых разработках.

Таким образом, создана научная и технологическая база для разработки систем технического зрения как элемента информационно-измерительной и управляющей системы мобильных роботов с супервизорным управлением.

Автор выражает глубокую признательность всем коллегам за помощь при выполнении исследований и организации работ и особенно академику

Д.Е.Охоцимскому, д.ф.-м.н. Д.Г.Лебедеву , к.т.н. Г.Г.Вайнштейну, профессору, д.ф.-м.н. А.К.Платонову и научному консультанту д.т.н. В.Е.Пряничникову. Многие из полученных результатов не смогли бы появиться без содействия и участия в этих работах профессора, д.ф.-м.н. Е.А.Девянина , профессора, д.т.н. Д.С.Лебедева, к.б.н. Н.С.Суровичевой, к.т.н. А.С.Травушкина, а также Ф.А.Трушкина, К.Б.Кирсанова, Б.М.Левинского, Е.А.Прысева, В.Ю.Пронкина, A.B. Умнова, А.Г.Вернигоры и других коллег.

ЗАКЛЮЧЕНИЕ

Проведённый анализ отечественных и зарубежных научных работ по системам технического зрения за период, начиная с конца 60-х годов прошлого столетия по настоящее время, показал, что последовательность процедур обработки изображений в СТЗ, сформулированная в 1979 году Д. Марром, остаётся неизменной. Цель такой обработки - преобразовать поступающее на вход СТЗ растровое изображение в его символическое представление.

В информационно-измерительной и управляющей системе (ИИУС) мобильных роботов с супервизорным управлением СТЗ входит в состав двух контуров управления - внутреннего и внешнего, объединённых коммуникационным каналом. Для внутреннего интерфейса (бортовая ИИУС) последовательность процедур анализа изображений полностью согласуется с парадигмой Д. Марра - модуль предобработки изображений бортовой ИИУС выполняет фильтрацию шумов, коррекцию искажений и формирование символического представления изображения. Основная задача удалённого интерфейса (внешний контур ИИУС) заключается в формировании цели управления на основе анализа человеком-оператором растровых изображений, получаемых с помощью управляемой многокамерной СТЗ. За счёт динамического перераспределения вычислительной нагрузки между «слабым» вычислителем внутреннего интерфейса и мощным вычислителем удалённого интерфейса могут быть решены сложные задачи анализа изображений и навигации. Разбивая общую задачу навигации на более простые подзадачи, автономно решаемые внутренним контуром ИИУС, можно совершенствовать аппаратно-программную часть ИИУС мобильного робота за счёт её последовательной «интеллектуализации».

Предложенная концепция построения СТЗ позволила решить более общую задачу - объединить в распределённую (в том числе территориально распределённую) ИИУС как отдельные узлы СТЗ, так и ИИУС всех МР группировки. Создание на основе данной концепции локальной вычислительной сети с мобильными узлами позволило обеспечить возможность при определённых конструктивных и технических решениях устойчиво передавать на удалённый интерфейс по радиоканалу многопотоковое видео, что существенно облегчает работу оператора MP. Экспериментально показана возможность управления по VPN-каналам Internet группировкой MP из единого ситуационного центра.

Показана возможность решения ряда задач навигации автономным MP, снабжённым СТЗ кругового обзора. В этом случае вычислитель бортовой ИИУС успешно и в реальном масштабе времени справляется с анализом специфических изображений, формируемых на фотоматрице единственной телекамеры оптической системой с зеркальным конусом.

Использование цифровой обработки сигналов оказывается более эффективным по сравнению с технологическими решениями для улучшения технических и эксплуатационных характеристик СТЗ. Эффективность такого подхода показана на примере СТЗ кругового обзора, когда построение математической модели реальной оптической системы с зеркальным конусом позволило алгоритмически выполнять коррекцию ошибок в определении дальности до объектов вместо того, чтобы выполнять механическую настройку такой сложной оптической системы со многими степенями свободы.

Эффективность методов цифровой обработки изображений с целью фильтрации различного рода шумов существенно зависит от сложности реализации этих методов. Были разработаны методы борьбы с геометрическим шумом многоэлементных датчиков оптического излучения, присущим фотоприёмным устройствам дальнего ИК-диапазона. Такие устройства широко используются в тепловизорах, которые устанавливаются в СТЗ мобильных роботов специального назначения. Для данной задачи цифровая обработка видеосигналов таких датчиков оказывается на сегодняшний день единственным решением, поскольку современные технологии их производства не позволяют получить требуемые технические параметры. Особенность этих методов заключается в их простой технической реализации (без встраивания в оптическую систему эталонных источников излучения) и организации цифровой обработки видеосигналов с помощью специализированных цифровых устройств, работающих в реальном масштабе времени.

1. АбдуИ. Количественный расчет детекторов контуров, основанных на подчеркивании перепадов яркости с последующим пороговым ограничением / Абду И., Прэтт У. // ТИИЭР, 1979. - Т.67, №5. с.59 - 70.

2. Авт. свид. СССР №907868, Кл.Н04, №5/30,1980.

3. Авт. свид. СССР №1117858, Кл.Н04, №3/14,1984.

4. Аппаратно-программный комплекс цифровой обработки сигналов многорядных матричных фотоприемных устройств / Бехтин Ю.С., Баранцев A.A., Соляков В.Н., Медведев A.C. // Прикладная физика, 2007. -№ 3. -С.77 -84.

5. БалоевВ.А. Моделирование характеристик матричного фотоприемного устройства в составе тепловизионной системы / Балоев В.А., Иванов В.П., Латыпов Я.М. // Прикладная физика, 2007. №1. - С.102 - 107.

6. Батанов А.Ф. Робототехнические комплексы для обеспечения специальных операций / Батанов А.Ф., Грицынин С.Н., Муркин C.B. // Специальная Техника, 1999. №6. - URL: http://st.ess.ru/publications/articles/robots/robots.htm. Дата обращения: 08.11.2011.

7. Безопасность беспроводных сетей / Inetproblem. URL: http://inetproblem.ru/wifi-bezop.html. Дата обращения: 01.11.2011.

8. Беспроводные сети как это работает / Cyberguru.ru. - URL: http://www.cyberguru.ru/networks/wlan/wireless-lan.html. Дата обращения: 01.11.2011.

9. Богомолов П.А. Приемные устройства ПК-систем / Богомолов П.А., Сидоров В.И., Усольцев И.Ф. М.: Радио и связь. 1987. - 208с.

10. Боделл П. Н.264 в системах видеонаблюдения: за и против / Боделл П. // SystemCCTV, 2010. № 03(45). - С.58 - 64.

11. Брайс К. Анализ сцены при помощи выделения областей / Брайс К., Феннема К. // Интегральные роботы. М.: Мир, 1975. - Вып.2. - С.136 - 159.

12. Буданов В.М. О соревнованиях мобильных роботов в рамках Фестиваля / Буданов В.М. // Мобильные роботы и мехатронные системы: Материалы научной школы-конференции (Москва, 5-6 декабря 2000г.). М.: Изд-во Моск. ун-та, 2000. - С.274 - 280.

13. Вайнштейн Г.Г. Аппаратура для моделирования на ЦВМ систем видеоавтоматики / Вайнштейн Г.Г. // В сб. Обработка изображений в научных исследованиях. СО АН СССР, Ин-т матем., Новосибирск: 1972.

14. Вайнштейн Г.Г. Методы и техника автоматического анализа изображений в задачах управления роботами / Вайнштейн Г.Г. // В сб. Роботы-манипуляторы для автоматизации ручных и вспомогательных работ. Д.: Машиностроение, 1972. - С.74 - 78.

15. Вайнштейн Г.Г. Обработка визуальной информации роботами (обзор) / Вайнштейн Г.Г., Завалишин Н.В., Мучник И.Б. // Автоматика и телемеханика. 1974. - №6. - С.99 - 132.

16. Вайнштейн Г.Г. Элементы алгоритмов автоматического анализа трехмерных сцен / Вайнштейн Г.Г., Москвина Е.А., Салимов A.A. // ИКОНИКА. Цифровая голография. Обработка изображений. ИППИ АН СССР. М.: Наука. 1975. - С.73 - 88.

17. Вафиади A.B. Экспериментальное исследование влияния геометрического шума на основные характеристики тепловизионного прибора / Вафиади A.B., Нации В.А., Шабашев O.K. // Оптический журнал, 1997. -Т.64, № 2. С. 17.

18. Википедия: Диаграмма направленности (антенны) / Wikipedia. URL: http://rn.wikipedia.org/wiki/%C4%E8%E0%E3 %F0%E0%EC%EC%E0%ED% E0%EF%F0%E0%E2%EB%E5%ED%ED%EE%F1%F2%E8#. Дата обращения: 01.06.2011.

19. Военная робототехника: проблемы научно-технологического развития / Буренок В.М., Ивлев A.A., Корчак В.Ю., Брайткрайц С.Г. // Информационно-измерительные и управляющие системы. М.: Изд-во "Радиотехника", 2006. - Т.4, №1-3. - С.79 - 83.

20. Волков В.Г. Ночные приборы наблюдения / Волков В.Г. // Специальная Техника, 2004. №4. - С.2 - 15.

21. Волков В.Г. Тепловизионные приборы нового поколения / Волков В.Г., Ковалев A.B., Федчишин В.Г. // Специальная Техника, 2001. №6. -С.16 -21.

22. Волков В.Г. Тепловизионные приборы нового поколения / Волков В.Г., Ковалев A.B., Федчишин В.Г. // Специальная Техника, 2002. №1. -С.18 -24.

23. Волков В.Г. Тепловизионные приборы средней дальности действия / Волков В.Г. // Специальная Техника, 2005. №4. - URL: http://st.ess.ru/publications/42005/volkov/volkov.htm. Дата обращения: 12.05.2011.

24. Волынский Б.А. Модели для решения краевых задач / Волынский Б.А., Бухман В.Е. М.: Физматгиз, 1960.

25. Вычислительная машина с руками, глазами и ушами / Маккарти Дж., Эрнест Л., Редди Д., Виценс П. // Интегральные роботы: Сб. статей. Пер. с англ. под ред. Г.Е.Поздняка. М.: Мир, 1973. - С.41 - 60.

26. Гонсалес Р. Цифровая обработка изображений / Гонсалес Р., Вудс Р. М.: Техносфера, 2006. - 1071с.

27. Горелик C.JI. Телевизионные измерительные системы / Горелик С.Л., Кац Б.М., Киврин В.И. М.: Связь, 1980. - 169с.

28. Гренандер У. Лекции по теории образов: пер. с англ. под ред. Ю.Журавлёва / Гренандер У. М.: Мир, 1979. - 384с.

29. Гутман С.Р. Нейронная сеть, дифференцирующая по времени и интегрирующая по пространству / Гутман С.Р. // Биофизика. 1971. - Т. 16, вып.6. - С. 1074 - 1078.

30. Дуда Р. Распознавание образов и анализ сцен / Дуда Р., Харт П. М.: Мир, 1976.-512с.

31. Дьяченко A.A. Программно-аппаратная реализация системы управления мобильным роботом / Дьяченко A.A. // Труды XXI Международной научно-технической конференции: Экстремальная робототехника. СПб.: Изд-во «Политехника-сервис», 2010. - С.313 - 317.

32. Жуков А.Г. Сканирующий тепловизор на болометрической линейке / Жуков А.Г., Мазеев В.А. // Прикладная физика, 2006. №1 - С.113 -115.

33. Завалишин Н.В. Выделение тел на контурном изображении трехмерной сцены / Завалишин Н.В. // Труды IV Международной объединенной конференции по искусственному интеллекту, т.8. Анализ визуальной информации. М.: 1975. - С. 8.19 - 8.28.

34. Иванов Д.Я. Особенности организации обмена в больших группах микророботов / Иванов Д.Я. // Труды XXI Международной научно-технической конференции: Экстремальная робототехника. СПб.: Изд-во «Политехника-сервис», 2010. - С.441 -448.

35. Ивченко В.Д. Обзор современных технологий тепловизионного контроля / Ивченко В.Д., Кананадзе С.С. // Приборы и системы. Управление, контроль, диагностика. 2006. №2. - С. 50 - 52.

36. Интегральные роботы: Сб. статей / Пер. С англ. Под ред. Г.Е.Поздняка. -М.:Мир, 1973.-422с.

37. Каляев И.А. Самоорганизация в мультиробототехнических системах / Каляев И.А., Гайдук А.Р., Капустян С.Г. // Труды XXI Международной научно-технической конференции: Экстремальная робототехника. СПб.: Изд-во «Политехника-сервис», 2010. - С.72 - 83.

38. Каляев И.А. Стратегии группового управления в распределённых системах / Каляев И.А. // Мехатроника и робототехника (МиР-2010): Итоговый сборник статей. СПб.: Изд-во «Политехника-сервис», 2010. - С.87 - 88.

39. Кий К.И. Система для содержательного сжатого описания и сегментирования цветных изображений в реальном времени / Кий К.И. // Информационно-измерительные и управляющие системы. М.: Изд-во "Радиотехника", 2009. - Т.7, №6. - С.64 - 68.

40. Кирсанов К.Б. Организация обработки и хранения шлейфов, поступающих от сенсоров данных в параллельных программных системах / Кирсанов К.Б. // Информационно-измерительные и управляющие системы. М.: Изд-во "Радиотехника", 2009. - Т.7, №6. - С.69 - 71.

41. Кислицкий М.И. КБ «АРСЕНАЛ» в космической технике / Кислицкий М.И., Манойлов О.В. // Планетоходы, космическая робототехника и наземные роверы: Материалы VII международной конференции 28-29.09.2010. СПб.: Ленэкспо, 2010. - С.43 - 44.

42. Колючкин В.Я. Тепловизионные приборы и системы: учебное пособие / Колючкин В.Я., Мосягин Г.М. М.: Изд-во МГТУ им. Н. Э. Баумана, 2002. - 59с.

43. Коулмен Г. Сегментация изображения при помощи автоматической классификации / Коулмен Г., Эндрюс X. // ТИИЭР, 1979. Т.67, №5. -С.83 - 98.

44. Кощавцев Н.Ф. Состояние и перспективы развития техники ночного видения / Кощавцев Н.Ф., Федотова С.Ф. // Прикладная физика, 1999. -Вып. 2. С.141 - 145.

45. Краснобаев A.A. Метод параллельно-последовательного детектирования элементов изображения в системах технического зрения / Краснобаев A.A., Платонов А.К. // Теория и системы управления, 2007. №4. - С.96 - 109.

46. Кремис И.И. Повышение качества изображения тепловизоров на основе матричных HgCdTe фотоприемных устройств ИК-диапазона / Кремис И.И. // Прикладная физика, 2010. №1. - С. 108 - 114.

47. Кремис И.И. Унифицированная система обработки сигналов многоэлементного фотоприемного устройства ИК-диапазона на основе микросхемы программируемой логики типа FPGA / Кремис И.И., Однолько Ю.Ф. // Прикладная физика, 2007. № 4. - С.133 - 140.

48. Курбатов JI.H. К 50-летию "НПО "Орион". Краткий очерк основных работ / Курбатов JI.H. // Вопросы оборонной техники. Сер. II 1996. Вып. 3-4. - С.З.

49. Курбатов JI.H. Краткий очерк истории разработок приборов ночного видения на основе ЭОП и усилителей изображения / Курбатов JI.H. // Вопросы оборонной техники. Сер. II. 1994. Вып. 3-4. - С.З.

50. Курбатов JI.H. Основные направления разработок фотоприемников и фотоприемных устройств для тепловидения в период 1970 1998 гг. / Курбатов JI. Н. // М.: Прикладная физика, 1999. - №3.

51. Курбатов JI.H. Очерки об истории разработок полупроводниковых фотоэлектрических фотоприемных устройств / Курбатов JI.H. // Вопросы оборонной техники. Сер. II. 1995. Вып. 3-4. - С.З.

52. Курбатов JI.H. Очерки об истории разработок полупроводниковых фотоэлектрических фотоприемных устройств / Курбатов JI.H. // Вопросы оборонной техники. Сер. II. 1996. Вып. 3-4. - С.З.

53. Курбатов JI.H. Очерки об истории разработок полупроводниковых фотоэлектрических фотоприемных устройств / Курбатов JI.H. // Вопросы оборонной техники. Сер. II. 1997. Вып. 1-2. - С.З.

54. Курбатов JI.H. Очерки об истории разработок полупроводниковых фотоэлектрических фотоприемных устройств / Курбатов JI.H. // Вопросы оборонной техники. Сер. II. 1998. Вып. 1-2. - С.З.

55. Лебедев Д.Г. Анализ работы сетчатки, выделяющей контурный сигнал / Лебедев Д.Г. // Биофизика. 1981. - Т.26, вып.5. - С.860 - 863.

56. Лебедев Д.Г. Дискретизация изображений посредством выделения и квантования контуров / Лебедев Д.Г., Лебедев Д.С. // Известия АН СССР. Техническая кибернетика. 1965. - №1. - С.88 - 99.

57. Лебедев Д.Г. Моделирование некоторых функций зрения человека / Лебедев Д.Г. // Биофизика. 1980. - Т.25. Вып.1. - С.153 - 158.

58. Лебедев Д.С. Телевидение и теория информации / Лебедев Д.С., Цуккерман И.И. М.-Л.: Энергия. 1965. - 218с.

59. Либенсон М.Н. Автоматизация распознавания телевизионных изображений / Либенсон М.Н., Хесин А.Я., Янсон Б.А. // М.: Энергия, 1975. - 160с.

60. Линейчатый фотоприёмник формата 288x4 с двунаправленным режимом временной задержки и накопления / Васильев В.В., Предеин A.B., Варавин B.C., Михайлов H.H. (и др.) // Оптический журнал, 2009. Т.76, вып. 12. - С.30 - 35.

61. Ллойд Дж. Системы тепловидения: пер. с англ. под ред. А.И. Горячева / Ллойд Дж. М: Мир, 1978. - 416 с.

62. ЛопотаВ.А. О некоторых перспективных направлениях развития космической робототехники / Лопота В.А., Юревич Е.И. // Мехатроника и робототехника (МиР-2010). Итоговый сборник статей. СПб.: Изд-во «Политехника-сервис», 2010. - С.65 - 68.

63. Лучанский O.A. Системы технического зрения колёсных роботов. Автореферат диссертации на соискание ученой степени к.т.н. по специальности 05.11.16 / Лучанский O.A. // ГОУ ВПО «Тульский государственный университет», 2007. 20с.

64. Макаров A.C. Введение в технику разработки и оценки сканирующих тепловизионных систем / Макаров A.C., Омелаев А.И., Филиппов В.Л. -Казань: Изд-во «Унипресс», 1998. 320с.

65. Маркин В.А. Пределы температурной чувствительности тепловизоров третьего поколения / Маркин В.А. // Оптический журнал, 2010. Т.77, Вып.02. - С.51 -59.

66. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов: пер. с англ. / Марр Д. М.: Радио и связь, 1987.-400с.

67. Мартыненко Ю.Г. Управление автономным движением мобильного робота МЭИ / Мартыненко Ю.Г., Кобрин А.И., Гусев Д.М. (и др.) // Мобильные роботы и мехатронные системы: Материалы научной школы-конференции. М.: Изд-во Моск. ун-та, 1999. - С.58 - 80.

68. Матричные фотоприемные устройства ИК-диапазона / Овсюк В.Н., Курышев Г.Л., Сидоров Ю.Г. (и др.) Новосибирск: Наука, 2001. - 376с.

69. Нильссон Ф. Технология сжатия видео / Нильссон Ф. // SystemCCTV, 2010. № 03(45). - С.48 - 57.

70. Обзор точек доступа / Tulalink (тульские сети). URL: http://www.tulalink.ru/articles/tochkidostupa. Дата обращения: 01.11.2011.

71. Обработка изображений при помощи неточечных преобразований / Горелик С.Л., Михелевич Е.Г. Пинцов В.А., Пинцов Л.А. // Автоматика и телемеханика, 1979. №2. - С. 100 - 109.

72. Павловский В.Е. EVROBOT новая образовательная технология в робототехнике и мехатронике / Павловский В.Е., Салмина М.А. // Мехатроника и робототехника (МиР-2010): Итоговый сборник статей. -СПб.: Изд-во «Политехника-сервис», 2010. - С. 144.

73. Ш.Павловский В.Е. Аппаратно-программная система управления роботами Робокон-1: отчёт, инв.№5-002-12 / Павловский В.Е., Павловский B.B. М.: Институт прикладной математики им. М.В.Келдыша РАН, 2012. - 38с.

74. Полупроводниковые формирователи сигналов изображения / Под ред. П.Йесперса, Ф. Ван де Виле и М. Уайта. М.: Мир, 1979. - 573 с.

75. Пономаренко В.П. Сохраняемость параметров вакуумных фоторезисторов на основе CdHgTe / Пономаренко В.П., Трошкин Ю.С., Филатов A.B. // Прикладная физика, 2007. №5. - С.71 - 76.

76. Предисловие // Техническое зрение в системах управления мобильными объектами-2010: Труды научно-технической конференции-семинара. Вып. 4 / Под ред. Р. Р. Назирова. М.: КДУ, 2011. - С.5 - 8.

77. Пресс Ф.П. Формирование видеосигнала на приборах с зарядовой связью / Пресс Ф.П. М.: Радио и связь. 1981. - 136с.

78. ПрэттУ. Цифровая обработка изображений: пер. с анг. / Прэтт У. М.: Мир, 1982.-792с.

79. Пряничников В.Е. Информационное обеспечение и навигация робототехнических систем с дистанционными ультразвуковыми и оптическими сенсорами: монография / Пряничников В.Е. М.: Институт прикладной математики им. М.В.Келдыша РАН, 1993. - 261с.

80. Психология машинного зрения: сб. под ред. П.Уинстона / Пер. с англ. М.: «Мир», 1978. - 344с.

81. Роберте Л. Автоматическое восприятие трехмерных объектов / Роберте Л. // Интегральные роботы. М.: Мир, 1973. - Вып.1. - С.162 - 208.

82. Розенфельд А. Распознавание и обработка изображений с помощью вычислительных машин: пер. с англ. под ред. Д.С.Лебедева / Розенфельд А. М.: Мир, 1972.-230с.

83. СираиИ. Анализ массивов интенсивности с использованиенм знаний о сценах / Сираи И. // Психология машинного зрения. М.: Мир, 1978. -С.112-136.

84. Слэйгл Дж. Искусственный интеллект: пер. с англ. под ред. Г.Е.Поздняка / Слэйгл Дж. М.: Мир, 1973. - 320с.

85. Современные медицинские тепловизоры. С.11-17. / Мельников Г.С., Самков В.М., Солдатов Ю.И., Коротаев В.В. URL: http://www.oop-ros.org/maket/part4/4l.pdf. Дата обращения: 07.10.2011г.

86. Соловьёв К.С. Дистанционно управляемая робототехника BROKK / Соловьёв К.С. // Труды XXI Международной научно-технической конференции: Экстремальная робототехника. СПб.: Изд-во «Политехника-сервис», 2010. - С.155 - 159.

87. Соляков В.Н. Метод линеаризированной трехточечной коррекции неоднородности фотоприемных устройств / Соляков В.Н., Жегалов С.И. Фетюхина В.Г. // Прикладная физика, 2010. №4. - С. 102.

88. Соляков В.Н. Нелинейная коррекция неоднородности тепловизионных фотоприемных устройств / Соляков В.Н., Жегалов С.И., Морозова В.Г. // Прикладная физика, 2010. №5. - С. 106.

89. Тарасов В.В. Инфракрасные системы «смотрящего» типа / Тарасов В.В., Якушенко Ю.Г. // М.: «Логос», 2004.

90. Тепловизор на основе «смотрящей» матрицы из CdO,2HgO,8Te формата 128X128 / Болтарь К.О., Бовина Л.А., Сагинов Л.Д. (и др.) // Прикладная физика, 1999. № 2. - С.50 - 54.

91. Уинстон П. Искусственный интеллект: пер. с англ. под ред. Д.А.Поспелова / Уинстон П. М.: Мир, 1980. - 520с.

92. Филаретов В.Ф. Система телеуправления подводным роботом с помощью подвижной телекамеры или сонара / Филаретов В.Ф. // Мехатроника и робототехника (МиР-2010): Итоговый сборник статей. СПб.: Изд-во «Политехника-сервис», 2010. - С.138 - 140.

93. Филиппов С.А. LEGO роботы в обучении мехатронике и автоматизации в школе и ВУЗе / Филиппов С.А., Фрадков А.Л. // Мехатроника и робототехника (МиР-2010): Итоговый сборник статей. - СПб.: Изд-во «Политехника-сервис», 2010. - С.145 - 148.

94. Фокальные матрицы на основе KPT-фотодиодов для спектральных диапазонов 3-5 и 8-12 мкм / Бовина JI. А., Болтарь К.О., Бурлаков И.Д. (и др.) // Оптический журнал, 1986. №6. - С. 74.

95. Форсайт Д. Компьютерное зрение. Современный подход / Форсайт Д., Понс Ж. М.: Вильяме, 2004. - 928с.

96. Фотоприёмник длинноволнового инфракрасного диапазона с аналоговым режимом временной задержки и накопления / Завадский Ю.И., Скрылев A.C., Хотянов Б.М., Чернокожин В.В. // Оптический журнал, 2009. Т.76, вып. 12. - С.27 - 29.

97. Фотоприёмные устройства для тепловизионной аппаратуры второго поколения / Бурлаков И. Д., Пономаренко В.П., Филачёв A.M., Дегтярев Е.В. // Прикладная физика, 2007. №2. - С.43 - 53.

98. Фрейдман A.B. Проект разработки простого робота-манипулятора для тушения пожаров / Фрейдман A.B. // Труды XXI Международной научно-технической конференции: Экстремальная робототехника. СПб.: Изд-во «Политехника-сервис», 2010. - С. 186 - 188.

99. ХантЭ. Искусственный интеллект: пер. с англ. под ред. В.Л.Стефанюка / Хант Э. М.: Мир, 1978. - 559с.

100. Харитонова E.H. Методы коррекции геометрических искажений видеосигнала камер, выполненных на матричных фотоприемных устройствах / Харитонова E.H. // Автореферат диссертации на соискание ученой степени канд. техн. наук. Великий Новгород: 2010. - 20с.

101. ХарликР. Статистический и структурный подход к описанию текстур / Харлик Р. // ТИИЭР. 1979. - Т. 67, №5. - С. 98 - 120.

102. Хюккель М. Оператор нахождения контуров на кодированных изображениях / Хюккель М. // Интегральные роботы. М.: Мир, 1973. -Вып. 1. - С.225 - 240.

103. Шлишевский В.Б. Предисловие выпускающего редактора / Шлишевский В.Б. // Оптический журнал, 2009. Т.76, вып.12. - С.З - 4.

104. Яковлев О.Б. Тепловидение и его применение в системах охраны и обеспечения безопасности / Яковлев О.Б. // Алгоритм безопасности, 2008.- №3. С.76 - 78.

105. An Intelligent Robot with Cognition and Decision-Making Ability / Nasakazu Ejiri, Takeshi Uno, Haruo Yoda (et all.) // The 2nd Intern. Joint Conf. on Artificial Intelligence, L., 1971. P.350 - 358.

106. An uncooled IR Imager / Amantea R.A., Knoedler C.M., Pantaso F.R. (et all.) // Proc. SPIE. 1997. V. 3061. - P. 210.

107. Bartz M. The IBM 1975 Optical Page Reader. Part II: Video Thresholding Sistem / Bartz M. // IBM Journal of Research and Development, 1968. -Vol.12, N0.5.-P.354-363.

108. BenedaM. Stereo image sighting robotic system / Beneda M. // Extreme robotics. Nano- micro- and macrorobots (ER-2009). Proceedings of XX International Scientific-and-Technological Conference. Taganrog: TTI SFEDU, 2009. -P.180 - 183.

109. Cederberg R. Chain-link coding and segmentation of raster scan devices / Cederberg R. // Comput. Graph, and Image Process, 1979. Vol.10, N 2. -P.224 - 234.

110. Computer with Hands, Eyes and Ears / McCarty J., Earnest L.D., Reddy D.R., Vicens P.J. // Proc. Fall Joint Computer Conf., vol.33, Pt.l, 1968. P.329 - 338.

111. Dahlberg A. QWIP sensors in military applications / Dahlberg A., Johansson S. // Proc. SPIE. 2002. V.4030. - P.l 14 - 123.

112. Doyle W. Operations Useful for Similarity Invariant Pattern Recognition / Doyle W. // JACM, 1962. - Vol. 9, No. 2. - P.259 - 267.

113. Duda R. Use of the Hough transformation to detect lines and curves in pictures / Duda R., Hart P. // Communes ACM, 1972. Vol.15, N 1. - P.l 1 -15.

114. FFmpeg. URL: http://www.ffmpeg.org. Дата обращения: 10.11.2011г.

115. Griffith A. Edge detection in simple scenes using a priori information / Griffith A. // IEEE Trans. Comput, 1973. Vol. C-22, N 4. - P.371 - 381.

116. Gupta J. Computer processing algorithm for locating boundaries in digital pictures / Gupta J., Wintz P. // Proc. 2IJCPR, 1974. P.155 - 156.

117. Horn B. The Image Dissector "eyes" / Horn B. // MIT Project MAC, Artificial Intelligence Laboratory Memo, No. 178,1969.

118. Horowitz S. Picture segmentation by a directed split-and-merge procedure / Horowitz S., Pavlidis T. // Proc. 2nd Int. Joint Conf. Pattern Recognition, 1974. -P.424 -433.

119. Hueckel M. A local visual operator which recognize edges and lines / Hueckel M. // Journal ACM. 1973. Vol.20, N 4. - P.781 - 792.

120. IEEE 802.11 / Wikipedia. URL: http://en.wikipedia.org/wiki/802.ll. Дата обращения: 01.11.2011.

121. IEEE 802.1 In: Википедия. URL: http://ru.wikipedia.org/wiki/IEEE802.lln. Дата обращения: 01.11.2011.

122. Image preprocessing for the infrared / Scribner D.A., Schuler J.M., Warren P., Howard J.G., Kruer M.R. // Proc. SPIE. 2000. V.4028. - P.222 - 233.

123. Ivanov V.P., Belozerov A.F. // Proc. SPIE. 2001. V. 4369. - P.58 - 80.

124. KiyK.I. A Color Vision System for Real-Time Analysis of Road Scenes / Kiy K.I., Dickmanns E.D. // IEEE Intelligent Vehicle'04 Symposium, 2004. -P.54-59.

125. Kiy K.I. A New Method for Description and Generalized Segmentation of Color Images in Real Time / Kiy K.I. // Int. Conf. on Pattern Recognition and Image Analysis: New Information Technologies, Nizhni Novgorod, 2008. P.297 -300.

126. Klinger A. Experiments on picture representation using regular decomposition / Klinger A., Dyer C. // Comput. Graph, and Image Process. 1976. Vol.5, N 1. -P.68-105.

127. Kovasznay L.S.G. Image processing / Kovasznay L.S.G., Joseph H.M. // Proc.IRE (May 1955), 1955. No43. P.560.

128. Kulikowskki J.J. Adaptive visual signal preprocessor with a finite number of states / Kulikowskki J.J. // IEEE Trans. Systems Science and Cybernetics (Dec. 1966), 1966,- SS-2, 96.

129. Kvasnica M. Complementary navigation systems for mobile robots / KvasnicaM. // Extreme robotics. Nano- micro- and macrorobots (ER-2009). Proceedings of XX International Scientific-and-Technological Conference. -Taganrog: TTISFEDU, 2009. P.46 - 50.

130. Lawrence E. Spatial differential and integral operations in human vision: implications of stabilized retinal image fading / Lawrence E., Arend I. // Psychological Review. 1973/ - V.80, No5. - P.374 - 395.

131. Linear arrays of fast un-coled poly SiGe microbolometer for IR detection / Moor P.D., John J., Sedky S., Van Hoof C. // SPIE. 2000. V. 4028. - P.27.

132. LIVE555 Streaming Media. URL: http://live555.com/liveMedia. Дата обращения: 15.11.2011г.

133. Muerle J. Experimental evaluation of techniques for automatic segmentation of objects in a complex scene / Muerle J., Allen D. // Pictural Pattern Recognition: Ed. Cheng et al. N.Y.: Thompson, 1968. P.3 - 13.

134. Munetaka Joutaki ELT Robot-1: Artificial Intelligent Robot / Munetaka Joutaki, Kohei Sato, Tadashi Nagata // JEE (Japan Electronic Engineering) 76, 1971. — No51.-P.24-29.

135. OremorodD. High Performance Thermal Images / Oremorod D. // Conf. Proceedings of Intern. Defense Electronics Expo-82, West Germany. 1982. -P.303 327.

136. Pavlidis T. Segmentation of pictures and maps through functional approximation / Pavlidis T. // Comput. Graph, and Image Process. 1972. Vol.1, N 5. -P.360 - 372.

137. Pegard C. A mobile robot using panoramic view / Pegard C., Mouaddib E.M. // Robotics and Automation, 1996. Proceedings. IEEE International Conference. Vol.1. 1996.-P.89-94.

138. Perkins W. A corner finder for visual feedback / Perkins W., Binford T. // Comput. Graph, and Image Process, 1973. Vol.2, N 3/4. - P.355 - 376.

139. Pingle K. Visual perception by computer / Pingle K. // Proc. Summer Sch. on Autom. Interpr. and Class, of Images, Pisa. 1968. -P.162 173.

140. Prewitt J. The Analysis of Cell Images / Prewitt J., Mendelssohn M. // Ann. N.Y.Acad. Sci. 1966. Vol.128. - P.1035 - 1053.

141. Sarusi G. Choosing detectors for third generation infrared systems / Sarusi G. // Proc. SPIE. 2003. V.4820. - P.919 - 927.

142. Tanimoto S. A hierarchical data structure for picture processing / Tanimoto S., Pavlidis T. // Comput. Graph, and Image Process. 1975. Vol.4, N 4. -P.320 - 328.

143. Texture-based Color Image Segmentation Using Local Contrast Information / Chang Y.C., Archibald J.K., Wang Y.-G. and Lee D.J. // International Journal of Information Technology and Intelligent Computing, 2007.-Vol.2, No. 4.-2007.

144. The Stanford, Hand-Eye Project / Feldman J.F., Feldman G.M., Falk G. (et all.) // 1st Intern. Joint Conf. on Artificial Intelligence, Washington, 1969.

145. The Use of Vision and Manipulation to Solve the "Instant Insanity" Puzzle / Feldman J., Pingle K., Binford T. (et all.) // The 2nd Intern. Joint Conf. on Artificial Intelligence, L., 1971. -P.359 364.

146. Third generation imaging sensor system concepts / Reago D., Horn S., Campbell J., Vollmerhausen R. // Proc. SPIE. 1999. V.3701. - P. 108 - 117.

147. Third generation infrared imagers / Norton P., Campbell J., Horn S., Reago D. // Proc. SPIE. 2000. V.4130. - P.226 - 235.

148. Weszka J. Threshold Selection Technique / Weszka J., Nagel R., Rosenfeld A. // IEEE Trans. Comput. 1974. Vol.C-23, No.12. - P.1323 - 1326.

149. Yagi Y. Evaluating effectively of map generation by tracking vertical edges in omnidirectional image sequence / Yagi Y., Sato K., Yachida M. // Robotics and Automation, 1995. Proceedings. IEEE International Conference. Vol.3. 1995. - P.2334 - 2339.

150. Yagi Y. Panorama scene analysis with conic projection / Yagi Y., Kawato S. // IEEE International workshop on intelligent Robots & Systems. Proceedings IROS'90. Vol.1. 1990. - P.181 - 187.

151. YagiY. Real-time omnidirectional image sensor (COPIS) for vision-guided navigation / Yagi Y., Kawato S., Tsuji S. // IEEE Trans. On Robotics & Automation Vol.10, No 1. 1994. - P. 11 - 22.

152. Yamazawa K. Obstacle detection with omnidirectional image sensor hyperomni vision / Yamazawa K„ Yagi Y., Yachida M. // Robotics and Automation, 1995. Proceedings. IEEE International Conference. Vol.1. 1995. - P.1062 - 1067.

153. ZuckerS. Region growing: childhood and adolescence / Zucker S. // Comput. Graph, and Image Process. 1976. Vol.5, N 3. - P.383 - 399.

154. Статьи в периодических изданиях по перечню ВАК

155. Андреев В.П. Опыт построения набора основных алгоритмов для задач анализа зрительной информации / Андреев В.П., Вайнштейн Г.Г., Москвина Е.А. // Вопросы радиоэлектроники, сер. Общетехническая. -1974. Вып. 14. - С. 114 - 125.

156. Андреев В.П. О выделении трехмерного объекта в сложном изображении / Андреев В.П., Вайнштейн Г.Г., Москвина Е.А. // Вопросы радиоэлектроники, сер. Общетехническая. 1975. - Вып.8. - С.62 - 69.

157. Анализ изображений трехмерных сцен по их текстурным свойствам / Андреев В.П., Вайнштейн Г.Г., Еги М.Г., Завалишин Н.В., Мучник И.Б., Шейнин P.JI. // "Автоматика и телемеханика". 1976. -№1. С.164 - 173.

158. Андреев В.П. Устройство для ввода телевизионного изображения в электронную вычислительную машину / Андреев В.П., Вайнштейн Г.Г. // Приборы и техника эксперимента, 1979. №5. - С. 106 - 109.

159. Андреев В.П. Адаптивный метод коррекции видеосигнала для систем технического зрения со сканирующей линейкой фотодатчиков / Андреев В.П. // Информационно-измерительные и управляющие системы. М.: Изд-во "Радиотехника", 2011. - Т.9, №9. - С.77 - 84.

160. Андреев В.П. Метод отслеживания подвижного изображения по видеосигналу сканирующей фотоприёмной линейки в тепловизионных системах контроля продукции / Андреев В.П. // Вестник МГТУ «Станкин», 2011. Т.2, №4(17). - С.156 - 160.

161. Андреев В.П. Система технического зрения с круговым обзором для мобильного робота / Андреев В.П. // Мехатроника, Автоматизация, Управление, 2011. №6. - С.8 - 14.

162. Андреев В.П. Система технического зрения, использующая свойства зрения человека для борьбы с геометрическим шумом / Андреев В.П. // Информационно-измерительные и управляющие системы. М.: Изд-во "Радиотехника", 2011. - Т.9, №9. - С.50 - 55.

163. Андреев В.П. Спецпроцессор для системы технического зрения со сканирующей линейкой фотодатчиков, выполняющий адаптивную коррекцию видеосигнала / Андреев В.П. // Приборы, 2011. №4. -С.ЗЗ - 40.

164. Технологии модернизации и очувствления мобильных роботов специального назначения / Пряничников В.Е., Андреев В.П., Кирсанов К.Б., Кувшинов C.B., Марзанов Ю.С., Никитина Т.А.,

165. Пронкин В.Ю., Прысев Е.А. // Известия Южного Федеральногоуниверситета. Технические науки. ISSN 1999-9429. Таганрог: 2011. -№3. - С.166 - 171.

166. Авторские свидетельства СССР, патенты РФ

167. A.C. СССР SU №1282106 Al от 24.12.1984 по заявке 3828829. Устройство для ввода информации / Андреев В.П., Соколов С.М.

168. Свидетельство об официальной регистрации программы для ЭВМ № 990510. РОСПАТЕНТ, г.Москва, 16 июля 1999г. Комплексная система спасения базы данных на дисках серверов ("ServSave") / Андреев В.П., Заев С.Н. -1999.

169. Статьи в изданиях, включенных в систему цитирования Web of Science (in Conference Proceedings Citation Index of Thomson Reuters)

170. Эксперименты с машинным зрением: монография / Андреев В.П., Белов Д.А., Вайнштейн Г.Г., Москвина Е.А. М.: Наука, 1987. - 128с.

171. Доклады, опубликованные на международных конференциях

172. Доклады и труды, опубликованные в российских изданиях

173. Моделирование элементов зрительной системы роботов / Андреев В.П., Вайнштейн Г.Г., Кирюхин Ю.А., Москвина Е.А., Салимов A.A. // Труды VII Всесоюзн. симп. по кибернетике, Тбилиси, 1974. С.23 - 26.

174. Андреев В.П. Ввод телевизионных изображений в ЭВМ и их сегментация / Андреев В.П. // Сб. "Проблемы машинного видения в робототехнике": под ред. Д.Е.Охоцимского. М.: ИПМ им. М.В.Келдыша АН СССР, 1981. -С. 152- 164.

175. Андреев В.П. Метод сегментации изображений для систем технического зрения / Андреев В.П. // Тезисы докладов I Всесоюзной конференции "Автоматизированные системы обработки изображений". М.: Наука, 1981.-С. 21.

176. Андреев В.П. Опыт конструирования устройств ввода телевизионного изображения в ЦВМ / Андреев В.П., Вайнштейн Г.Г. // Тезисы докладов Всесоюзной конференции "Измерительные комплексы и системы". Часть II. Томск: 1981. - С. 92 - 93.

177. Андреев В.П. Сегментация изображений как метод формирования знаний об окружающей среде в системах технического зрения / Андреев В.П. // Тезисы IX Всесоюзного симпозиума по кибернетике. Т.1 Представление знаний.-М.: 1981.-Т.1-С. 82-85.

178. Андреев В.П. Устройство сопряжения промышленной телевизионной установки с ЭВМ и его программное обеспечение: препринт №181 / Андреев В.П., Соколов С.М. М.: Институт прикладной математики им. М.В.Келдыша АН СССР. - 1982. - 29с.

179. Андреев В.П. Диссертация на соискание учёной степени к.ф.-м.н. по специальности 01.01.10 / Андреев В.П. М.: ИПМ им.М.В.Келдыша АН СССР, 1984. - 135с.

180. Андреев В.П. Система технического зрения для анализа сложных трехмерных сцен. Искусственный интеллект: Справочник: В 3 кн. Кн.1: Системы общения и экспертные системы: под ред. Э.В.Попова / Андреев В.П. М.: Радио и связь, 1990. - Кн.1. - С. 184 - 190.

181. Команда «КРОНУС» / Буданов В.М., Андреев В.П., Пронкин В.Ю., Трушкин Ф.А., Козорезов Ю.Ю. // Мобильные роботы и мехатронные системы: Материалы научной школы-конференции (Москва, 5-6 апреля 2004г.). М.: Изд-во Моск. ун-та, 2004. - С. 12 - 14.

182. Отчеты по научно-исследовательским работам

183. Андреев В.П. Моделирование блоков технической зрительной системы: отчёт, инв.№281. / Андреев В.П., Вайнштейн Г.Г., Москвина Е.А. М.: Ин-т проблем передачи информации АН СССР, 1979. - 30с.

184. Андреев В.П. Отчет по теме «Ель-5-1АН», инв.№400 (РАН №294 от 09.12.1985г.) / Андреев В.П., Лебедев Д.Г. М.: Ин-т проблем передачи информации АН СССР, 1987. - 95с.

185. Андреев В.П. Требования к построению измерительных систем технического зрения: отчёт по договору с Московским городским центром информатики ГКВТИ СССР от 05.05.1989 / Андреев В.П. М.: Ин-т проблем передачи информации АН СССР, 1989. - 38с.